JP2007052394A - Tempo detector, code name detector and program - Google Patents
Tempo detector, code name detector and program Download PDFInfo
- Publication number
- JP2007052394A JP2007052394A JP2006001194A JP2006001194A JP2007052394A JP 2007052394 A JP2007052394 A JP 2007052394A JP 2006001194 A JP2006001194 A JP 2006001194A JP 2006001194 A JP2006001194 A JP 2006001194A JP 2007052394 A JP2007052394 A JP 2007052394A
- Authority
- JP
- Japan
- Prior art keywords
- beat
- sound
- level
- scale
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
Description
本発明は、テンポ検出装置、コード名検出装置及びプログラムに関する。 The present invention relates to a tempo detection device, a code name detection device, and a program.
従来の自動伴奏装置では、あらかじめ演奏するテンポを使用者が設定し、このテンポに従って自動演奏が行われる。従って、この自動伴奏に合わせて演奏者が演奏する場合、この自動伴奏のテンポに合わせて演奏する必要があり、これは特に演奏初心者にとっては非常に困難なことであった。そのため、演奏者の演奏音から自動的にテンポを検出し、このテンポに合わせて自動伴奏を行うような自動伴奏装置が望まれていた。 In a conventional automatic accompaniment apparatus, a user sets a tempo for performance in advance, and automatic performance is performed according to this tempo. Therefore, when a performer performs in accordance with the automatic accompaniment, it is necessary to perform in accordance with the tempo of the automatic accompaniment, which is very difficult especially for beginners of performance. Therefore, an automatic accompaniment apparatus that automatically detects the tempo from the performance sound of the performer and performs automatic accompaniment in accordance with this tempo has been desired.
また、演奏音が収録された音楽CD等の音源からコード名や音符情報を検出する採譜装置において、その演奏音からテンポを検出する機能はその前段階の処理として必須である。 Further, in a music transcription device that detects chord names and note information from a sound source such as a music CD on which performance sounds are recorded, the function of detecting the tempo from the performance sounds is indispensable as the previous process.
このようなテンポ検出装置として、例えば、下記特許文献1のテンポ検出装置がある。
As such a tempo detection device, for example, there is a tempo detection device disclosed in
この特許文献1のテンポ検出装置は、外部から入力される演奏音の1音毎の音程、音量、及び発音のタイミングを表す演奏情報に基づいて、音量に起因するアクセントと、音量以外の音楽要素に起因するアクセントを検出し、これら双方のアクセントに基づいて演奏情報のテンポの変化を予測し、予測されたテンポに内部で生成するテンポを追従させるテンポ変更手段を備えたテンポ検出装置である。従って、テンポ検出するためには、音符情報が検出されていなければならず、MIDI等の音符情報を出力する機能を持った楽器で演奏された場合は、これを簡単に取得できるが、これを持たない一般の楽器で演奏された場合は、演奏音から音符情報を検出するという採譜技術が必要になる。
The tempo detection device of
MIDI等の音符情報を出力する機能を持たない一般楽器の演奏音、すなわち音響信号を入力とするテンポ検出装置の例としては、下記特許文献2に示される構成がある。
As an example of a tempo detection device that receives a performance sound of a general musical instrument that does not have a function of outputting note information such as MIDI, that is, an acoustic signal, there is a configuration shown in
該特許文献2に示される構成では、入力される音響信号を時分割でディジタルフィルタリング処理を行って音階を抽出し、検出した音階音のエンベロープ値に基づいてその音階音の発生周期を検出し、この音階音の発生周期とあらかじめ指定された入力音響信号の拍子に基づいてテンポを検出している。このテンポ検出装置は、音符情報を検出しないので、コード名や音符情報を検出する採譜装置の前処理としても使用できる。
In the configuration shown in
同様なテンポ検出装置として、後述する非特許文献1がある。
As a similar tempo detection device, there is Non-Patent
他方、ポピュラー系の音楽においてコードは非常に重要な要素であり、このようなジャンルの音楽を小編成のバンドで演奏する場合にも、演奏する個々の音符が書かれた楽譜は使用しないで、コード譜またはリードシートと呼ばれるメロディとコード進行のみが書かれた楽譜を使用することが通常である。よって市販のCD等の曲をバンドで演奏するためには曲のコード進行を採譜する必要があるが、この作業は特別な音楽的知識を有する専門家のみが可能であり、一般の人には不可能であった。そこで、市販のパーソナルコンピュータなどを使用して音楽音響信号からコード名を検出する自動採譜装置が求められていた。 On the other hand, chords are a very important element in popular music, and when playing music of such a genre in a small band, do not use the score on which the individual notes to be played are written, It is common to use a score written only with a melody and chord progression called a chord score or lead sheet. Therefore, it is necessary to record the chord progression of a song in order to perform a song such as a commercial CD in a band, but this work can only be performed by an expert with special musical knowledge. It was impossible. Therefore, there has been a demand for an automatic music transcription device that detects a chord name from a music acoustic signal using a commercially available personal computer or the like.
このような音楽音響信号からコードを検出する装置として、下記特許文献3の構成がある。同文献の構成では、パワー・スペクトルの計算結果から基本周波数候補を抽出し、この基本周波数候補から倍音と思われるものを除去して音符情報を検出し、この音符情報から和音を検出している。
As an apparatus for detecting a chord from such a music sound signal, there is a configuration of
しかし、該特許文献3に示す構成では、上記倍音を除去する作業は、楽器の種類による倍音構造の違い、打鍵強さによる倍音の出方の違い、時間による倍音のパワー変化、同じ周波数を倍音成分として持つ音同士の位相干渉の問題などから非常に困難であることが知られている。即ち、この音符情報を検出するという工程が、多くの楽器や歌唱などが混じった一般の音楽CDなどの音源で必ずしも正しく機能するとは考えられない。
However, in the configuration shown in
同様に音楽音響信号からコードを検出する装置として、後述する特許文献4の構成がある。該特許文献4の構成では、入力される音響信号に対して、異なる特性のディジタルフィルタリング処理を時分割で行い、各音階音のレベルを検出し、検出したレベルのうちオクターブ内で同じ音階関係にあるレベル同士を積算して、その積算レベルのうち値が大きい所定数を使って和音検出をしている。この方法では音響信号に含まれる個々の音符情報を検出しないので、特許文献3にあげたような問題は発生しない。
ところが、上記特許文献2のテンポ装置では、音階音のエンベロープからその音階音の発生周期を検出する部分が、エンベロープ値の最大値を検出し、その最大値に対して所定割合以上の部分を検出することにより行う構成となっている。しかし、このように所定割合を一意に定めてしまうと、音量の大小によって発音タイミングを検出できたりできなかったりしてしまい、それが最終的なテンポの決定に大きな影響を与えてしまうという問題を抱えている。
However, in the tempo device disclosed in
上記非特許文献1に示されるビートトラッキングシステムも、音響信号をFFTして得られた周波数スペクトルから音の立ち上がり成分を抽出するので、先の特許文献2のテンポ検出装置と同様、この立ち上がりを検出できるかどうかが最終的なテンポの決定に大きな影響を与えてしまう。
The beat tracking system disclosed in Non-Patent
また、これら2つのテンポ検出装置に共通して言えることは、この音の立ち上がりを検出するのをどの音階音、あるいは、周波数で行うのかということである。たまたま検出する音階音(周波数)で細かいリズムを刻んでいる曲があった場合、間違えて速いテンポを検出してしまう問題があった。 What is common to these two tempo detection devices is which scale sound or frequency is used to detect the rising of this sound. If there is a song that has a fine rhythm in the scale sound (frequency) that happens to be detected, there is a problem that a fast tempo is detected by mistake.
他方、音楽音響信号からコードを検出する上記特許文献4に示す構成では、各音階音のレベルをオクターブ内で同じ音階関係にあるもの同士、つまり12の音名毎に積算してしまっているので、同じ構成音からなる複数の和音、例えばラ、ド、ミ、ソからなるAm7とド、ミ、ソ、ラからなるC6という2つのコードを判別することができない。
On the other hand, in the configuration shown in
また、この特許文献4の和音検出装置には、テンポや小節の検出機能はなく、和音検出は所定のタイミング毎に行うとなっている。つまり、あらかじめ曲のテンポを設定してそのテンポで発音するメトロノームに合わせて演奏するようなケースを想定しており、音楽CD等のような演奏後の音響信号に適用した場合、一定時間間隔毎のコード名は検出できるが、テンポや小節を検出していないので、コード譜またはリードシートと呼ばれているような各小節のコード名が書かれた楽譜のような形式に出力することはできない。
Further, the chord detection device of
仮に曲のテンポを与えたとしても、一般的に音楽CDに収録されている演奏のテンポは一定ではなく多少揺らぐため、正しく小節毎のコードを検出することはできない。 Even if the tempo of the song is given, the tempo of the performance recorded on the music CD is generally not constant and slightly fluctuates, so that the chord for each measure cannot be detected correctly.
また、一定のテンポで発音されるメトロノームなどに合わせて正確なテンポで演奏することは初心者の演奏者にとっては非常に困難であり、一般的には演奏のテンポは揺らいでしまうのが通常である。 Also, it is very difficult for beginners to perform at an accurate tempo that matches a metronome that is pronounced at a constant tempo, and generally the performance tempo usually fluctuates. .
さらに、特許文献4の構成では、入力される音響信号に対して、異なる特性のディジタルフィルタリング処理を時分割で行う構成が採用されているが、この構成の採用理由として、FFT演算では低域で周波数分解が悪いことをあげている。しかし、入力音響信号をダウンサンプリングしてFFTを行うことで低域でもある程度の周波数分解能を得ることは可能であるし、ディジタルフィルタリング処理では、フィルタ出力信号のレベルを求めるためにエンベロープ抽出部が必要になってしまうのに対し、FFTでは、FFT後のパワーそのものが各周波数でのレベルを表しているためそのようなものは必要なく、FFTポイント数とシフト量のパラメータを適宜選ぶことで周波数分解能や時間分解能を自由に設定できるメリットもある。
Furthermore, in the configuration of
本発明は、以上のような問題に鑑み創案されたもので、人間が演奏したテンポの揺らぐ演奏の音響信号から、曲全体の平均的なテンポと正確なビート(拍)の位置、さらに曲の拍子と1拍目の位置を検出することが可能なテンポ検出装置を提供せんとするものである。 The present invention was devised in view of the above-described problems. From an acoustic signal of a performance performed by a human to change the tempo, the average tempo of the entire song, the exact beat position, and the song It is intended to provide a tempo detection device capable of detecting the time signature and the position of the first beat.
またもう1つの本発明の構成は、特別な音楽的知識を有する専門家でなくても、音楽CD等の複数の楽器音の混ざった音楽音響信号(オーディオ信号)から、コード名(和音名)を検出することができるコード名検出装置を提供することを目的とする。 Further, another configuration of the present invention is that a chord name (chord name) can be obtained from a music acoustic signal (audio signal) in which a plurality of instrument sounds such as a music CD are mixed, even if it is not an expert having special musical knowledge. It is an object of the present invention to provide a code name detection device capable of detecting the above.
さらに詳しくは、入力された音響信号に対し、個々の音符情報を検出することなしに、全体の響きから、コードを決定することができるコード名検出装置を提供することを目的とする。 More specifically, it is an object of the present invention to provide a chord name detection device that can determine chords from the overall sound without detecting individual note information for an input acoustic signal.
加えて、構成音が同じ和音でも判別可能で、演奏のテンポが揺らいでしまった場合や、逆にわざとテンポを揺らして演奏しているような音源に関しても、小節毎の和音が検出可能なコード名検出装置を提供することを目的とする。 In addition, a chord that can be detected even with the same chord and can detect chords for each measure even if the performance tempo fluctuates or, on the other hand, a sound source that intentionally fluctuates the tempo An object is to provide a name detection device.
以上のように、本発明構成では、簡単な構成のみでビート検出という時間分解能が必要な処理(上記テンポ検出装置の構成と同じ)と、和音検出という周波数分解能が必要な処理(上記テンポ検出装置の構成を基にさらに和音を検出できる構成)を同時に行うことができるコード名検出装置を提供することを目的とする。 As described above, in the configuration of the present invention, processing that requires time resolution of beat detection with the simple configuration only (same as the configuration of the tempo detection device) and processing that requires frequency resolution of chord detection (the tempo detection device described above) It is an object of the present invention to provide a chord name detection apparatus capable of simultaneously performing a chord detection based on the above configuration.
併せて、これらの装置をコンピュータ上に実現できるテンポ検出用及びコード名検出用のコンピュータ・プログラムについても、提供する。 In addition, a computer program for tempo detection and code name detection that can implement these devices on a computer is also provided.
そのため本発明に係るテンポ検出装置は、
音響信号を入力する入力手段と、
入力された音響信号から、所定の時間間隔で、FFT演算を行い、所定の時間毎の各音階音のレベルを求める音階音レベル検出手段と、
この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出手段と、
このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出手段と
を有することを基本的特徴としている。
Therefore, the tempo detection device according to the present invention is
An input means for inputting an acoustic signal;
A scale sound level detection means for performing an FFT operation at a predetermined time interval from an input acoustic signal and obtaining a level of each scale sound for each predetermined time;
The increment value of each scale sound level for each predetermined time is summed for all the scale sounds to obtain a total of level increment values indicating the degree of change in the overall sound for each predetermined time. Beat detection means for detecting the average beat interval and the position of each beat from the sum of the incremental values of the level indicating the degree of change in the overall sound for each,
The average value of the scale level for each beat is calculated, and the increment value of the average level of each scale sound for each beat is added for all the scale sounds to indicate the degree of change in the overall sound for each beat. The basic feature is to have a bar detection means for detecting a time signature and a bar line position from a value indicating the degree of change in the overall sound for each beat.
上記構成によれば、入力手段に入力された音響信号から所定の時間毎の各音階音のレベルを音階音レベル検出手段によって求め、上記ビート検出手段によって、この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、同じくビート検出手段により、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート(拍)間隔(つまりテンポ)と各ビートの位置を検出し、次に上記小節検出手段により、このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す上記値求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置(1拍目の位置)を検出することになる。 According to the above configuration, the scale level for each predetermined time is obtained from the acoustic signal input to the input means by the scale level detecting means, and the beat detection means determines the scale sound for each predetermined time. The level increment values are summed for all scales to obtain the total level increment value indicating the degree of change in the overall sound for each predetermined time, and the beat detection means also performs the overall sound for this predetermined time. The average beat interval (that is, tempo) and the position of each beat are detected from the sum of the level increments indicating the degree of change in the level, and then the measure detection means measures the tone of each scale note for each beat. The average value of the level is calculated, and the increment value of the average level of each scale sound for each beat is summed up for all the scale sounds, and the above value indicating the degree of change in the overall sound for each beat is obtained, and for each beat. all From a value that indicates the degree of change in tone, thereby detecting the beat and measure line position (first beat position).
すなわち、入力された音響信号から所定の時間毎の各音階音のレベルを求め、この所定の時間毎の各音階音のレベルの変化から平均的なビート(拍)間隔(つまりテンポ)と各ビートの位置を検出し、次にこのビート毎の各音階音のレベルの変化から拍子と小節線位置(1拍目の位置)を検出することになる。 That is, the level of each scale sound for each predetermined time is obtained from the input sound signal, and the average beat (beat) interval (that is, tempo) and each beat are determined from the change in the level of each scale sound for each predetermined time. Next, the time signature and bar line position (position of the first beat) are detected from the change in the level of each scale tone for each beat.
またコード名検出装置の構成は、
音響信号を入力する入力手段と、
入力された音響信号から、所定の時間間隔で、ビート検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求める第1の音階音レベル検出手段と、
この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出手段と、
このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出手段と、
上記入力された音響信号から、先のビート検出の時とは異なる別の所定の時間間隔で、コード検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求める第2の音階音レベル検出手段と、
検出した各音階音のレベルのうち、各小節内における低域側の音階音のレベルからベース音を検出するベース音検出手段と、
検出したベース音と各音階音のレベルから各小節のコード名を決定するコード名決定手段と
を有することを特徴としている。
The configuration of the code name detection device is
An input means for inputting an acoustic signal;
First scale sound level detection means for performing FFT calculation using a parameter suitable for beat detection at predetermined time intervals from the input acoustic signal, and obtaining the level of each scale sound for each predetermined time;
The increment value of each scale sound level for each predetermined time is summed for all the scale sounds to obtain a total of level increment values indicating the degree of change in the overall sound for each predetermined time. Beat detection means for detecting the average beat interval and the position of each beat from the sum of level increments indicating the degree of change in the overall sound for each,
The average value of the scale level for each beat is calculated, and the increment value of the average level of each scale sound for each beat is added for all the scale sounds to indicate the degree of change in the overall sound for each beat. A bar detecting means for obtaining a value and detecting a time signature and a bar line position from a value indicating a change degree of the whole sound for each beat;
From the input acoustic signal, an FFT operation is performed using a parameter suitable for chord detection at a predetermined time interval different from that at the time of the previous beat detection, and the level of each scale sound for each predetermined time is calculated. Second scale level detection means to be obtained;
Bass sound detection means for detecting a bass sound from the level of the low-frequency scale sound in each measure out of the detected scale levels,
It has a chord name determining means for determining the chord name of each measure from the detected bass sound and the level of each scale sound.
また上記ベース音検出手段において、ベース音が小節内で複数検出される場合は、そのベース音検出結果に応じて、上記コード名決定手段は、小節を幾つかのコード検出範囲に分断し、この各コード検出範囲におけるコード名を、ベース音と各コード検出範囲における各音階音のレベルから、決定するものとする。 In the bass sound detecting means, when a plurality of bass sounds are detected in a measure, the chord name determining means divides the measure into several chord detection ranges according to the bass sound detection result. The chord name in each chord detection range is determined from the base sound and the level of each scale sound in each chord detection range.
上記構成によれば、入力手段から入力された入力音響信号に対し、第1の音階音レベル検出手段により、所定の時間間隔で、まずビート検出に適したパラメータでFFT演算を行い、これにより所定の時間毎の各音階音のレベルを求め、ビート検出手段により、この所定の時間毎の各音階音のレベルの変化から平均的なビート間隔と各ビートの位置を検出する。次に、小節検出手段により、このビート毎の各音階音のレベルの変化から拍子と小節線位置を検出する。さらに、本発明のコード名検出装置は、第2の音階音レベル検出手段により、入力音響信号に対し先のビート検出の時とは異なる別の所定の時間間隔で、今度はコード検出に適したパラメータでFFT演算を行い、これにより所定の時間毎の各音階音のレベルを求める。そしてベース音検出手段により、この各音階音のレベルの内、低域側の音階音のレベルから各小節のベース音を検出し、コード名決定手段により、検出したベース音と各音階音のレベルから各小節のコード名を決定することになる。 According to the above configuration, the first acoustic scale level detection means first performs an FFT operation with a parameter suitable for beat detection on the input sound signal input from the input means at a predetermined time interval. The level of each scale sound for each time is obtained, and the beat detection means detects the average beat interval and the position of each beat from the change in the level of each scale sound for each predetermined time. Next, the measure and the bar line position are detected from the change in the level of each scale sound for each beat by the measure detecting means. Furthermore, the chord name detection apparatus according to the present invention is suitable for chord detection at a predetermined time interval different from the time of the previous beat detection with respect to the input acoustic signal by the second scale sound level detection means. An FFT operation is performed with the parameters, thereby obtaining the level of each scale sound for each predetermined time. The bass sound detecting means detects the bass sound of each measure from the scale sound level on the low frequency side, and the chord name determining means detects the bass sound and the level of each scale sound. The chord name of each measure will be determined from
また上記のように、ベース音検出手段でこのベース音が小節内で複数検出される場合は、そのベース音検出結果に応じて、上記コード名決定手段は、小節を幾つかのコード検出範囲に分断し、この各コード検出範囲におけるコード名をベース音と各コード検出範囲における各音階音のレベルから決定することになる。 In addition, as described above, when a plurality of bass sounds are detected in the measure by the bass sound detecting means, the chord name determining means determines that the measure is divided into several chord detection ranges according to the bass sound detection result. The chord name in each chord detection range is determined from the bass sound and the level of each tone in the chord detection range.
さらに、請求項9の構成は、請求項1記載の構成を、コンピュータに実行させるために、該コンピュータで実行可能なプログラム自身を規定している。すなわち、上述した課題を解決するための構成として、上記各手段を、コンピュータの構成を利用することで実現する、該コンピュータで読み込まれて実行可能なプログラムである。この場合、コンピュータとは中央演算処理装置の構成を含んだ汎用的なコンピュータの構成の他、特定の処理に向けられた専用機などを含むものであっても良く、中央演算処理装置の構成を伴うものであれば特に限定はない。
Further, in order to cause a computer to execute the configuration according to
上記各手段を実現させるためのプログラムが該コンピュータに読み出されると、請求項1に規定された各機能実現手段と同様な機能実現手段が達成されることになる。
When a program for realizing each of the above means is read by the computer, the same function realizing means as the function realizing means defined in
請求項9のより具体的構成は、
コンピュータを、
音響信号を入力する入力手段と、
入力された音響信号から、所定の時間間隔で、FFT演算を行い、所定の時間毎の各音階音のレベルを求める音階音レベル検出手段と、
この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出手段と、
このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出手段と
して機能させることを特徴とするテンポ検出用プログラムである。
A more specific configuration of
Computer
An input means for inputting an acoustic signal;
A scale sound level detection means for performing an FFT operation at a predetermined time interval from an input acoustic signal and obtaining a level of each scale sound for each predetermined time;
The increment value of each scale sound level for each predetermined time is summed for all the scale sounds to obtain a total of level increment values indicating the degree of change in the overall sound for each predetermined time. Beat detection means for detecting the average beat interval and the position of each beat from the sum of the incremental values of the level indicating the degree of change in the overall sound for each,
The average value of the scale level for each beat is calculated, and the increment value of the average level of each scale sound for each beat is added for all the scale sounds to indicate the degree of change in the overall sound for each beat. A program for detecting a tempo, characterized in that a value is obtained and functioned as a bar detecting means for detecting a time signature and a bar line position from a value indicating the degree of change in the overall sound for each beat.
さらに、請求項10の構成は、請求項7記載の構成を、コンピュータに実行させるために、該コンピュータで実行可能なプログラム自身を規定している。すなわち、コンピュータに上記各手段を実現させるためのプログラムが該コンピュータに読み出されると、請求項7に規定された各機能実現手段と同様な機能実現手段が達成されることになる。
Further, in order to cause a computer to execute the configuration according to
請求項10のより具体的構成は、
コンピュータを、
音響信号を入力する入力手段と、
入力された音響信号から、所定の時間間隔で、ビート検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求める第1の音階音レベル検出手段と、
この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出手段と、
このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出手段と、
上記入力された音響信号から、先のビート検出の時とは異なる別の所定の時間間隔で、コード検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求める第2の音階音レベル検出手段と、
検出した各音階音のレベルのうち、各小節内における低域側の音階音のレベルからベース音を検出するベース音検出手段と、
検出したベース音と各音階音のレベルから各小節のコード名を決定するコード名決定手段と
して機能させることを特徴とするコード名検出用プログラムである。
A more specific configuration of
Computer
An input means for inputting an acoustic signal;
First scale sound level detection means for performing FFT calculation using a parameter suitable for beat detection at predetermined time intervals from the input acoustic signal, and obtaining the level of each scale sound for each predetermined time;
The increment value of each scale sound level for each predetermined time is summed for all the scale sounds to obtain a total of level increment values indicating the degree of change in the overall sound for each predetermined time. Beat detection means for detecting the average beat interval and the position of each beat from the sum of the incremental values of the level indicating the degree of change in the overall sound for each,
The average value of the scale level for each beat is calculated, and the increment value of the average level of each scale sound for each beat is added for all the scale sounds to indicate the degree of change in the overall sound for each beat. A bar detecting means for obtaining a value and detecting a time signature and a bar line position from a value indicating a change degree of the whole sound for each beat;
From the input acoustic signal, an FFT operation is performed using a parameter suitable for chord detection at a predetermined time interval different from that at the time of the previous beat detection, and the level of each scale sound for each predetermined time is calculated. Second scale level detection means to be obtained;
Bass sound detection means for detecting a bass sound from the level of the low-frequency scale sound in each measure out of the detected scale levels,
A chord name detection program that functions as chord name determining means for determining the chord name of each measure from the detected bass sound and the level of each scale sound.
以上のようなプログラムの構成であれば、既存のハードウェア資源を用いてこのプログラムを使用することにより、既存のハードウェアで新たなアプリケーションとしての本発明の夫々の装置が容易に実現できるようになる。 With the program configuration as described above, by using this program using the existing hardware resources, each device of the present invention as a new application can be easily realized with the existing hardware. Become.
このプログラムという態様では、通信などを利用して、これを容易に使用、配布、販売することができるようになる。また、既存のハードウェア資源を用いてこのプログラムを使用することにより、既存のハードウェアで新たなアプリケーションとしての本発明の装置が容易に実行できるようになる。 In the aspect of this program, it becomes possible to easily use, distribute, and sell it using communication or the like. In addition, by using this program using existing hardware resources, the apparatus of the present invention as a new application can be easily executed with the existing hardware.
尚、請求項9、10記載の各機能実現手段のうち一部の機能は、コンピュータに組み込まれた機能(コンピュータにハードウェア的に組み込まれている機能でも良く、該コンピュータに組み込まれているオペレーティングシステムや他のアプリケーションプログラムなどによって実現される機能でも良い)によって実現され、前記プログラムには、該コンピュータによって達成される機能を呼び出すあるいはリンクさせる命令が含まれていても良い。
It should be noted that some of the functions realizing means according to
これは、請求項1、7に規定された各機能実現手段の一部が、例えばオペレーティングシステムなどによって達成される機能の一部で代行され、その機能を実現するためのプログラムないしモジュールなどは直接存在するわけではないが、それらの機能を達成するオペレーティングシステムの機能の一部を、呼び出したりリンクさせるようにしてあれば、実質的に同じ構成となるからである。
This is because part of each function realization means defined in
本発明の請求項1〜請求項6記載のテンポ検出装置、及び請求項9記載のプログラムによれば、人間が演奏したテンポの揺らぐ演奏の音響信号から、曲全体の平均的なテンポと正確なビート(拍)の位置、さらに曲の拍子と1拍目の位置を検出することができるようになるという優れた効果を奏し得る。
According to the tempo detection device according to
また請求項7及び請求項8記載のコード名検出装置、請求項10記載のプログラムによれば、特別な音楽的知識を有する専門家でなくても、音楽CD等の複数の楽器音の混ざった入力された音楽音響信号(オーディオ信号)に対し、個々の音符情報を検出することなしに全体の響きから、コード名(和音名)を検出することが可能となる。
Further, according to the chord name detection apparatus according to
さらに、該構成によれば、構成音が同じ和音でも判別可能で、演奏のテンポが揺らいでしまった場合や、逆にわざとテンポを揺らして演奏しているような音源に関しても、小節毎の和音が検出可能となる。 Furthermore, according to this configuration, even if the constituent sound is the same chord, even if the tempo of the performance has fluctuated, or conversely the sound source that is performing intentionally fluctuating the tempo, the chord for each measure Can be detected.
特に請求項7及び請求項8記載のコード名検出装置の後者の構成及び請求項10記載のプログラムでは、簡単な構成のみでビート検出という時間分解能が必要な処理(上記テンポ検出装置の構成と同じ)と、和音検出という周波数分解能が必要な処理(上記テンポ検出装置の構成を基にさらに和音を検出できる構成)を同時に行うことができるようになる。
In particular, in the latter configuration of the code name detection device according to
以下、本発明の実施の形態を図示例と共に説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明に係るテンポ検出装置の全体ブロック図である。同図によれば、本テンポ検出装置の構成は、音響信号を入力する入力部1と、入力された音響信号から、所定の時間間隔で、FFT演算を行い、所定の時間毎の各音階音のレベルを求める音階音レベル検出部2と、この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出部3と、このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出部4とを有している。
FIG. 1 is an overall block diagram of a tempo detection apparatus according to the present invention. According to the figure, the configuration of the tempo detection device includes an
音楽音響信号を入力する上記入力部1は、テンポ検出をする対象の音楽音響信号を入力する部分である。マイク等の機器から入力されたアナログ信号をA/D変換器(図示無し)によりディジタル信号に変換しても良いし、音楽CDなどのディジタル化された音楽データの場合は、そのままファイルとして取り込み(リッピング)、これを指定して開くようにしても良い。このようにして入力したディジタル信号がステレオの場合、後の処理を簡略化するためにモノラルに変換する。
The
このディジタル信号は、音階音レベル検出部2に入力される。この音階音レベル検出部は図2の各部から構成される。
This digital signal is input to the scale
そのうち波形前処理部20は、音楽音響信号の上記入力部1からの音響信号を今後の処理に適したサンプリング周波数にダウンサンプリングする構成である。
Among them, the
ダウンサンプリングレートは、ビート検出に使う楽器の音域によって決定する。すなわち、シンバル、ハイハット等の高音域のリズム楽器の演奏音をビート検出に反映させるには、ダウンサンプリング後のサンプリング周波数を高い周波数にする必要があるが、ベース音とバスドラム、スネアドラム等の楽器音と中音域の楽器音から主にビート検出させる場合には、ダウンサンプリング後のサンプリング周波数はそれほど高くする必要はない。 The downsampling rate is determined by the range of the instrument used for beat detection. In other words, in order to reflect the performance sound of high-frequency rhythm instruments such as cymbals and hi-hats in beat detection, it is necessary to set the sampling frequency after down-sampling to a high frequency, but bass sounds, bass drums, snare drums, etc. When beat detection is mainly performed from instrument sounds and middle instrument sounds, the sampling frequency after downsampling need not be so high.
例えば検出する最高音をA6(C4が中央のド)とする場合、A6の基本周波数は約1760Hz(A4=440Hzとした場合)となるので、ダウンサンプリング後のサンプリング周波数は、ナイキスト周波数が1760Hz以上となる、3520Hz以上にすれば良い。これから、ダウンサンプリングレートは、元のサンプリング周波数が44.1kHz(音楽CD)の場合、1/12程度にすれば良いことになる。この時、ダウンサンプリング後のサンプリング周波数は、3675Hzとなる。 For example, when the highest sound to be detected is A6 (C4 is in the middle), the basic frequency of A6 is about 1760 Hz (when A4 = 440 Hz), so the sampling frequency after downsampling is a Nyquist frequency of 1760 Hz or higher. It may be 3520 Hz or higher. From this, the downsampling rate may be about 1/12 when the original sampling frequency is 44.1 kHz (music CD). At this time, the sampling frequency after downsampling is 3675 Hz.
ダウンサンプリングの処理は、通常、ダウンサンプリング後のサンプリング周波数の半分の周波数であるナイキスト周波数(今の例では1837.5Hz)以上の成分をカットするローパスフィルタを通した後に、データを読み飛ばす(今の例では波形サンプルの12個に11個を破棄する)ことによって行われる。 In the downsampling process, data is skipped after passing through a low-pass filter that cuts off components above the Nyquist frequency (1837.5 Hz in this example), which is usually half the sampling frequency after downsampling (now In this example, 11 out of 12 waveform samples are discarded).
このようにダウンサンプリングの処理を行うのは、この後のFFT演算において、同じ周波数分解能を得るために必要なFFTポイント数を下げることで、FFTの演算時間を減らすのが目的である。 The purpose of downsampling in this way is to reduce the FFT computation time by lowering the number of FFT points necessary to obtain the same frequency resolution in the subsequent FFT computation.
なお、音楽CDのように、音源が固定のサンプリング周波数で既にサンプリングされている場合は、このようなダウンサンプリングが必要になるが、音楽音響信号の入力部1が、マイク等の機器から入力されたアナログ信号をA/D変換器によりディジタル信号に変換するような場合には、当然A/D変換器のサンプリング周波数を、ダウンサンプリング後のサンプリング周波数に設定することで、この波形前処理部を省くことが可能である。
When a sound source has already been sampled at a fixed sampling frequency, such as a music CD, such downsampling is necessary. However, the music acoustic
このようにして波形前処理部20によるダウンサンプリングが終了したら、所定の時間間隔で、波形前処理部の出力信号を、FFT演算部21によりFFT(高速フーリエ変換)する。
When the downsampling by the
FFTのパラメータ(FFTポイント数とFFT窓のシフト量)は、ビート検出に適した値とする。つまり、周波数分解能を上げるためにFFTポイント数を大きくすると、FFT窓のサイズが大きくなってしまい、より長い時間から1回のFFTを行うことになり、時間分解能が低下する、というFFTの特性を考慮しなくてはならない(つまりビート検出時は周波数分解能を犠牲にして時間分解能をあげるのが良い)。窓のサイズと同じだけの長さの波形を使わないで、窓の一部だけに波形データをセットし残りは0で埋めることによって、FFTポイント数を大きくしても時間分解能が悪くならない方法もあるが、低音側のパワーも正しく検出するためには、ある程度の波形サンプル数は必要である。 The FFT parameters (the number of FFT points and the shift amount of the FFT window) are values suitable for beat detection. In other words, if the number of FFT points is increased in order to increase the frequency resolution, the size of the FFT window increases, and one FFT is performed from a longer time, resulting in the FFT characteristic that the time resolution decreases. (In other words, it is better to increase the time resolution at the expense of the frequency resolution when detecting beats.) There is a method in which the time resolution is not deteriorated even if the number of FFT points is increased by setting the waveform data to only a part of the window and filling the rest with 0 without using the waveform as long as the window size. However, a certain number of waveform samples is necessary to correctly detect the power on the bass side.
以上のようなことを考慮し、本実施例では、FFTポイント数512、窓のシフトは32サンプルで、0埋めなしという設定にした。このような設定でFFT演算を行うと、時間分解能約8.7ms、周波数分解能約7.2Hzとなる。時間分解能約8.7msという値は、四分音符=300のテンポの曲で、32分音符の長さが、25msであることを考えると、十分な値であることがわかる。 Considering the above, in this embodiment, the number of FFT points is 512, the window shift is 32 samples, and no zero padding is set. When FFT calculation is performed with such settings, the time resolution is about 8.7 ms and the frequency resolution is about 7.2 Hz. It can be seen that the time resolution of about 8.7 ms is a sufficient value considering that the tune has a tempo of quarter note = 300 and the length of the 32nd note is 25 ms.
このようにして、所定の時間間隔毎にFFT演算が行われ、その実数部と虚数部のそれぞれを二乗したものの和の平方根からパワーが計算され、その結果がレベル検出部22に送られる。
In this way, the FFT operation is performed at predetermined time intervals, the power is calculated from the square root of the sum of the squares of the real part and the imaginary part, and the result is sent to the
レベル検出部22では、FFT演算部21で計算されたパワー・スペクトルから、各音階音のレベルを計算する。FFTは、サンプリング周波数をFFTポイント数で割った値の整数倍の周波数のパワーが計算されるだけであるので、このパワー・スペクトルから各音階音のレベルを検出するために、以下のような処理を行う。つまり、音階音を計算するすべての音(C1からA6)について、その各音の基本周波数の上下50セントの範囲(100セントが半音)の周波数に相当するパワー・スペクトルの内、最大のパワーを持つスペクトルのパワーをこの音階音のレベルとする。
The
すべての音階音についてレベルが検出されたら、これをバッファに保存し、波形の読み出し位置を所定の時間間隔(先の例では32サンプル)進めて、FFT演算部21とレベル検出部22を波形の終わりまで繰り返す。
When the levels are detected for all the scale sounds, this is stored in the buffer, the waveform reading position is advanced by a predetermined time interval (32 samples in the previous example), and the FFT calculation unit 21 and the
以上により、音楽音響信号の入力部1に入力された音響信号の、所定時間毎の各音階音のレベルが、バッファ23に保存される。
As described above, the level of each scale sound for each predetermined time of the acoustic signal input to the music acoustic
次に、図1のビート検出部3の構成について説明する。該ビート検出部3は、図3のような処理の流れで実行される。
Next, the configuration of the
ビート検出部3は、音階音レベル検出部が出力した所定時間(以下、この1所定時間を1フレームと呼ぶ)毎の各音階音のレベルの変化を元に平均的なビート(拍)間隔(つまりテンポ)とビートの位置を検出する。そのために、まずビート検出部3は、各音階音のレベル増分値の合計(前のフレームとのレベルの増分値をすべての音階音で合計したもの。前のフレームからレベルが減少している場合は0として加算する)を計算する(ステップS100)。
The
つまり、フレーム時間tにおけるi番目の音階音のレベルをLi(t)とするとき、i番目の音階音のレベル増分値Laddi(t)は、下式数1に示すようになり、このLaddi(t)を使って、フレーム時間tにおける各音階音のレベル増分値の合計L(t)は、下式数2で計算できる。ここで、Tは音階音の総数である。
That is, when the level of the i-th scale sound at the frame time t is L i (t), the level increment value L addi (t) of the i-th scale sound is as shown in the
この合計L(t)値は、フレーム毎の全体での音の変化度合いを表している。この値は、音の鳴り始めで急激に大きくなり、同時に鳴り始める音が多いほど大きな値となる。音楽はビートの位置で音が鳴り始めることが多いので、この値が大きなところはビートの位置である可能性が高いことになる。 The total L (t) value represents the degree of change in sound for each frame. This value suddenly increases at the beginning of sounding, and becomes larger as more sounds begin to sound at the same time. Since music often starts to sound at the beat position, there is a high possibility that the place where this value is large is the beat position.
例として、図4に、ある曲の一部分の波形と各音階音のレベル、各音階音のレベル増分値の合計の図を示す。上段が波形、中央がフレーム毎の各音階音のレベルを濃淡で表したもの(下が低い音、上が高い音。この図では、C1からA6の範囲)、下段がフレーム毎の各音階音のレベル増分値の合計を示している。この図の各音階音のレベルは、音階音レベル検出部から出力されたものであるので、周波数分解能が約7.2Hzであり、G#2以下の一部の音階音でレベルが計算できずに歯抜け状態になっているが、この場合はビートを検出するのが目的であるので、低音の一部の音階音のレベルが測定できないのは、問題ない。
As an example, FIG. 4 shows a diagram of the sum of the waveform of a part of a certain song, the level of each musical note, and the level increment value of each musical note. The upper row is the waveform, the middle is the tone level of each scale in each frame (lower is lower, the upper is higher. In this figure, the range is C1 to A6), and the lower is each scale. Shows the sum of level increments. Since the level of each scale sound in this figure is output from the scale sound level detector, the frequency resolution is about 7.2 Hz, and the level cannot be calculated for some scale sounds below
この図の下段に見られるように、各音階音のレベル増分値の合計は、定期的にピークをもつ形となっている。この定期的なピークの位置が、ビートの位置である。 As seen in the lower part of the figure, the sum of the level increments of each scale sound has a peak periodically. This regular peak position is the beat position.
ビートの位置を求めるために、ビート検出部3では、まずこの定期的なピークの間隔、つまり平均的なビート間隔を求める。平均的なビート間隔はこの各音階音のレベル増分値の合計の自己相関から計算できる(図3;ステップS102)。
In order to obtain the beat position, the
あるフレーム時間tにおける各音階音のレベル増分値の合計をL(t)とすると、この自己相関φ(τ)は、以下の式数3で計算される。 When the total level increment value of each scale tone in a certain frame time t is L (t), this autocorrelation φ (τ) is calculated by the following equation (3).
自己相関計算の概念図を、図5に示す。この図のように、時間遅れτがL(t)のピークの周期の整数倍の時に、φ(τ)は大きな値となる。よって、ある範囲のτについてφ(τ)の最大値を求めれば、曲のテンポを求めることができる。 A conceptual diagram of autocorrelation calculation is shown in FIG. As shown in this figure, when the time delay τ is an integral multiple of the peak period of L (t), φ (τ) takes a large value. Therefore, if the maximum value of φ (τ) is obtained for a certain range of τ, the tempo of the music can be obtained.
自己相関を求めるτの範囲は、想定する曲のテンポ範囲によって変えれば良い。例えば、メトロノーム記号で四分音符=30から300の範囲を計算するならば、自己相関を計算する範囲は、0.2秒から2秒となる。時間(秒)からフレームへの変換式は、以下の数4式に示す通りとなる。 The range of τ for obtaining the autocorrelation may be changed according to the assumed tempo range of the song. For example, if the range of quarter note = 30 to 300 is calculated with a metronome symbol, the range for calculating the autocorrelation is 0.2 second to 2 seconds. The conversion formula from time (seconds) to frame is as shown in the following equation (4).
この範囲の自己相関φ(τ)が最大となるτをビート間隔としても良いが、必ずしもすべての曲で自己相関が最大となる時のτがビート間隔とはならないので、自己相関が極大値となる時のτからビート間隔の候補を求め(図3;ステップS104)、これら複数の候補からユーザにビート間隔を決定させるのが良い(図3;ステップS106)。 Τ with the maximum autocorrelation φ (τ) in this range may be set as the beat interval, but τ when autocorrelation is maximum in all songs is not necessarily the beat interval, so the autocorrelation is the maximum value. It is preferable to obtain beat interval candidates from τ at a certain time (FIG. 3; step S104), and let the user determine the beat interval from these multiple candidates (FIG. 3; step S106).
このようにしてビート間隔が決定したら(決定したビート間隔をτmaxとする)、まず最初に先頭のビート位置を決定する。 When the beat interval is determined in this way (the determined beat interval is set to τ max ), the head beat position is first determined.
先頭のビート位置の決定方法を、図6を用いて説明する。図6の上段はフレーム時間tにおける各音階音のレベル増分値の合計L(t)で、下段M(t)は決定したビート間隔τmaxの周期で値を持つ関数である。式で表すと、下式数5に示すようになる。 A method for determining the first beat position will be described with reference to FIG. The upper part of FIG. 6 is a total L (t) of the level increment values of each tone at the frame time t, and the lower part M (t) is a function having a value at the determined beat interval τ max . This is expressed by the following equation (5).
この関数M(t)を、0からτmax−1の範囲でずらしながら、L(t)とM(t)の相互相関を計算する。 The cross correlation between L (t) and M (t) is calculated while shifting this function M (t) in the range of 0 to τ max −1.
相互相関r(s)は、上記M(t)の特性から、下式数6で計算できる。
The cross-correlation r (s) can be calculated by the
この場合のnは、最初の無音部分の長さに応じて適当に決めれば良い(図6の例では、n=10)。 In this case, n may be determined appropriately according to the length of the first silent portion (n = 10 in the example of FIG. 6).
r(s)をsが0からτmax−1の範囲で求め、r(s)が最大となるsを求めれば、このsのフレームが最初のビート位置である。 If r (s) is obtained in the range of s from 0 to τ max −1, and s at which r (s) is maximized is obtained, this s frame is the first beat position.
最初のビート位置が決まったら、それ以降のビートの位置を1つずつ決定していく(図3;ステップS108)。 When the first beat position is determined, the subsequent beat positions are determined one by one (FIG. 3; step S108).
その方法を、図7を用いて説明する。図7の三角印の位置に先頭のビートが見つかったとする。2番目のビート位置は、この先頭のビート位置からビート間隔τmaxだけ離れた位置を仮のビート位置とし、その近辺でL(t)とM(t)が最も相関が取れる位置から決定する。つまり、先頭のビート位置をb0とするとき、以下の式のr(s)が最大となるようなsの値を求める。この式のsは仮のビート位置からのずれで、以下の式数7の範囲の整数とする。Fは揺らぎのパラメータで0.1程度の値が適当であるが、テンポの揺らぎの大きい曲では、もっと大きな値にしてもよい。nは5程度でよい。
The method will be described with reference to FIG. Assume that the first beat is found at the position of the triangle in FIG. The second beat position is determined from a position where L (t) and M (t) are most correlated in the vicinity of the temporary beat position at a position separated by a beat interval τ max from the first beat position. That is, when the leading beat position is b 0 , the value of s is determined so that r (s) in the following expression is maximized. In this equation, s is a deviation from the temporary beat position, and is an integer in the range of
kは、sの値に応じて変える係数で、例えば図8のような正規分布とする。 k is a coefficient that changes in accordance with the value of s, and has a normal distribution as shown in FIG. 8, for example.
r(s)が最大となるようなsの値が求まれば、2番目のビート位置b1は、下式数8で計算される。 If the value of s that maximizes r (s) is obtained, the second beat position b 1 is calculated by the following equation (8).
以降、同じようにして3番目以降のビート位置も求めることができる。 Thereafter, the third and subsequent beat positions can be obtained in the same manner.
テンポがほとんど変わらない曲ではこの方法でビート位置を曲の終わりまで求めることができるが、実際の演奏は多少テンポが揺らいだり、部分的にだんだん遅くなったりすることがよくある。 For songs with almost no change in tempo, the beat position can be obtained to the end of the song in this way, but the actual performance often fluctuates slightly or becomes partly slower.
そこで、これらのテンポの揺らぎにも対応できるように以下のような方法を考えた。 Therefore, the following method was considered so as to cope with these fluctuations in tempo.
つまり、図7のM(t)の関数を、図9のように変化させるものである。
1)は、従来の方法で、図のように各パルスの間隔をτ1、τ2、τ3、τ4としたとき、
τ1=τ2=τ3=τ4=τmax
である。
2)は、τ1からτ4を均等に大きくしたり小さくしたりするものである。
τ1=τ2=τ3=τ4=τmax+s (-τmax・F≦s≦τmax・F)これにより、急にテンポが変わった場合に対応できる。
3)は、rit.(リタルダンド、だんだん遅く)又は、accel.(アッチェレランド、だんだん速く)に対応したもので、各パルス間隔は、
τ1=τmax
τ2=τmax+1・s
τ3=τmax+2・s (-τmax・F≦s≦τmax・F)
τ4=τmax+4・s
で計算される。
1、2、4の係数は、あくまで例であり、テンポ変化の大きさによって変えてもよい。
4)は、3)のようなrit.やaccel.の場合の、5個のパルスの位置のどこが現在ビートを求めようとしている場所かを変えるものである。
That is, the function of M (t) in FIG. 7 is changed as shown in FIG.
1) is a conventional method, and when the intervals of each pulse are τ1, τ2, τ3, and τ4 as shown in the figure,
τ1 = τ2 = τ3 = τ4 = τ max
It is.
In 2), τ1 to τ4 are uniformly increased or decreased.
τ1 = τ2 = τ3 = τ4 = τ max + s (-τ max · F ≦ s ≦ τ max · F) Thus, it corresponds to the case where sudden tempo changes.
3) rit. (Ritardando, gradually) or accele. (Accelerando, gradually faster), each pulse interval is
τ1 = τ max
τ2 = τ max + 1 · s
τ3 = τ max + 2 · s (−τ max · F ≦ s ≦ τ max · F)
τ4 = τ max + 4 · s
Calculated by
The
4) is a rit. And accel. In this case, the position of the five pulses is changed where the current beat is to be obtained.
これらをすべて組み合わせて、L(t)とM(t)の相関を計算し、それらの最大からビート位置を決めれば、テンポが揺らぐ曲に対してもビート位置の決定が可能である。なお、2)と3)の場合には、相関を計算するときの係数kの値を、やはりsの値に応じて変えるようにする。 By combining all of these, calculating the correlation between L (t) and M (t), and determining the beat position from the maximum of them, it is possible to determine the beat position even for a song whose tempo fluctuates. In the case of 2) and 3), the value of the coefficient k when calculating the correlation is also changed according to the value of s.
さらに、5個のパルスの大きさは現在すべて同じにしてあるが、ビートを求める位置(図9の仮のビート位置)のパルスのみ大きくしたり、ビートを求める位置から離れるほど値を小さくして、ビートを求める位置の各音階音のレベル増分値の合計を強調するようにしてもよい[図9の5)]。 Furthermore, although the five pulses are all the same in size, only the pulse at the position where the beat is calculated (the temporary beat position in FIG. 9) is increased, or the value is decreased as the distance from the position where the beat is determined is increased. The sum of the level increments of each scale tone at the position where the beat is sought may be emphasized [5) in FIG.
以上のようにして、各ビートの位置が決定したら、この結果をバッファ30に保存すると共に、検出した結果を表示し、ユーザに確認してもらい、間違っている箇所を修正してもらうようにしてもよい。
As described above, when the position of each beat is determined, the result is stored in the
ビート検出結果の確認画面の例を、図10に示す。同図の三角印の位置が検出したビート位置である。 An example of a confirmation screen for beat detection results is shown in FIG. The position of the triangle mark in the figure is the detected beat position.
「再生」のボタンを押すと、現在の音楽音響信号が、D/A変換され、スピーカ等から再生される。現在の再生位置は、図のように縦線等の再生位置ポインタで表示されるので、演奏を聞きながら、ビート検出位置の誤りを確認できる。さらに、検出の元波形の再生と同時に、ビート位置のタイミングで例えばメトロノームのような音を再生させるようにすれば、目で確認するだけでなく音でも確認でき、より容易に誤検出を判断できる。このメトロノームの音を再生させる方法としては、例えばMIDI機器等が考えられる。 When the “play” button is pressed, the current music sound signal is D / A converted and played from a speaker or the like. Since the current playback position is displayed with a playback position pointer such as a vertical line as shown in the figure, it is possible to confirm an error in the beat detection position while listening to the performance. Furthermore, if a sound such as a metronome is played at the beat position timing simultaneously with the reproduction of the original waveform of the detection, it is possible to check not only with the eyes but also with the sound, and it is possible to judge the false detection more easily. . As a method for reproducing the sound of the metronome, for example, a MIDI device can be considered.
ビート検出位置の修正は、「ビート位置の修正」ボタンを押して行う。このボタンを押すと、画面に十字のカーソルが現れるので、最初のビート検出が間違っている箇所で正しいビート位置をクリックする。クリックされた場所の少し前(例えばτmaxの半分の位置)から後のビート位置をすべてクリアし、クリックされた場所を、仮のビート位置として、以降のビート位置を再検出する。 The beat detection position is corrected by pressing the “correct beat position” button. When this button is pressed, a cross cursor appears on the screen. Click the correct beat position where the first beat detection is wrong. All beat positions after a position slightly before the clicked position (for example, half the position of τmax ) are cleared, and the subsequent beat positions are detected again with the clicked position as the temporary beat position.
次に、拍子および小節の検出について説明する。 Next, the detection of time signature and measure will be described.
これまでの処理で、ビートの位置が確定しているので、今度は、ビート毎の音の変化度合いを求める。ビート毎の音の変化度合いは、音階音レベル検出部が出力した、フレーム毎の各音階音のレベルから計算する。 Since the position of the beat has been determined by the processing so far, the degree of change in sound for each beat is obtained next time. The degree of change in sound for each beat is calculated from the level of each scale sound for each frame output from the scale sound level detector.
j番目のビートのフレーム数をbjとし、その前後のビートのフレームをbj−1、bj+1とする時、j番目のビートのビート毎の音の変化度合いは、フレームbj−1からbj−1までのフレームの各音階音のレベルの平均とフレームbjからbj+1−1までのフレームの各音階音のレベルの平均を計算し、その増分値から各音階音のビート毎の音の変化度合いを求め、それらをすべての音階音で合計して計算することができる。 When the number of frames of the j-th beat is b j and the frames of the beats before and after the j-th beat are b j−1 and b j + 1 , the degree of change in sound for each beat of the j-th beat is from the frame b j−1. The average of the levels of each scale in the frames up to b j −1 and the average of the levels of each scale in the frames from b j to b j + 1 −1 are calculated. The degree of change of sound can be obtained and calculated by summing up all the scales.
つまり、フレーム時間tにおけるi番目の音階音のレベルをLi(t)とするとき、j番目のビートのi番目の音階音のレベルの平均Lavgi(j)は、下式数9であるから、j番目のビートのi番目の音階音のビート毎の音の変化度合いBaddi(j)は、下式数10に示すようになる。 That is, when the level of the i-th scale sound at the frame time t is L i (t), the average level L avg i (j) of the i-th scale sound level of the j-th beat is expressed by the following equation (9). Therefore, the sound change degree B addi (j) for each beat of the i-th tone of the j-th beat is expressed by the following equation (10).
よって、j番目のビートのビート毎の音の変化度合いB(j)は、下式数11に示すようになる。ここで、Tは音階音の総数である。 Therefore, the sound change degree B (j) for each beat of the j-th beat is as shown in the following equation (11). Here, T is the total number of scale sounds.
図11の最下段は、このビート毎の音の変化度合いである。このビート毎の音の変化度合いから拍子と1拍目の位置を求める。 The bottom row in FIG. 11 shows the degree of change in sound for each beat. The time signature and the position of the first beat are obtained from the degree of change in sound for each beat.
拍子は、ビート毎の音の変化度合いの自己相関から求める。一般的に音楽は1拍目で音が変わることが多いと考えられるので、このビート毎の音の変化度合いの自己相関から拍子を求めることができる。例えば、下式数12に示す自己相関φ(τ)を求める式から、ビート毎の音の変化度合いB(j)の自己相関φ(τ)を遅れτが、2から4の範囲で求め、自己相関φ(τ)が最大となる遅れτを拍子の数とする。 The time signature is obtained from the autocorrelation of the degree of sound change for each beat. In general, it is considered that the sound often changes in the first beat, so the time signature can be obtained from the autocorrelation of the sound change degree for each beat. For example, the autocorrelation φ (τ) of the sound change degree B (j) for each beat is determined in the range of 2 to 4 from the formula for obtaining the autocorrelation φ (τ) shown in the following equation (12). The delay τ that maximizes the autocorrelation φ (τ) is defined as the number of beats.
Nは、総ビート数、τ=2〜4の範囲でφ(τ)を計算し、φ(τ)が最大となるτを拍子の数とする。 N is the total number of beats, and φ (τ) is calculated in the range of τ = 2 to 4, and τ at which φ (τ) is the maximum is the number of beats.
次に1拍目を求めるが、これは、ビート毎の音の変化度合いB(j)がもっとも大きい箇所を1拍目とする。つまり、φ(τ)が最大となるτをτmax、下式数13のX(k)が最大となるkをkmaxとするとき、kmax番目のビートが最初の1拍目の位置となり、以降、τmaxを足したビート位置が1拍目となる。
Next, the first beat is obtained. This is the position where the sound change degree B (j) for each beat is the largest. That is, when phi (tau) is maximum tau and tau max, the k of X (k) is maximum the
以上のようにして、拍子及び1拍目の位置(小節線の位置)が決定したら、この結果をバッファ40に保存すると共に、検出した結果を画面表示して、ユーザに変更させるようにすることが望ましい。特に変拍子の曲は、この方法では対応できないので、変拍子の箇所をユーザに指定してもらう必要がある。
As described above, when the time signature and the position of the first beat (bar line position) are determined, the result is stored in the
以上の実施例構成により、人間が演奏したテンポの揺らぐ演奏の音響信号から、曲全体の平均的なテンポと正確なビート(拍)の位置、さらに曲の拍子と1拍目の位置を検出することが可能となる。 With the configuration of the above embodiment, the average tempo and accurate beat (beat) position of the entire song, as well as the time signature and the first beat position are detected from the acoustic signal of the performance of the tempo performed by a human. It becomes possible.
図12は、本発明のコード検出装置の全体ブロック図である。同図において、ビート検出及び小節検出の構成は、実施例1と基本的に同じであり、同一構成において、テンポ検出用とコード検出用の構成について、上記実施例1の場合と異なるものもあるので、数式等を除き、同じ説明が重なるが、以下に示す。 FIG. 12 is an overall block diagram of the code detection apparatus of the present invention. In the figure, the configuration of beat detection and measure detection is basically the same as that of the first embodiment, and in the same configuration, the tempo detection and chord detection configurations are different from those of the first embodiment. Therefore, the same description overlaps except for mathematical formulas and the like, and is shown below.
同図によれば、本コード検出装置の構成は、音響信号を入力する入力部1と、入力された音響信号から、所定の時間間隔で、ビート検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求めるビート検出用音階音レベル検出部2と、この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出部3と、このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出部4と、上記入力された音響信号から、先のビート検出の時とは異なる別の所定の時間間隔で、コード検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求めるコード検出用音階音レベル検出部5と、検出した各音階音のレベルのうち、各小節内における低域側の音階音のレベルからベース音を検出するベース音検出部6と、検出したベース音と各音階音のレベルから各小節のコード名を決定するコード名決定部7とを有している。
According to the figure, the configuration of the code detection device performs an FFT operation using parameters suitable for beat detection at predetermined time intervals from the
音楽音響信号を入力する上記入力部1は、コード検出をする対象の音楽音響信号を入力する部分であるが、基本的構成は上記実施例1の入力部1と同じであるので、その詳細な説明は省略する。ただし、通常センタに定位されるボーカルが後のコード検出でじゃまになる場合は、右チャンネルの波形と左チャンネルの波形を引き算することでボーカルキャンセルするようにしても良い。
The
このディジタル信号は、ビート検出用音階音レベル検出部2とコード検出用音階音レベル検出部5とに入力される。これらの音階音レベル検出部は、どちらも上記図2の各部から構成され、構成はまったく同じなので、同じものをパラメータだけを変えて再利用できる。
This digital signal is input to the beat detection
そしてその構成として使用される波形前処理部20は、上記と同様な構成であり、音楽音響信号の上記入力部1からの音響信号を今後の処理に適したサンプリング周波数にダウンサンプリングする。ただし、ダウンサンプリング後のサンプリング周波数、つまり、ダウンサンプリングレートは、ビート検出用とコード検出用で変えるようにしても良いし、ダウンサンプリングする時間を節約するために同じにしても良い。
The
ビート検出用の場合は、ビート検出に使う音域によってダウンサンプリングレートを決定する。シンバル、ハイハット等の高音域のリズム楽器の演奏音をビート検出に反映させるには、ダウンサンプリング後のサンプリング周波数を高い周波数にする必要があるが、ベース音とバスドラム、スネアドラム等の楽器音と中音域の楽器音から主にビート検出させる場合には、以下のコード検出時と同じダウンサンプリングレートで構わない。 In the case of beat detection, the downsampling rate is determined by the range used for beat detection. In order to reflect the performance sound of high-frequency rhythm instruments such as cymbals and hi-hats in beat detection, the sampling frequency after down-sampling needs to be set to a high frequency, but the bass sound and instrument sounds such as bass drum and snare drum In the case of detecting beats mainly from instrument sounds in the middle range, the same downsampling rate as that in the following chord detection may be used.
コード検出用の波形前処理部のダウンサンプリングレートは、コード検出音域によって変える。コード検出音域とは、コード名決定部でコード検出するときに使う音域のことである。例えばコード検出音域をC3からA6(C4が中央のド)とする場合、A6の基本周波数は約1760Hz(A4=440Hzとした場合)となるので、ダウンサンプリング後のサンプリング周波数はナイキスト周波数が1760Hz以上となる、3520Hz以上にすれば良い。これから、ダウンサンプリングレートは、元のサンプリング周波数が44.1kHz(音楽CD)の場合、1/12程度にすれば良いことになる。この時、ダウンサンプリング後のサンプリング周波数は、3675Hzとなる。 The down-sampling rate of the chord detection waveform pre-processing unit varies depending on the chord detection range. The chord detection tone range is a tone range used when chord detection is performed by the chord name determination unit. For example, if the chord detection sound range is C3 to A6 (C4 is the center), the basic frequency of A6 is about 1760 Hz (when A4 = 440 Hz), so the sampling frequency after downsampling is a Nyquist frequency of 1760 Hz or higher. It may be 3520 Hz or higher. From this, the downsampling rate may be about 1/12 when the original sampling frequency is 44.1 kHz (music CD). At this time, the sampling frequency after downsampling is 3675 Hz.
ダウンサンプリングの処理は、通常、ダウンサンプリング後のサンプリング周波数の半分の周波数であるナイキスト周波数(今の例では1837.5Hz)以上の成分をカットするローパスフィルタを通した後に、データを読み飛ばす(今の例では波形サンプルの12個に11個を破棄する)ことによって行われる。これについては、実施例1に説明したことと同じ理由による。 In the downsampling process, data is skipped after passing through a low-pass filter that cuts off components above the Nyquist frequency (1837.5 Hz in this example), which is usually half the sampling frequency after downsampling (now In this example, 11 out of 12 waveform samples are discarded). This is for the same reason as described in the first embodiment.
このようにして波形前処理部20によるダウンサンプリングが終了したら、所定の時間間隔で、波形前処理部の出力信号をFFT演算部21により、FFT(高速フーリエ変換)する。
When the downsampling by the
FFTのパラメータ(FFTポイント数とFFT窓のシフト量)は、ビート検出時とコード検出時で異なる値とする。これは、周波数分解能を上げるためにFFTポイント数を大きくすると、FFT窓のサイズが大きくなってしまい、より長い時間から1回のFFTを行うことになり、時間分解能が低下する、というFFTの特性によるものである(つまりビート検出時は周波数分解能を犠牲にして時間分解能をあげるのが良い)。窓のサイズと同じだけの長さの波形を使わないで、窓の一部だけに波形データをセットし、残りは0で埋めることによってFFTポイント数を大きくしても時間分解能が悪くならない方法もあるが、本実施例のケースでは、低音側のパワーも正しく検出するためにある程度の波形サンプル数は必要である。 The FFT parameters (the number of FFT points and the shift amount of the FFT window) are different values at the time of beat detection and code detection. This is because if the number of FFT points is increased to increase the frequency resolution, the size of the FFT window increases, and one FFT is performed from a longer time, resulting in a decrease in time resolution. (In other words, it is better to increase the time resolution at the expense of frequency resolution when detecting beats). A method that does not deteriorate the time resolution even if the number of FFT points is increased by setting waveform data to only a part of the window and filling the rest with 0 without using a waveform with the same length as the window size. However, in the case of the present embodiment, a certain number of waveform samples are necessary in order to correctly detect the power on the bass side.
以上のようなことを考慮し、本実施例では、ビート検出時はFFTポイント数512、窓のシフトは32サンプルで、0埋めなし、コード検出時はFFTポイント数8192、窓のシフトは128サンプルで、波形サンプルは一度のFFTで1024サンプル使うようにした。このような設定でFFT演算を行うと、ビート検出時は、時間分解能約8.7ms、周波数分解能約7.2Hz、コード検出時は、時間分解能約35ms、周波数分解能約0.4Hzとなる。今レベルを求めようとしている音階音は、C1からA6の範囲であるので、コード検出時の周波数分解能約0.4Hzは、最も周波数差の小さいC1とC#1の基本周波数の差、約1.9Hzにも対応できる。また、四分音符=300のテンポの曲で32分音符の長さが25msであることを考えると、ビート検出時の時間分解能約8.7msは、十分な値であることがわかる。
In consideration of the above, in this embodiment, the number of FFT points is 512 at the time of beat detection, the window shift is 32 samples, 0 padding is not performed, the number of FFT points is 8192 at the time of code detection, and the window shift is 128 samples. Then, 1024 samples were used for the waveform sample in one FFT. When FFT calculation is performed with such a setting, the time resolution is about 8.7 ms and the frequency resolution is about 7.2 Hz when the beat is detected, and the time resolution is about 35 ms and the frequency resolution is about 0.4 Hz when the code is detected. Since the scale tone for which the level is to be obtained is in the range from C1 to A6, the frequency resolution of about 0.4 Hz at the time of detecting the chord is the difference between the basic frequency of C1 and
このようにして、所定の時間間隔毎にFFT演算が行われ、その実数部と虚数部のそれぞれを二乗したものの和の平方根からパワーが計算され、その結果がレベル検出部22に送られる。
In this way, the FFT operation is performed at predetermined time intervals, the power is calculated from the square root of the sum of the squares of the real part and the imaginary part, and the result is sent to the
レベル検出部22では、FFT演算部21で計算されたパワー・スペクトルから、各音階音のレベルを計算する。FFTは、サンプリング周波数をFFTポイント数で割った値の整数倍の周波数のパワーが計算されるだけであるので、このパワー・スペクトルから各音階音のレベルを検出するために、実施例1と同様な処理を行う。すなわち、音階音を計算するすべての音(C1からA6)について、その各音の基本周波数の上下50セントの範囲(100セントが半音)の周波数に相当するパワー・スペクトルの内、最大のパワーを持つスペクトルのパワーをこの音階音のレベルとする。
The
すべての音階音についてレベルが検出されたら、これをバッファに保存し、波形の読み出し位置を所定の時間間隔(先の例ではビート検出時は32サンプル、コード検出時は128サンプル)進めて、FFT演算部21とレベル検出部22を波形の終わりまで繰り返す。
When the levels are detected for all the scale sounds, this is stored in the buffer, and the waveform read position is advanced by a predetermined time interval (32 samples at the time of beat detection and 128 samples at the time of chord detection in the previous example), and FFT is performed. The calculation unit 21 and the
以上により、音楽音響信号の入力部1に入力された音響信号の、所定時間毎の各音階音のレベルが、ビート検出用とコード検出用の2種類のバッファ23及び50に保存される。
As described above, the level of each scale sound of the sound signal input to the music sound
次に、図12のビート検出部3及び小節検出部4の構成については、実施例1のビート検出部3及び小節検出部4と同じ構成なので、その詳細な説明は、ここでは、省略する。
Next, since the configurations of the
実施例1と同様な構成と手順で、小節線の位置(各小節のフレーム番号)が確定したので、今度は各小節のベース音を検出する。 Since the position of the bar line (the frame number of each bar) is determined by the same configuration and procedure as in the first embodiment, the bass sound of each bar is detected this time.
ベース音は、コード検出用音階音レベル検出部5が出力した各フレームの音階音のレベルから検出する。 The bass sound is detected from the scale level of each frame output by the chord detection scale level detector 5.
図13に実施例1の図4と同じ曲の同じ部分のコード検出用音階音レベル検出部5が出力した各フレームの音階音のレベルを示す。この図のように、コード検出用音階音レベル検出部5での周波数分解能は、約0.4Hzであるので、C1からA6のすべての音階音のレベルが抽出されている。 FIG. 13 shows the scale level of each frame output by the chord detection scale level detector 5 of the same part of the same song as FIG. 4 of the first embodiment. As shown in this figure, since the frequency resolution in the chord detection scale sound level detector 5 is about 0.4 Hz, the levels of all the scale sounds C1 to A6 are extracted.
ベース音は、小節の前半と後半で異なる可能性があるので、ベース音検出部6により、各小節の前半と後半でそれぞれ検出する。前半と後半のベース音が同じ音のときは、小節のベース音としてこれを確定し、コードも小節全体で検出する。前半と後半で別の音のベース音が検出されたときは、コードも前半と後半に分けて検出する。場合によっては、分割する範囲を更に半分にまで(小節の4分の1まで)狭めてもよい。
Since the bass sound may be different between the first half and the second half of the measure, the bass
ベース音は、ベース検出期間におけるベース検出音域の音階音のレベルの平均的な強さから求める。 The bass sound is obtained from the average intensity of the scale sound level in the bass detection range during the bass detection period.
フレーム時間tにおけるi番目の音階音のレベルをLi(t)とすると、フレームfsからfeのi番目の音階音の平均的なレベルLavgi(fs,fe)は、下式数14で計算できる。 When the level of the i-th note in the scale at frame time t and L i (t), the average level of the i th scale notes of f e from the frame f s L avgi (f s, f e) is the following formula It can be calculated by Equation 14.
この平均的なレベルをベース検出音域、例えばC2からB3の範囲で計算し、平均的なレベルが最も大きな音階音をベース音として、ベース音検出部6は、決定する。ベース検出音域に音が含まれない曲や無音部分で間違ってベース音を検出しないために、適当な閾値を設定し、検出したベース音の平均的なレベルが、この閾値以下の場合は、ベース音を検出しないようにしてもよい。また、後のコード検出でベース音を重要視する場合には、検出したベース音がベース検出期間中継続してあるレベル以上を保っているかどうかをチェックするようにして、より確実なものだけをベース音として検出するようにしてもよい。さらに、ベース検出音域中、平均的なレベルが最も大きい音階音をベース音として決定するのではなく、この各音名の平均的なレベルを12の音名毎に平均し、この音名毎のレベルが最も大きな音名をベース音名として決定し、その音名を持つベース検出音域の中の音階音で、平均的なレベルが最も大きい音階音をベース音として決定するようにしてもよい。
This average level is calculated in the bass detection range, for example, in the range from C2 to B3, and the bass
ベース音が決定したら、この結果をバッファ60に保存すると共に、ベース検出結果を画面表示して、間違っている場合にはユーザに修正させるようにしてもよい。また、曲によってベース音域が変わることも考えられるので、ユーザがベース検出音域を変更できるようにしてもよい。 When the bass sound is determined, the result may be stored in the buffer 60, and the bass detection result may be displayed on the screen so that the user can correct it if it is incorrect. Further, since the bass range may be changed depending on the song, the user may be able to change the bass detection range.
図14に、ベース音検出部6によるベース検出結果の表示例を示す。
In FIG. 14, the example of a display of the bass detection result by the bass
次にコード名決定部7によるコード検出処理であるが、該コード検出処理も、同じようにコード検出期間における各音階音の平均的なレベルを計算することによって決定する。
Next, the chord detection process by the chord
本実施例では、コード検出期間とベース検出期間は同一としている。コード検出音域、例えばC3からA6の各音階音のコード検出期間における平均的なレベルを計算し、これが大きな値を持つ音階音から順に数個の音名を検出し、これとベース音の音名からコード名候補を抽出する。 In this embodiment, the code detection period and the base detection period are the same. The average level in the chord detection period, for example, the C3 to A6 scales in the chord detection period is calculated, and several pitch names are detected in order from the scale that has the largest value, and the pitch names of the bass sounds Extract code name candidates from.
この際、必ずしもレベルが大きな音がコード構成音であるとは限らないので、複数の音名の音を例えば5つ検出し、その中の2つ以上をすべての組み合わせで抜き出して、これとベース音の音名とからコード名候補の抽出を行う。 At this time, since a sound with a high level is not necessarily a chord component sound, for example, five sounds having a plurality of pitch names are detected, and two or more of them are extracted in all combinations, and this is used as a base. Extract chord name candidates from the pitch names of the sounds.
コードに関しても、平均的なレベルが閾値以下のものは検出しないようにしてもよい。また、コード検出音域もユーザが変更できるようにしてもよい。さらに、コード検出音域中、平均的なレベルが最も大きい音階音から順にコード構成音候補を抽出するのではなく、このコード検出音域内の各音名の平均的なレベルを12の音名毎に平均し、この音名毎のレベルの最も大きな音名から順にコード構成音候補を抽出してもよい。 As for the code, the code whose average level is less than or equal to the threshold value may not be detected. Also, the chord detection range may be changed by the user. Further, the chord constituent sound candidates are not extracted in order from the scale sound having the highest average level in the chord detection range, but the average level of each pitch name in the chord detection range is set for every 12 pitch names. On average, chord constituent sound candidates may be extracted in order from the sound name having the largest level for each sound name.
コード名候補の抽出は、コードのタイプ(m、M7等)とコード構成音のルート音からの音程を保存したコード名データベースを、コード名決定部7により検索することによって抽出する。つまり、検出した5つの音名の中からすべての2つ以上の組み合わせを抜き出し、これらの音名間の音程が、このコード名データベースのコード構成音の音程の関係にあるかどうかをしらみつぶしに調べ、同じ音程関係にあれば、コード構成音のいずれかの音名からルート音を算出し、そのルート音の音名にコードタイプを付けて、コード名を決定する。このとき、コードのルート音(根音)や5度の音は、コードを演奏する楽器では省略されることがあるので、これらを含まなくてもコード名候補として抽出するようにする。ベース音を検出した場合には、このコード名候補のコード名にベース音の音名を加える。すなわち、コードのルート音とベース音が同じ音名であればそのままでよいし、異なる音名の場合は分数コードとする。
The chord name candidates are extracted by searching the chord
上記方法では、抽出されるコード名候補が多すぎるという場合には、ベース音による限定を行ってもよい。つまり、ベース音が検出された場合には、コード名候補の中でそのルート音がベース音と同じ音名でないものは削除する。 In the above method, when there are too many code name candidates to be extracted, limitation by bass sound may be performed. That is, when a bass sound is detected, chord name candidates whose root sound is not the same as the base sound are deleted.
コード名候補が複数抽出された場合には、これらの中でどれか1つを決定するために、コード名決定部7により、尤度(もっともらしさ)の計算をする。
When a plurality of code name candidates are extracted, the code
尤度は、コード検出音域におけるすべてのコード構成音のレベルの強さの平均とベース検出音域におけるコードのルート音のレベルの強さから計算する。すなわち、抽出されたあるコード名候補のすべての構成音のコード検出期間における平均レベルの平均値をLavgc、コードのルート音のベース検出期間における平均レベルをLavgrとすると、下式数15のように、この2つの平均により尤度を計算する。
The likelihood is calculated from the average level intensity of all chord constituent sounds in the chord detection range and the level intensity of the chord root tone in the base detection range. That is, the average level of the average value L avgC in code detection periods for all constituent notes of a chord name candidates extracted, when the average level at the base detection period route of the chord and L AVGR, the
この際、コード検出音域やベース検出音域に同一音名の音が複数含まれる場合には、それらのうち、平均レベルの強い方を使うようにする。あるいは、コード検出音域とベース検出音域のそれぞれで、各音階音の平均レベルを12の音名毎に平均し、その音名毎の平均値を使うようにしてもよい。 At this time, when a plurality of sounds having the same pitch name are included in the chord detection range and the bass detection range, the one with the stronger average level is used. Alternatively, in each of the chord detection range and the bass detection range, the average level of each scale sound may be averaged for every 12 pitch names, and the average value for each pitch name may be used.
さらに、この尤度の計算に音楽的な知識を導入してもよい。例えば、各音階音のレベルを全フレームで平均し、それを12の音名毎に平均して各音名の強さを計算し、その強さの分布から曲の調を検出する。そして、調のダイアトニックコードには尤度が大きくなるようにある定数を掛ける、あるいは、調のダイアトニックスケール上の音から外れた音を構成音に含むコードはその外れた音の数に応じて尤度が小さくなるようにする等が、考えられる。さらにコード進行のよくあるパターンをデータベースとして記憶しておき、それと比較することで、コード候補の中からよく使われる進行になるようなものは尤度が大きくなるようにある定数を掛けるようにしてもよい。 Further, musical knowledge may be introduced into the likelihood calculation. For example, the level of each musical note is averaged over all frames, and is averaged for every 12 pitch names to calculate the strength of each pitch name, and the key of the song is detected from the distribution of the strength. Then, the key diatonic chord is multiplied by a certain constant so that the likelihood is increased, or the chord that includes the sound deviating from the sound on the key diatonic scale depends on the number of the deviated sounds. For example, the likelihood may be reduced. In addition, by storing a pattern of common chord progressions as a database and comparing it with the ones that are frequently used among chord candidates, a certain constant is applied to increase the likelihood. Also good.
最も尤度が大きいものをコード名として決定するが、コード名の候補を尤度とともに表示し、ユーザに選択させるようにしてもよい。 The code having the highest likelihood is determined as the code name. However, the code name candidates may be displayed together with the likelihood to be selected by the user.
いずれにしても、コード名決定部7により、コード名が決定したら、この結果をバッファ70に保存すると共に、コード名が、画面出力されることになる。
In any case, when the code name is determined by the code
図15に、コード名決定部7によるコード検出結果の表示例を示す。このように検出されたコード名を画面表示するだけでなく、MIDI機器等を使って、検出されたコードとベース音を再生するようにすることが望ましい。一般的には、コード名を見ただけで正しいかどうかは判断できないからである。
FIG. 15 shows a display example of the code detection result by the code
以上説明した本実施例構成によれば、特別な音楽的知識を有する専門家でなくても、音楽CD等の複数の楽器音の混ざった入力された音楽音響信号に対し、個々の音符情報を検出することなしに全体の響きから、コード名を検出することができるようになる。 According to the configuration of the present embodiment described above, even if not an expert having special musical knowledge, individual note information is input to an input music sound signal mixed with a plurality of instrument sounds such as a music CD. The code name can be detected from the overall sound without detection.
さらに、該構成によれば、構成音が同じ和音でも判別可能で、演奏のテンポが揺らいでしまった場合や、逆にわざとテンポを揺らして演奏しているような音源に関しても、小節毎のコード名が検出可能となる。 In addition, according to this configuration, even if the constituent sounds are the same chord, even if the performance tempo fluctuates, or conversely, the sound source that is playing intentionally fluctuating the tempo, the code for each measure The name can be detected.
特に本実施例構成では、簡単な構成のみでビート検出という時間分解能が必要な処理(上記テンポ検出装置の構成と同じ)と、コード検出という周波数分解能が必要な処理(上記テンポ検出装置の構成を基にさらにコード名を検出できる構成)を同時に行うことができるようになる。 In particular, in the configuration of this embodiment, processing that requires time resolution of beat detection with the simple configuration (same as the configuration of the tempo detection device) and processing that requires frequency resolution of code detection (configuration of the tempo detection device described above). Based on this, it is possible to simultaneously perform a configuration in which a code name can be detected.
尚、本発明のテンポ検出装置、コード名検出装置及びそれらを実現できるプログラムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 The tempo detection device, the code name detection device, and the program capable of realizing them according to the present invention are not limited to the above illustrated examples, and various modifications can be made without departing from the scope of the present invention. Of course.
本発明のテンポ検出装置、コード名検出装置及びそれらを実現できるプログラムは、ミュージックプロモーションビデオの作成の際などに音楽トラック中のビートの時刻に対して映像トラック中のイベントを同期させるビデオ編集処理や、ビートトラッキングによりビートの位置を見つけ音楽の音響信号の波形を切り貼りするオーディオ編集処理、人間の演奏に同期して照明の色・明るさ・方向・特殊効果などといった要素を制御したり、観客の手拍子や歓声などを自動制御するライブステージのイベント制御、音楽に同期したコンピュータグラフィックスなど、種々の分野で利用可能である。 The tempo detection device, the code name detection device of the present invention, and a program capable of realizing them include a video editing process for synchronizing an event in a video track with a beat time in a music track when creating a music promotion video, etc. Audio editing processing that finds beat positions by beat tracking, cuts and pastes the sound signal waveform of music, controls elements such as lighting color, brightness, direction, special effects, etc. in synchronization with human performance, It can be used in various fields, such as live stage event control that automatically controls clapping and cheering, and computer graphics synchronized with music.
1 入力部
2 ビート検出用音階音レベル検出部
3 ビート検出部
4 小節検出部
5 コード検出用音階音レベル検出部
6 ベース音検出部
7 コード名決定部
20 波形前処理部
21 FFT演算部
22 レベル検出部
23、30、40、50、60、70 バッファ
DESCRIPTION OF
Claims (10)
入力された音響信号から、所定の時間間隔で、FFT演算を行い、所定の時間毎の各音階音のレベルを求める音階音レベル検出手段と、
この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出手段と、
このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出手段と
を有することを特徴とするテンポ検出装置。 An input means for inputting an acoustic signal;
A scale sound level detection means for performing an FFT operation at a predetermined time interval from an input acoustic signal and obtaining a level of each scale sound for each predetermined time;
The increment value of each scale sound level for each predetermined time is summed for all the scale sounds to obtain a total of level increment values indicating the degree of change in the overall sound for each predetermined time. Beat detection means for detecting the average beat interval and the position of each beat from the sum of the incremental values of the level indicating the degree of change in the overall sound for each,
The average value of the scale level for each beat is calculated, and the increment value of the average level of each scale sound for each beat is added for all the scale sounds to indicate the degree of change in the overall sound for each beat. A tempo detecting device comprising bar detecting means for obtaining a value and detecting a time signature and a bar line position from a value indicating a degree of change of the entire sound for each beat.
入力された音響信号から、所定の時間間隔で、ビート検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求める第1の音階音レベル検出手段と、
この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出手段と、
このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出手段と、
上記入力された音響信号から、先のビート検出の時とは異なる別の所定の時間間隔で、コード検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求める第2の音階音レベル検出手段と、
検出した各音階音のレベルのうち、各小節内における低域側の音階音のレベルからベース音を検出するベース音検出手段と、
検出したベース音と各音階音のレベルから各小節のコード名を決定するコード名決定手段と
を有することを特徴とするコード名検出装置。 An input means for inputting an acoustic signal;
First scale sound level detection means for performing FFT calculation using a parameter suitable for beat detection at predetermined time intervals from the input acoustic signal, and obtaining the level of each scale sound for each predetermined time;
The increment value of each scale sound level for each predetermined time is summed for all the scale sounds to obtain a total of level increment values indicating the degree of change in the overall sound for each predetermined time. Beat detection means for detecting the average beat interval and the position of each beat from the sum of the incremental values of the level indicating the degree of change in the overall sound for each,
The average value of the scale level for each beat is calculated, and the increment value of the average level of each scale sound for each beat is added for all the scale sounds to indicate the degree of change in the overall sound for each beat. A bar detecting means for obtaining a value and detecting a time signature and a bar line position from a value indicating a change degree of the whole sound for each beat;
From the input acoustic signal, an FFT operation is performed using a parameter suitable for chord detection at a predetermined time interval different from that at the time of the previous beat detection, and the level of each scale sound for each predetermined time is calculated. Second scale level detection means to be obtained;
Bass sound detection means for detecting a bass sound from the level of the low-frequency scale sound in each measure out of the detected scale levels,
A chord name detecting device comprising chord name determining means for determining a chord name of each measure from the detected bass sound and the level of each scale sound.
音響信号を入力する入力手段と、
入力された音響信号から、所定の時間間隔で、FFT演算を行い、所定の時間毎の各音階音のレベルを求める音階音レベル検出手段と、
この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出手段と、
このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出手段と
して機能させることを特徴とするテンポ検出用プログラム。 Computer
An input means for inputting an acoustic signal;
A scale sound level detection means for performing an FFT operation at a predetermined time interval from an input acoustic signal and obtaining a level of each scale sound for each predetermined time;
The increment value of each scale sound level for each predetermined time is summed for all the scale sounds to obtain a total of level increment values indicating the degree of change in the overall sound for each predetermined time. Beat detection means for detecting the average beat interval and the position of each beat from the sum of the incremental values of the level indicating the degree of change in the overall sound for each,
The average value of the scale level for each beat is calculated, and the increment value of the average level of each scale sound for each beat is added for all the scale sounds to indicate the degree of change in the overall sound for each beat. A tempo detection program for obtaining a value and functioning as a measure detecting means for detecting a time signature and a measure line position from a value indicating a degree of change in the overall sound for each beat.
音響信号を入力する入力手段と、
入力された音響信号から、所定の時間間隔で、ビート検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求める第1の音階音レベル検出手段と、
この所定の時間毎の各音階音のレベルの増分値をすべての音階音について合計して、所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計を求め、この所定の時間毎の全体の音の変化度合いを示すレベルの増分値の合計から、平均的なビート間隔と各ビートの位置を検出するビート検出手段と、
このビート毎の各音階音のレベルの平均値を計算し、このビート毎の各音階音の平均レベルの増分値をすべての音階音について合計して、ビート毎の全体の音の変化度合いを示す値を求め、このビート毎の全体の音の変化度合いを示す値から、拍子と小節線位置を検出する小節検出手段と、
上記入力された音響信号から、先のビート検出の時とは異なる別の所定の時間間隔で、コード検出に適したパラメータを使ってFFT演算を行い、所定の時間毎の各音階音のレベルを求める第2の音階音レベル検出手段と、
検出した各音階音のレベルのうち、各小節内における低域側の音階音のレベルからベース音を検出するベース音検出手段と、
検出したベース音と各音階音のレベルから各小節のコード名を決定するコード名決定手段と
して機能させることを特徴とするコード名検出用プログラム。 Computer
An input means for inputting an acoustic signal;
First scale sound level detection means for performing FFT calculation using a parameter suitable for beat detection at predetermined time intervals from the input acoustic signal, and obtaining the level of each scale sound for each predetermined time;
The increment value of each scale sound level for each predetermined time is summed for all the scale sounds to obtain a total of level increment values indicating the degree of change in the overall sound for each predetermined time. Beat detection means for detecting the average beat interval and the position of each beat from the sum of the incremental values of the level indicating the degree of change in the overall sound for each,
The average value of the scale level for each beat is calculated, and the increment value of the average level of each scale sound for each beat is added for all the scale sounds to indicate the degree of change in the overall sound for each beat. A bar detecting means for obtaining a value and detecting a time signature and a bar line position from a value indicating a change degree of the whole sound for each beat;
From the input acoustic signal, an FFT operation is performed using a parameter suitable for chord detection at a predetermined time interval different from that at the time of the previous beat detection, and the level of each scale sound for each predetermined time is calculated. Second scale level detection means to be obtained;
Bass sound detection means for detecting a bass sound from the level of the low-frequency scale sound in each measure out of the detected scale levels,
A chord name detection program which functions as chord name determination means for determining chord names of each measure from the detected bass sound and the level of each scale sound.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006001194A JP4767691B2 (en) | 2005-07-19 | 2006-01-06 | Tempo detection device, code name detection device, and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005208062 | 2005-07-19 | ||
JP2005208062 | 2005-07-19 | ||
JP2006001194A JP4767691B2 (en) | 2005-07-19 | 2006-01-06 | Tempo detection device, code name detection device, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007052394A true JP2007052394A (en) | 2007-03-01 |
JP2007052394A5 JP2007052394A5 (en) | 2008-08-14 |
JP4767691B2 JP4767691B2 (en) | 2011-09-07 |
Family
ID=37916870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006001194A Active JP4767691B2 (en) | 2005-07-19 | 2006-01-06 | Tempo detection device, code name detection device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4767691B2 (en) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008102405A (en) * | 2006-10-20 | 2008-05-01 | Sony Corp | Signal processing device and method, program, and recording medium |
JP2008102406A (en) * | 2006-10-20 | 2008-05-01 | Sony Corp | Signal processing device and method, program, and recording medium |
JP2008250008A (en) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | Musical sound processing apparatus and program |
JP2008275975A (en) * | 2007-05-01 | 2008-11-13 | Kawai Musical Instr Mfg Co Ltd | Rhythm detector and computer program for detecting rhythm |
JP2008283305A (en) * | 2007-05-08 | 2008-11-20 | Sony Corp | Beat emphasizing device, audio output device, electronic equipment, and beat output method |
JP2008310138A (en) * | 2007-06-15 | 2008-12-25 | Toshiba Corp | Scene classifier |
JP2009003225A (en) * | 2007-06-22 | 2009-01-08 | Kawai Musical Instr Mfg Co Ltd | Chord name detector and program for chord name detection |
JP2009014802A (en) * | 2007-07-02 | 2009-01-22 | Kawai Musical Instr Mfg Co Ltd | Chord name detecting device and chord name detection program |
JP2009198581A (en) * | 2008-02-19 | 2009-09-03 | Yamaha Corp | Sound processing apparatus and program |
JP2009265493A (en) * | 2008-04-28 | 2009-11-12 | Yamaha Corp | Sound processing device and program |
JP2010025972A (en) * | 2008-07-15 | 2010-02-04 | Kawai Musical Instr Mfg Co Ltd | Code name-detecting device and code name-detecting program |
JP2010066336A (en) * | 2008-09-09 | 2010-03-25 | Kawai Musical Instr Mfg Co Ltd | Music piece data editor and computer program for editing music piece data |
JP2011095409A (en) * | 2009-10-28 | 2011-05-12 | Kawai Musical Instr Mfg Co Ltd | Grid detecting device and program |
JP2012252200A (en) * | 2011-06-03 | 2012-12-20 | Yamaha Corp | Sequence data editing device and program |
JP2015525895A (en) * | 2012-06-29 | 2015-09-07 | ノキア コーポレイション | Audio signal analysis |
JP2015200803A (en) * | 2014-04-09 | 2015-11-12 | ヤマハ株式会社 | Acoustic signal analysis device and acoustic signal analysis program |
JP2016191855A (en) * | 2015-03-31 | 2016-11-10 | カシオ計算機株式会社 | Genre selection device, genre selection method, program and electronic musical instrument |
US9653056B2 (en) | 2012-04-30 | 2017-05-16 | Nokia Technologies Oy | Evaluation of beats, chords and downbeats from a musical audio signal |
JP2017161852A (en) * | 2016-03-11 | 2017-09-14 | ヤマハ株式会社 | Sound signal processing method |
WO2019043797A1 (en) * | 2017-08-29 | 2019-03-07 | Pioneer DJ株式会社 | Song analysis device and song analysis program |
EP3346468A4 (en) * | 2015-09-03 | 2019-04-24 | Pioneer DJ Corporation | Musical-piece analysis device, musical-piece analysis method, and musical-piece analysis program |
JP2020038328A (en) * | 2018-09-05 | 2020-03-12 | 国立大学法人秋田大学 | Code recognition method, code recognition program, and code recognition system |
CN111383621A (en) * | 2018-12-28 | 2020-07-07 | 罗兰株式会社 | Information processing device, rhythm detection device, and image processing system |
CN112908288A (en) * | 2021-01-25 | 2021-06-04 | 北京达佳互联信息技术有限公司 | Beat detection method, beat detection device, electronic device, and storage medium |
CN113066512A (en) * | 2021-03-24 | 2021-07-02 | 平安科技(深圳)有限公司 | Buddhism music recognition method, device, equipment and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05100661A (en) * | 1991-10-11 | 1993-04-23 | Brother Ind Ltd | Measure border time extraction device |
JPH07295560A (en) * | 1994-04-27 | 1995-11-10 | Victor Co Of Japan Ltd | Midi data editing device |
JP2002116754A (en) * | 2000-07-31 | 2002-04-19 | Matsushita Electric Ind Co Ltd | Tempo extraction device, tempo extraction method, tempo extraction program and recording medium |
JP2002215195A (en) * | 2000-11-06 | 2002-07-31 | Matsushita Electric Ind Co Ltd | Music signal processor |
-
2006
- 2006-01-06 JP JP2006001194A patent/JP4767691B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05100661A (en) * | 1991-10-11 | 1993-04-23 | Brother Ind Ltd | Measure border time extraction device |
JPH07295560A (en) * | 1994-04-27 | 1995-11-10 | Victor Co Of Japan Ltd | Midi data editing device |
JP2002116754A (en) * | 2000-07-31 | 2002-04-19 | Matsushita Electric Ind Co Ltd | Tempo extraction device, tempo extraction method, tempo extraction program and recording medium |
JP2002215195A (en) * | 2000-11-06 | 2002-07-31 | Matsushita Electric Ind Co Ltd | Music signal processor |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008102406A (en) * | 2006-10-20 | 2008-05-01 | Sony Corp | Signal processing device and method, program, and recording medium |
JP2008102405A (en) * | 2006-10-20 | 2008-05-01 | Sony Corp | Signal processing device and method, program, and recording medium |
US7601907B2 (en) | 2006-10-20 | 2009-10-13 | Sony Corporation | Signal processing apparatus and method, program, and recording medium |
JP4613923B2 (en) * | 2007-03-30 | 2011-01-19 | ヤマハ株式会社 | Musical sound processing apparatus and program |
JP2008250008A (en) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | Musical sound processing apparatus and program |
JP2008275975A (en) * | 2007-05-01 | 2008-11-13 | Kawai Musical Instr Mfg Co Ltd | Rhythm detector and computer program for detecting rhythm |
JP2008283305A (en) * | 2007-05-08 | 2008-11-20 | Sony Corp | Beat emphasizing device, audio output device, electronic equipment, and beat output method |
JP2008310138A (en) * | 2007-06-15 | 2008-12-25 | Toshiba Corp | Scene classifier |
JP2009003225A (en) * | 2007-06-22 | 2009-01-08 | Kawai Musical Instr Mfg Co Ltd | Chord name detector and program for chord name detection |
JP2009014802A (en) * | 2007-07-02 | 2009-01-22 | Kawai Musical Instr Mfg Co Ltd | Chord name detecting device and chord name detection program |
JP2009198581A (en) * | 2008-02-19 | 2009-09-03 | Yamaha Corp | Sound processing apparatus and program |
JP2009265493A (en) * | 2008-04-28 | 2009-11-12 | Yamaha Corp | Sound processing device and program |
JP2010025972A (en) * | 2008-07-15 | 2010-02-04 | Kawai Musical Instr Mfg Co Ltd | Code name-detecting device and code name-detecting program |
JP2010066336A (en) * | 2008-09-09 | 2010-03-25 | Kawai Musical Instr Mfg Co Ltd | Music piece data editor and computer program for editing music piece data |
JP2011095409A (en) * | 2009-10-28 | 2011-05-12 | Kawai Musical Instr Mfg Co Ltd | Grid detecting device and program |
JP2012252200A (en) * | 2011-06-03 | 2012-12-20 | Yamaha Corp | Sequence data editing device and program |
US9653056B2 (en) | 2012-04-30 | 2017-05-16 | Nokia Technologies Oy | Evaluation of beats, chords and downbeats from a musical audio signal |
JP2015525895A (en) * | 2012-06-29 | 2015-09-07 | ノキア コーポレイション | Audio signal analysis |
US9418643B2 (en) | 2012-06-29 | 2016-08-16 | Nokia Technologies Oy | Audio signal analysis |
JP2015200803A (en) * | 2014-04-09 | 2015-11-12 | ヤマハ株式会社 | Acoustic signal analysis device and acoustic signal analysis program |
JP2016191855A (en) * | 2015-03-31 | 2016-11-10 | カシオ計算機株式会社 | Genre selection device, genre selection method, program and electronic musical instrument |
EP3346468A4 (en) * | 2015-09-03 | 2019-04-24 | Pioneer DJ Corporation | Musical-piece analysis device, musical-piece analysis method, and musical-piece analysis program |
JP2017161852A (en) * | 2016-03-11 | 2017-09-14 | ヤマハ株式会社 | Sound signal processing method |
WO2017155098A1 (en) * | 2016-03-11 | 2017-09-14 | ヤマハ株式会社 | Sound signal processing method and sound signal processing device |
CN108780634A (en) * | 2016-03-11 | 2018-11-09 | 雅马哈株式会社 | Audio signal processing method and audio-signal processing apparatus |
US10629177B2 (en) | 2016-03-11 | 2020-04-21 | Yamaha Corporation | Sound signal processing method and sound signal processing device |
JPWO2019043797A1 (en) * | 2017-08-29 | 2020-10-01 | AlphaTheta株式会社 | Music analysis device and music analysis program |
WO2019043797A1 (en) * | 2017-08-29 | 2019-03-07 | Pioneer DJ株式会社 | Song analysis device and song analysis program |
US11176915B2 (en) | 2017-08-29 | 2021-11-16 | Alphatheta Corporation | Song analysis device and song analysis program |
JP2020038328A (en) * | 2018-09-05 | 2020-03-12 | 国立大学法人秋田大学 | Code recognition method, code recognition program, and code recognition system |
CN111383621A (en) * | 2018-12-28 | 2020-07-07 | 罗兰株式会社 | Information processing device, rhythm detection device, and image processing system |
CN112908288A (en) * | 2021-01-25 | 2021-06-04 | 北京达佳互联信息技术有限公司 | Beat detection method, beat detection device, electronic device, and storage medium |
CN112908288B (en) * | 2021-01-25 | 2023-11-21 | 北京达佳互联信息技术有限公司 | Beat detection method, beat detection device, electronic equipment and storage medium |
CN113066512A (en) * | 2021-03-24 | 2021-07-02 | 平安科技(深圳)有限公司 | Buddhism music recognition method, device, equipment and storage medium |
CN113066512B (en) * | 2021-03-24 | 2024-02-23 | 平安科技(深圳)有限公司 | Buddhism music identification method, device, equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4767691B2 (en) | 2011-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4767691B2 (en) | Tempo detection device, code name detection device, and program | |
JP4823804B2 (en) | Code name detection device and code name detection program | |
JP4672613B2 (en) | Tempo detection device and computer program for tempo detection | |
US7582824B2 (en) | Tempo detection apparatus, chord-name detection apparatus, and programs therefor | |
JP4916947B2 (en) | Rhythm detection device and computer program for rhythm detection | |
KR100949872B1 (en) | Song practice support device, control method for a song practice support device and computer readable medium storing a program for causing a computer to excute a control method for controlling a song practice support device | |
JP6759560B2 (en) | Tuning estimation device and tuning estimation method | |
JP5229998B2 (en) | Code name detection device and code name detection program | |
JP5196550B2 (en) | Code detection apparatus and code detection program | |
JP3996565B2 (en) | Karaoke equipment | |
JP4910854B2 (en) | Fist detection device, fist detection method and program | |
JP6657713B2 (en) | Sound processing device and sound processing method | |
JP5005445B2 (en) | Code name detection device and code name detection program | |
JP4204941B2 (en) | Karaoke equipment | |
JP4932614B2 (en) | Code name detection device and code name detection program | |
JP5153517B2 (en) | Code name detection device and computer program for code name detection | |
JP3599686B2 (en) | Karaoke device that detects the critical pitch of the vocal range when singing karaoke | |
JP4839967B2 (en) | Instruction device and program | |
JP6788560B2 (en) | Singing evaluation device, singing evaluation program, singing evaluation method and karaoke device | |
JP2010032809A (en) | Automatic musical performance device and computer program for automatic musical performance | |
JP2005107332A (en) | Karaoke machine | |
JP4159961B2 (en) | Karaoke equipment | |
JP2004326133A (en) | Karaoke device having range-of-voice notifying function | |
JP2008225111A (en) | Karaoke machine and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4767691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |