JP5008766B2 - テンポ検出装置及びテンポ検出プログラム - Google Patents
テンポ検出装置及びテンポ検出プログラム Download PDFInfo
- Publication number
- JP5008766B2 JP5008766B2 JP2010507096A JP2010507096A JP5008766B2 JP 5008766 B2 JP5008766 B2 JP 5008766B2 JP 2010507096 A JP2010507096 A JP 2010507096A JP 2010507096 A JP2010507096 A JP 2010507096A JP 5008766 B2 JP5008766 B2 JP 5008766B2
- Authority
- JP
- Japan
- Prior art keywords
- envelope
- frequency
- tempo
- score
- music data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
- G10H2220/086—Beats per minute [bpm] indicator, i.e. displaying a tempo value, e.g. in words or as numerical value in beats per minute
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
- G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/025—Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
- G10H2250/031—Spectrum envelope processing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【技術分野】
【０００１】
本発明は、楽曲のテンポを検出するテンポ検出装置及びテンポ検出プログラムに関する。
【背景技術】
【０００２】
昨今では、大容量の記憶手段（例えば、ハードディスクなど）に大量の楽曲データを記憶させ、記憶された大量の楽曲データの中から所望の楽曲データを検索し、音楽を再生するという方法が普及している。このような楽曲データの検索においては、アーティスト名や曲名などの書誌データを検索条件として検索する他、楽曲が有する情感（例えば、「明るい曲」、「静かな曲」など）を検索条件にして検索することも可能となっている。これは、楽曲データから楽曲の特徴量を検出し、検出した特徴量と楽曲が有する情感を結びつけて楽曲データを検索するものである。
【０００３】
楽曲が有する情感と結びつく特徴量の一つにテンポがある。テンポは楽曲の特徴を表す重要なパラメータであるため、従来から様々な検出方法が提案されている。
【０００４】
例えば、特許文献１には、音楽信号の所定の周波数成分の振幅のピーク間隔を計測することによって、テンポを検出する技術が開示されている。
【０００５】
また、例えば、特許文献２には、所定の間隔で音楽信号のレベル変化の相関を求め、最も相関関数が高くなる時間間隔を探索することによって、テンポを検出する技術が開示されている。
【０００６】
また、上述した特許文献１や特許文献２に示すように、音楽信号を時間領域で分析してテンポを検出する方法のほか、音楽信号を周波数領域で分析してテンポを検出する方法も開示されている。
【０００７】
例えば、特許文献３には、微小区間の音楽信号の波形を高速フーリエ変換して平均パワーを求め、その平均パワーの時系列データをさらに高速フーリエ変換してパワースペクトルを算出し、算出したパワースペクトルとパワースペクトルの近似直線の差分に基づいてテンポを検出する技術が開示されている。
［０００８］
特許文献１：特開平８−２０１５４２号公報
特許文献２：特開平５−２７７５１号公報
特許文献３：特開２００６−１９４９５３号公報
発明の開示
課題が解決しようとする課題
［０００９］
しかしながら、上述した特許文献１のように、音楽信号の所定の周波数成分の振幅のピーク間隔を計測することによって、テンポを検出する方法は、処理が非常に簡単であるが、ビートの弱い楽曲や不規則な信号が含まれている楽曲では、誤検出が多く、正確にテンポを検出することができないという問題がある。すなわち、この検出方法は、ダンスミュージックなどのビートの強い楽曲では有効であるが、ポップスなどのビートの弱い楽曲では正確なテンポ検出が難しいという問題がある。
［００１０］
また、特許文献２のように、相関関数を用いてテンポを検出する方法は、正確にテンポを検出することは可能であるが、高精度にテンポを検出するには、非常に大きな演算量が必要であり、製品に実装することは難しいという問題がある。
［００１１］
また、特許文献３のように、高速フーリエ変換を多用して音楽信号を周波数領域で分析し、テンポを検出する方法も、非常に大きな演算量が必要であり、製品に実装することは難しいという問題がある。
［００１２］
また、いずれの方法も楽曲の拍子については考慮されておらず、例えば、４／４拍子か３／４拍子か６／８拍子かといった判断を行うことが困難である。
［００１３］
本発明は、上記の事情を鑑みてなされたものであり、その課題の一例としては、楽曲の種類によらず、高精度にテンポを検出することができるとともに、高精度検出のための負荷が少なく実装に耐え得るテンポ検出装置及びテンポ検出プログラムを提供することにある。
課題を解決するための手段
［００１４］
上記の課題を達成するため、請求項１に記載の発明は、楽曲データのエンベロープを検出するエンベロープ検出手段と、検出されたエンベロープに対して、離散フーリエ変換処理を行って、周波数スペクトルを検出する周波数成分検出手段と、検出した周波数スペクトルの特徴に基づいて、楽曲データのテンポを検出するテンポ検出手段と、を有し、前記エンベロープ検出手段は、少なくとも２つ以上の周波数帯域の成分を抽出する楽曲データ抽出手段と、前記楽曲データ抽出手段で抽出されたそれぞれの周波数帯域の成分の楽曲データのエンベロープをそれぞれ生成するエンベロープ生成手段と、前記エンベロープ生成手段で生成されたそれぞれのエンベロープを重みづけして加算する加算手段と、を有するテンポ検出装置である。
【００１５】
また、請求項８に記載の発明は、楽曲データのテンポを検出するテンポ検出プログラムであって、楽曲データのエンベロープを検出するエンベロープ検出ステップと、検出されたエンベロープに対して、離散フーリエ変換処理を行って、周波数スペクトルを検出する周波数成分検出ステップと、検出した周波数スペクトルの特徴に基づいて、楽曲データのテンポを検出するテンポ検出ステップと、をコンピュータに実行させ、前記エンベロープ検出ステップは、少なくとも２つ以上の周波数帯域の成分を抽出する楽曲データ抽出ステップと、前記楽曲データ抽出ステップで抽出されたそれぞれの周波数帯域の成分の楽曲データのエンベロープをそれぞれ生成するエンベロープ生成ステップと、前記エンベロープ生成ステップで生成されたそれぞれのエンベロープを重みづけして加算する加算ステップと、を有する。
【図面の簡単な説明】
［００１６］
［図１］本発明の実施の形態に係るテンポ検出装置の概略構成図である。
［図２］本発明の実施の形態に係るテンポ検出装置に入力された音楽信号の波形の一例を示す図である。
［図３］本発明の実施の形態に係るテンポ検出装置において抽出された高域成分の波形の一例を示す図である。
［図４］本発明の実施の形態に係るテンポ検出装置において抽出された低域成分の波形の一例を示す図である。
［図５］図３に示す信号に対して絶対値をとった後の波形を示す図である。
［図６］図４に示す信号に対して絶対値をとった後の波形を示す図である。
［図７］図５に示す信号と図６に示す信号を合成した信号の波形を示す図である。
［図８］図７に示す信号のエンベロープをとった後、ＤＣ成分を除去した信号の波形である。
［図９］図８に示す信号をＦＦＴ積算して得られた周波数スペクトルを示す図である。
［図１０］図９の０〜６Ｈｚ部分を拡大した周波数スペクトルを示す図である。
［図１１］本発明の実施の形態に係るテンポ検出装置のエンベロープ検出手段の変形例の構成を示す図である。
符号の説明
［００１７］
１，４ エンベロープ検出手段
２ 周波数成分検出手段
３ テンポ検出手段
１１ フィルタ部
１２，４１ 前処理部
１３，４２ エンベロープ生成部
２１ ＤＣカット部
２２ ＦＦＴ演算部
３１ スコア算出部
３２ テンポ決定部
４３ 後処理部
１００ テンポ検出装置
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図面を用いて説明する。
【００１９】
図１は、本発明の実施の形態に係るテンポ検出装置１００の概略構成及びテンポ検出処理の流れを示す図である。テンポ検出装置１００は、楽曲のリズムからテンポ（ＢＰＭ；Beat Per Minute）を検出する装置であり、楽曲のエンベロープ（時間的な振幅の包絡線）を検出するエンベロープ検出手段１と、検出したエンベロープの周波数成分を検出する周波数成分検出手段２と、検出したエンベロープの周波数成分からピーク周波数を解析して、楽曲のテンポを検出するテンポ検出手段３と、を備えている。
【００２０】
本実施の形態のテンポ検出装置１００におけるテンポ検出方法は、楽曲のリズムには時間的な繰り返し構造があるので、楽曲のエンベロープをとることにより、この時間的な繰り返し構造を取得し、取得した時間的な繰り返し構造をフーリエ変換することにより、楽曲のエンベロープの周波数スペクトルを算出し、算出した周波数スペクトルのピーク周波数に基づいて楽曲のテンポを検出する方法である。すなわち、本実施の形態のテンポ検出装置１００におけるテンポ検出方法は、楽曲データを周波数領域で解析してテンポを検出する方法である。
【００２１】
エンベロープ検出手段１は、詳しくは、フィルタ部１１と、前処理部１２と、エンベロープ生成部１３と、を具備する構成である。
【００２２】
フィルタ部１１は、入力される音楽信号の所定の周波数領域の成分を抽出する機能を有している。本実施の形態では、フィルタ部１１は、２つのフィルタ、具体的には、入力される音楽信号の低域成分を抽出するＬＰＦ（Low Pass Filter）１１ａと、高域成分を抽出するＨＰＦ（High Pass Filter）１１ｂにより構成されており、ＬＰＦ１１ａのカットオフ周波数を２００Ｈｚ、ＨＰＦ１１ｂのカットオフ周波数を２ｋＨｚとしている。勿論、カットオフ周波数の値は一例であり、この値に限定されない。また、楽曲のリズムは、低域と高域に多く含まれることが多いので、本実施の形態のフィルタ部１１は、低域成分を抽出するＬＰＦ１１ａと高域成分を抽出するＨＰＦ１１ｂを備える構成としてが、これ以外の構成でもよく、例えば、３つ以上の周波数領域の成分を抽出するようなフィルタ部１１であってもよい。また、複数の周波数領域の成分を抽出するのではなく、１つの周波数領域の成分を抽出するようなフィルタ部１１であってもよい。
【００２３】
図２に、入力された音楽信号の波形、図３に、ＬＰＦ１１ａにより抽出された低域成分の波形、図４に、ＨＰＦ１１ｂにより抽出された高域成分の波形の一例を示す。
【００２４】
前処理部１２は、フィルタ部１１により抽出された低域成分及び高域成分の音楽信号の絶対値を計算し、絶対値を計算した低域成分及び高域成分の音楽信号をそれぞれ重み付けして、加算する機能を有している。ここで、低域成分の音楽信号と高域成分の音楽信号を加算して混合するのは、低音楽器と高音楽器で４分音符周期を刻む楽曲もあるため、このような楽曲のリズムにも対応させるためである。
【００２５】
図５に、抽出された低域成分の音楽信号に対して絶対値を計算した後の波形、図６に、抽出された高域成分の音楽信号に対して絶対値を計算した後の波形を示す。
【００２６】
本実施の形態では、絶対値を計算した低域成分の音楽信号と、絶対値を計算した高域成分の音楽信号の重みづけ比率を２：１にして音楽信号のレベルを加算している。なお、本実施の形態では、低域成分を重視したため、低域成分と高域成分の重みづけ比率を２：１としたが、重みづけ比率はこれに限定されない。
【００２７】
図７に、絶対値を計算した低域成分の音楽信号と、絶対値を計算した高域成分の音楽信号を重みづけして加算した音楽信号の波形を示す。
【００２８】
エンベロープ生成部１３は、前処理部１２により生成された音楽信号のエンベロープを生成する機能を有している。具体的には、エンベロープ生成部１３は、ＬＰＦ１３ａを用いて、絶対値を計算した低域成分の音楽信号と、絶対値を計算した高域成分の音楽信号を重みづけして加算した音楽信号のエンベロープを生成するようになっている。
【００２９】
本実施の形態では、ＬＰＦ１３ａのカットオフ周波数を１０Ｈｚとしているが、勿論、一例であって、カットオフ周波数はこの値に限定されない。また、ＬＰＦ１３ａを用いてエンベロープを生成する方法以外のエンベロープ生成方法によりエンベロープを生成するようにしてもよい。例えば、前処理部１２により生成された音楽信号の極大点を連ねてエンベロープを生成するようにしてもよい。
【００３０】
なお、本実施の形態のエンベロープ検出手段１は、低域成分の信号と高域成分の信号を重みづけ加算してから、エンベロープを生成するように構成したが、これ以外の構成を採用してもよい。例えば、図１１に示すようなエンベロープ検出手段４としてもよい。エンベロープ検出手段４は、フィルタ部１１と、前処理部４１と、エンベロープ生成部４２と、後処理部４３と、を具備する構成であって、絶対値を計算した低域成分の音楽信号と、絶対値を計算した高域成分の音楽信号に対して、それぞれエンベロープを生成した後、生成された各エンベロープを重みづけ加算するようになっている。このように、低域成分の音楽信号に対するエンベロープと、高域成分の音楽信号に対するエンベロープとを生成した後に、重みづけ加算して、１つのエンベロープを生成するようにしてもよい。
【００３１】
周波数成分検出手段２は、詳しくは、ＤＣカット部２１と、ＦＦＴ演算部２２と、を具備する構成である。
【００３２】
ＤＣカット部２１は、エンベロープ生成部１３で生成されたエンベロープのＤＣ成分を除去する機能を有している。具体的には、ＤＣカット部２１は、カットオフ周波数が低いＨＰＦ２１ａを用いて、低域の信号を除去している。ＤＣ成分を除去するのは、ＤＣ成分があると後述するＦＦＴ処理を施すことによって、低域の周波数が強調され、テンポを誤検出するおそれがあるからである。なお、本実施の形態では、ＨＰＦ２１ａのカットオフ周波数を０．５Ｈｚとしているが、一例であって、ＨＰＦ２１ａのカットオフ周波数はこの値に限定されない。
【００３３】
図８にエンベロープを生成した後にＤＣカットを行った音楽信号の波形を示す。
【００３４】
ＦＦＴ演算部２２は、ＤＣ成分をカットされたエンベロープ波形を高速フーリエ変換（ＦＦＴ；Fast Fourier Transform）処理を行って、周波数スペクトルを算出する機能を有している。具体的には、ＦＦＴ演算部２２は、サンプリング周波数を５０Ｈｚ、ＦＦＴポイントを１０２４ポイントとして、ＦＦＴ処理を行っている。すなわち、ＦＦＴ処理を行うフレーム長を約２０．５秒（≒１０２４／５０）とし、１０２４ポイントたまるごとに（２０．５秒ごとに）、ＦＦＴを行って絶対値を積算するようにしている。なお、本実施の形態では、ＦＦＴポイントを１０２４ポイントとしてＦＦＴ処理を積算するように構成したが、楽曲１曲分すべてをＦＦＴ処理するように構成してもよい。すなわち、本実施の形態においては、音楽信号のエンベロープ波形に対して低い帯域のサンプリング周波数でＦＦＴ処理を行うので、演算量を少なくすることができる。そのため、楽曲１曲すべてをＦＦＴ処理したとしても、ＦＦＴ処理を多用することにならないので、装置に負荷をかけることがない。
【００３５】
図９にＦＦＴ処理後のスペクトラムの一例を示す。
【００３６】
また、本実施の形態の周波数成分検出手段２では、ＤＣ成分を除去した後、ＦＦＴ処理を施すように構成したが、周波数成分検出手段２の構成はこれに限定されるものではなく、他の構成を採用してもよい。例えば、ＦＦＴ処理後にＤＣ成分を除去するようにしてもよく、ＦＦＴ処理を行うときに所定の窓関数をかけて重みづけをし、低域周波数成分を除去するようにしてもよい。
【００３７】
テンポ検出手段３は、詳しくは、スコア算出部３１と、テンポ決定部３２と、を具備する構成である。
【００３８】
スコア算出部３１は、ＦＦＴ演算部２２によって得られたスペクトラムを解析する機能を有している。より詳しくは、想定される楽曲のテンポが１〜３Ｈｚと想定されることから、スコア算出部３１は、当該周波数領域を周波数分解能に従ってサーチして、スコアを算出するようになっている。本実施の形態では、サーチポイント（サーチ周波数）の振幅スペクトルの値だけでなく、２倍の周波数及び１／２倍の周波数の振幅スペクトルの値も重みづけてしてスコアを算出するようになっている。具体的には、サーチポイント（×１周波数）の振幅スペクトルの値の重みを１、サーチポイントの２倍の周波数の振幅スペクトルの値の重みを０．５、サーチポイントの１／２倍の周波数の振幅スペクトルの値の重みを０．５として、３つの値を加算してスコアを算出している。これにより、本実施の形態におけるスコア算出は、ＦＦＴ演算部２２によって得られたスペクトラムのピークを考慮するとともに、他の４拍子系（２分音符、８分音符）も考慮したスコア算出となっている。
【００３９】
図１０に図９の０〜６Ｈｚ部分を拡大したスペクトラムを示す。なお、図１０では横軸の単位はＢＰＭ（＝Ｈｚ×６０）である。例えば、図１０に示すように、１４０ＢＰＭ（ピークＰ１付近）をサーチポイントとしているときは、１４０ＢＰＭにおける振幅スペクトルの値に、２８０ＢＰＭ（ピークＰ３付近）における振幅スペクトルの値及び７０ＢＰＭ（ピークＰ２付近）における振幅スペクトルの値を加味して、１４０ＢＰＭにおけるスコアを算出する。
【００４０】
なお、本実施の形態では、サーチポイントの周波数の２倍及び１／２倍の周波数を加味して加算するスコア算出方法としたが、さらに、サーチポイントの周波数の４倍、８倍、…、１／４倍、１／８倍、…を加味して加算するスコア算出方法としてもよい。すなわち、４拍子系の音符を考慮したスコア算出方法としては、サーチポイントの振幅スペクトルの値のほか、サーチポイントの２Ｎ、１／２Ｎ（Ｎは自然数）倍の周波数の振幅スペクトルの値を考慮した算出方法としてもよい。さらには、４拍子系の音符に加えて、または代えて、３拍子系の音符を考慮したスコア算出方法としてもよい。すなわち、サーチポイントの３Ｎ、１／３Ｎ（Ｎは自然数）倍の周波数の振幅スペクトルの値を考慮した算出方法としてもよい。
【００４１】
テンポ決定部３２は、スコア算出部３１により算出されたスコアのうち、スコアが最大となった周波数をテンポ周波数と決定し、決定したテンポ周波数を６０倍することによってＢＰＭを算出するようになっている。
【００４２】
次に、図１を用いて、本実施の形態に係るテンポ検出装置１００の動作について説明する。
【００４３】
まず、テンポ検出装置１００は、ＬＰＦ１１ａにより、入力された音楽信号の低域成分を抽出するとともに（ステップＳ１０２）、ＨＰＦ１１ｂにより、入力された音楽信号の高域成分を抽出する（ステップＳ１０４）。
【００４４】
次いで、テンポ検出装置１００は、抽出された低域成分の音楽信号の絶対値を計算するとともに（ステップＳ１０６）、抽出された高域成分の音楽信号の絶対値を計算して（ステップＳ１０８）、絶対値計算された低域成分の音楽信号及び高域成分の音楽信号のそれぞれを重み付けして加算する（ステップＳ１１０）。
【００４５】
次いで、テンポ検出装置１００は、ＬＰＦ１３ａを用いて、加算された音楽信号のエンベロープを生成する（ステップＳ１１２）。
【００４６】
次いで、テンポ検出装置１００は、ＨＰＦ２１ａを用いて、生成されたエンベロープのＤＣ成分を除去し（ステップＳ２０２）、ＤＣ成分を除去されたエンベロープに対してＦＦＴ積算を行う（ステップＳ２０４）。この結果、テンポ検出装置１００は、音楽信号の周波数スペクトルを得ることができる。
【００４７】
次いで、テンポ検出装置１００は、得られた周波数スペクトルの所定の周波数領域の波形データから、４拍子系を考慮したスコアを算出し（ステップＳ３０２）、算出したスコアの中で最大のスコアとなった周波数をテンポと決定し、決定した周波数をＢＰＭに換算する（ステップＳ３０４）。
【００４８】
なお、図１１に示したエンベロープ検出手段４を用いてエンベロープを生成する場合には、上述したステップＳ１０２〜Ｓ１０８の処理の後に、抽出された低域成分の音楽信号の絶対値、及び抽出された高域成分の音楽信号の絶対値それぞれに対して、エンベロープを生成し（ステップＳ１２２，Ｓ１２４）、生成したそれぞれのエンベロープを重み付け加算して（ステップＳ１２６）、エンベロープを生成する。
【００４９】
以上述べたように、本実施の形態に係るテンポ検出装置１００によれば、楽曲データのエンベロープを検出するエンベロープ検出手段１と、検出されたエンベロープに対して、高速フーリエ変換処理を行って、周波数スペクトルを検出する周波数成分検出手段２と、検出した周波数スペクトルの特徴に基づいて、テンポを検出するテンポ検出手段３と、を有するので、楽曲の種類によらず、高精度にテンポを検出することができる。
【００５０】
すなわち、本実施の形態に係るテンポ検出装置１００によれば、音楽信号の低域成分と高域成分をそれぞれ抽出し、抽出したそれぞれの周波数成分の音楽信号を重みづけ加算して、エンベロープを生成し、生成したエンベロープの周波数スペクトルを生成した後に、４拍子系を考慮したスコア算出方法を用いて、テンポを検出するので、ポップスのようなビートの弱い楽曲であっても正確にテンポを検出することができる。
【００５１】
また、本実施の形態に係るテンポ検出装置１００によれば、エンベロープの周波数スペクトルを生成するに際して、高速フーリエ変換処理の負荷が小さいので、実装適用が可能である。
【００５２】
この結果、本実施の形態に係るテンポ検出装置１００を、フィーリングによる再生機能を有するＡＶシステムに組み込めば、フィーリング（例えば、明るい、ノリがいい、静かななど）に適合した音楽を的確かつ迅速に選曲することができる。
【００５３】
なお、上記実施の形態のテンポ検出装置１００の動作は、テンポ検出装置１００に格納された制御プログラムを実行することにより実現される。そして、この制御プログラムは、テンポ検出装置１００に記憶される他、携行可能なフラッシュメモリ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのＡＶ機器やコンピュータが読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。
【００５４】
以上、本発明の実施の形態について説明してきたが、本発明は、上述した実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができ、そのような変形や変更を伴うものもまた、本発明の技術的範囲に含まれるものである。
【０００１】
本発明は、楽曲のテンポを検出するテンポ検出装置及びテンポ検出プログラムに関する。
【背景技術】
【０００２】
昨今では、大容量の記憶手段（例えば、ハードディスクなど）に大量の楽曲データを記憶させ、記憶された大量の楽曲データの中から所望の楽曲データを検索し、音楽を再生するという方法が普及している。このような楽曲データの検索においては、アーティスト名や曲名などの書誌データを検索条件として検索する他、楽曲が有する情感（例えば、「明るい曲」、「静かな曲」など）を検索条件にして検索することも可能となっている。これは、楽曲データから楽曲の特徴量を検出し、検出した特徴量と楽曲が有する情感を結びつけて楽曲データを検索するものである。
【０００３】
楽曲が有する情感と結びつく特徴量の一つにテンポがある。テンポは楽曲の特徴を表す重要なパラメータであるため、従来から様々な検出方法が提案されている。
【０００４】
例えば、特許文献１には、音楽信号の所定の周波数成分の振幅のピーク間隔を計測することによって、テンポを検出する技術が開示されている。
【０００５】
また、例えば、特許文献２には、所定の間隔で音楽信号のレベル変化の相関を求め、最も相関関数が高くなる時間間隔を探索することによって、テンポを検出する技術が開示されている。
【０００６】
また、上述した特許文献１や特許文献２に示すように、音楽信号を時間領域で分析してテンポを検出する方法のほか、音楽信号を周波数領域で分析してテンポを検出する方法も開示されている。
【０００７】
例えば、特許文献３には、微小区間の音楽信号の波形を高速フーリエ変換して平均パワーを求め、その平均パワーの時系列データをさらに高速フーリエ変換してパワースペクトルを算出し、算出したパワースペクトルとパワースペクトルの近似直線の差分に基づいてテンポを検出する技術が開示されている。
［０００８］
特許文献１：特開平８−２０１５４２号公報
特許文献２：特開平５−２７７５１号公報
特許文献３：特開２００６−１９４９５３号公報
発明の開示
課題が解決しようとする課題
［０００９］
しかしながら、上述した特許文献１のように、音楽信号の所定の周波数成分の振幅のピーク間隔を計測することによって、テンポを検出する方法は、処理が非常に簡単であるが、ビートの弱い楽曲や不規則な信号が含まれている楽曲では、誤検出が多く、正確にテンポを検出することができないという問題がある。すなわち、この検出方法は、ダンスミュージックなどのビートの強い楽曲では有効であるが、ポップスなどのビートの弱い楽曲では正確なテンポ検出が難しいという問題がある。
［００１０］
また、特許文献２のように、相関関数を用いてテンポを検出する方法は、正確にテンポを検出することは可能であるが、高精度にテンポを検出するには、非常に大きな演算量が必要であり、製品に実装することは難しいという問題がある。
［００１１］
また、特許文献３のように、高速フーリエ変換を多用して音楽信号を周波数領域で分析し、テンポを検出する方法も、非常に大きな演算量が必要であり、製品に実装することは難しいという問題がある。
［００１２］
また、いずれの方法も楽曲の拍子については考慮されておらず、例えば、４／４拍子か３／４拍子か６／８拍子かといった判断を行うことが困難である。
［００１３］
本発明は、上記の事情を鑑みてなされたものであり、その課題の一例としては、楽曲の種類によらず、高精度にテンポを検出することができるとともに、高精度検出のための負荷が少なく実装に耐え得るテンポ検出装置及びテンポ検出プログラムを提供することにある。
課題を解決するための手段
［００１４］
上記の課題を達成するため、請求項１に記載の発明は、楽曲データのエンベロープを検出するエンベロープ検出手段と、検出されたエンベロープに対して、離散フーリエ変換処理を行って、周波数スペクトルを検出する周波数成分検出手段と、検出した周波数スペクトルの特徴に基づいて、楽曲データのテンポを検出するテンポ検出手段と、を有し、前記エンベロープ検出手段は、少なくとも２つ以上の周波数帯域の成分を抽出する楽曲データ抽出手段と、前記楽曲データ抽出手段で抽出されたそれぞれの周波数帯域の成分の楽曲データのエンベロープをそれぞれ生成するエンベロープ生成手段と、前記エンベロープ生成手段で生成されたそれぞれのエンベロープを重みづけして加算する加算手段と、を有するテンポ検出装置である。
【００１５】
また、請求項８に記載の発明は、楽曲データのテンポを検出するテンポ検出プログラムであって、楽曲データのエンベロープを検出するエンベロープ検出ステップと、検出されたエンベロープに対して、離散フーリエ変換処理を行って、周波数スペクトルを検出する周波数成分検出ステップと、検出した周波数スペクトルの特徴に基づいて、楽曲データのテンポを検出するテンポ検出ステップと、をコンピュータに実行させ、前記エンベロープ検出ステップは、少なくとも２つ以上の周波数帯域の成分を抽出する楽曲データ抽出ステップと、前記楽曲データ抽出ステップで抽出されたそれぞれの周波数帯域の成分の楽曲データのエンベロープをそれぞれ生成するエンベロープ生成ステップと、前記エンベロープ生成ステップで生成されたそれぞれのエンベロープを重みづけして加算する加算ステップと、を有する。
【図面の簡単な説明】
［００１６］
［図１］本発明の実施の形態に係るテンポ検出装置の概略構成図である。
［図２］本発明の実施の形態に係るテンポ検出装置に入力された音楽信号の波形の一例を示す図である。
［図３］本発明の実施の形態に係るテンポ検出装置において抽出された高域成分の波形の一例を示す図である。
［図４］本発明の実施の形態に係るテンポ検出装置において抽出された低域成分の波形の一例を示す図である。
［図５］図３に示す信号に対して絶対値をとった後の波形を示す図である。
［図６］図４に示す信号に対して絶対値をとった後の波形を示す図である。
［図７］図５に示す信号と図６に示す信号を合成した信号の波形を示す図である。
［図８］図７に示す信号のエンベロープをとった後、ＤＣ成分を除去した信号の波形である。
［図９］図８に示す信号をＦＦＴ積算して得られた周波数スペクトルを示す図である。
［図１０］図９の０〜６Ｈｚ部分を拡大した周波数スペクトルを示す図である。
［図１１］本発明の実施の形態に係るテンポ検出装置のエンベロープ検出手段の変形例の構成を示す図である。
符号の説明
［００１７］
１，４ エンベロープ検出手段
２ 周波数成分検出手段
３ テンポ検出手段
１１ フィルタ部
１２，４１ 前処理部
１３，４２ エンベロープ生成部
２１ ＤＣカット部
２２ ＦＦＴ演算部
３１ スコア算出部
３２ テンポ決定部
４３ 後処理部
１００ テンポ検出装置
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図面を用いて説明する。
【００１９】
図１は、本発明の実施の形態に係るテンポ検出装置１００の概略構成及びテンポ検出処理の流れを示す図である。テンポ検出装置１００は、楽曲のリズムからテンポ（ＢＰＭ；Beat Per Minute）を検出する装置であり、楽曲のエンベロープ（時間的な振幅の包絡線）を検出するエンベロープ検出手段１と、検出したエンベロープの周波数成分を検出する周波数成分検出手段２と、検出したエンベロープの周波数成分からピーク周波数を解析して、楽曲のテンポを検出するテンポ検出手段３と、を備えている。
【００２０】
本実施の形態のテンポ検出装置１００におけるテンポ検出方法は、楽曲のリズムには時間的な繰り返し構造があるので、楽曲のエンベロープをとることにより、この時間的な繰り返し構造を取得し、取得した時間的な繰り返し構造をフーリエ変換することにより、楽曲のエンベロープの周波数スペクトルを算出し、算出した周波数スペクトルのピーク周波数に基づいて楽曲のテンポを検出する方法である。すなわち、本実施の形態のテンポ検出装置１００におけるテンポ検出方法は、楽曲データを周波数領域で解析してテンポを検出する方法である。
【００２１】
エンベロープ検出手段１は、詳しくは、フィルタ部１１と、前処理部１２と、エンベロープ生成部１３と、を具備する構成である。
【００２２】
フィルタ部１１は、入力される音楽信号の所定の周波数領域の成分を抽出する機能を有している。本実施の形態では、フィルタ部１１は、２つのフィルタ、具体的には、入力される音楽信号の低域成分を抽出するＬＰＦ（Low Pass Filter）１１ａと、高域成分を抽出するＨＰＦ（High Pass Filter）１１ｂにより構成されており、ＬＰＦ１１ａのカットオフ周波数を２００Ｈｚ、ＨＰＦ１１ｂのカットオフ周波数を２ｋＨｚとしている。勿論、カットオフ周波数の値は一例であり、この値に限定されない。また、楽曲のリズムは、低域と高域に多く含まれることが多いので、本実施の形態のフィルタ部１１は、低域成分を抽出するＬＰＦ１１ａと高域成分を抽出するＨＰＦ１１ｂを備える構成としてが、これ以外の構成でもよく、例えば、３つ以上の周波数領域の成分を抽出するようなフィルタ部１１であってもよい。また、複数の周波数領域の成分を抽出するのではなく、１つの周波数領域の成分を抽出するようなフィルタ部１１であってもよい。
【００２３】
図２に、入力された音楽信号の波形、図３に、ＬＰＦ１１ａにより抽出された低域成分の波形、図４に、ＨＰＦ１１ｂにより抽出された高域成分の波形の一例を示す。
【００２４】
前処理部１２は、フィルタ部１１により抽出された低域成分及び高域成分の音楽信号の絶対値を計算し、絶対値を計算した低域成分及び高域成分の音楽信号をそれぞれ重み付けして、加算する機能を有している。ここで、低域成分の音楽信号と高域成分の音楽信号を加算して混合するのは、低音楽器と高音楽器で４分音符周期を刻む楽曲もあるため、このような楽曲のリズムにも対応させるためである。
【００２５】
図５に、抽出された低域成分の音楽信号に対して絶対値を計算した後の波形、図６に、抽出された高域成分の音楽信号に対して絶対値を計算した後の波形を示す。
【００２６】
本実施の形態では、絶対値を計算した低域成分の音楽信号と、絶対値を計算した高域成分の音楽信号の重みづけ比率を２：１にして音楽信号のレベルを加算している。なお、本実施の形態では、低域成分を重視したため、低域成分と高域成分の重みづけ比率を２：１としたが、重みづけ比率はこれに限定されない。
【００２７】
図７に、絶対値を計算した低域成分の音楽信号と、絶対値を計算した高域成分の音楽信号を重みづけして加算した音楽信号の波形を示す。
【００２８】
エンベロープ生成部１３は、前処理部１２により生成された音楽信号のエンベロープを生成する機能を有している。具体的には、エンベロープ生成部１３は、ＬＰＦ１３ａを用いて、絶対値を計算した低域成分の音楽信号と、絶対値を計算した高域成分の音楽信号を重みづけして加算した音楽信号のエンベロープを生成するようになっている。
【００２９】
本実施の形態では、ＬＰＦ１３ａのカットオフ周波数を１０Ｈｚとしているが、勿論、一例であって、カットオフ周波数はこの値に限定されない。また、ＬＰＦ１３ａを用いてエンベロープを生成する方法以外のエンベロープ生成方法によりエンベロープを生成するようにしてもよい。例えば、前処理部１２により生成された音楽信号の極大点を連ねてエンベロープを生成するようにしてもよい。
【００３０】
なお、本実施の形態のエンベロープ検出手段１は、低域成分の信号と高域成分の信号を重みづけ加算してから、エンベロープを生成するように構成したが、これ以外の構成を採用してもよい。例えば、図１１に示すようなエンベロープ検出手段４としてもよい。エンベロープ検出手段４は、フィルタ部１１と、前処理部４１と、エンベロープ生成部４２と、後処理部４３と、を具備する構成であって、絶対値を計算した低域成分の音楽信号と、絶対値を計算した高域成分の音楽信号に対して、それぞれエンベロープを生成した後、生成された各エンベロープを重みづけ加算するようになっている。このように、低域成分の音楽信号に対するエンベロープと、高域成分の音楽信号に対するエンベロープとを生成した後に、重みづけ加算して、１つのエンベロープを生成するようにしてもよい。
【００３１】
周波数成分検出手段２は、詳しくは、ＤＣカット部２１と、ＦＦＴ演算部２２と、を具備する構成である。
【００３２】
ＤＣカット部２１は、エンベロープ生成部１３で生成されたエンベロープのＤＣ成分を除去する機能を有している。具体的には、ＤＣカット部２１は、カットオフ周波数が低いＨＰＦ２１ａを用いて、低域の信号を除去している。ＤＣ成分を除去するのは、ＤＣ成分があると後述するＦＦＴ処理を施すことによって、低域の周波数が強調され、テンポを誤検出するおそれがあるからである。なお、本実施の形態では、ＨＰＦ２１ａのカットオフ周波数を０．５Ｈｚとしているが、一例であって、ＨＰＦ２１ａのカットオフ周波数はこの値に限定されない。
【００３３】
図８にエンベロープを生成した後にＤＣカットを行った音楽信号の波形を示す。
【００３４】
ＦＦＴ演算部２２は、ＤＣ成分をカットされたエンベロープ波形を高速フーリエ変換（ＦＦＴ；Fast Fourier Transform）処理を行って、周波数スペクトルを算出する機能を有している。具体的には、ＦＦＴ演算部２２は、サンプリング周波数を５０Ｈｚ、ＦＦＴポイントを１０２４ポイントとして、ＦＦＴ処理を行っている。すなわち、ＦＦＴ処理を行うフレーム長を約２０．５秒（≒１０２４／５０）とし、１０２４ポイントたまるごとに（２０．５秒ごとに）、ＦＦＴを行って絶対値を積算するようにしている。なお、本実施の形態では、ＦＦＴポイントを１０２４ポイントとしてＦＦＴ処理を積算するように構成したが、楽曲１曲分すべてをＦＦＴ処理するように構成してもよい。すなわち、本実施の形態においては、音楽信号のエンベロープ波形に対して低い帯域のサンプリング周波数でＦＦＴ処理を行うので、演算量を少なくすることができる。そのため、楽曲１曲すべてをＦＦＴ処理したとしても、ＦＦＴ処理を多用することにならないので、装置に負荷をかけることがない。
【００３５】
図９にＦＦＴ処理後のスペクトラムの一例を示す。
【００３６】
また、本実施の形態の周波数成分検出手段２では、ＤＣ成分を除去した後、ＦＦＴ処理を施すように構成したが、周波数成分検出手段２の構成はこれに限定されるものではなく、他の構成を採用してもよい。例えば、ＦＦＴ処理後にＤＣ成分を除去するようにしてもよく、ＦＦＴ処理を行うときに所定の窓関数をかけて重みづけをし、低域周波数成分を除去するようにしてもよい。
【００３７】
テンポ検出手段３は、詳しくは、スコア算出部３１と、テンポ決定部３２と、を具備する構成である。
【００３８】
スコア算出部３１は、ＦＦＴ演算部２２によって得られたスペクトラムを解析する機能を有している。より詳しくは、想定される楽曲のテンポが１〜３Ｈｚと想定されることから、スコア算出部３１は、当該周波数領域を周波数分解能に従ってサーチして、スコアを算出するようになっている。本実施の形態では、サーチポイント（サーチ周波数）の振幅スペクトルの値だけでなく、２倍の周波数及び１／２倍の周波数の振幅スペクトルの値も重みづけてしてスコアを算出するようになっている。具体的には、サーチポイント（×１周波数）の振幅スペクトルの値の重みを１、サーチポイントの２倍の周波数の振幅スペクトルの値の重みを０．５、サーチポイントの１／２倍の周波数の振幅スペクトルの値の重みを０．５として、３つの値を加算してスコアを算出している。これにより、本実施の形態におけるスコア算出は、ＦＦＴ演算部２２によって得られたスペクトラムのピークを考慮するとともに、他の４拍子系（２分音符、８分音符）も考慮したスコア算出となっている。
【００３９】
図１０に図９の０〜６Ｈｚ部分を拡大したスペクトラムを示す。なお、図１０では横軸の単位はＢＰＭ（＝Ｈｚ×６０）である。例えば、図１０に示すように、１４０ＢＰＭ（ピークＰ１付近）をサーチポイントとしているときは、１４０ＢＰＭにおける振幅スペクトルの値に、２８０ＢＰＭ（ピークＰ３付近）における振幅スペクトルの値及び７０ＢＰＭ（ピークＰ２付近）における振幅スペクトルの値を加味して、１４０ＢＰＭにおけるスコアを算出する。
【００４０】
なお、本実施の形態では、サーチポイントの周波数の２倍及び１／２倍の周波数を加味して加算するスコア算出方法としたが、さらに、サーチポイントの周波数の４倍、８倍、…、１／４倍、１／８倍、…を加味して加算するスコア算出方法としてもよい。すなわち、４拍子系の音符を考慮したスコア算出方法としては、サーチポイントの振幅スペクトルの値のほか、サーチポイントの２Ｎ、１／２Ｎ（Ｎは自然数）倍の周波数の振幅スペクトルの値を考慮した算出方法としてもよい。さらには、４拍子系の音符に加えて、または代えて、３拍子系の音符を考慮したスコア算出方法としてもよい。すなわち、サーチポイントの３Ｎ、１／３Ｎ（Ｎは自然数）倍の周波数の振幅スペクトルの値を考慮した算出方法としてもよい。
【００４１】
テンポ決定部３２は、スコア算出部３１により算出されたスコアのうち、スコアが最大となった周波数をテンポ周波数と決定し、決定したテンポ周波数を６０倍することによってＢＰＭを算出するようになっている。
【００４２】
次に、図１を用いて、本実施の形態に係るテンポ検出装置１００の動作について説明する。
【００４３】
まず、テンポ検出装置１００は、ＬＰＦ１１ａにより、入力された音楽信号の低域成分を抽出するとともに（ステップＳ１０２）、ＨＰＦ１１ｂにより、入力された音楽信号の高域成分を抽出する（ステップＳ１０４）。
【００４４】
次いで、テンポ検出装置１００は、抽出された低域成分の音楽信号の絶対値を計算するとともに（ステップＳ１０６）、抽出された高域成分の音楽信号の絶対値を計算して（ステップＳ１０８）、絶対値計算された低域成分の音楽信号及び高域成分の音楽信号のそれぞれを重み付けして加算する（ステップＳ１１０）。
【００４５】
次いで、テンポ検出装置１００は、ＬＰＦ１３ａを用いて、加算された音楽信号のエンベロープを生成する（ステップＳ１１２）。
【００４６】
次いで、テンポ検出装置１００は、ＨＰＦ２１ａを用いて、生成されたエンベロープのＤＣ成分を除去し（ステップＳ２０２）、ＤＣ成分を除去されたエンベロープに対してＦＦＴ積算を行う（ステップＳ２０４）。この結果、テンポ検出装置１００は、音楽信号の周波数スペクトルを得ることができる。
【００４７】
次いで、テンポ検出装置１００は、得られた周波数スペクトルの所定の周波数領域の波形データから、４拍子系を考慮したスコアを算出し（ステップＳ３０２）、算出したスコアの中で最大のスコアとなった周波数をテンポと決定し、決定した周波数をＢＰＭに換算する（ステップＳ３０４）。
【００４８】
なお、図１１に示したエンベロープ検出手段４を用いてエンベロープを生成する場合には、上述したステップＳ１０２〜Ｓ１０８の処理の後に、抽出された低域成分の音楽信号の絶対値、及び抽出された高域成分の音楽信号の絶対値それぞれに対して、エンベロープを生成し（ステップＳ１２２，Ｓ１２４）、生成したそれぞれのエンベロープを重み付け加算して（ステップＳ１２６）、エンベロープを生成する。
【００４９】
以上述べたように、本実施の形態に係るテンポ検出装置１００によれば、楽曲データのエンベロープを検出するエンベロープ検出手段１と、検出されたエンベロープに対して、高速フーリエ変換処理を行って、周波数スペクトルを検出する周波数成分検出手段２と、検出した周波数スペクトルの特徴に基づいて、テンポを検出するテンポ検出手段３と、を有するので、楽曲の種類によらず、高精度にテンポを検出することができる。
【００５０】
すなわち、本実施の形態に係るテンポ検出装置１００によれば、音楽信号の低域成分と高域成分をそれぞれ抽出し、抽出したそれぞれの周波数成分の音楽信号を重みづけ加算して、エンベロープを生成し、生成したエンベロープの周波数スペクトルを生成した後に、４拍子系を考慮したスコア算出方法を用いて、テンポを検出するので、ポップスのようなビートの弱い楽曲であっても正確にテンポを検出することができる。
【００５１】
また、本実施の形態に係るテンポ検出装置１００によれば、エンベロープの周波数スペクトルを生成するに際して、高速フーリエ変換処理の負荷が小さいので、実装適用が可能である。
【００５２】
この結果、本実施の形態に係るテンポ検出装置１００を、フィーリングによる再生機能を有するＡＶシステムに組み込めば、フィーリング（例えば、明るい、ノリがいい、静かななど）に適合した音楽を的確かつ迅速に選曲することができる。
【００５３】
なお、上記実施の形態のテンポ検出装置１００の動作は、テンポ検出装置１００に格納された制御プログラムを実行することにより実現される。そして、この制御プログラムは、テンポ検出装置１００に記憶される他、携行可能なフラッシュメモリ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのＡＶ機器やコンピュータが読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。
【００５４】
以上、本発明の実施の形態について説明してきたが、本発明は、上述した実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができ、そのような変形や変更を伴うものもまた、本発明の技術的範囲に含まれるものである。
Claims (8)
- 楽曲データのエンベロープを検出するエンベロープ検出手段と、
検出されたエンベロープに対して、離散フーリエ変換処理を行って、周波数スペクトルを検出する周波数成分検出手段と、
検出した周波数スペクトルの特徴に基づいて、楽曲データのテンポを検出するテンポ検出手段と、
を有し、
前記エンベロープ検出手段は、
少なくとも２つ以上の周波数帯域の成分を抽出する楽曲データ抽出手段と、
前記楽曲データ抽出手段で抽出されたそれぞれの周波数帯域の成分の楽曲データのエンベロープをそれぞれ生成するエンベロープ生成手段と、
前記エンベロープ生成手段で生成されたそれぞれのエンベロープを重みづけして加算する加算手段と、
を有することを特徴とするテンポ検出装置。 - 前記エンベロープ生成手段は、
ＬＰＦ（Low Pass Filter）を用いてエンベロープを生成することを特徴とする請求項１記載のテンポ検出装置。 - 前記楽曲データ抽出手段は、
抽出したそれぞれの周波数帯域の成分に対して、信号レベルの絶対値をとることを特徴とする請求項１又は２記載のテンポ検出装置。 - 前記周波数成分検出手段は、
検出されたエンベロープのＤＣ成分を除去するＤＣ成分除去手段と、
ＤＣ成分を除去されたエンベロープに対して離散フーリエ変換処理を行って、周波数スペクトルを生成するＦＦＴ手段と、
を有することを特徴とする請求項１乃至３のいずれか１項に記載のテンポ検出装置。 - 前記テンポ検出手段は、
予め定めた周波数領域を所定の間隔ごとにサーチしてそれぞれの周波数地点におけるスコアを予め定められた演算方法に基づいて算出するスコア算出手段と、
算出したそれぞれの周波数地点のスコアのうち最大値となった周波数地点の周波数をテンポとして決定するテンポ手段と、
を有することを特徴とする請求項１乃至４のいずれか１項に記載のテンポ検出装置。 - 前記スコア算出手段は、
当該周波数地点における振幅レベルである第１のスコアに、当該周波数の２ Ｎ （Ｎは正負の整数であって、設定されるＮの個数は少なくとも１つ以上）倍の周波数地点における振幅レベルである第２のスコアを重みづけして加算したスコアを当該周波数地点におけるスコアとすることを特徴とする請求項５記載のテンポ検出装置。 - 前記スコア算出手段は、
当該周波数地点における振幅レベルである第１のスコアまたは当該周波数地点におけるスコアに、当該周波数の３ Ｎ （Ｎは正負の整数であって、設定されるＮの個数は少なくとも１つ以上）倍の周波数地点における振幅レベルである第３のスコアを重みづけして加算したスコアを当該周波数地点におけるスコアとすることを特徴とする請求項５又は６記載のテンポ検出装置。 - 楽曲データのテンポを検出するテンポ検出プログラムであって、
楽曲データのエンベロープを検出するエンベロープ検出ステップと、
検出されたエンベロープに対して、離散フーリエ変換処理を行って、周波数スペクトルを検出する周波数成分検出ステップと、
検出した周波数スペクトルの特徴に基づいて、楽曲データのテンポを検出するテンポ検出ステップと、
をコンピュータに実行させ、
前記エンベロープ検出ステップは、
少なくとも２つ以上の周波数帯域の成分を抽出する楽曲データ抽出ステップと、
前記楽曲データ抽出ステップで抽出されたそれぞれの周波数帯域の成分の楽曲データのエンベロープをそれぞれ生成するエンベロープ生成ステップと、
前記エンベロープ生成ステップで生成されたそれぞれのエンベロープを重みづけして加算する加算ステップと、
を有することを特徴とするテンポ検出プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2008/057129 WO2009125489A1 (ja) | 2008-04-11 | 2008-04-11 | テンポ検出装置及びテンポ検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2009125489A1 JPWO2009125489A1 (ja) | 2011-07-28 |
| JP5008766B2 true JP5008766B2 (ja) | 2012-08-22 |
Family
ID=41161632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010507096A Expired - Fee Related JP5008766B2 (ja) | 2008-04-11 | 2008-04-11 | テンポ検出装置及びテンポ検出プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8344234B2 (ja) |
| JP (1) | JP5008766B2 (ja) |
| WO (1) | WO2009125489A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009125489A1 (ja) * | 2008-04-11 | 2009-10-15 | パイオニア株式会社 | テンポ検出装置及びテンポ検出プログラム |
| TWI484473B (zh) | 2009-10-30 | 2015-05-11 | Dolby Int Ab | 用於從編碼位元串流擷取音訊訊號之節奏資訊、及估算音訊訊號之知覺顯著節奏的方法及系統 |
| JP5203404B2 (ja) * | 2010-02-13 | 2013-06-05 | 学校法人 龍谷大学 | テンポ値検出装置およびテンポ値検出方法 |
| JP5569228B2 (ja) * | 2010-08-02 | 2014-08-13 | ソニー株式会社 | テンポ検出装置、テンポ検出方法およびプログラム |
| US8927846B2 (en) * | 2013-03-15 | 2015-01-06 | Exomens | System and method for analysis and creation of music |
| US10474672B2 (en) * | 2015-08-25 | 2019-11-12 | Schlafender Hase GmbH Software & Communications | Method for comparing text files with differently arranged text sections in documents |
| JP6693189B2 (ja) * | 2016-03-11 | 2020-05-13 | ヤマハ株式会社 | 音信号処理方法 |
| CN107622774B (zh) * | 2017-08-09 | 2018-08-21 | 金陵科技学院 | 一种基于匹配追踪的音乐速度谱图生成方法 |
| US10916229B2 (en) * | 2018-07-03 | 2021-02-09 | Soclip! | Beat decomposition to facilitate automatic video editing |
| WO2023105530A1 (en) * | 2021-12-12 | 2023-06-15 | Globerman Ziv | Metronome device with real time feedback and method related thereto |
| US20230288983A1 (en) * | 2022-03-08 | 2023-09-14 | Arris Enterprises Llc | Virtual reality device with ambient audio synchronization |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004528596A (ja) * | 2001-05-14 | 2004-09-16 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | リズム情報に関するオーディオ信号を解析するための装置及び方法 |
| JP2005274708A (ja) * | 2004-03-23 | 2005-10-06 | Sony Corp | 信号処理装置および信号処理方法、プログラム、並びに記録媒体 |
| WO2007138812A1 (ja) * | 2006-05-30 | 2007-12-06 | Murata Manufacturing Co., Ltd. | レーダ装置 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4089246A (en) * | 1976-08-09 | 1978-05-16 | Kooker Stephen L | Musical rhythm-tempo tutoring device |
| US4300225A (en) * | 1979-08-09 | 1981-11-10 | Lambl George R | Disco beat meter |
| US4361066A (en) * | 1981-06-15 | 1982-11-30 | Baldwin Piano & Organ Company | Tempo measurement, display, and control system for an electronic musical instrument |
| US4542675A (en) * | 1983-02-04 | 1985-09-24 | Hall Jr Robert J | Automatic tempo set |
| JP3245890B2 (ja) * | 1991-06-27 | 2002-01-15 | カシオ計算機株式会社 | 拍検出装置及びそれを用いた同期制御装置 |
| JPH0527751A (ja) | 1991-07-19 | 1993-02-05 | Brother Ind Ltd | 自動採譜装置等に用いられるテンポ抽出装置 |
| JP3373315B2 (ja) | 1995-01-20 | 2003-02-04 | パイオニア株式会社 | 拍数検出装置 |
| US5614687A (en) * | 1995-02-20 | 1997-03-25 | Pioneer Electronic Corporation | Apparatus for detecting the number of beats |
| US6316712B1 (en) * | 1999-01-25 | 2001-11-13 | Creative Technology Ltd. | Method and apparatus for tempo and downbeat detection and alteration of rhythm in a musical segment |
| US6787689B1 (en) * | 1999-04-01 | 2004-09-07 | Industrial Technology Research Institute Computer & Communication Research Laboratories | Fast beat counter with stability enhancement |
| US6657117B2 (en) * | 2000-07-14 | 2003-12-02 | Microsoft Corporation | System and methods for providing automatic classification of media entities according to tempo properties |
| US6323412B1 (en) * | 2000-08-03 | 2001-11-27 | Mediadome, Inc. | Method and apparatus for real time tempo detection |
| DE10164686B4 (de) * | 2001-01-13 | 2007-05-31 | Native Instruments Software Synthesis Gmbh | Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler |
| JP3982443B2 (ja) * | 2003-03-31 | 2007-09-26 | ソニー株式会社 | テンポ解析装置およびテンポ解析方法 |
| JP2007519048A (ja) * | 2004-01-21 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音楽入力信号の速度の曖昧さの指標を決定する方法及びシステム、音声処理装置、運動器具、コンピュータープログラム、記憶媒体 |
| US7026536B2 (en) * | 2004-03-25 | 2006-04-11 | Microsoft Corporation | Beat analysis of musical signals |
| JP4347815B2 (ja) | 2005-01-11 | 2009-10-21 | シャープ株式会社 | テンポ抽出装置およびテンポ抽出方法 |
| WO2007010637A1 (ja) * | 2005-07-19 | 2007-01-25 | Kabushiki Kaisha Kawai Gakki Seisakusho | テンポ検出装置、コード名検出装置及びプログラム |
| JP4940588B2 (ja) * | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
| US7518053B1 (en) * | 2005-09-01 | 2009-04-14 | Texas Instruments Incorporated | Beat matching for portable audio |
| JP4949687B2 (ja) * | 2006-01-25 | 2012-06-13 | ソニー株式会社 | ビート抽出装置及びビート抽出方法 |
| KR101215937B1 (ko) * | 2006-02-07 | 2012-12-27 | 엘지전자 주식회사 | ＩＯＩ 카운트（ｉｎｔｅｒ ｏｎｓｅｔ ｉｎｔｅｒｖａｌｃｏｕｎｔ） 기반 템포 추정 방법 및 이를 위한 템포 추정장치 |
| JP4672613B2 (ja) * | 2006-08-09 | 2011-04-20 | 株式会社河合楽器製作所 | テンポ検出装置及びテンポ検出用コンピュータプログラム |
| US7645929B2 (en) * | 2006-09-11 | 2010-01-12 | Hewlett-Packard Development Company, L.P. | Computational music-tempo estimation |
| JP4467601B2 (ja) * | 2007-05-08 | 2010-05-26 | ソニー株式会社 | ビート強調装置、音声出力装置、電子機器、およびビート出力方法 |
| WO2009125489A1 (ja) * | 2008-04-11 | 2009-10-15 | パイオニア株式会社 | テンポ検出装置及びテンポ検出プログラム |
| JP5337608B2 (ja) * | 2008-07-16 | 2013-11-06 | 本田技研工業株式会社 | ビートトラッキング装置、ビートトラッキング方法、記録媒体、ビートトラッキング用プログラム、及びロボット |
| US8071869B2 (en) * | 2009-05-06 | 2011-12-06 | Gracenote, Inc. | Apparatus and method for determining a prominent tempo of an audio work |
| US8878041B2 (en) * | 2009-05-27 | 2014-11-04 | Microsoft Corporation | Detecting beat information using a diverse set of correlations |
| JP5569228B2 (ja) * | 2010-08-02 | 2014-08-13 | ソニー株式会社 | テンポ検出装置、テンポ検出方法およびプログラム |
-
2008
- 2008-04-11 WO PCT/JP2008/057129 patent/WO2009125489A1/ja active Application Filing
- 2008-04-11 JP JP2010507096A patent/JP5008766B2/ja not_active Expired - Fee Related
- 2008-04-11 US US12/937,436 patent/US8344234B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004528596A (ja) * | 2001-05-14 | 2004-09-16 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | リズム情報に関するオーディオ信号を解析するための装置及び方法 |
| JP2005274708A (ja) * | 2004-03-23 | 2005-10-06 | Sony Corp | 信号処理装置および信号処理方法、プログラム、並びに記録媒体 |
| WO2007138812A1 (ja) * | 2006-05-30 | 2007-12-06 | Murata Manufacturing Co., Ltd. | レーダ装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110067555A1 (en) | 2011-03-24 |
| US8344234B2 (en) | 2013-01-01 |
| WO2009125489A1 (ja) | 2009-10-15 |
| JPWO2009125489A1 (ja) | 2011-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5008766B2 (ja) | テンポ検出装置及びテンポ検出プログラム | |
| CN103854644B (zh) | 单声道多音音乐信号的自动转录方法及装置 | |
| JP4465626B2 (ja) | 情報処理装置および方法、並びにプログラム | |
| CN104143324B (zh) | 一种乐音音符识别方法 | |
| Salamon et al. | Sinusoid extraction and salience function design for predominant melody estimation | |
| CN104599663B (zh) | 歌曲伴奏音频数据处理方法和装置 | |
| Collins | Using a Pitch Detector for Onset Detection. | |
| JP3789326B2 (ja) | テンポ抽出装置、テンポ抽出方法、テンポ抽出プログラム及び記録媒体 | |
| JP6047985B2 (ja) | 伴奏進行生成装置及びプログラム | |
| CN101399035A (zh) | 从音频文件提取节拍的方法和设备 | |
| JP6252147B2 (ja) | 音響信号分析装置及び音響信号分析プログラム | |
| JP2015079151A (ja) | 楽曲判別装置、楽曲判別装置の判別方法、プログラム | |
| JP2010097084A (ja) | 携帯端末、拍位置推定方法および拍位置推定プログラム | |
| Dittmar et al. | Novel mid-level audio features for music similarity | |
| JP5447624B2 (ja) | カラオケ装置 | |
| JP6263383B2 (ja) | 音声信号処理装置、音声信号処理装置の制御方法、プログラム | |
| JP2011022489A (ja) | 音高認識方法、音高認識プログラム、記録媒体、及び音高認識システム | |
| JP2015125238A (ja) | 音声信号処理装置、音声信号処理装置の制御方法、プログラム | |
| Tang et al. | Melody Extraction from Polyphonic Audio of Western Opera: A Method based on Detection of the Singer's Formant. | |
| Coyle et al. | Onset detection using comb filters | |
| JP3832266B2 (ja) | 演奏データ作成方法および演奏データ作成装置 | |
| JP5203404B2 (ja) | テンポ値検出装置およびテンポ値検出方法 | |
| JP2001067068A (ja) | 音楽パートの識別方法 | |
| Shandilya et al. | Retrieving pitch of the singing voice in polyphonic audio | |
| JP5034642B2 (ja) | カラオケ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120529 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5008766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |