JP7175395B2 - 楽曲構造解析装置および楽曲構造解析プログラム - Google Patents

Description

本発明は、楽曲構造解析装置および楽曲構造解析プログラムに関する。

従来、楽曲データの構造解析では、ＦＦＴ（Fast Fourier Transform）等の周波数分析を行い、楽曲データの周波数スペクトル、低域、中域、高域の周波数成分のパワースペクトル、低域の周波数成分の出現頻度等を利用して、楽曲データの構造解析が行われている。
たとえば、特許文献１には、楽曲データのテンポの変化点を検出することにより、楽曲データのサビ（hook）の展開点を判別する技術が開示されている。
また、特許文献２には、ＳＴＦＴ（Short Time Fourier Transform）変換によって生成されたパワースペクトルから得られたクロマベクトル情報のコードの推移から楽曲データのサビの展開位置を推定する技術が開示されている。

特開２００８－６５１５３号公報 特開２００４－２３３９６５号公報

しかしながら、前記特許文献１に開示された技術では、楽曲データの展開点の判別にテンポの変化点を利用しているに過ぎないため、正しい展開点を高精度に検出することが困難であるという課題がある。
また、前記特許文献２に開示された技術では、楽曲データの低域、中域、高域周波数すべての周波数スペクトルからクロマベクトル情報を取得しているため、音域毎の判別が難しく、Ａメロ、Ｂメロ、サビ等の展開位置を精度よく推定することが困難であるという課題がある。

本発明の目的は、楽曲データの展開位置等の区切り点を高精度に判定することのできる楽曲構造解析装置および楽曲構造解析プログラムを提供することにある。

本発明の楽曲構造解析装置は、楽曲データを構成する所定の周波数以下の信号の信号強度のうち、所定区間内の最大レベルのピーク信号を検出するピーク信号検出手段と、前記ピーク信号検出手段により検出されたピーク信号の信号強度について、前記楽曲データを構成する単位区間毎に平滑化処理を行う平滑化処理手段と、前記平滑化処理手段により平滑化された単位区間毎のピーク信号の信号強度について、時間的に前後する単位区間とのピーク信号の信号強度の差分量を算出する差分量算出手段と、前記差分量算出手段により算出された単位区間毎のピーク信号の信号強度の差分量のうち、ピーク信号の信号強度の差分量が、最も高い信号強度の差分量に対して処理の閾値の範囲内となるピーク信号抽出手段と、前記ピーク信号抽出手段により抽出されたピーク信号のうち、その後のピーク信号の信号強度の時間的変化が所定の閾値の範囲内にあり、かつ所定時間継続するピーク信号の時間的位置を前記楽曲データの区切り点と判定する区切り点判定手段と、を備える。
本発明のコンピュータ読取可能なプログラムは、コンピュータを前述した楽曲構造解析装置として機能させる。

本発明の実施の形態に係る楽曲構造解析装置の構造を示す機能ブロック図。 前記実施の形態における平滑化処理、差分量の算出を説明するためのグラフ。 前記実施の形態における区切り点の判定を説明するためのグラフ。 前記実施の形態における作用を説明するためのフローチャート。

図１には、本発明の実施の一形態に係る楽曲構造解析装置１が示されている。楽曲構造解析装置１は、入力された楽曲データの解析を行って、楽曲データの構造を特徴付けるイントロ（intro）、Ａメロ（verse）、サビ（hook）、アウトロ（outro）等の特徴区間の展開位置、すなわち楽曲データの区切り点を判定する装置である。

楽曲構造解析装置１は、ＬＰＦ（Low Pass Filter）処理手段２、ピーク信号検出手段４、平滑化処理手段５、差分量算出手段６、ピーク信号抽出手段７、区切り点判定手段８、および判定結果出力手段９を備える。これらの各機能的手段は、コンピュータのＣＰＵ上で実行されるコンピュータ読取可能なプログラムとして構成される。

楽曲構造解析装置１により解析された楽曲データの区切り点は、判定結果出力手段９を介しコンピュータ上のディスプレイ１０、照明制御手段１１に出力される。楽曲データの区切り点は、コンピュータのディスプレイ１０において、楽曲の進行を表示する波形グラフ上に重畳表示され等の特徴を表す画像として表示され、ＤＪプレイヤー等の演奏者に再生中の楽曲の区切れ点、すなわち展開位置を認識させる。

ＤＪプレイヤーは、推定された楽曲データの展開位置から、ＤＪコントローラ等で現在再生中の楽曲から、次に再生する楽曲の適否を判断して、違和感のない最適なＤＪパフォーマンスを行うことができる。
また、楽曲データの区切れ点は、照明制御手段１１に出力され、楽曲データの展開に応じた照明制御が実行され、ＤＪパフォーマンスにおける照明演出が行われる。

ＬＰＦ処理手段２は、楽曲データの低域周波数の信号のみを通過させ、中域周波数、高域周波数の信号をカットする。カットオフ周波数は、バスドラム、ベース等のリズムセクションの信号の周波数に相当し、たとえば２００Ｈｚ以下、好ましくは１００Ｈｚ以下である。
低域周波数の信号の信号強度のピークを、所定間隔、たとえば拍毎に検出することにより、展開区間毎に変化することが多いリズムセクションの音量感の変化を把握することができる。

ピーク信号検出手段４は、ＬＰＦ処理後のレベルをある所定区間毎、たとえば拍単位での最大レベルの信号値を検出し、さらに、別のある単位区間、例えば小節毎に、その区間内の最大レベルの信号値をピーク信号として検出する。

平滑化処理手段５は、ピーク信号検出手段４により検出されたピーク信号の信号強度について、楽曲データを構成する単位区間毎に平滑化処理を行う。ここで、本実施形態における単位区間は１小節を単位区間としている。
具体的には、平滑化処理手段５は、拍毎に検出された低域周波数の信号の信号強度を、小節毎に平滑化処理する。
まず、平滑化処理手段５は、１小節中に検出された低域周波数の信号のピーク信号の信号強度のうち、時間的に最初のピーク信号の信号強度を最初の処理値として設定する。

次に、平滑化処理手段５は、時系列的に次に検出されたピーク信号の信号強度が、最初に設定された処理値の所定の閾値の範囲内に含まれているか否かを判定する。所定の閾値の範囲としては、たとえば、次のピーク信号の信号強度が処理値に対して±１０％の範囲内にあるか否かに基づいて判定する。

次のピーク信号が所定の閾値の範囲内に含まれていると判定された場合、平滑化処理手段５は、次のピーク信号の信号強度を処理値に書き替える。
次のピーク信号が所定の閾値の範囲内に含まれていないと判定された場合、平滑化処理手段５は、処理値を当該ピーク信号の信号強度に書き替える。
以後、平滑化処理手段５は、同様の判定を行って、時系列順で検出されたピーク信号の平滑化処理を小節毎に実施する。

差分量算出手段６は、時間的に前後する小節間のピーク信号の信号強度の差分量を算出する。
具値的には、図２に示すように、平滑化処理手段５により平滑化された波形グラフＧ１の時間的に前後する小節間の信号強度の差分量を算出して、小節毎の差分量を表すグラフＧ２を得る。

ピーク信号抽出手段７は、単位区間毎のピーク信号の信号強度の差分量のうち、ピーク信号の信号強度の差分量が、最高値をとるピーク信号の信号強度の差分量に対して所定の閾値の範囲内となる差分量のピーク信号を抽出する。
具体的には、ピーク信号抽出手段７は、図２に示されるように、ピーク信号Ｐｍａｘ、Ｐ１、Ｐ２の信号強度の差分量を表すグラフＧ２が、所定の閾値ＴＨ１、ＴＨ２の範囲内にあるか否かによってピーク信号を抽出する。
ピーク信号抽出手段７により抽出されたピーク信号は、楽曲データの展開位置等の区切り点の候補とされる。

本実施の形態では、ピーク信号抽出手段７は、２つの閾値ＴＨ１、ＴＨ２によってピーク信号を抽出している。
第１の閾値ＴＨ１は、ピーク信号の信号強度の差分量がピーク信号として認識される下限値として設定され、たとえば、検出可能な信号強度の限界値（１００％）に対して、たとえば１５％の信号強度が第１の閾値ＴＨ１とされる。したがって、信号強度が１５％未満のピーク信号は、抽出の対象から除外される。

第２の閾値ＴＨ２は、差分量算出手段６により算出されたピーク信号Ｐｍａｘの差分量の最大値と比較して、一定の大きさの信号強度を有するピーク信号の信号強度として設定され、たとえば差分量の最大値に対して、６０％とされる。したがって、図２において、信号強度の差分量が第２の閾値ＴＨ２に至らないピーク信号Ｐ１は、抽出の対象から除外され、第２の閾値ＴＨ２を超えるピーク信号Ｐ２は抽出の対象となる。

区切り点判定手段８は、ピーク信号抽出手段７により抽出されたピーク信号のうち、その後のピーク信号の信号強度の時間的変化が所定時間継続して所定の閾値の範囲内にあるときに、当該ピーク信号の時間的位置を楽曲データの区切り点と判定する。
具体的には、区切り点判定手段８は、図３に示すように、抽出されたピーク信号Ｐ２がその後、ピーク信号Ｐ２の信号強度ＰＬに対して、閾値ＴＨ３の範囲内を、所定の継続時間、たとえば２小節以上維持する場合、ピーク信号Ｐ２を区切り点として判定する。閾値ＴＨ３は、たとえばピーク信号Ｐ２の信号強度ＰＬに対して±３０％に設定される。

ピーク信号Ｐ２が上記の条件を満たす場合、区切り点判定手段８は、ピーク信号Ｐ２を楽曲データの区切り点と判定する。
一方、ピーク信号Ｐ２が上記の条件を満たさない場合、区切り点判定手段８は、ピーク信号Ｐ２を楽曲データの区切り点とは判定せず、時系列的に次のピーク信号の判定を行う。
区切り点判定手段８により判定された結果は、判定結果出力手段９を介してディスプレイ１０、照明制御手段１１に出力される。

次に、前述した本実施の形態の作用について、図４に示すフローチャートに基づいて説明する。
楽曲構造解析装置１は、ＨＤＤ等の記憶装置から楽曲データの読み出しを行う（手順Ｓ１）。ＬＰＦ処理手段２は、読み出された楽曲データに対してＬＰＦ処理を行って、楽曲データの中域および高域の周波数成分を除去する（手順Ｓ２）。

ピーク信号検出手段４は、ＦＦＴ解析によって生成された周波数スペクトルに基づいて、時間的に前後する信号の信号強度よりも信号強度の大きな信号をピーク信号として検出する（手順Ｓ３）。
平滑化処理手段５は、検出されたピーク信号の時間的変化について平滑化処理を行って、小節毎のピーク信号の処理値を算出する（手順Ｓ４）。
差分量算出手段６は、算出された小節毎のピーク信号の平滑化した処理値について、時間的に前後する小節間のピーク信号の信号強度の差分量を算出する（手順Ｓ５）。

ピーク信号抽出手段７は、ピーク信号の信号強度の差分量が閾値ＴＨ１よりも大きく、かつ閾値ＴＨ２よりも大きいかを判定する（手順Ｓ６）。
判定の結果、差分量が閾値ＴＨ１および閾値ＴＨ２のいずれかを満たさない場合、次のピーク信号について手順Ｓ６の判定を行う。
判定の結果、差分量が閾値ＴＨ１および閾値ＴＨ２の両方を満たす場合、当該差分量のピーク信号を区切り点の候補として抽出する（手順Ｓ７）。
以後、すべての差分量が算出されたピーク信号について、手順Ｓ６の判定を繰り返す（手順Ｓ８）。

区切り点の候補となるピーク信号がすべて抽出されたら、区切り点判定手段８は、抽出されたピーク信号について、その後のピーク信号の信号強度が所定時間継続して閾値ＴＨ３の範囲内にあるか否かを判定する（手順Ｓ９）。
判定条件を満たさない場合、区切り点判定手段８は、次の抽出されたピーク信号について、手順Ｓ９の判定を行う。

判定条件を満たす場合、区切り点判定手段８は、当該ピーク信号を楽曲データの区切り点と設定する（手順Ｓ１０）。
区切り点判定手段８は、次の抽出されたピーク信号について、手順Ｓ９の判定を行い、抽出されたすべてのピーク信号についての手順Ｓ１０の判定を繰り返す（手順Ｓ１１）。

このような本実施の形態によれば、以下のような効果がある。
本実施の形態では、区切り点判定手段８が所定の周波数以下の信号の信号強度を対象として、楽曲データの区切り点の判定を行っている。したがって、低域周波数の変化のみを対象として楽曲データの区切り点を判定できるため、中域、高域周波数のノイズが入りにくい状態で区切り点の判定を行って、区切り点を高精度に判定できる。

本実施の形態では、区切り点判定手段８が区切り点の候補となるピーク信号のうち、ピーク信号の信号強度が閾値ＴＨ３の範囲内にあり、これを２小節間継続するピーク信号を楽曲データの区切り点として判定している。したがって、安定して大きな変化を有するピーク信号の時間的位置を区切り点として判定しているため、楽曲データの区切り点を誤りなく判定することができる。
本実施の形態では、区切り点判定手段８による判定の前に、平滑化処理手段５による平滑化処理を行っている。したがって、区切り点判定手段８による判定が、ノイズ等に妨害されることを防止して、確実に楽曲データの区切り点を判定できる。

本実施の形態では、ピーク信号抽出手段７によるピーク信号の抽出が、信号強度が最高値のピーク信号に対して、６０％以上の信号強度を有するピーク信号を区切り点の候補として抽出している。したがって、信号強度が十分に大きなピーク信号を区切り点の候補として抽出できるため、区切り点判定手段８による区切り点の判定を高精度に行うことができる。

なお、本発明は、前述した実施の形態に限定されるものではなく、以下に示すような変形も含むものである。
前述の実施の形態では、区切り点判定手段８による区切り点の判定は、ピーク信号の信号強度が±３０％の範囲内にあり、これを２小節以上継続することを条件として判定していたが、本発明は限らない。閾値の条件は、解析の対象となる楽曲データのジャンル、テンポ等によって適宜変更してもよい。

前述の実施の形態では、ピーク信号抽出手段７による区切り点の候補となるピーク信号の抽出を、ピーク信号の信号強度の最高値に対して、６０％以上の信号強度を閾値ＴＨ２としてピーク信号を抽出していたが、本発明はこれに限られない。たとえば、閾値ＴＨ２をもっと高く設定してもよく、低く設定してもよい。要するに、閾値の条件は、解析の対象となる楽曲データのジャンル、テンポ等によって適宜変更してもよい。
その他、本発明の実施の際の具体的な構造および形状等は、本発明の目的を達成できる範囲で他の構造等としてもよい。

１…楽曲構造解析装置、２…ＬＰＦ処理手段、４…ピーク信号検出手段、５…平滑化処理手段、６…差分量算出手段、７…ピーク信号抽出手段、８…区切り点判定手段、９…判定結果出力手段、１０…ディスプレイ、１１…照明制御手段、Ｇ１…グラフ、Ｇ２…グラフ、Ｐ１…ピーク信号、Ｐ２…ピーク信号、ＰＬ…信号強度、ＰＬ…信号強度、Ｐｍａｘ…ピーク信号、ＴＨ１…第１の閾値、ＴＨ２…第２の閾値、ＴＨ３…閾値。

Claims (4)

1. 楽曲データを構成する所定の周波数以下の信号の信号強度のうち、所定区間内の最大レベルのピーク信号を検出するピーク信号検出手段と、
   前記ピーク信号検出手段により検出されたピーク信号の信号強度について、前記楽曲データを構成する単位区間毎に平滑化処理を行う平滑化処理手段と、
   前記平滑化処理手段により平滑化された単位区間毎のピーク信号の信号強度について、時間的に前後する単位区間とのピーク信号の信号強度の差分量を算出する差分量算出手段と、
   前記差分量算出手段により算出された単位区間毎のピーク信号の信号強度の差分量のうち、ピーク信号の信号強度の差分量が、最も高い信号強度の差分量に対して所定の閾値の範囲内となるピーク信号を抽出するピーク信号抽出手段と、
   前記ピーク信号抽出手段により抽出されたピーク信号のうち、その後のピーク信号の信号強度の時間的変化が所定時間継続して所定の閾値の範囲内にあるときに、当該ピーク信号の時間的位置を楽曲データの区切り点と判定する区切り点判定手段と、
   を備える楽曲構造解析装置。
2. 請求項１に記載の楽曲構造解析装置において、
   前記区切り点判定手段における所定の閾値は、抽出されたピーク信号の信号強度の±３０％であり、継続時間は２小節以上である楽曲構造解析装置。
3. 請求項１または請求項２に記載の楽曲構造解析装置において、
   前記ピーク信号抽出手段における閾値は、最も高い信号強度の差分量に対して６０％以上である楽曲構造解析装置。
4. コンピュータを請求項１から請求項３のいずれか一項に記載の楽曲構造解析装置として機能させるコンピュータ読取可能な楽曲構造解析プログラム。
   

Images