JP3631650B2 - Music search device, music search method, and computer-readable recording medium recording a music search program - Google Patents
Music search device, music search method, and computer-readable recording medium recording a music search program Download PDFInfo
- Publication number
- JP3631650B2 JP3631650B2 JP2000008458A JP2000008458A JP3631650B2 JP 3631650 B2 JP3631650 B2 JP 3631650B2 JP 2000008458 A JP2000008458 A JP 2000008458A JP 2000008458 A JP2000008458 A JP 2000008458A JP 3631650 B2 JP3631650 B2 JP 3631650B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- search
- tempo
- input
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は,音楽検索に係わり,特に,楽曲入力手段によって入力もしくは指定された楽曲の一部もしくは全体を検索キーとして,データベースに蓄積された楽曲の中から,検索キーと類似する楽曲の一部もしくは全体を検索する装置およびその方法に関する。
【0002】
【従来の技術】
音楽の類似検索を行う場合,従来方法においては音符がマッチングの処理単位として用いられていた。この場合,音符とは,音の高さの変動もしくは変動率がある一定の閾値内に納まっている音の連続のことを言う。また,各音符は,音符情報として音の高さ(音高),音の長さ(音長),時間的に前後する音符との音高の差(相対音高),時間的に前後する音符との音長の比(相対音長)などを保有している。
【0003】
図9は,従来方法による音楽検索のうち,音符を単位としたDPマッチングを使用するものの原理を説明する図である。まず,データベース構築のフェーズでは,検索対象とする楽曲を入力し(ステップS101),音符情報に変換する(ステップS102)。それをデータベースへ格納する(ステップS103)。データベースへ格納した楽曲の検索は,検索キーとなる楽曲を入力し(ステップS111),それを音符情報に変換する(ステップS112)。次に,データベース中の全楽曲の音符情報と検索キーから得られた音符情報について,データベース中の曲数分,DP(Dynamic Programming )マッチングを実施し(ステップS113),もっとも類似した楽曲の候補を検索結果として出力する(ステップS114)。
【0004】
以上のように,音楽の類似検索を行う場合,従来方法においてはDPマッチングが使われていた(参考文献1,2)。
〔参考文献1〕園田智也,後藤真孝,村岡洋一:「WWW上での歌声による曲検索システム」,電子情報通信学会技術報告,SP97−103, 1998.
〔参考文献2〕蔭山哲也,高島羊典:「ハミング歌唱を手掛りとするメロディ検索」,電子情報通信学会論文誌,Vol.J77−D−II No.8 pp.1543−1551, 1994.
DPマッチングにおいては,検索キーと,データベース中の楽曲の一部または全体(候補部分曲)の対応関係が求められ,対応関係にある検索キーの音符と,候補部分曲の音符との間での,音符情報の差異の累計によって類似度が計算される。この検索キーとの間の類似度が最大になるような候補部分曲を,動的計画法によって探し出すのがDPマッチングである。
【0005】
【発明が解決しようとする課題】
従来方法の音符をマッチングの単位とした検索方法では,一般に,許容できる音符数誤りの量を制限している。
【0006】
また,従来方法のDPマッチングでは,計算量を抑制するために,検索キーの音符列と,類似度計算対象となるデータベース中の楽曲の音符列との間の音符数の差異に制限を設ける。
【0007】
したがって,音楽検索をする場合に,検索キー入力の際に,検索目標とするデータベース中の楽曲に対して一定量以上に音符の挿入・削除を行ってしまうと極端に検索精度が悪くなるという問題があった。
【0008】
たとえ検索キー入力の際に,音符の挿入・削除が行われなかったとしても,検索キーから音符情報を抽出する際に,音符の挿入・削除が生じる可能性も大きく,そのために検索精度が悪いという問題があった。
【0009】
また,DPマッチングにおいては,インデクスを利用することができず,データベース中の全曲に対して全検索を施す必要があるために,たとえ計算量を抑制するために許容できる音符数誤りの量を制限したとしても,やはり検索に時間がかかるという問題があった。
【0010】
一方,音楽片を使用した検索の場合,インデクスを利用できるために検索時間を大幅に短縮することが可能であった。
【0011】
図10は,音楽片を使用する音楽検索の原理を説明する図である。この手法は,特願平10−341754号(音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体)で,本発明者等が提案しているものである。
【0012】
まず,データベースの構築では,検索対象とする楽曲を入力し(ステップS201),入力した楽曲を音符情報に変換し(ステップS202),その音符情報を複数の音楽片に分割し(ステップS203),高速検索が可能なように,インデクスを生成し(ステップS204),音楽片の情報をインデクスとともにデータベースに格納する(ステップS205)。
【0013】
次に,楽曲の検索では,検索キーとなる楽曲を入力し(ステップS211),入力した楽曲を音符情報に変換し(ステップS212),音符情報を複数の音楽片に分割する(ステップS213)。音楽片の一つ一つを検索キーとして,インデクスを用いてデータベースに蓄積された音楽片から類似するものを検索する(ステップS214)。検索結果として検出された音楽片同士の関係と,検索キーとなった音楽片同士の関係などを調べることで,検出された音楽片を含むデータベース中の楽曲の一部または全体との間の類似度を調べて(ステップS215),検索キーとなった楽曲の一部または全体と類似度の高いデータベース中の楽曲の一部または全部を検索結果として出力する(ステップS216)。
【0014】
音楽片検索を行う場合には,類似度を計算する音楽片同士の音符の数が一致しているために,DPマッチングを用いて音符同士の対応関係を求める必要がなく,インデクスを利用した高速な検索が可能であった。
【0015】
しかし,音楽片検索をする際は,音符数誤りが認められないために,音楽片の長さ分だけ,音符の挿入・削除のない区間が必要であるという制限があった。すなわち,音楽片の長さ分だけ,音符の挿入・削除のない区間がなければ,検索精度が悪いという問題点があった。
【0016】
また,音符情報を必ずしも必要としない方法としては,音楽情報への変換を行った後,類似検索を行うという手法がある。
【0017】
図11は,音符情報を使用しない音楽検索の原理を説明する図である。この手法は,特願平10−329131号(音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体)で,本発明等が提案しているものである。
【0018】
まず,データベースの構築において,楽曲を入力し(ステップS301),入力した楽曲から音楽的な特徴(特徴量)を抽出することが可能な音楽情報に変換し(ステップS302),それをデータベースへ格納する(ステップS303)。
【0019】
楽曲の検索において,検索キーとなる楽曲を入力し(ステップS311),入力した楽曲を同等な音楽情報への変換を行い(ステップS312),変換した音楽情報をもとに,データベース中の楽曲について類似検索を実施する(ステップS313)。ここで,類似検索として,検索キーの楽曲の特徴量をデータベースに蓄積された楽曲の特徴量と比較し検索し,検索は距離関数を用いて距離の近いものを類似度の高いものとする類似度計算を行う。類似したものを含む楽曲の候補を検索結果として出力する(ステップS314)。
【0020】
しかし,このような音楽情報を利用する方法においては,検索キーと,データベース中の曲とのテンポが異なる場合に,検索精度が悪いという問題点があった。
【0021】
本発明は,上記の点に鑑みなされたもので,データベース中の楽曲および検索キーのテンポを規格化することにより,音符を単位とするのではなく,規格化された時間を単位とした検索を可能とすることによって音符数誤りによって影響を受けない楽曲の検索装置および方法を提供することを目的とする。本発明においては,DPマッチングを使う必要がないため,インデクスを用いた検索を行うことが可能であり,高速な検索が可能である。また,検索を行う前にテンポを規格化するために,検索キーとデータベース中の曲とのテンポが異なっていた場合にも,高い検索精度を得ることが可能である。
【0022】
【課題を解決するための手段】
図1および図2は,本発明による音楽の類似検索の概要を説明するための図,図3は,本発明の原理構成図である。
【0023】
本発明は,音楽検索において,データベースに入力された楽曲もしくは楽曲から変換された音楽情報のテンポを規格化した上でデータベースに蓄積し,また,検索キーとして入力された楽曲もしくは楽曲から変換された音楽情報のテンポを規格化した上で,音楽の類似検索を行うことを主な特徴とする。
【0024】
まず,音楽情報への変換を行わない検索におけるデータベースの構築では,楽曲入力手段1を用いて楽曲が入力される(ステップS10)。入力された楽曲は,テンポ規格化手段2によってテンポ規格化される(ステップS11)。
【0025】
また,音楽情報への変換を行う検索の場合のデータベースの構築では,楽曲入力手段1を用いて楽曲が入力された後(ステップS30),音楽情報変換手段31により音楽情報に変換され(ステップS31),その後,テンポ規格化手段2によってテンポ規格化される(ステップS32)。
【0026】
テンポ規格化された楽曲あるいはテンポ規格化された音楽情報は,楽曲蓄積手段4により,音楽情報蓄積部42にデータベースとして蓄積される(ステップS12,S33)。
【0027】
テンポ規格化された楽曲あるいはテンポ規格化された音楽情報は,楽曲蓄積手段4により蓄積される前に,音楽情報変換手段31’による音楽情報への変換,音楽片生成手段32による音楽片への分割の過程を経てから,蓄積されることもある。さらに,蓄積された楽曲,音楽情報,音楽片に対して,インデクス生成手段44により,検索を高速化するためのインデクスが作成されることもある。
【0028】
楽曲蓄積手段4には,テンポ規格化される前の楽曲を楽曲蓄積部41に蓄積することも可能であり,検索の結果として,テンポ規格化される前の楽曲を出力することも可能である。
【0029】
楽曲の検索においては,まず,楽曲入力手段1を用いて楽曲の一部または全体が入力もしくは指定される(ステップS20,S40)。入力された楽曲は,テンポ規格化手段2によりテンポ規格化されるか(ステップS21),音楽情報変換手段31により音楽情報へ変換された後(ステップS41),テンポ規格化される(ステップS42)。テンポ規格化された検索キーは,さらに,音楽情報変換手段31’により音楽情報へ変換され,音楽片生成手段32により音楽片へ分割されることもある。
【0030】
上記処理を経た検索キーは,楽曲検索手段5へ送られ,楽曲検索手段5では,検索キーに類似する楽曲の一部もしくは全体を,データベースに蓄積された楽曲から検索する(ステップS22,S43)。データベースでインデクスが生成されている場合は,インデクスを用いて検索を行う。
【0031】
音楽片を用いた検索では,音楽片検索手段51により,検索キーとして送られてきた音楽片の少なくとも一つを用いて,データベースに蓄積された音楽片から類似するものを検索し,楽曲出力手段6により,検索結果の楽曲を出力する(ステップS23,S44)。検索キーとして送られてきた音楽片の複数を用いて検索する場合には,検索キーのそれぞれの音楽片に類似するデータベース中の音楽片を検索した後,音楽片整合手段52により,音楽片同士の整合性を調べ,最終的な検索結果とすることもある。
【0032】
なお,音楽片の整合については,上記の関連する特許出願(特願平10−341754号)の明細書等に記載されている手法を採用する。具体的には,検索結果として検出された音楽片同士の関係と,検出された音楽片のそれぞれの検索キーとなった音楽片同士の関係を調べ,また,検出された音楽片の前後の音符と,検出された音楽片の検索キーとなった音楽片の前後の音符の関係を調べることで,検索キーとなった楽曲の一部または全部と,検出された音楽片を含むデータベース中の楽曲の一部または全部との間の類似度を調べる。
【0033】
楽曲入力手段1は,一定の時間間隔もしくは決められた規則に従った時間間隔で信号を発するリズム信号発信手段11を有することもある。特に,検索キーとして入力される楽曲に関しては,テンポ規格化が十分な精度で行われない可能性がある。そこで,リズム信号発信手段11によって一定の時間間隔もしくは決められた規則に従った時間間隔で信号を発信させ,その信号に合わせて楽曲入力者が楽曲の入力を行い,入力された楽曲と,リズム信号発信手段11により発信される信号とを同時にテンポ規格化手段2に入力させることによって,正確なテンポ規格化を行うことを可能とする。
【0034】
あるいは,楽曲入力手段1は,リズム信号受信手段12を有することもある。これは,楽曲入力者が楽曲の演奏(歌唱)に合わせて発するリズム信号を受信可能とする手段で,入力された楽曲と,リズム信号受信手段12により受信される信号を同時にテンポ規格化手段2に入力させることによって,正確なテンポ規格化を行うことを可能とする。
【0035】
テンポ規格化手段2は,楽曲入力手段1により入力された楽曲,音楽情報変換手段31により変換された音楽情報,もしくは,リズム信号発信手段11により発信された信号,リズム信号受信手段12により受信された信号から,テンポを抽出するテンポ抽出手段21を有することもある。この場合,テンポ規格化手段2は,テンポ抽出手段21によって抽出されたテンポを用いて,テンポ規格化を行う。
【0036】
以下に,本発明の作用を説明する。図4は,テンポ規格化について説明するための図である。楽曲においては,テンポによって,音楽的な「拍子」の時間的な長さが規定される。図4(A)の「元の楽曲」に示されているように,楽曲はそれぞれテンポを持っており,このテンポは,楽曲同士の間で一致することもあれば,異なることもある。また,同じ楽曲であっても,一つ一つの演奏によって異なることもある。また,同じ楽曲であっても,曲の部分によって異なることもある。
【0037】
テンポを規格化するということは,図4(B)に示すように,すべての楽曲のすべての演奏の,すべての部分において,拍子の長さが一定の時間的な長さになるように,楽曲に変換を施すことである。
【0038】
図5は,マッチングの単位を説明するための図である。テンポ規格化を行わない場合,主に音符がマッチングの単位とされてきた。しかし,図5(A)に示すように,音符の挿入・削除が生じると,比較する音符同士の対応関係がずれるという問題があった。DPマッチングは,音符の挿入・削除があった場合の比較する音符同士の対応関係のずれを修正するための方法である。
【0039】
実際にDPマッチングを用いて検索を行う場合,許容する音符の挿入・削除の量には制限を設ける必要があるため,音符の挿入・削除が検索精度に大きな影響を与える。また,DPマッチングを用いた検索では,検索を高速に行うためのインデクスの作成などもできないため,多くの検索時間を必要とする。
【0040】
一方,テンポ規格化を行った場合,図5(B)のように時間を単位としたマッチングが可能となる。この場合,音符の挿入・削除があったとしても,対応関係にずれが生じることがなく,そのことにより検索精度が影響されることはない。したがって,精度の高い検索が可能となる。また,テンポ規格化された楽曲を,音楽片に分割し,インデクスを作成することにより,検索を高速に行うようにすることも可能である。
【0041】
本発明に関連する技術として,特願平10−329131号,特願平10−341754号に開示する発明がある。本発明は,データベース構築の際に,データベースに入力する楽曲のテンポ規格化を行い,検索キーとなる楽曲の入力の際もテンポ規格化を行う点が,先の発明と主に異なる。特に,本発明は,特願平10−341754号に開示する発明とは,特に音符単位での検索を行わず,時間を単位とした検索を行う点が主に異なる。
【0042】
【発明の実施の形態】
〔第1の実施の形態〕
本発明の第1の実施の形態について説明する。データベースに入力するための楽曲として,MIDIデータを用いる。現在ではカラオケ用のデータを初め,多くの楽曲がMIDIデータとして世の中に出回っている。
【0043】
MIDIデータでは,音符情報が拍子を基準として記述されている。そして,1拍の実時間上の長さが,テンポ情報として,音符情報とは別に記述されている。したがって,規格化された時間として,1拍の長さを基準とした時間を採用すれば,データベース中の楽曲のテンポ規格化が実現される。
【0044】
データベースに格納するにあたり,元のMIDIデータは,まず,音楽片に分割される。分割の方法としては,音楽片の長さが,規格化された時間軸上ですべて同じになるようにし,図6(A)に示すように,すべての音符の始まりを先頭とする音楽片が生成されるようにする方法がある。あるいは,図6(B)に示すように,音楽片が一定の時間間隔で始まるように分割する方法もある。
【0045】
また,音楽片へ分割した後,音楽情報(特徴量)として,音高推移ベクトルを生成する。これは,図7に示すように,規格化された時間軸を等間隔の目盛で刻み,各目盛の位置で演奏されている音の高さを並べてできるベクトルである。計算機での処理上,音の高さは,例えばMIDIで使われている音高を表す数値や,周波数などに置き換える。
【0046】
音楽情報(特徴量)としては,上記のほかに,例えば,以下のものを生成することができる。
【0047】
▲1▼ 音高推移ベクトルAi =(ai1,ai2,…,ain)としたとき,ベクトルの要素の平均値mi =(ai1+ai2+…+ain)/nを計算し,各要素からこの平均値を引いた値を要素とするベクトルAi ’ =(ai1−mi ,ai2−mi ,…,ain−mi )を特徴量とする。検索キーの楽曲と,データベース中の楽曲の調が異なっていても,このベクトルは類似することが期待される。
【0048】
▲2▼ 音高推移ベクトルAi =(ai1,ai2,…,ain)に対し,最初の要素ai1を基準にし,各要素からこの基準値を引いた値を要素とするベクトルAi ’’=(0,ai2−ai1,…,ain−ai1)を特徴量とする。検索キーの楽曲と,データベース中の楽曲の調が異なっていても,このベクトルは類似することが期待される。
【0049】
▲3▼ 音高推移ベクトルAi =(ai1,ai2,…,ain)に対し,各要素から前の要素の値を引いた値を要素とするベクトルAi ’’’ =(ai1,ai2−ai1,…,ain−ain−1)を特徴量とする。検索キーの楽曲の調が少しずつ推移してしまう場合でも,データベース中の楽曲と,このベクトルは類似することが期待される。
【0050】
これらの音楽情報が,データベースに格納された後,検索を高速化するためのインデクスを生成する。インデクスの生成方法としては,R−tree などを用いる。なお,R−tree に関する参考文献としては以下のものがある。
〔参考文献3〕A.Guttman, ”R−trees: a dynamic index structures for spatial searching”, Proceedings of the ACM SIGMOD International Conference on the Management of Data, pp.47−57, Boston, 1984.
検索キーとなる楽曲の入力については,ハミングによる入力,楽器の演奏による入力,MIDIキーボードの演奏による入力などの方法がある。
【0051】
楽曲の入力の際には,リズム信号発信装置として,電子的なメトロノームを用いる。この電子的なメトロノームは,指定したテンポで音や光,コンピュータディスプレイ上の文字・図形などを発することができるようになっており,楽曲入力者が,その発する信号に合わせて楽曲の入力ができるようになっている。この電子的なメトロノームは,一定の時間間隔で信号を発するだけでなく,例えば,小節の先頭の拍は音色・音量や,光の色・光の強さ,ディスプレイ上の文字の種類・図形の種類を,他の拍とは異なるように発したり,また例えば「サンバのリズム」など,入力する曲の種類に合わせたリズム信号を発することができる。また,この信号を発するテンポであるが,楽曲入力者が楽曲の入力をしやすいように,遅くしたり速くしたりを自由に設定することが可能である。
【0052】
あるいは,楽曲入力の際には,リズム信号受信装置を使うこともある。これは,手拍子,足踏み,指の上下の動き,体の揺れ,マウスのクリック,キーボードの押下など,楽曲入力者が楽曲入力の際に意識的/無意識的に発する動き,信号などを検知できるようにした装置である。
【0053】
入力された楽曲と,上記リズム信号受発信装置から得られる信号を使って,検索キーとなる楽曲のテンポ規格化を行う。
【0054】
音楽片への分割,音楽情報への変換については,MIDIキーボードから入力される楽曲については,データベースへの楽曲の入力の場合と同じである。
【0055】
ハミングによる入力,楽器の演奏による入力では,楽曲入力手段1によりPCM形式のデータとして楽曲が入力される。そして,このデータから音高情報が抽出される。音高情報の抽出に関しては,PCM形式のデータから音符情報を抽出する従来方法に準じる。
〔参考文献4〕新原高水,今井正和,井口征士:「歌唱の自動採譜」,計測自動制御学会論文集,Vol.20 No.10 pp.940−945, 1984; 〔参考文献5〕水野正典,藤本正樹,高島羊典,鶴田七郎:「パーソナルコンピュータミュージックシステム −歌声の自動採譜−」,情報処理学会第35回全国大会,5Ff−5, 1987 .
すなわち,まず,FFTや,自己相関処理を用いて周波数分析を行い,ピーク抽出,各ピークのパワー測定などを行う。さらに,ノイズの除去,ピッチドリフトの補正,高調波成分の基本成分への吸収などを行い,時間軸上の目盛に対して,どの時点でどの音が演奏されているかを検出する。音高情報が抽出された後の,音楽片への分割,音楽情報の生成の仕方については,データベースへの楽曲の入力の場合と同じである。
【0056】
なお,音楽情報生成の過程を二段階に分け,途中でテンポ規格化を行う場合もある。例えば,まず音高情報を抽出した後,テンポを規格化し,その後,音高ベクトルなど特徴量の生成を行う場合もある。
【0057】
検索については,まず,検索キーとして入力された楽曲から生成された音楽片のそれぞれに類似する音楽片を,データベース中から検索する(音楽片検索)。その際には,検索キーの音楽片とデータベース中の音楽片との距離を,音高ベクトルなどそれぞれの特徴量に対して求める。なお,この距離は,ユークリッド距離やマンハッタン距離など適当な距離を特徴量ごとに設定して求める。また,検索を高速化するため,インデクスを用いて検索を行う。
【0058】
音楽片同士の距離(非類似度)は,各特徴量の距離に適当な重みを加味して何らかの方法で求めたものとして表す。詳しくは,以下のとおりである。用いている特徴量の集合をFSPACEとする。音楽片Kと音楽片Xとの特徴量iについての距離をdi(K,X),重みをWiとすると,音楽片Kと音楽片Xとの総合的な距離D(K,X)を何らかの方法で求めるのは,次のような関数Fを用いて行うことになる。
【0059】
D(X,K)=F({Wi},{di(K,X)})
(ただし,i∈FSPACE)
この関数Fの具体的な例として,線形和の関数を用いるとすると,
D(X,K)=sum(Wi×di(K,X))
となる(ただし,i∈FSPACEであり,sumはi∈FSPACEについての総和をとる)。
【0060】
関数Fとして線形和ではなく,例えば次のような最小値をとる関数を用いることもできる。
【0061】
D(X,K)=min(Wi×di(K,X))
(ただし,i∈FSPACE,minはi∈FSPACEについての最小値をとる)
また,上記線形和と最小値との混合を用いることもできる。すなわち,特徴量(FSPACE)を2種類(FSPACE1,FSPACE2)に分けて,
FSPACE=FSPACE1∪FSPACE2
であるとすると,
D(X,K)=sum(Wi×di(K,X),min(Wj×dj(K,X))
のような関数を用いて総合距離を求めることもできる。ここで,i∈FSPACE1,j∈FSPACE2である。
【0062】
ここでは,音楽片同士の距離(非類似度)の求め方として,線形和を用いる場合,最小値を用いる場合,線形和と最小値の混合を用いる場合の例を説明したが,もちろんこの他にも総合距離の求め方はいろいろあり得る。データベース中の音楽片のうち,検索キーの音楽片との距離が近いもの,すなわち類似度の高いものが音楽片検索の結果となる。
【0063】
検索キーから音楽片が複数生成される場合,検索キーの音楽片のそれぞれに対する音楽片検索の結果に対して音楽片同士の整合性を調べ,複数の音楽片を組み合わせた場合の類似度を計算し,最終的な検索結果とすることができる。
【0064】
今,検索キーKの音楽片Kp ,Kq (p<q)に対し,データベース中の音楽片X,Yがそれぞれ類似していたとする(Kp 〜X,Kq 〜Y)。音楽片X,Yが,検索キーの音楽片Kp ,Kq に対して整合性を持つということは,以下の条件を満たすことである。
【0065】
1)音楽片X,Yは同じ曲に属さなければならない。なお,以降ではこの候補曲をAとし,音楽片X,YをそれぞれAr ,As とおく。
【0066】
2)音楽片Ar ,As の時間的順序は,対応する検索キーの音楽片(Kp ,Kq )の時間的順序と同じ(すなわち,r<s)である。
【0067】
3)音楽片Ar ,As の規格化された時間における開始時間を,TAr,TAsとし,検索キーの音楽片Kp ,Kq の規格化された時間における開始時間を,TKp,TKqとしたとき,開始時間の間隔が一致,すなわち,TAs−TAr=TKq−TKpである。
【0068】
検索結果の出力では,検索キーと,検索結果の候補となったデータベース中の楽曲の一部もしくは全体との間の類似度を求めた後,類似度の高い順番に,楽曲の一部もしくは全体を提示する。データベース中の情報から楽曲の題名,音楽家名を表示することもできるし,検索キーと類似する楽曲の一部もしくは全体を演奏することもできる。
【0069】
本実施の形態においては,データベースに入力する楽曲としてMIDIデータを用いることができる。MIDIデータは標準化された形式で,非常に多くの楽曲がMIDIデータとして存在しており,データベースの構築のために楽曲の演奏を行ったりする必要がなく,データベース構築が容易である。また,MIDIデータは拍子を基準として音符情報が記述されているため,テンポ規格化,音高情報の抽出が正確に行えるため,音楽検索用のデータベースに利用することに適している。
【0070】
また,検索キーとなる楽曲の入力の際に,リズム信号受発信装置を補助的に使うことによって,検索キーとなる楽曲のテンポ規格化が正確に行えるようになる。
【0071】
本実施の形態の格別な効果として,データベースの構築が容易かつ正確に行えること,また,検索キーとする楽曲のテンポ規格化が正確に行えることが挙げられる。
【0072】
〔第2の実施の形態〕
本発明の第2の実施の形態においては,上記の第1の実施の形態でデータベースに入力する楽曲としてMIDIデータを用いるのではなく,例えば音楽用CD(コンパクト・ディスク)のデータや,WAVE,AIFF,AUなどの形式のようにPCM符号化された楽曲,もしくは,他の符号化形式のものであれば,それを一度PCM符号化形式に変換したものを用いる。
【0073】
一般に楽曲においては,拍子に合わせて音が演奏される。そして,音は,演奏が開始される瞬間に大きく音圧が変化するため,楽曲における音圧の変動を調べれば,テンポ情報を抽出することが可能である。
【0074】
より具体的なテンポ情報抽出方法として,以下のような方法がある。
【0075】
▲1▼ 100Hzや10Hzといった小さなサンプリング周波数で音量レベルのピークを探し,ピークの間隔からテンポを抽出する方法。元のPCMデータのサンプリング周波数が,例えば44100Hzであったとすると,1000サンプルずつ足しあわせたデータを作成し,音量レベルのピークを探す,といった方法が考えられる。
【0076】
▲2▼ 上記小さなサンプリング周波数で音量レベルの変化率の推移を調べ,変化率が急激に増加する部分を探し,その急激に増加する部分の間隔からテンポを抽出する方法。
【0077】
▲3▼ 上記小さなサンプリング周波数のデータに対し,例えば,10秒といった長い区間で周波数分析を行い,ピークを探す方法。例えば,2Hzのところにピークが出れば,この楽曲の一拍の長さは0.5秒であるということになる。
【0078】
▲4▼ リズムを刻むドラムズなどの楽器の音を選択的に抽出し,これらの音の音圧の変動を分析することにより,テンポ情報を抽出する方法。
【0079】
入力された楽曲から音高情報などの特徴量を生成する方法としては,上記の第1の実施の形態でハミングや楽器の演奏により入力された楽曲から音高情報などを抽出する方法に準じる。ただし,ハミングや単一の楽器の演奏の場合と違い,音楽用CDなどのデータでは,複数の音符が同時に発せられているため,検索対象となる音高(旋律に相当する音の音高)のみを抽出する必要がある。そのために,FFTや自己相関処理をしたのちに,音圧の最も強いピークを抽出する方法や,旋律やリズムを演奏する楽器,もしくは人の歌声の周波数帯のピークのみを抽出するような帯域フィルタを使用する方法がある。
【0080】
本実施の形態の効果は以下のとおりである。データベースに入力する楽曲として,MIDIよりさらに一般的な音楽符号化方式であるPCM方式により符号化された楽曲を利用することにより,データベース中に含まれる楽曲の量を,より充実したものにすることが可能である。また,市販の音楽用CDのみならず,個人的に楽器によって演奏した楽曲などもデータベース中に含むことができるようになる。
【0081】
〔第3の実施の形態〕
本発明の第3の実施の形態においては,上記の第1,第2の実施の形態でデータベース中の楽曲,検索キーの楽曲を音楽片に分割し,特徴量を生成する際に,音高推移ベクトルを生成するのではなく,対象となる音楽片における音高の分布を求め,この分布をもとに特徴量ベクトルを生成する。
【0082】
ある音楽片において,音高が,図8(A)に示すように推移した場合,規格化された時間の一単位を一度数に換算して,図8(B)のような音高分布図を作成し,各音高(もしくは音高の範囲)の度数を並べて音高分布ベクトルを作成することができる。これを,音楽情報(特徴量)として検索を行うことができる。
【0083】
音楽情報(特徴量)としては,上記のほかに,例えば,以下のものを生成することができる。
【0084】
▲1▼ 第1の実施の形態で利用した音高推移ベクトルAi の各要素から,要素の平均値を引いてできたベクトルAi ’ の要素の値の分布。
【0085】
▲2▼ 第1の実施の形態で利用した音高推移ベクトルAi の各要素から,最初の要素の値を引いてできたベクトルAi ’’の要素の値の分布。
【0086】
▲3▼ 第1の実施の形態で利用した音高推移ベクトルAi の各要素から,前の要素の値を引いてできたベクトルAi ’’’ の要素の値の分布。
【0087】
また,上記各分布において,図8(B)の音高分布図の横軸に相当する値が0に相当する部分の度数を0とする場合もある。また,上記各分布において,図8(B)の音高分布図の横軸に相当する値を,定められた範囲内に限定し,範囲を超えたデータを削除する場合,もしくは,その範囲の境界の値に加える場合もある。
【0088】
これらの特徴量ベクトルを利用し,第1の実施の形態の方法に従い,音楽片検索,音楽片整合を経た上で類似検索を行う。
【0089】
本実施の形態の効果について,第1の実施の形態の場合よりも,一般に特徴量ベクトルの次元数を減らすことができるために,検索速度を向上させることが可能である。また,音楽片の範囲内では,時間の情報が失われるために,データベース中の音楽片と,検索キーから生成された音楽片の開始地点に多少の誤差があっても,検索が可能となる。一方,時間の情報が失われるために,音高推移ベクトルで見れば類似しないものでも,音高分布ベクトルでは類似する可能性がある。したがって,まず本実施の形態による方法で検索を行い,その検索結果の中から,第1の実施の形態による検索を行う絞り込み検索などを行うことも可能である。
【0090】
【発明の効果】
上述のように,本発明によれば,検索者がハミングや楽器の演奏などにより,自由に楽曲の一部または全体を入力することにより,検索者が意図した楽曲をデータベースの中から精度よく高速に検索することが可能となる。
【0091】
本発明によって,例えば,カラオケや,ミュージック・オン・デマンドシステム(自動ジュークボックス)などのシステムにおいて,利用者が選択したい楽曲の名前や作曲者名,演奏家名などを思い出せない場合においても,その楽曲のメロディーさえ覚えていれば目的の楽曲を選択可能となり,このような分野において極めて有効である。
【図面の簡単な説明】
【図1】本発明による音楽の類似検索(音楽情報への変換を行わない場合)の概要を説明する図である。
【図2】本発明による音楽の類似検索(音楽情報への変換を行う場合)の概要を説明する図である。
【図3】本発明の原理構成図である。
【図4】テンポ規格化を説明する図である。
【図5】マッチングの単位を説明する図である。
【図6】音楽片への分割を説明する図である。
【図7】音楽情報への変換を説明する図である。
【図8】音楽情報への変換(音高分布)を説明する図である。
【図9】従来方法による音楽検索(DPマッチング使用)の原理説明図である。
【図10】本発明に関連する音楽片を使用する音楽検索の原理説明図である。
【図11】本発明に関連する音符情報を使用しない音楽検索の原理説明図である。
【符号の説明】
1 楽曲入力手段
11 リズム信号発信手段
12 リズム信号受信手段
2 テンポ規格化手段
21 テンポ抽出手段
31 音楽情報変換手段
31’ 音楽情報変換手段
32 音楽片生成手段
4 楽曲蓄積手段
41 楽曲蓄積部
42 音楽情報蓄積部
43 音楽片蓄積部
44 インデクス生成手段
5 楽曲検索手段
51 音楽片検索手段
52 音楽片整合手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a music search, and in particular, a part of music similar to a search key from music stored in a database using a part or all of the music input or designated by music input means as a search key. Alternatively, the present invention relates to an entire search apparatus and method.
[0002]
[Prior art]
When performing a similar music search, notes are used as a matching processing unit in the conventional method. In this case, a note refers to a continuation of sounds that fall within a certain threshold value with a fluctuation or rate of change in sound pitch. In addition, each note has a note pitch (pitch), a note length (pitch length), a pitch difference (relative pitch) with a note that fluctuates in time (relative pitch), and fluctuates in time. It holds the ratio of the note length to the note (relative note length).
[0003]
FIG. 9 is a diagram for explaining the principle of a conventional music search using DP matching in units of musical notes. First, in the database construction phase, the music to be searched is input (step S101) and converted into note information (step S102). It is stored in the database (step S103). To search for music stored in the database, a music serving as a search key is input (step S111) and converted into note information (step S112). Next, DP (Dynamic Programming) matching is performed on the note information of all the songs in the database and the note information obtained from the search key by the number of songs in the database (step S113), and the most similar song candidate is selected. The search result is output (step S114).
[0004]
As described above, when music similarity search is performed, DP matching is used in the conventional method (
[Reference 1] Tomoya Sonoda, Masataka Goto, Yoichi Muraoka: “Song Retrieval System on the WWW”, IEICE Technical Report, SP97-103, 1998.
[Reference 2] Tetsuya Hatakeyama and Yotsunori Takashima: “Melody search based on humming singing”, IEICE Transactions, Vol. J77-D-II No. 8 pp. 1543-1551, 1994.
In DP matching, the correspondence between the search key and some or all of the songs in the database (candidate partial songs) is required, and between the notes of the search key in correspondence and the notes of the candidate partial songs , The similarity is calculated by the cumulative difference of the note information. In DP matching, a candidate partial song that maximizes the similarity with the search key is searched by dynamic programming.
[0005]
[Problems to be solved by the invention]
In the conventional search method using the note as a unit of matching, the amount of note number errors that can be tolerated is generally limited.
[0006]
Further, in the DP matching of the conventional method, in order to suppress the calculation amount, there is a restriction on the difference in the number of notes between the note string of the search key and the note string of the music in the database that is the similarity calculation target.
[0007]
Therefore, when searching for music, when entering search keys, if you insert or delete more than a certain amount of notes in the search target database, the search accuracy will be extremely poor. was there.
[0008]
Even if a note is not inserted or deleted when a search key is input, there is a high possibility that a note will be inserted or deleted when extracting note information from the search key. There was a problem.
[0009]
In DP matching, the index cannot be used, and all the songs in the database must be searched. Therefore, the amount of error in the number of notes that can be tolerated is limited to reduce the amount of calculation. Even so, there was still a problem that the search took time.
[0010]
On the other hand, in the case of searching using music pieces, the index can be used, so that the search time can be greatly reduced.
[0011]
FIG. 10 is a diagram for explaining the principle of music search using music pieces. This technique is proposed in Japanese Patent Application No. 10-341754 (music search device, music search method, and recording medium on which a music search program is recorded) and has been proposed by the present inventors.
[0012]
First, in the construction of the database, the music to be searched is input (step S201), the input music is converted into note information (step S202), and the note information is divided into a plurality of music pieces (step S203). An index is generated so that a high-speed search can be performed (step S204), and information on the music piece is stored in the database together with the index (step S205).
[0013]
Next, in the music search, a music serving as a search key is input (step S211), the input music is converted into note information (step S212), and the note information is divided into a plurality of music pieces (step S213). Using each of the music pieces as a search key, a similar one is searched from the music pieces stored in the database using an index (step S214). Similarity between some or all of the songs in the database containing the detected music piece by examining the relationship between the music pieces detected as search results and the relationship between the music pieces that became the search key The degree is checked (step S215), and a part or all of the music in the database having a high similarity with part or all of the music that has become the search key is output as a search result (step S216).
[0014]
When searching for music pieces, the number of notes between music pieces for which similarity is calculated is the same, so there is no need to find the correspondence between notes using DP matching. Search was possible.
[0015]
However, when searching for music pieces, there was a limitation that no number of notes was inserted or deleted by the length of the music piece because there was no mistake in the number of notes. That is, there is a problem that the search accuracy is poor if there is no section in which there is no insertion / deletion of the note by the length of the music piece.
[0016]
Further, as a method that does not necessarily require note information, there is a method of performing similarity search after conversion to music information.
[0017]
FIG. 11 is a diagram for explaining the principle of music search without using note information. This method is disclosed in Japanese Patent Application No. 10-329131 (music information retrieval device, music information storage device, music information retrieval method, music information storage method, and recording medium on which these programs are recorded). It is what.
[0018]
First, in the construction of a database, music is input (step S301), converted into music information that can extract musical features (features) from the input music (step S302), and stored in the database. (Step S303).
[0019]
In searching for music, a music serving as a search key is input (step S311), the input music is converted into equivalent music information (step S312), and the music in the database is converted based on the converted music information. A similar search is performed (step S313). Here, as a similarity search, search is performed by comparing the feature quantity of the music of the search key with the feature quantity of the music stored in the database. Calculate the degree. Candidate music pieces including similar ones are output as search results (step S314).
[0020]
However, such a method using music information has a problem that the search accuracy is poor when the tempo of the search key and the song in the database are different.
[0021]
The present invention has been made in view of the above points, and by standardizing the tempo of the music and search key in the database, the search is not performed in units of notes but in units of standardized time. It is an object of the present invention to provide a music searching apparatus and method that are not affected by an error in the number of notes. In the present invention, since it is not necessary to use DP matching, it is possible to perform a search using an index, and a high-speed search is possible. Further, since the tempo is standardized before the search is performed, it is possible to obtain a high search accuracy even when the tempo of the search key and the song in the database are different.
[0022]
[Means for Solving the Problems]
FIG. 1 and FIG. 2 are diagrams for explaining the outline of music similarity search according to the present invention, and FIG. 3 is a principle configuration diagram of the present invention.
[0023]
In the music search, the music information input from the database or the music information converted from the music is standardized and stored in the database and converted from the music or music input as the search key. The main feature is to perform a similar music search after standardizing the tempo of music information.
[0024]
First, in the construction of a database in a search that does not convert to music information, music is input using the music input means 1 (step S10). The input music is tempo normalized by the tempo normalizing means 2 (step S11).
[0025]
Further, in the construction of a database for the search for conversion to music information, after the music is input using the music input means 1 (step S30), it is converted into music information by the music information conversion means 31 (step S31). Thereafter, the tempo standardization means 2 standardizes the tempo (step S32).
[0026]
Tempo standardized music or tempo standardized music information is stored as a database in the music
[0027]
The tempo standardized music or the tempo standardized music information is converted into music information by the music information converting means 31 ′ and stored in the music pieces by the music piece generating means 32 before being stored by the music storage means 4. It may be accumulated after the division process. Further, the index generation means 44 may create an index for speeding up the search for the stored music, music information, and music pieces.
[0028]
The music storage means 4 can store the music before the tempo standardization in the
[0029]
In searching for music, first, a part or the whole of music is input or designated using the music input means 1 (steps S20 and S40). The input music is tempo normalized by the tempo normalizing means 2 (step S21) or converted into music information by the music information converting means 31 (step S41) and then tempo normalized (step S42). . The tempo standardized search key may be further converted into music information by the music information converting means 31 ′ and divided into music pieces by the music piece generating means 32.
[0030]
The search key having undergone the above processing is sent to the music search means 5, and the music search means 5 searches for a part or the whole of the music similar to the search key from the music stored in the database (steps S22 and S43). . If an index is generated in the database, search is performed using the index.
[0031]
In the search using music pieces, the music piece search means 51 searches for similar ones from the music pieces stored in the database using at least one of the music pieces sent as search keys, and outputs the music pieces. 6, the search result is output (steps S23 and S44). When searching using a plurality of pieces of music sent as search keys, after searching for pieces of music in the database similar to each piece of music of the search key, the pieces of music are matched by the piece of music piece matching means 52. It is possible to check the consistency of the search result and use it as the final search result.
[0032]
For the matching of music pieces, the technique described in the specification of the related patent application (Japanese Patent Application No. 10-341754) is adopted. Specifically, the relationship between the music pieces detected as the search results and the relationship between the music pieces that are the search keys of the detected music pieces are examined, and the musical notes before and after the detected music piece are also checked. And the music in the database that contains the detected piece of music and part or all of the piece of music that became the search key by examining the relationship between the musical piece that was the search key for the detected piece of music Investigate the degree of similarity between some or all of.
[0033]
The
[0034]
Alternatively, the music input means 1 may have a rhythm signal receiving means 12. This is means for enabling the music input person to receive a rhythm signal that is emitted in accordance with the performance (singing) of the music. The input music and the signal received by the rhythm signal receiving means 12 are simultaneously used for tempo normalization means 2. It is possible to perform an accurate tempo standardization by inputting to.
[0035]
The tempo standardization means 2 is received by the rhythm signal receiving means 12, the music input by the music input means 1, the music information converted by the music information converting means 31, or the signal transmitted by the rhythm signal transmitting means 11. Tempo extraction means 21 for extracting the tempo from the received signal may be provided. In this case, the tempo standardization means 2 performs tempo standardization using the tempo extracted by the tempo extraction means 21.
[0036]
Hereinafter, the operation of the present invention will be described. FIG. 4 is a diagram for explaining tempo standardization. In music, the time length of musical “beat” is defined by the tempo. As shown in the “original music” in FIG. 4A, each music has a tempo, and this tempo may or may not match between the music. In addition, even the same music may differ depending on the performance. Even if the music is the same, it may differ depending on the part of the music.
[0037]
Standardizing the tempo means that, as shown in Fig. 4 (B), in all parts of all performances of all songs, the length of the time is a certain length of time. It is to convert the music.
[0038]
FIG. 5 is a diagram for explaining a unit of matching. When tempo standardization is not performed, musical notes have mainly been the unit of matching. However, as shown in FIG. 5A, when notes are inserted / deleted, there is a problem that the correspondence between the notes to be compared is shifted. DP matching is a method for correcting a shift in correspondence between notes to be compared when notes are inserted / deleted.
[0039]
When a search is actually performed using DP matching, it is necessary to limit the amount of note insertion / deletion allowed, and therefore note insertion / deletion greatly affects the search accuracy. In addition, in the search using DP matching, it is impossible to create an index for performing the search at high speed, so that a long search time is required.
[0040]
On the other hand, when tempo standardization is performed, matching in units of time is possible as shown in FIG. In this case, even if a note is inserted or deleted, there is no deviation in the correspondence relationship, which does not affect the search accuracy. Therefore, it is possible to search with high accuracy. It is also possible to search at high speed by dividing a tempo-standardized music piece into musical pieces and creating an index.
[0041]
As techniques related to the present invention, there are inventions disclosed in Japanese Patent Application Nos. 10-329131 and 10-341754. The present invention is mainly different from the previous invention in that the tempo standardization of the music input to the database is performed when the database is constructed, and the tempo standardization is performed also when the music serving as a search key is input. In particular, the present invention is mainly different from the invention disclosed in Japanese Patent Application No. 10-341754 in that a search is performed in units of time without performing a search in units of musical notes.
[0042]
DETAILED DESCRIPTION OF THE INVENTION
[First Embodiment]
A first embodiment of the present invention will be described. MIDI data is used as music for input to the database. At present, many songs such as karaoke data are available as MIDI data.
[0043]
In MIDI data, note information is described with reference to time signature. And 1 beat Is described separately from the note information as tempo information. Therefore, as standardized time, 1 beat length If the time based on is adopted, tempo standardization of music in the database is realized.
[0044]
In storing in the database, the original MIDI data is first divided into music pieces. As a division method, the length of music pieces is all the same on the standardized time axis, and as shown in FIG. 6 (A), music pieces starting from the beginning of all notes are There is a way to make it generated. Alternatively, as shown in FIG. 6B, there is a method of dividing the musical piece so that it starts at a constant time interval.
[0045]
Also, after dividing into music pieces, a pitch transition vector is generated as music information (features). As shown in FIG. 7, this is a vector in which the standardized time axis is inscribed at equal intervals and the pitches of the sounds being played at the positions of each division are arranged. For the processing by the computer, the pitch is replaced with a numerical value representing the pitch used in MIDI, a frequency, or the like, for example.
[0046]
As the music information (feature amount), in addition to the above, for example, the following can be generated.
[0047]
(1) Pitch transition vector A i = (A i1 , A i2 , ..., a in ), The average value m of vector elements i = (A i1 + A i2 + ... + a in ) / N is calculated, and a vector A whose elements are values obtained by subtracting the average value from each element i '= (A i1 -M i , A i2 -M i , ..., a in -M i ) As a feature value. This vector is expected to be similar even if the key of the search key is different from the key in the database.
[0048]
(2) Pitch transition vector A i = (A i1 , A i2 , ..., a in ) For the first element a i1 And a vector A whose elements are values obtained by subtracting this reference value from each element i '' = (0, a i2 -A i1 , ..., a in -A i1 ) As a feature value. This vector is expected to be similar even if the key of the search key is different from the key in the database.
[0049]
(3) Pitch transition vector A i = (A i1 , A i2 , ..., a in ) For each element, the vector A with the value obtained by subtracting the value of the previous element i '''= (A i1 , A i2 -A i1 , ..., a in -A in-1 ) As a feature value. Even if the key of the search key song changes little by little, it is expected that this vector will be similar to the song in the database.
[0050]
After these music information is stored in the database, an index is generated to speed up the search. R-tree or the like is used as an index generation method. In addition, the following are references for R-tree.
[Reference 3] A. Gutman, "R-trees: a dynamic index structures for spatial searching", Proceedings of the ACM SIGMOD International Conference on the Management. 47-57, Boston, 1984.
As for the input of music as a search key, there are methods such as input by humming, input by playing a musical instrument, and input by playing a MIDI keyboard.
[0051]
When inputting music, an electronic metronome is used as a rhythm signal transmitter. This electronic metronome can emit sound, light, characters and figures on a computer display at a specified tempo, and the music input person can input music in accordance with the signal generated. It is like that. This electronic metronome not only emits signals at regular time intervals, but, for example, the first beat of a measure is the tone / volume, light color / light intensity, character type / figure on the display The type can be generated differently from other beats, or a rhythm signal can be generated according to the type of music to be input, such as “samba rhythm”. The tempo at which this signal is generated can be freely set to be slow or fast so that the music input person can easily input the music.
[0052]
Alternatively, a rhythm signal receiving device may be used when inputting music. This means that the music input person can detect movements, signals, etc. consciously / unconsciously when inputting music, such as clapping, stepping, finger up / down movement, body shaking, mouse clicking, keyboard pressing, etc. This is a device
[0053]
Using the input music and the signal obtained from the rhythm signal transmission / reception device, the tempo of the music as a search key is standardized.
[0054]
The division into music pieces and the conversion into music information are the same as the case of music input to the database for music input from the MIDI keyboard.
[0055]
In the input by humming and the input by playing a musical instrument, the music input means 1 inputs music as PCM format data. Then, pitch information is extracted from this data. The pitch information is extracted in accordance with a conventional method for extracting note information from PCM format data.
[Reference 4] Niihara Takamizu, Masakazu Imai, Seiji Iguchi: “Automatic Musical Singing”, Transactions of the Society of Instrument and Control Engineers, Vol. 20 No. 10 pp. [Reference 5] Masanori Mizuno, Masaki Fujimoto, Yotsunori Takashima, Shichiro Tsuruta: "Personal Computer Music System-Automatic Recording of Singing Voices", Information Processing Society of Japan 35th Annual Conference, 5Ff-5 1987.
That is, first, frequency analysis is performed using FFT or autocorrelation processing, peak extraction, power measurement of each peak, and the like are performed. In addition, noise is removed, pitch drift is corrected, and harmonic components are absorbed into the fundamental component, and which sound is played at what point in time on the scale on the time axis. The method of dividing into pieces of music and generating music information after the pitch information is extracted is the same as in the case of inputting music into the database.
[0056]
Note that the music information generation process may be divided into two stages, and tempo standardization may be performed in the middle. For example, after pitch information is first extracted, the tempo is normalized, and then a feature quantity such as a pitch vector is generated.
[0057]
For the search, first, a music piece similar to each piece of music generated from the music input as the search key is searched from the database (music piece search). At that time, the distance between the music piece of the search key and the music piece in the database is obtained for each feature quantity such as a pitch vector. This distance is obtained by setting an appropriate distance such as the Euclidean distance or the Manhattan distance for each feature quantity. In order to speed up the search, an index is used for the search.
[0058]
The distance between music pieces (dissimilarity) is expressed as a value obtained by some method by adding an appropriate weight to the distance of each feature amount. Details are as follows. A set of feature quantities used is FSPACE. If the distance about the feature quantity i between the music piece K and the music piece X is di (K, X) and the weight is Wi, the total distance D (K, X) between the music piece K and the music piece X is The method is to use the following function F.
[0059]
D (X, K) = F ({Wi}, {di (K, X)})
(However, i ∈ FSPACE)
As a specific example of this function F, if a linear sum function is used,
D (X, K) = sum (Wi × di (K, X))
(Where i∈FSSPACE, sum takes the sum over i∈FSSPACE).
[0060]
For example, a function having the following minimum value can be used instead of the linear sum as the function F.
[0061]
D (X, K) = min (Wi × di (K, X))
(Where i∈FSSPACE, min takes the minimum value for i∈FSSPACE)
A mixture of the linear sum and the minimum value can also be used. That is, the feature quantity (FSSPACE) is divided into two types (FSSPACE1, FSPACE2),
FSPACE = FSSPACE1∪FSSPACE2
If
D (X, K) = sum (Wi × di (K, X), min (Wj × dj (K, X))
The total distance can also be obtained using a function such as Here, i∈FSSPACE1, j∈FSSPACE2.
[0062]
Here, as examples of how to calculate the distance between music pieces (dissimilarity), a linear sum is used, a minimum value is used, and a mixture of linear sum and minimum value is used. There are many ways to find the total distance. Of the music pieces in the database, those that are close to the music piece of the search key, that is, those having a high degree of similarity are the results of music piece search.
[0063]
When multiple pieces of music are generated from the search key, the consistency between the pieces of music is checked for the result of the piece search for each piece of music of the search key, and the similarity is calculated when multiple pieces of music are combined. The final search result can be obtained.
[0064]
Now, the music piece K of the search key K p , K q It is assumed that music pieces X and Y in the database are similar to (p <q) (K p ~ X, K q ~ Y). Music piece X, Y is the search piece music piece K p , K q Consistency with respect to satisfies the following conditions.
[0065]
1) Music pieces X and Y must belong to the same song. In the following, this candidate song is A, and music pieces X and Y are A. r , A s far.
[0066]
2) Music piece A r , A s The temporal order of is the music piece (K p , K q ) In the same time order (ie, r <s).
[0067]
3) Music piece A r , A s The start time in the normalized time of Ar , T As And the music piece K of the search key p , K q The start time in the normalized time of Kp , T Kq If the start time intervals coincide, that is, T As -T Ar = T Kq -T Kp It is.
[0068]
In the output of the search result, after obtaining the similarity between the search key and a part or the whole of the music in the database as a candidate for the search result, a part or the whole of the music is ordered in descending order of similarity. Present. The title and musician name of the music can be displayed from the information in the database, and a part or the whole of the music similar to the search key can be played.
[0069]
In the present embodiment, MIDI data can be used as music input to the database. MIDI data is a standardized format, and a great number of music pieces exist as MIDI data, and it is not necessary to perform music pieces for the construction of the database, and the construction of the database is easy. Since MIDI data describes note information based on the time signature, tempo standardization and pitch information extraction can be performed accurately, so it is suitable for use in a music search database.
[0070]
In addition, when inputting music as a search key, the tempo standardization of music as a search key can be accurately performed by using a rhythm signal transmitting / receiving device as an auxiliary.
[0071]
As a special effect of the present embodiment, it is possible to easily and accurately construct a database, and to accurately standardize the tempo of a music used as a search key.
[0072]
[Second Embodiment]
In the second embodiment of the present invention, MIDI data is not used as the music input to the database in the first embodiment, but for example, music CD (compact disc) data, WAVE, A PCM-encoded music such as AIFF or AU, or another encoding format that has been converted to a PCM encoding format is used.
[0073]
In general, in music, sounds are played in time. Since the sound pressure changes greatly at the moment the performance is started, it is possible to extract tempo information by examining the variation of the sound pressure in the music.
[0074]
More specific tempo information extraction methods include the following methods.
[0075]
(1) A method of searching for a volume level peak with a small sampling frequency such as 100 Hz or 10 Hz and extracting the tempo from the peak interval. If the sampling frequency of the original PCM data is 44100 Hz, for example, a method is considered in which data obtained by adding 1000 samples is created and the peak of the volume level is searched.
[0076]
(2) A method of examining the transition of the change rate of the volume level at the small sampling frequency, searching for a portion where the change rate increases rapidly, and extracting the tempo from the interval of the rapidly increasing portion.
[0077]
(3) A method of searching for a peak by performing frequency analysis on the data of the small sampling frequency in a long section such as 10 seconds. For example, if a peak appears at 2 Hz, the length of one beat of this music is 0.5 seconds.
[0078]
(4) A method of extracting tempo information by selectively extracting the sounds of musical instruments such as drums that engrave rhythms and analyzing fluctuations in the sound pressure of these sounds.
[0079]
As a method for generating a feature value such as pitch information from the input music, the pitch information and the like are extracted from the music input by humming or playing a musical instrument in the first embodiment. However, unlike in the case of humming or playing a single instrument, in music CD data, etc., multiple notes are emitted at the same time, so the pitch to be searched (the pitch of the sound corresponding to the melody) Only need to extract. Therefore, after performing FFT and autocorrelation processing, a method to extract the strongest peak of sound pressure, or a band filter that extracts only the peak of the frequency band of a musical instrument or singing voice that plays melody or rhythm There is a way to use.
[0080]
The effects of the present embodiment are as follows. By using music encoded by the PCM method, which is a more general music encoding method than MIDI, as the music to be input to the database, the amount of music included in the database is made more substantial. Is possible. Further, not only commercially available music CDs, but also songs that are personally played with musical instruments can be included in the database.
[0081]
[Third Embodiment]
In the third embodiment of the present invention, when the music in the database and the music of the search key are divided into pieces of music in the first and second embodiments described above, Instead of generating a transition vector, a pitch distribution in the target musical piece is obtained, and a feature vector is generated based on this distribution.
[0082]
When the pitch of a musical piece changes as shown in FIG. 8A, the unit of normalized time is converted into a number once, and the pitch distribution diagram as shown in FIG. And pitch distribution vectors can be created by arranging the frequencies of pitches (or pitch ranges). This can be searched as music information (features).
[0083]
As the music information (feature amount), in addition to the above, for example, the following can be generated.
[0084]
(1) Pitch transition vector A used in the first embodiment i A vector obtained by subtracting the average value of elements from each element of i Distribution of element values for '.
[0085]
(2) Pitch transition vector A used in the first embodiment i A vector A obtained by subtracting the value of the first element from each element of i Distribution of element values for ''.
[0086]
(3) Pitch transition vector A used in the first embodiment i A vector obtained by subtracting the value of the previous element from each element of i Distribution of element values for '''.
[0087]
In each of the above distributions, the frequency corresponding to 0 corresponding to the horizontal axis in the pitch distribution diagram of FIG. In each of the above distributions, when the value corresponding to the horizontal axis of the pitch distribution diagram of FIG. 8B is limited to a predetermined range and data exceeding the range is deleted, Sometimes added to boundary values.
[0088]
Using these feature vectors, a similarity search is performed after music piece search and music piece matching according to the method of the first embodiment.
[0089]
Regarding the effect of this embodiment, since the number of dimensions of the feature vector can generally be reduced as compared with the case of the first embodiment, the search speed can be improved. In addition, since the time information is lost within the range of the music piece, it is possible to search even if there is some error between the music piece in the database and the start point of the music piece generated from the search key. . On the other hand, since time information is lost, even if it is not similar in the pitch transition vector, it may be similar in the pitch distribution vector. Therefore, it is possible to first perform a search by the method according to the present embodiment, and perform a narrowing search for performing a search according to the first embodiment from the search results.
[0090]
【The invention's effect】
As described above, according to the present invention, the searcher can freely input a part or the whole of the music piece by humming or playing a musical instrument, so that the music piece intended by the searcher can be accurately and quickly retrieved from the database. It becomes possible to search.
[0091]
According to the present invention, for example, in a system such as karaoke or a music-on-demand system (automatic jukebox), even if the user cannot remember the name, composer name, performer name, etc. If you remember even the melody of the song, you can select the desired song, which is extremely effective in this field.
[Brief description of the drawings]
BRIEF DESCRIPTION OF DRAWINGS FIG. 1 is a diagram for explaining the outline of a similar music search (when conversion to music information is not performed) according to the present invention.
FIG. 2 is a diagram for explaining an outline of a similar music search (in the case of conversion to music information) according to the present invention;
FIG. 3 is a principle configuration diagram of the present invention.
FIG. 4 is a diagram for explaining tempo normalization.
FIG. 5 is a diagram for explaining a unit of matching.
FIG. 6 is a diagram illustrating division into music pieces.
FIG. 7 is a diagram illustrating conversion into music information.
FIG. 8 is a diagram for explaining conversion to music information (pitch distribution);
FIG. 9 is an explanatory diagram of the principle of music search (using DP matching) by a conventional method.
FIG. 10 is a diagram for explaining the principle of music search using a music piece related to the present invention.
FIG. 11 is a diagram for explaining the principle of music search without using note information related to the present invention.
[Explanation of symbols]
1 Music input means
11 Rhythm signal transmission means
12 Rhythm signal receiving means
2 Tempo standardization means
21 Tempo extraction means
31 Music information conversion means
31 'Music information conversion means
32 Music piece generating means
4 Music storage means
41 Music storage unit
42 Music information storage
43 Music piece storage
44 Index generation means
5 Music search means
51 Music piece search means
52 Music piece matching means
Claims (14)
楽曲を入力する楽曲入力手段と,
上記楽曲入力手段により入力されたすべての楽曲のすべての部分において1拍の長さが一定の時間的な長さになるように,入力された楽曲部分を変換し,テンポを規格化するテンポ規格化手段と,
少なくとも上記テンポ規格化手段によりテンポ規格化された楽曲を蓄積する楽曲蓄積手段と,
検索キーとして入力された楽曲の一部または全体から上記テンポ規格化手段によりテンポ規格化された楽曲の一部または全体をもとに,上記楽曲蓄積手段に蓄積された楽曲の一部または全体の中から,互いにテンポ規格化された楽曲の時間的に対応する位置の特徴量の距離計算によって,類似した楽曲を検索する楽曲検索手段と,
上記楽曲検索手段により検索された楽曲を出力する楽曲出力手段とを有する
ことを特徴とする音楽検索装置。In a search device for searching for music,
A music input means for inputting music;
Tempo standard that converts the input music part and normalizes the tempo so that the length of one beat is a certain time length in all parts of all music input by the music input means And
Music storage means for storing at least the music standardized by the tempo normalization means;
Based on a part or the whole of the music that has been standardized by the tempo standardization means from a part or the whole of the music inputted as a search key, a part or the whole of the music stored in the music storage means A music search means for searching for similar music by calculating the distance between feature amounts of temporally corresponding positions of music that are tempo-standardized from each other;
A music search apparatus comprising music output means for outputting music searched by the music search means.
上記楽曲入力手段により入力された楽曲を音楽情報に変換する音楽情報変換手段を有し,
上記テンポ規格化手段は,楽曲を上記音楽情報変換手段により音楽情報に変換した後でテンポ規格化を行う
ことを特徴とする音楽検索装置。The music search device according to claim 1,
Music information converting means for converting the music input by the music input means into music information;
The music search apparatus characterized in that the tempo standardization means performs tempo standardization after the music is converted into music information by the music information conversion means.
上記楽曲入力手段は,一定の時間間隔もしくは決められた規則に従った時間間隔で信号を発信するリズム信号発信手段,または,楽曲入力者が入力中の楽曲のリズムを合わせて入力できるようなリズム信号受信手段を有する
ことを特徴とする音楽検索装置。The music search device according to claim 1 or 2,
The music input means may be a rhythm signal transmission means for transmitting a signal at a constant time interval or a time interval according to a predetermined rule, or a rhythm that allows the music input person to input the rhythm of the music being input together. A music search apparatus comprising signal receiving means.
上記テンポ規格化手段は,上記楽曲入力手段により入力された楽曲,上記音楽情報変換手段により変換された音楽情報,上記リズム信号発信手段により発信された信号,上記リズム信号受信手段により受信された信号の少なくとも一つを用いてテンポを抽出するテンポ抽出手段を有し,
抽出されたテンポを用いてテンポ規格化を行う
ことを特徴とする音楽検索装置。The music search device according to any one of claims 1 to 3,
The tempo standardization means includes a tune input by the tune input means, music information converted by the music information conversion means, a signal transmitted by the rhythm signal transmission means, and a signal received by the rhythm signal reception means. Tempo extraction means for extracting the tempo using at least one of
A music search device characterized by performing tempo standardization using an extracted tempo.
上記楽曲検索手段は,テンポ規格化された検索キーの一部または全体をもとに,上記楽曲蓄積手段に蓄積された,テンポ規格化された楽曲の一部または全体を検索する際に,テンポ規格化された検索キーの一部または全体と,テンポ規格化された検索キーの一部または全体と同じ長さの,検索対象となるテンポ規格化された楽曲の一部または全体との類似度を調べる
ことを特徴とする音楽検索装置。The music search device according to any one of claims 1 to 4,
The music search means searches for a part or the whole of the tempo standardized music stored in the music storage means based on a part or the whole of the tempo standardized search key. The degree of similarity between a part or all of the standardized search key and part or all of the tempo standardized music to be searched that has the same length as part or all of the tempo standardized search key The music search device characterized by searching.
上記テンポ規格化された楽曲もしくはテンポ規格化された音楽情報に対して,少なくとも複数の音符を含む長さであって,規格化された時間軸上ですべて同じになる長さの音楽片への分割を行う音楽片生成手段を有し,
上記楽曲蓄積手段に音楽片に分割された楽曲の情報を蓄積する
ことを特徴とする音楽検索装置。The music search device according to any one of claims 1 to 4,
The above-mentioned tempo-standardized music or tempo-standardized music information has a length including at least a plurality of notes, and the music pieces have the same length on the standardized time axis. A music piece generating means for dividing,
A music search device characterized in that the music storage means stores information on music pieces divided into music pieces.
上記音楽片生成手段は,音楽片を生成する際に,同じ楽曲に対する音楽片は,一定の時間間隔で音楽片が開始するように生成する,または音楽片が音符の始まりから開始するように生成する
ことを特徴とする音楽検索装置。The music search device according to claim 6,
When the music piece generating means generates a music piece, a music piece for the same musical piece is generated so that the music piece starts at a fixed time interval, or generated so that the music piece starts from the beginning of a note. A music search device characterized by:
上記楽曲検索手段は,検索を行う際に,検索キーとして入力された楽曲から生成された音楽片と,上記楽曲蓄積手段に蓄積された楽曲の音楽片との間の時間的に対応する位置の特徴量の距離計算によって,上記入力された楽曲から生成された音楽片のそれぞれと類似する音楽片を,上記楽曲蓄積手段の中から検索し,その結果の音楽片同士の関係から最終的な検索結果を導く音楽片検索手段を有する
ことを特徴とする音楽検索装置。The music search device according to claim 6 or 7,
The music search means, when performing a search, has a temporally corresponding position between the music piece generated from the music inputted as a search key and the music piece of the music stored in the music storage means. Music pieces similar to each piece of music generated from the input music piece are searched from the music storage means by calculating the distance of the feature amount, and the final search is performed from the relationship between the music pieces as a result. A music search apparatus comprising music piece search means for guiding a result.
楽曲を入力する楽曲入力手段と,
上記楽曲入力手段により入力されたすべての楽曲のすべての部分において1拍の長さが一定の時間的な長さになるように,入力された楽曲部分を変換し,テンポを規格化するテンポ規格化手段と,
上記テンポ規格化された楽曲に対して,少なくとも複数の音符を含む長さであって,規格化された時間軸上ですべて同じになる長さの音楽片への分割を行う音楽片生成手段と,
上記音楽片生成手段により音楽片に分割された楽曲を蓄積する楽曲蓄積手段と,
検索キーとして入力された楽曲から生成された音楽片と,上記楽曲蓄積手段に蓄積された楽曲の音楽片との間の時間的に対応する位置の特徴量の距離計算によって,上記入力された楽曲から生成された音楽片のそれぞれと類似する音楽片を,上記楽曲蓄積手段の中から検索し,その結果の音楽片同士の関係から最終的な検索結果を導くことにより,検索キーとして入力された楽曲に類似した楽曲を検索する楽曲検索手段と,
上記楽曲検索手段により検索された楽曲を出力する楽曲出力手段とを有する
ことを特徴とする音楽検索装置。In a search device for searching for music,
A music input means for inputting music;
Tempo standard that converts the input music part and normalizes the tempo so that the length of one beat is a certain time length in all parts of all music input by the music input means And
Music piece generating means for dividing the tempo-standardized music piece into music pieces having a length including at least a plurality of notes and all having the same length on the standardized time axis; ,
Music storage means for storing music divided into music pieces by the music piece generating means;
The input music piece is calculated by calculating the distance of the characteristic amount of the position corresponding to the time between the music piece generated from the music piece inputted as the search key and the music piece of the music piece stored in the music storage means. Music pieces similar to each of the music pieces generated from the above are searched from the above music storage means, and the final search result is derived from the relationship between the music pieces as a result, and is input as a search key. A music search means for searching for music similar to the music;
A music search apparatus comprising music output means for outputting music searched by the music search means.
上記楽曲検索手段は,検索キーの音楽片同士の関係と,検索結果の音楽片同士の関係の整合性を調べた後,最終的な検索結果を導く音楽片整合手段を有する
ことを特徴とする音楽検索装置。The music search device according to claim 8 or 9,
The music search means includes music piece matching means for checking the consistency between the relationship between the music pieces of the search key and the relationship between the music pieces of the search result and then leading to a final search result. Music search device.
上記楽曲蓄積手段に蓄積する前に音楽情報への変換を行う音楽情報変換手段を有する
ことを特徴とする音楽検索装置。The music search device according to any one of claims 1 to 10,
A music search apparatus comprising music information conversion means for converting into music information before storing in the music storage means.
楽曲を蓄積する際に,検索を高速化するためのインデクスを生成するインデクス生成手段を有し,
上記楽曲検索手段は,検索を行う際にインデクスを用いる
ことを特徴とする音楽検索装置。The music search device according to any one of claims 1 to 11,
When storing music, it has an index generation means for generating an index for speeding up the search,
The music search device, wherein the music search means uses an index when searching.
上記楽曲入力手段が,楽曲を入力する過程と,
上記テンポ規格化手段が,上記楽曲入力手段により入力されたすべての楽曲のすべての部分において1拍の長さが一定の時間的な長さになるように,入力された楽曲部分を変換し,テンポを規格化する過程と,
上記楽曲蓄積手段が,少なくとも上記テンポ規格化手段によりテンポ規格化された楽曲を蓄積する過程と,
上記楽曲検索手段が,検索キーとして入力された楽曲の一部または全体から上記テンポ規格化手段によりテンポ規格化された楽曲の一部または全体をもとに,蓄積された楽曲の一部または全体の中から,互いにテンポ規格化された楽曲の時間的に対応する位置の特徴量の距離計算によって,類似した楽曲を検索する過程と,
上記楽曲出力手段が,上記楽曲検索手段により検索された楽曲を出力する過程とを有する
ことを特徴とする音楽検索方法。A search method for searching for music by a computer comprising at least music input means, tempo normalization means, music storage means, music search means, and music output means,
A process in which the music input means inputs the music;
The tempo normalization means converts the inputted music part so that the length of one beat becomes a certain time length in all parts of all the music inputted by the music input means, The process of standardizing the tempo,
A process in which the music storage means stores music that has been tempo normalized by at least the tempo normalization means;
A part or the whole of the stored music based on a part or the whole of the music that has been standardized by the tempo standardizing means from a part or the whole of the music that is input as a search key by the music search means. Searching for similar music by calculating the distance of the feature quantities of the temporally corresponding positions of music that are tempo-standardized from each other,
A music search method, wherein the music output means includes a step of outputting the music searched by the music search means.
前記計算機を,
楽曲を入力する楽曲入力手段と,
上記楽曲入力手段により入力されたすべての楽曲のすべての部分において1拍の長さが一定の時間的な長さになるように,入力された楽曲部分を変換し,テンポを規格化するテンポ規格化手段と,
少なくとも上記テンポ規格化手段によりテンポ規格化された楽曲を蓄積する楽曲蓄積手段と,
検索キーとして入力された楽曲の一部または全体から上記テンポ規格化手段によりテンポ規格化された楽曲の一部または全体をもとに,上記楽曲蓄積手段に蓄積された楽曲の一部または全体の中から,互いにテンポ規格化された楽曲の時間的に対応する位置の特徴量の距離計算によって,類似した楽曲を検索する楽曲検索手段と,
上記楽曲検索手段により検索された楽曲を出力する楽曲出力手段として,
機能させるための音楽検索プログラムを記録した計算機読み取り可能な記録媒体。A program recording medium recording a program used for searching for music by a computer,
Said computer
A music input means for inputting music;
Tempo standard that converts the input music part and normalizes the tempo so that the length of one beat is a certain time length in all parts of all music input by the music input means And
Music storage means for storing at least the music standardized by the tempo normalization means;
Based on a part or the whole of the music that has been standardized by the tempo standardization means from a part or the whole of the music inputted as a search key, a part or the whole of the music stored in the music storage means A music search means for searching for similar music by calculating the distance between feature amounts of temporally corresponding positions of music that are tempo-standardized from each other;
As a music output means for outputting the music searched by the music search means,
A computer-readable recording medium storing a music search program for functioning.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000008458A JP3631650B2 (en) | 1999-03-26 | 2000-01-18 | Music search device, music search method, and computer-readable recording medium recording a music search program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11-82722 | 1999-03-26 | ||
JP8272299 | 1999-03-26 | ||
JP2000008458A JP3631650B2 (en) | 1999-03-26 | 2000-01-18 | Music search device, music search method, and computer-readable recording medium recording a music search program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000347659A JP2000347659A (en) | 2000-12-15 |
JP3631650B2 true JP3631650B2 (en) | 2005-03-23 |
Family
ID=26423740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000008458A Expired - Lifetime JP3631650B2 (en) | 1999-03-26 | 2000-01-18 | Music search device, music search method, and computer-readable recording medium recording a music search program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3631650B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3612272B2 (en) * | 2000-10-13 | 2005-01-19 | 日本電信電話株式会社 | Music information search device, music information search method, and computer-readable recording medium storing music information search program |
US7277852B2 (en) | 2000-10-23 | 2007-10-02 | Ntt Communications Corporation | Method, system and storage medium for commercial and musical composition recognition and storage |
JP2002215632A (en) * | 2001-01-18 | 2002-08-02 | Nec Corp | Music retrieval system, music retrieval method and purchase method using portable terminal |
JP2003186497A (en) * | 2001-12-14 | 2003-07-04 | National Institute Of Advanced Industrial & Technology | Device and method for retrieving pattern and recording medium |
US6768046B2 (en) * | 2002-04-09 | 2004-07-27 | International Business Machines Corporation | Method of generating a link between a note of a digital score and a realization of the score |
JP2007519092A (en) * | 2003-12-08 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Search melody database |
JP4650662B2 (en) | 2004-03-23 | 2011-03-16 | ソニー株式会社 | Signal processing apparatus, signal processing method, program, and recording medium |
JP2007172077A (en) * | 2005-12-19 | 2007-07-05 | Fuji Xerox Co Ltd | Image search system, method thereof, and program thereof |
US7801392B2 (en) | 2005-07-21 | 2010-09-21 | Fuji Xerox Co., Ltd. | Image search system, image search method, and storage medium |
JP4548424B2 (en) * | 2007-01-09 | 2010-09-22 | ヤマハ株式会社 | Musical sound processing apparatus and program |
JP5147389B2 (en) * | 2007-12-28 | 2013-02-20 | 任天堂株式会社 | Music presenting apparatus, music presenting program, music presenting system, music presenting method |
CN111986698B (en) * | 2019-05-24 | 2023-06-30 | 腾讯科技(深圳)有限公司 | Audio fragment matching method and device, computer readable medium and electronic equipment |
JP7394310B2 (en) * | 2019-06-25 | 2023-12-08 | パナソニックIpマネジメント株式会社 | Lighting devices and fixtures |
JP7394312B2 (en) * | 2019-06-25 | 2023-12-08 | パナソニックIpマネジメント株式会社 | Lighting devices and fixtures |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06110945A (en) * | 1992-09-29 | 1994-04-22 | Fujitsu Ltd | Music data base preparing device and retrieving device for the same |
JPH0736478A (en) * | 1993-06-28 | 1995-02-07 | Nec Corp | Calculating device for similarity between note sequences |
JP3055392B2 (en) * | 1994-04-20 | 2000-06-26 | ヤマハ株式会社 | Audio signal converter |
JPH09138691A (en) * | 1995-11-15 | 1997-05-27 | Brother Ind Ltd | Musical piece retrieval device |
JPH09258729A (en) * | 1996-03-26 | 1997-10-03 | Yamaha Corp | Tune selecting device |
JP3569104B2 (en) * | 1997-05-06 | 2004-09-22 | 日本電信電話株式会社 | Sound information processing method and apparatus |
JPH11120198A (en) * | 1997-10-20 | 1999-04-30 | Sony Corp | Musical piece retrieval device |
JP3434223B2 (en) * | 1998-11-19 | 2003-08-04 | 日本電信電話株式会社 | Music information search device, music information storage device, music information search method, music information storage method, and recording medium recording these programs |
JP3467415B2 (en) * | 1998-12-01 | 2003-11-17 | 日本電信電話株式会社 | Music search device, music search method, and recording medium recording music search program |
-
2000
- 2000-01-18 JP JP2000008458A patent/JP3631650B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000347659A (en) | 2000-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Serra et al. | Chroma binary similarity and local alignment applied to cover song identification | |
EP1397756B1 (en) | Music database searching | |
Dannenberg et al. | A comparative evaluation of search techniques for query‐by‐humming using the MUSART testbed | |
US7488886B2 (en) | Music information retrieval using a 3D search algorithm | |
JP3467415B2 (en) | Music search device, music search method, and recording medium recording music search program | |
JP3433818B2 (en) | Music search device | |
US8326584B1 (en) | Music searching methods based on human perception | |
US7064262B2 (en) | Method for converting a music signal into a note-based description and for referencing a music signal in a data bank | |
JP3631650B2 (en) | Music search device, music search method, and computer-readable recording medium recording a music search program | |
Chai | Semantic segmentation and summarization of music: methods based on tonality and recurrent structure | |
Chai et al. | Music thumbnailing via structural analysis | |
Marolt | A mid-level representation for melody-based retrieval in audio collections | |
Casey et al. | The importance of sequences in musical similarity | |
Hu et al. | A probabilistic model of melodic similarity | |
Ramires et al. | The freesound loop dataset and annotation tool | |
Cambouropoulos | The harmonic musical surface and two novel chord representation schemes | |
JP3597735B2 (en) | Music search device, music search method, and recording medium recording music search program | |
Rho et al. | FMF: Query adaptive melody retrieval system | |
KR20060019096A (en) | Hummed-based audio source query/retrieval system and method | |
Song et al. | Query by humming: matching humming query to polyphonic audio | |
KR20090083972A (en) | Method for building music database for music search, method and apparatus for searching music based on humming query | |
US20080017017A1 (en) | Method and Apparatus for Melody Representation and Matching for Music Retrieval | |
Rho et al. | FMF (fast melody finder): A web-based music retrieval system | |
Duggan | Machine annotation of traditional Irish dance music | |
JPH06202621A (en) | Music retrieval device utilizing music performance information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040813 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3631650 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |