JP2003044082A - Device and method for retrieving similar music, similar music retrieval program, and recording medium therefor - Google Patents
Device and method for retrieving similar music, similar music retrieval program, and recording medium thereforInfo
- Publication number
- JP2003044082A JP2003044082A JP2001236948A JP2001236948A JP2003044082A JP 2003044082 A JP2003044082 A JP 2003044082A JP 2001236948 A JP2001236948 A JP 2001236948A JP 2001236948 A JP2001236948 A JP 2001236948A JP 2003044082 A JP2003044082 A JP 2003044082A
- Authority
- JP
- Japan
- Prior art keywords
- music
- binary feature
- similarity
- time
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、音楽の断片を検索
鍵として与えることにより、数多くの楽曲が蓄積された
音楽データベースの中から検索鍵の音楽に類似した楽
曲、または検索鍵の音楽に類似した楽曲の該当部分を検
索することのできる、類似音楽検索装置ならびにその方
法、および類似音楽検索プログラムならびにその記録媒
体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention provides a music piece similar to a search key music or a music similar to a search key from a music database in which a large number of music pieces are accumulated by giving a music fragment as a search key. The present invention relates to a similar music search device and method, a similar music search program, and a recording medium thereof that can search for a relevant part of a played music.
【０００２】[0002]
【従来の技術】類似音楽検索方法として、従来、以下に
示す技術が知られている。一つは、特許３０６５３１４
号（文献１）に示されるように、信号同士の類似性に基
づいて、音響信号の断片を、長時間の音響信号中から高
速に検索するものである。他の一つは、Asif Ghias, Jo
nathan Logan, David Chamberlin, Brian C.Smith:”Qu
ery by Humming: Musical Information Retrieval in a
n Audio Database”, ACM Mulch Media, pp.231-236 (1
995)（文献２）に示されるように、単旋律どうしの照合
法として、単旋律を、その音高の遷移方向のみの情報に
置き換えた単純な符号として表現し、効率的に照合を行
う方法である。2. Description of the Related Art Conventionally, the following techniques are known as similar music retrieval methods. One is patent 3065314
As disclosed in No. 1 (Reference 1), the acoustic signal fragments are searched at high speed from the acoustic signals for a long time based on the similarity between the signals. The other one is Asif Ghias, Jo.
nathan Logan, David Chamberlin, Brian C. Smith: ”Qu
ery by Humming: Musical Information Retrieval in a
n Audio Database ”, ACM Mulch Media, pp.231-236 (1
995) (Reference 2), as a collating method for monophonic rhythms, a method of expressing a monophonic melody as a simple code in which only the pitch transition direction information is expressed and performing collation efficiently Is.
【０００３】しかしながら、前者は、同一のＣＤに収録
された音楽のように、オリジナルが同一の信号どうしの
検索には適するが、同一の曲の別の演奏といったよう
に、オリジナルが同一でない場合には、有効な検索をな
し得ないという問題があった。また、後者は、検索鍵と
する音楽と蓄積された音楽との双方が、単旋律、すなわ
ち同時に１つの音だけが演奏されるような音楽である場
合のみに適用可能であり、同時に複数の音が演奏される
多重奏の場合には、有効な検索をなし得ないという問題
があった。However, the former is suitable for searching signals having the same original, such as music recorded on the same CD, but when the originals are not the same, such as another performance of the same song. Had a problem that it could not make a valid search. The latter is applicable only when both the music used as the search key and the stored music are monophonic, that is, music in which only one sound is played at the same time. In the case of the multi-playing where is played, there is a problem that an effective search cannot be performed.
【０００４】[0004]
【発明が解決しようとする課題】一方、主旋律の一部を
ハミング等で歌って検索鍵とする音楽検索方法が知られ
ている。例えば、西原祐一、小杉尚子、紺谷精一、山室
雅司：「時間正規化を用いたハミング検索システム」情
報処理学会研究報告、９９−ＭＵＳ-30,pp.27-32(1999)
（文献３）には、あらかじめ音楽データベースにおいて
主旋律の単音情報を付与しておき、これと、検索鍵のハ
ミングから抽出した単音情報とを照合する方法が開示さ
れている。また、橋口博樹、西村拓一、赤坂貴史、岡隆
一：「鼻歌の旋律と歌詞をクエリーとする楽曲信号のス
ポッティング検索」信学技報、ＰＲＭＵ２０００−１１
８，pp.79-86(2000)（文献４）には、ハミング等と、デ
ータベース中の音楽とを、スペクトルログラムで照合す
る方法が開示されている。しかしながら、これらいずれ
の方法においても、検索鍵として与える音楽の断片が、
ハミングのような単旋律でない場合には、有効な検索を
なし得ないという問題があった。On the other hand, there is known a music search method in which a part of the main melody is sung by humming or the like to be used as a search key. For example, Yuichi Nishihara, Naoko Kosugi, Seiichi Kontani, Masashi Yamamuro: “Humming Search System Using Time Normalization” Research Report of Information Processing Society of Japan, 99-MUS-30, pp.27-32 (1999)
(Reference 3) discloses a method in which monophonic information of the main melody is added in advance in a music database, and this is collated with the monophonic information extracted from the humming of the search key. In addition, Hiroki Hashiguchi, Takuichi Nishimura, Takashi Akasaka, Ryuichi Oka: "Spotting Search of Music Signals Using Quarrel and Lyrics of Rhythms" IEICE Technical Report, PRMU2000-11
8, pp.79-86 (2000) (reference 4) discloses a method of collating humming and the like with music in a database with a spectral program. However, in any of these methods, the music fragment given as the search key is
There was a problem that an effective search could not be performed if it was not a monophonic melody such as Hamming.
【０００５】本発明は、上記のような従来の技術の欠点
を解決するためになされたものであり、バイナリ特徴系
列を用い、かつ、移調や時間伸縮を考慮して音楽の断片
同士の照合を行なうことにより、従来容易に実現し得な
かった多重奏同士を対象としても有効な検索を行い得
る、類似音楽検索装置ならびにその方法、および類似音
楽検索プログラムならびにその記録媒体を提供すること
を目的とする。The present invention has been made in order to solve the above-mentioned drawbacks of the conventional techniques, and uses a binary feature sequence, and also checks the musical pieces in consideration of transposition and time expansion / contraction. It is an object of the present invention to provide a similar music search apparatus and method, and a similar music search program, and a recording medium thereof that can perform effective search even for multiple musical instruments that have not been easily realized by performing the above. To do.
【０００６】[0006]
【課題を解決するための手段】上記した課題を解決する
ために本発明は、あらかじめ音楽信号が蓄積された音楽
データベースの中から、検索鍵として与えられる音楽信
号に類似した音楽もしくは類似した箇所を探し出す類似
音楽検索装置であって、前記音楽データベースに蓄積さ
れた音楽信号から、各時刻における楽音または楽音の周
波数成分の有無を要素として予め定めた２種類の値のい
ずれかをとるベクトルの系列で表した蓄積バイナリ特徴
系列に変換する蓄積バイナリ特徴系列計算手段と、前記
検索鍵となる音楽信号から、各時刻における楽音または
楽音の周波数成分の有無を要素として予め定めた２種類
の値のいずれかをとるベクトルの系列で表した目的バイ
ナリ特徴系列に変換する目的バイナリ特徴系列計算手段
と、前記目的バイナリ特徴系列と前記蓄積バイナリ特徴
系列とを比較して類似度を算出する類似度計算手段と、
前記類似度に基づいて検出すべき箇所を特定し検索結果
として出力する検索結果出力手段とを備えたことを特徴
とする。In order to solve the above problems, the present invention finds a music similar to or similar to a music signal given as a search key from a music database in which music signals are stored in advance. A similar music search device for finding out, from a music signal stored in the music database, a sequence of vectors that takes one of two types of values determined in advance as to whether or not there is a musical tone at each time or a frequency component of the musical tone. Any one of two kinds of values determined in advance from the accumulated binary feature sequence calculating means for converting into the represented accumulated binary feature sequence and the presence or absence of a musical tone or a frequency component of the musical tone at each time from the music signal serving as the search key. And a target binary feature sequence calculating means for converting to a target binary feature sequence represented by a sequence of vectors. A similarity calculation means for calculating the degree of similarity by comparing the with Li wherein sequence the accumulated binary feature series,
And a search result output unit that specifies a location to be detected based on the similarity and outputs the result as a search result.
【０００７】本発明の類似音楽検索装置において、前記
類似度計算手段は、前記目的バイナリ特徴系列と蓄積バ
イナリ特徴系列が移調されている場合、一方を順次移調
させながら類似度を計算する移調吸収手段を備えること
を特徴とする。In the similar music retrieval apparatus of the present invention, the similarity calculation means, when the target binary feature series and the stored binary feature series are transposed, the transposition absorbing means for calculating the similarity while sequentially transposing one of them. It is characterized by including.
【０００８】本発明の類似音楽検索装置において、前記
類似度計算手段は、前記目的バイナリ特徴系列と蓄積バ
イナリ特徴系列とが時間軸方向に局所的に伸縮している
場合、当該伸縮を吸収しながら類似度を計算する時間伸
縮吸収手段を備えることを特徴とする。In the similar music retrieval apparatus of the present invention, the similarity calculating means absorbs the expansion and contraction when the target binary feature series and the accumulated binary feature series are locally expanded and contracted in the time axis direction. It is characterized in that it is provided with a time expansion / contraction absorbing means for calculating the similarity.
【０００９】上記構成により、類似度計算部は、蓄積さ
れた音楽データベースから、あるいは検索鍵となる音楽
信号から、各時刻における楽音または楽音の周波数成分
の有無を要素として予め定めた２種類の値のいずれかを
とるベクトルの系列で表した蓄積バイナリ特徴系列、な
らびに目的バイナリ特徴系列を取り込み、比較照合する
ことによって類似度を計算し、計算された類似度に基づ
き検出すべき箇所を特定して検索結果として出力するこ
とができる。このように、バイナリ特徴系列を用い、ま
た、移調や時間伸縮を考慮して音楽の断片同士の比較照
合を行うことによって、従来容易に実現し得なかった、
多重奏同士を対象としても有効な検索をなし得る類似音
楽検索装置を提供することができる。なお、本発明は、
検索鍵とする音楽や、蓄積されている音楽が、ＭＩＤＩ
（Musical Instrument Digital Interface）や音符の情
報等のように符号として与えられる場合と、音響信号と
して与えられる場合の双方に適用できる。また、本発明
は、検索鍵と蓄積されている音楽の双方において、同時
に複数の音が演奏されている多重奏であっても適用し得
るものである。With the above structure, the similarity calculation unit has two kinds of values determined in advance from the accumulated music database or the music signal serving as the search key, with the presence or absence of the tone or the frequency component of the tone at each time as an element. Of the accumulated binary feature sequence represented by a sequence of vectors, and the target binary feature sequence, the similarity is calculated by comparing and matching, and the location to be detected is specified based on the calculated similarity. It can be output as a search result. As described above, by using the binary feature series and comparing and collating music fragments in consideration of transposition and time expansion / contraction, it has not been easily realized in the past.
It is possible to provide a similar music search device capable of performing an effective search even for polyphonic music. The present invention is
MIDI as search key music and stored music
The present invention can be applied to both cases where it is given as a code such as (Musical Instrument Digital Interface) and note information, and when given as an acoustic signal. Further, the present invention can be applied even to a multiple performance in which a plurality of notes are simultaneously played in both the search key and the stored music.
【００１０】上記した課題を解決するために本発明は、
あらかじめ音楽信号が蓄積された音楽データベースの中
から、検索鍵として与えられる音楽信号に類似した音楽
もしくは類似した箇所を探し出す類似音楽検索装置に用
いられる類似音楽検索方法であって、前記データベース
に蓄積された音楽信号から、各時刻における楽音または
楽音の周波数成分の有無を要素として予め定めた２種類
の値のいずれかをとるベクトルの系列で表した蓄積バイ
ナリ特徴系列に変換し、前記検索鍵の音楽信号から、各
時刻における楽音または楽音の周波数成分の有無を要素
として予め定めた２種類の値のいずれかをとるベクトル
の系列で表した目的バイナリ特徴系列に変換し、前記目
的バイナリ特徴系列と前記蓄積バイナリ特徴系列とを比
較し類似度を算出し、前記類似度に基づいて検出すべき
箇所を特定し検索結果として出力することを特徴とす
る。In order to solve the above problems, the present invention provides
A similar music search method used in a similar music search device for searching for music similar to a music signal given as a search key or a similar portion from a music database in which music signals are stored in advance, The music signal of the search key is converted into a stored binary feature sequence represented by a sequence of vectors having one of two kinds of predetermined values with the presence or absence of a tone or a frequency component of the tone at each time as an element. The signal is converted into a target binary feature sequence represented by a sequence of vectors that takes one of two types of values determined in advance, with the presence or absence of a tone or a frequency component of the tone at each time as an element, and the target binary feature sequence and the above Calculates the degree of similarity by comparing with the accumulated binary feature series, and identifies and searches for the location to be detected based on the degree of similarity And outputs as a result.
【００１１】本発明の類似音楽検索方法において、前記
類似度の算出において、目的バイナリ特徴系列と蓄積バ
イナリ特徴系列とが移調されている場合も類似している
と判定されるため、それらの一方を順次移調させながら
類似度を算出することを特徴とする。In the similar music search method of the present invention, in the calculation of the degree of similarity, it is determined that the target binary feature sequence and the stored binary feature sequence are similar even if they are transposed. The feature is that the degree of similarity is calculated while sequentially transposing.
【００１２】本発明の類似音楽検索方法において、前記
類似度の算出において、前記目的バイナリ特徴系列と蓄
積バイナリ特徴系列とが時間軸方向に局所的に伸縮して
いる場合も類似していると判定されるため、該伸縮を吸
収しながら類似度を計算することを特徴とする。In the similar music retrieval method of the present invention, in the calculation of the degree of similarity, it is determined that the target binary feature series and the accumulated binary feature series are similar even if they are locally expanded or contracted in the time axis direction. Therefore, the similarity is calculated while absorbing the expansion and contraction.
【００１３】上記した課題を解決するために本発明は、
あらかじめ蓄積された音楽データベースの中から、検索
鍵として与えられた音楽に類似した音楽もしくは類似し
た箇所を探し出す類似音楽検索装置に用いられる類似音
楽検索プログラムであって、前記音楽データベースに蓄
積された音楽から、各時刻における楽音または楽音の周
波数成分の有無を、要素として予め定めた２種類の値の
いずれかをとるベクトルの系列で表した、蓄積バイナリ
特徴系列を導く蓄積バイナリ特徴系列計算ステップと、
前記検索鍵の音楽から、各時刻における楽音または楽音
の周波数成分の有無を、要素として予め定めた２種類の
値のいずれかをとるベクトルの系列で表した、目的バイ
ナリ特徴系列を導く目的バイナリ特徴系列計算ステップ
と、前記目的バイナリ特徴系列と前記蓄積バイナリ特徴
系列とを比較し類似度を算出する類似度計算ステップ
と、前記類似度に基づいて検出すべき箇所を特定し検索
結果として出力する検索結果出力ステップとをコンピュ
ータに実行させることを特徴とする。In order to solve the above-mentioned problems, the present invention provides
A similar music search program used in a similar music search device for searching for music similar to a music given as a search key or a similar portion from a music database stored in advance, the music stored in the music database From the above, a storage binary feature sequence calculation step for deriving a storage binary feature sequence, which represents the presence or absence of a musical tone or a frequency component of a musical tone at each time by a sequence of vectors that take one of two predetermined values as elements,
A target binary feature that derives a target binary feature sequence from the music of the search key, which represents the presence or absence of a musical tone or a frequency component of the musical tone at each time as a sequence of vectors that take one of two types of values determined in advance as elements. A sequence calculation step, a similarity calculation step of calculating the degree of similarity by comparing the target binary feature sequence with the accumulated binary feature sequence, and a search for identifying a portion to be detected based on the similarity and outputting it as a search result And outputting the result output step to a computer.
【００１４】本発明の類似音楽検索プログラムにおい
て、前記第蓄積バイナリ特徴系列計算ステップは、前記
音楽データベースに蓄積された音楽信号を読み込む音楽
信号読み込みステップと、前記読み込まれた音楽信号の
周波数解析を行い短時間パワー値の算出を行なう短時間
スペクトル生成ステップと、それぞれの時刻における短
時間スペクトルの各要素の中から、その時刻において存
在する音楽の基本周波数かまたはその上音であると考え
られる要素を抽出する要素抽出ステップと、前記抽出さ
れた要素を１２音階に対応付けして音の高さを表す符号
に変換し、音名として要因リストを生成する要因リスト
生成ステップと、前記要因リストにおいて、ある音の上
音のうち基本周波数の略整数倍の周波数を持つ音の音名
を除去して基本周波数リストを生成する基本周波数リス
ト生成ステップと、前記基本周波数リストの各基本周波
数をバイナリ特徴ベクトルに変換するバイナリ特徴ベク
トル変換ステップとをコンピュータに実行させることを
特徴とする。In the similar music retrieval program of the present invention, the step of calculating the accumulated binary feature sequence performs a music signal reading step of reading a music signal accumulated in the music database and a frequency analysis of the read music signal. From the short-time spectrum generation step that calculates the short-time power value, and from each element of the short-time spectrum at each time, select the element that is considered to be the fundamental frequency of music existing at that time or its overtone. An element extraction step of extracting, a factor list generation step of generating a factor list as a note name by converting the extracted element into a code representing the pitch of the note by associating it with a 12-note scale, and the factor list, The fundamental frequency of a certain note is removed by removing the note name of the note that has a frequency that is an integer multiple of the fundamental frequency. A fundamental frequency list generation step of generating a list, characterized in that to execute a binary feature vector conversion step on the computer to convert the respective fundamental frequency of the fundamental frequency list to a binary feature vector.
【００１５】本発明の類似音楽検索プログラムにおい
て、前記目的バイナリ特徴系列計算ステップは、前記検
索鍵となる音楽信号の少なくとも断片を受信する目的音
楽信号受信ステップと、前記音響信号の周波数解析を行
い短時間パワー値の算出を行なう短時間スペクトル生成
ステップと、それぞれの時刻における短時間スペクトル
の各要素の中から、その時刻において存在する音楽の基
本周波数かまたはその上音であると考えられる要素を抽
出する短時間スペクトル時系列要素抽出ステップと、前
記抽出された要素を１２音階に対応付けして音の高さを
表す符号に変換し、音名として要因リストを生成する要
因リスト生成ステップと、前記要因リストにおいて、あ
る音の上音のうち基本周波数の略整数倍の周波数を持つ
音の音名を除去して基本周波数リストを生成する基本周
波数リスト生成ステップと、前記基本周波数リストの各
基本周波数をバイナリ特徴ベクトルに変換するバイナリ
特徴ベクトル変換ステップとをコンピュータに実行させ
ることを特徴とする。In the similar music search program of the present invention, the target binary feature sequence calculating step includes a target music signal receiving step of receiving at least a fragment of the music signal serving as the search key, and a frequency analysis of the acoustic signal to perform short analysis. From the short-time spectrum generation step that calculates the time power value and each element of the short-time spectrum at each time, extract the element that is considered to be the fundamental frequency of music existing at that time or its overtone. A short-term spectrum time-series element extraction step, a factor list generation step of converting the extracted element into a code representing the pitch of a note by associating it with a 12-note scale, and generating a factor list as a note name; In the factor list, remove the note name of a note with a frequency that is an integer multiple of the fundamental frequency among the upper notes of a note. The fundamental frequency list generation step of generating the frequency list, characterized in that to execute a binary feature vector conversion step on the computer to convert the respective fundamental frequency of the fundamental frequency list to a binary feature vector.
【００１６】本発明の類似音楽検索プログラムにおい
て、前記バイナリ特徴ベクトル変換ステップは、以下の
演算式（１）を計算することにより、前記基本周波数リ
ストの各基本周波数をバイナリ特徴ベクトルに変換する
ステップをコンピュータに実行させることを特徴とす
る。In the similar music retrieval program of the present invention, the binary feature vector conversion step includes a step of converting each fundamental frequency of the fundamental frequency list into a binary feature vector by calculating the following arithmetic expression (1). It is characterized by causing a computer to execute.
【数３】 [Equation 3]
【００１７】本発明の類似音楽検索プログラムにおい
て、前記類似度計算ステップは、前記目的バイナリ特徴
ベクトル時系列と蓄積バイナリ特徴ベクトル時系列を取
り込むステップと、前記目的バイナリ特徴ベクトルの時
系列を前記蓄積バイナリ特徴ベクトルの時系列上で時間
軸方向にずらしながら各部分に対し、以下の演算式
（２）を計算することにより順次類似度を算出するステ
ップをコンピュータに実行させることを特徴とする。In the similar music search program of the present invention, the similarity calculation step includes a step of fetching the target binary feature vector time series and a stored binary feature vector time series, and a time series of the target binary feature vector is stored in the storage binary. It is characterized in that the computer is caused to execute the step of sequentially calculating the similarity by calculating the following arithmetic expression (2) for each part while shifting in the time axis direction on the time series of the feature vector.
【数４】 [Equation 4]
【００１８】本発明の類似音楽検索プログラムにおい
て、前記類似度計算ステップは、前記目的バイナリ特徴
系列と蓄積バイナリ特徴系列が移調されている場合、一
方を順次移調させながら類似度を計算する移調吸ステッ
プをコンピュータに実行させることを特徴とする。In the similar music retrieval program of the present invention, the similarity calculating step calculates the similarity while the target binary feature series and the stored binary feature series are transposed, when one of the target binary feature series and the stored binary feature series is transposed. Is executed by a computer.
【００１９】本発明の類似音楽検索プログラムにおい
て、前記移調吸収ステップは、前記類似度計算時に前記
蓄積バイナリ特徴系列から出力される目的バイナリ特徴
ベクトルの各要素をシフトさせて最大１２通りに展開し
てそれぞれの類似度を求め、前記求められた類似度のう
ちの最大値をその箇所における類似度とみなす類似度計
算ステップをコンピュータに実行させることを特徴とす
る。In the similar music search program of the present invention, the transposing and absorbing step shifts each element of the target binary feature vector output from the accumulated binary feature sequence at the time of calculating the degree of similarity and expands it into a maximum of 12 ways. It is characterized in that the computer is caused to execute a similarity calculation step of calculating the respective similarities and regarding the maximum value of the calculated similarities as the similarity at the location.
【００２０】本発明の類似音楽検索プログラムにおい
て、前記類似度計算ステップは、前記目的バイナリ特徴
系列と蓄積バイナリ特徴系列とが時間軸方向に局所的に
伸縮している場合、当該伸縮を吸収しながら類似度を計
算する時間伸縮吸収ステップをコンピュータに実行させ
ることを特徴とする。In the similar music search program of the present invention, the similarity calculating step absorbs the expansion and contraction when the target binary feature series and the accumulated binary feature series are locally expanded and contracted in the time axis direction. It is characterized by causing a computer to execute a time-stretching absorption step of calculating the degree of similarity.
【００２１】本発明の類似音楽検索プログラムにおい
て、前記時間伸縮吸収ステップは、前記目的バイナリ特
徴ベクトルまたは蓄積バイナリ特徴ベクトルのいずれか
一方の時系列について、時間軸方向に一定回数以上連続
するバイナリベクトルに着目し、その変化が生じた時点
でのバイナリベクトルを抽出して並べる連続バイナリベ
クトル抽出ステップと、前記連続バイナリベクトルが前
記目的バイナリ特徴ベクトルまたは蓄積バイナリ特徴ベ
クトルのいずれか他方の時系列に、前記並べられた順に
含まれるか否かを調べ、含まれる割合を算出するバイナ
リベクトル含有率計算ステップと、前記割合によって前
記類似度計算手段により計算される類似度を補正する類
似度補正ステップとをコンピュータに実行させることを
特徴とする。In the similar music retrieval program of the present invention, the time expansion / contraction absorbing step converts the time series of either the target binary feature vector or the accumulated binary feature vector into a binary vector that continues for a certain number of times in the time axis direction. Focusing on the continuous binary vector extraction step of extracting and arranging the binary vectors at the time when the change occurs, the continuous binary vector is the time series of either the target binary feature vector or the accumulated binary feature vector, A computer is provided which has a binary vector content rate calculation step for checking whether or not it is included in the arranged order and calculating a rate of inclusion, and a similarity correction step for correcting the similarity calculated by the similarity calculation means based on the rate. It is characterized by making it execute.
【００２２】本発明の類似音楽検索プログラムにおい
て、前記検索結果出力ステップは、前記類似度計算ステ
ップで計算された蓄積バイナリ特徴ベクトルの時系列の
各部分における目的バイナリ特徴ベクトルの時系列との
類似度値を受信する類似度値受信ステップと、前記類似
度値に基づきあらかじめ規定された選択基準に従い検索
結果として出力すべきか否かを判定し、検出すべき箇所
を特定して検索結果として出力する検索結果出力判定ス
テップとをコンピュータに実行させることを特徴とす
る。In the similar music search program of the present invention, the search result output step includes the degree of similarity with the time series of the target binary feature vector in each part of the time series of the accumulated binary feature vector calculated in the similarity calculation step. A similarity value receiving step of receiving a value, and determining whether or not to output as a search result according to a selection criterion defined in advance based on the similarity value, specifying a portion to be detected and outputting as a search result The result output determination step is executed by a computer.
【００２３】上記した課題を解決するために本発明は、
あらかじめ蓄積された音楽データベースの中から、検索
鍵として与えられた音楽に類似した音楽もしくは類似し
た箇所を探し出す類似音楽検索装置に用いられる類似音
楽検索プログラムを記録したコンピュータ読み取り可能
な記録媒体であって、前記音楽データベースに蓄積され
た音楽から、各時刻における楽音または楽音の周波数成
分の有無を、要素として予め定めた２種類の値のいずれ
かをとるベクトルの系列で表した、蓄積バイナリ特徴系
列を導く蓄積バイナリ特徴系列計算ステップと、前記検
索鍵の音楽から、各時刻における楽音または楽音の周波
数成分の有無を、要素として予め定めた２種類の値のい
ずれかをとるベクトルの系列で表した、目的バイナリ特
徴系列を導く目的バイナリ特徴系列計算ステップと、前
記目的バイナリ特徴系列と前記蓄積バイナリ特徴系列と
を比較し類似度を算出する類似度計算ステップと、前記
類似度に基づいて検出すべき箇所を特定し検索結果とし
て出力する第検索結果出力ステップとをコンピュータに
実行させる類似音楽検索プログラムを記録したことを特
徴とする。In order to solve the above-mentioned problems, the present invention provides
A computer-readable recording medium in which a similar music search program used in a similar music search device for searching for music similar to music given as a search key or similar parts from a previously stored music database is recorded. From the music stored in the music database, there is a stored binary feature sequence in which the presence or absence of a musical tone or a frequency component of a musical tone at each time is represented by a sequence of vectors having one of two predetermined values as elements. The step of calculating the accumulated binary feature sequence and the presence or absence of a musical tone or a frequency component of the musical tone at each time from the music of the search key are represented by a sequence of vectors that take one of two types of predetermined values as elements. A step of calculating a target binary feature sequence for deriving a target binary feature sequence; A computer executes a similarity calculation step of calculating a similarity by comparing a sequence and the accumulated binary feature sequence, and a search result output step of specifying a portion to be detected based on the similarity and outputting the result as a search result. It is characterized in that a similar music search program is recorded.
【００２４】本発明の記録媒体において、前記類似度計
算ステップは、前記目的バイナリ特徴系列と蓄積バイナ
リ特徴系列が移調されている場合、一方を順次移調させ
ながら類似度を計算する移調吸収ステップをコンピュー
タに実行させることを特徴とする。In the recording medium of the present invention, in the similarity calculating step, when the target binary feature series and the accumulated binary feature series are transposed, a transposition absorbing step of computing the similarity while sequentially transposing one of them is performed by a computer. It is characterized by making it execute.
【００２５】本発明の記録媒体において、前記類似度計
算ステップは、前記目的バイナリ特徴系列と蓄積バイナ
リ特徴系列とが時間軸方向に局所的に伸縮している場
合、当該伸縮を吸収しながら類似度を計算する時間伸縮
吸収ステップをコンピュータに実行させることを特徴と
する。In the recording medium of the present invention, in the similarity calculating step, when the target binary feature series and the accumulated binary feature series are locally expanded / contracted in the time axis direction, the similarity is absorbed while absorbing the expansion / contraction. The method is characterized by causing a computer to execute a time stretching absorption step for calculating
【００２６】[0026]
【発明の実施の形態】次に、本発明の一実施形態につい
て図面を用いて説明する。図１は、本発明の一実施形態
である類似音楽検索装置の内部構成を機能展開して示し
たブロック図である。以下に示す各ブロックは、具体的
には、ＣＰＵならびにメモリを含む周辺ＬＳＩで構成さ
れ、ＣＰＵがメモリに記録されたプログラムを逐次読み
出し実行することによりその機能を実現する。BEST MODE FOR CARRYING OUT THE INVENTION Next, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing functional development of the internal configuration of a similar music search device according to an embodiment of the present invention. Each block shown below is specifically configured by a peripheral LSI including a CPU and a memory, and the CPU realizes its function by sequentially reading and executing a program recorded in the memory.
【００２７】ここに示す類似音楽検索装置は、蓄積バイ
ナリ特徴系列計算手段１と、目的バイナリ特徴系列計算
手段２と、類似度計算手段３と、検索結果出力手段４
と、情報蓄積手段７とで構成される。類似音楽検索装置
は、検索鍵信号、すなわち見本となる検索したい音楽の
断片の音響信号（目的音楽信号）を入力とし、情報蓄積
手段７に蓄積された音楽の音響信号（蓄積音楽信号）と
の類似度があらかじめ設定した値θ（これを探索閾値と
いう）を上回る箇所、およびその付随情報（曲名等）を
出力する。The similar music search device shown here is a storage binary feature sequence calculation means 1, a target binary feature sequence calculation means 2, a similarity degree calculation means 3, and a search result output means 4.
And information storage means 7. The similar music search device receives a search key signal, that is, a sound signal of a fragment of music to be searched as a sample (target music signal) and inputs it as a sound signal of music stored in the information storage means 7 (stored music signal). A location where the degree of similarity exceeds a preset value θ (referred to as a search threshold) and its associated information (song title, etc.) are output.
【００２８】蓄積バイナリ特徴系列計算手段１は、情報
蓄積手段７に蓄積された蓄積音楽信号７１から、各時刻
における楽音または楽音の周波数成分の有無を、要素と
して予め定めた２種類の値のいずれかをとるベクトルの
系列で表した、蓄積バイナリ特徴系列を導き、蓄積バイ
ナリ特徴７２として情報蓄積手段７に格納する。目的バ
イナリ特徴系列計算手段２は、検索鍵の音楽信号（目的
音楽信号）から、各時刻における楽音または楽音の周波
数成分の有無を、要素として予め定めた２種類の値のい
ずれかをとるベクトルの系列で表した、目的バイナリ特
徴系列を導き、類似度計算手段３へ供給する。The accumulated binary feature sequence calculation means 1 has one of two kinds of values determined in advance from the accumulated music signal 71 accumulated in the information accumulating means 7 with the presence or absence of a musical tone or a frequency component of the musical tone at each time. An accumulated binary feature sequence represented by a sequence of such vectors is derived and stored in the information accumulation means 7 as an accumulated binary feature 72. The target binary feature sequence calculation means 2 is a vector that takes one of two types of values determined in advance as an element, from the music signal of the search key (target music signal), the presence or absence of a musical tone or a frequency component of the musical tone at each time. A target binary feature sequence represented by a sequence is derived and supplied to the similarity calculation means 3.
【００２９】類似度計算手段３は、目的バイナリ特徴系
列計算手段２によって生成される目的バイナリ特徴系列
と、蓄積バイナリ特徴系列計算手段１により生成され、
情報蓄積手段７２から得られる蓄積バイナリ特徴系列と
を比較照合して類似度を算出する機能を持つ。検索結果
出力手段４は、類似度計算手段３により計算される類似
度に基づいて検出すベき箇所を特定して検索結果として
出力する機能を持つ。なお、情報蓄積手段７は、音楽の
音響信号（蓄積音楽信号）７１、蓄積バイナリ特徴系列
７２の他に、音響信号に付随する、曲名、アーティスト
等の付随情報７３を格納する。The similarity calculation means 3 is generated by the objective binary feature sequence calculation means 2 by the objective binary feature sequence calculation means 2 and the accumulated binary feature sequence calculation means 1,
It has a function of comparing and collating the accumulated binary feature series obtained from the information accumulating means 72 and calculating the similarity. The search result output unit 4 has a function of specifying a spot to be detected based on the similarity calculated by the similarity calculation unit 3 and outputting it as a search result. In addition to the acoustic signal of music (accumulated music signal) 71 and the accumulated binary feature sequence 72, the information accumulating unit 7 stores incidental information 73 such as a song title and an artist that accompanies the acoustic signal.
【００３０】図４は、図１に示す本発明一実施形態の動
作を説明するために引用したフローチャートである。以
下、図４のフローチャートを参照しながら図１に示す本
発明実施形態の動作について詳細に説明する。検索に先
だち、情報蓄積手段７に、検索の対象となる音楽の音響
信号（蓄積音楽信号）７１と、曲名等各音楽の付随情報
７３を蓄積しておくものとする（ステップＳ４１）。こ
れは、公知のデータベース技術を用いて実現可能であ
る。蓄積バイナリ特徴系列計算手段１は、情報蓄積手段
７を介して与えられる蓄積音楽信号７１を読み込む（ス
テップＳ４２）。ここでは、蓄積音楽信号７１は音響信
号とする。そして、読み込んだ蓄積音楽信号に対し蓄積
バイナリ特徴ベクトル系列を算出すべく、まずは周波数
解析を行う（ステップＳ４３）。FIG. 4 is a flowchart cited to explain the operation of the embodiment of the present invention shown in FIG. The operation of the embodiment of the present invention shown in FIG. 1 will be described in detail below with reference to the flowchart of FIG. Prior to the search, an acoustic signal (stored music signal) 71 of music to be searched and accompanying information 73 of each music such as a song title are stored in the information storage means 7 (step S41). This can be achieved using known database technology. The storage binary feature sequence calculation means 1 reads the storage music signal 71 given through the information storage means 7 (step S42). Here, the accumulated music signal 71 is an acoustic signal. Then, in order to calculate a stored binary feature vector sequence for the read stored music signal, first, frequency analysis is performed (step S43).
【００３１】図５に蓄積バイナリ特徴計算手段１による
蓄積バイナリ特徴ベクトル系列の算出のための手順がフ
ローチャートで示されている。先の周波数解析は、フー
リエ変換に基づく短時間スペクトルによるものなど、各
種考えられるが、ここでは帯域フィルタバンクを用いる
ものとする。すなわち、７５ＨＺから９６００Ｈｚまで
の７オクターブの帯域に、対数周波数軸上に等間隔とな
るように、３３６個のバンドパスフィルタを配置し、そ
れぞれのフィルタにおける出力波形の時間窓内の２乗平
均値を計算して短時間パワー値を得、短時間スペクトル
を生成する（ステップＳ４３１）。このとき、時間窓と
しては４４ｍｓの長さのものを用い、１１ｍｓずつ時間
軸上を移動させながらパワー値の算出を行なう。FIG. 5 is a flowchart showing the procedure for calculating the accumulated binary feature vector sequence by the accumulated binary feature calculation means 1. There are various conceivable examples of the frequency analysis, such as a short-time spectrum based on Fourier transform. Here, a band filter bank is used. That is, 336 band-pass filters are arranged so as to be evenly spaced on the logarithmic frequency axis in a band of 7 octaves from 75 Hz to 9600 Hz, and the root mean square value of the output waveforms in each filter Is calculated to obtain a short-time power value, and a short-time spectrum is generated (step S431). At this time, a time window having a length of 44 ms is used, and the power value is calculated while moving on the time axis by 11 ms.
【００３２】このようにして得た周波数毎のパワー値、
すなわち短時間スペクトルの時系列に基づいて、バイナ
リ特徴の時系列を計算する。ここで、バイナリ特徴と
は、”０”か”１”のいずれかの値を要素にもつ１２次
元ベクトルである。各次元は、音楽の音階（半音単位）
に対応している。すなわち、その時刻において、各次元
に対応する楽音が存在していれば”１”、存在していな
ければ”０”になる。なお、楽音とは、基本周波数をも
つ音のことであり、具体的には、以下のように計算す
る。The power value for each frequency thus obtained,
That is, the time series of binary features is calculated based on the time series of the short-time spectrum. Here, the binary feature is a 12-dimensional vector having a value of either "0" or "1" as an element. Each dimension is a musical scale (semitone unit)
It corresponds to. That is, at that time, it is "1" if a musical tone corresponding to each dimension exists, and "0" if it does not exist. It should be noted that the musical sound is a sound having a fundamental frequency, and is specifically calculated as follows.
【００３３】まず、それぞれの時刻における短時間スペ
クトル（３３６次元ベクトル）の各要素において、ある
周波数のパワーが予め定めた値以上であり、かつ、周波
数軸方向のローカルピークとなっている要素を抽出する
（ステップＳ４３２）。この要素は、その時刻において
存在している楽音の基本周波数か、またはその上音であ
ると考えられる。このような要素を全て取り出し、か
つ、楽譜上の音の高さに対応づけて音名とし、要因リス
トに格納する（ステップＳ４３３）。なお、このように
要因リストを生成するステップは、要素の全てを必ずし
も楽譜上の音の高さに一度変換することに限定されるも
のではなく、例えば、連続的な周波数値で処理した後、
楽譜上の高さに変換するようにしてもよい。ここで音名
は、音楽の分野で用いられる、Ａ２、Ｅ３などといった
音の高さを表す符号であり、たとえばＡ２＝４４０Ｈｚ
などと規定することにより、周波数値の対応から容易に
求めることができる。First, from each element of the short-time spectrum (336-dimensional vector) at each time, the element whose power of a certain frequency is equal to or higher than a predetermined value and which is a local peak in the frequency axis direction is extracted. Yes (step S432). This element is considered to be the fundamental frequency of the musical sound present at that time, or the overtone thereof. All such elements are taken out, and the note name is associated with the pitch of the note on the score and stored in the factor list (step S433). It should be noted that the step of generating the factor list in this way is not necessarily limited to converting all the elements to the pitch of the musical score once, and for example, after processing with continuous frequency values,
You may make it convert into the height on a score. Here, the pitch name is a code used in the field of music that represents the pitch of a sound such as A2, E3, etc., for example, A2 = 440 Hz.
By defining such as, it is possible to easily obtain from the correspondence of the frequency value.
【００３４】次に、要因リストにおいて、倍音（ある音
の上音のうち、基本周波数のほぼ整数倍の周波数をもつ
もの）を除去して、基本周波数リストを得る（ステップ
Ｓ４３３）。この倍音除去の処理は、例えば、柏野邦
夫、中臺一博、木下智義、田中英彦：「音楽情景分析の
処理モデルＯＰＴＩＭＡにおける単音の認識」、電子情
報通信学会論文誌D-II,J79-D-II,No.11,pp.1751-1761(1
996)に開示されている「単音形成処理」によって行なう
ことが可能である。このようにして得た基本周波数リス
トの各基本周波数を、バイナリ特徴ベクトルに変換する
（ステップＳ４３５）。バイナリ特徴ベクトルヘの変換
は、以下の演算式（３）を計算することによって求める
ことができる。Next, in the factor list, overtones (one of the overtones of a certain sound having a frequency that is an integer multiple of the fundamental frequency) are removed to obtain a fundamental frequency list (step S433). This overtone removal process is described in, for example, Kunio Kashino, Kazuhiro Nakatai, Tomoyoshi Kinoshita, Hidehiko Tanaka: "Recognition of single tones in the music scene analysis processing model OPTIMA", IEICE Transactions D-II, J79-D. -II, No.11, pp.1751-1761 (1
It can be performed by the "single tone forming process" disclosed in 996). Each fundamental frequency of the fundamental frequency list thus obtained is converted into a binary feature vector (step S435). The conversion to the binary feature vector can be obtained by calculating the following arithmetic expression (3).
【数５】
図１０に上記したバイナリ特徴ベクトルへの変換処理の
一例が示されており、基本周波数リストｌｔに示された
それぞれの音の高さに相当するベクトルの成分に１が立
っている。例えば、「Ａ」に相当するｋijには、音符の
基準周波数ｆs＝５５Ｈｚとして、ｋ11＝５５、ｋ12＝
１１０、ｋ13＝２２０、ｋ14＝４４０等がある。そし
て、これらのいずれかが、基本周波数リストに含まれて
いたとき、対応するベクトルの成分「Ａ」（すなわちｂ
１）が１になる。[Equation 5] FIG. 10 shows an example of the conversion process into the binary feature vector described above, in which 1 is set to the component of the vector corresponding to the pitch of each tone shown in the fundamental frequency list lt. For example, for k ij corresponding to “A”, the reference frequency f s of the note is f s = 55 Hz, and k 11 = 55, k 12 =
110, k 13 = 220, k 14 = 440 and so on. When any of these is included in the fundamental frequency list, the corresponding vector component “A” (that is, b
1) becomes 1.
【００３５】説明を図４に戻し、上記のようにして得ら
れるバイナリ特徴ベクトルの時系列を、情報蓄積手段７
に蓄積する（ステップＳ４４）。次に、目的バイナリ特
徴系列計算手段２では、はじめに、目的音楽信号、すな
わち検索鍵となる音楽の断片の音響信号を受信する（ス
テップＳ４５）。そして、目的バイナリ特徴ベクトルの
時系列を算出する（ステップＳ４６）。ここでの具体的
な処理は、図５にフローチャートで示した蓄積バイナリ
特徴計算手段１における処理と同一であるため、重複を
回避する意味で説明を省略する。Returning to FIG. 4, the time series of the binary feature vector obtained as described above is used as the information storage means 7.
(Step S44). Next, the target binary feature sequence calculation means 2 first receives the target music signal, that is, the acoustic signal of the music fragment serving as the search key (step S45). Then, the time series of the target binary feature vector is calculated (step S46). The specific processing here is the same as the processing in the accumulated binary feature calculation means 1 shown in the flowchart in FIG. 5, and therefore the description is omitted to avoid duplication.
【００３６】そして、類似度計算を行なう（ステップＳ
４７）。類似計算処理については図６にその詳細がフロ
ーチャートで示されている。図６において、類似度計算
手段３は、まず、目的バイナリ特徴系列計算手段２か
ら、目的バイナリ特徴ベクトルの時系列を受信する（ス
テップＳ４７１）。次に、情報蓄積手段７を参照して、
蓄積バイナリ特徴系列計算手段１によって生成された蓄
積バイナリ特徴ベクトルの時系列７２を取得する（ステ
ップＳ４７２）。Then, similarity calculation is performed (step S
47). Details of the similarity calculation process are shown in FIG. In FIG. 6, the similarity calculation unit 3 first receives the time series of the target binary feature vector from the target binary feature sequence calculation unit 2 (step S471). Next, referring to the information storage means 7,
The time series 72 of the accumulated binary feature vector generated by the accumulated binary feature sequence calculation means 1 is acquired (step S472).
【００３７】ＸがＹの終端に届いたかを判断し（Ｓ４７
３）届いていない場合には、類似度計算手段３は、目的
バイナリ特徴ベクトルの時系列と、蓄積バイナリ特徴ベ
クトルの時系列の一部との類似度を計算する。このと
き、類似度Ｐ（ｚ）は以下の演算式（２）を計算するこ
とによって行なわれ、演算式（３）を計算することによ
り最終的に合計類似度ＳBが計算される（ステップＳ４
７４）。類似度の計算は、目的バイナリ特徴ベクトルの
時系列を、蓄積バイナリ特徴ベクトルの時系列上で時間
軸方向にずらしながら、各部分に対して順次行う（ステ
ップＳ４７５）。It is determined whether X has reached the end of Y (S47).
3) If it has not arrived, the similarity calculation means 3 calculates the similarity between the time series of the target binary feature vector and a part of the time series of the accumulated binary feature vector. At this time, the similarity P (z) is calculated by calculating the following calculation formula (2), and finally the total similarity S B is calculated by calculating the calculation formula (3) (step S4).
74). The calculation of the degree of similarity is sequentially performed for each part while shifting the time series of the target binary feature vector in the time axis direction on the time series of the accumulated binary feature vector (step S475).
【数６】
類似度計算の一例を図１１に示す。ここでは、音符個数
Ｄが”５”、共通音符Ｕが”４”となることから上記演
算式により類似度は８０％となることがわかる。これを
各ｚについて求め、式（３）により合計類似度を求め
る。[Equation 6] FIG. 11 shows an example of the similarity calculation. Here, since the number of notes D is "5" and the common note U is "4", it can be seen from the above equation that the degree of similarity is 80%. This is obtained for each z, and the total similarity is obtained by the equation (3).
【００３８】説明を図４に戻し、類似度計算の結果は、
検索結果出力手段４に供給され、ここで、検索結果出力
処理が行なわれる（ステップＳ４８）。検索結果出力処
理についての詳細は図７にその詳細がフローチャートで
示されている。図７において、検索結果出力手段４は、
類似度計算手段３で計算された、蓄積バイナリ特徴ベク
トルの時系列の各部分における、目的バイナリ特徴ベク
トルの時系列との類似度値を受け取り（ステップＳ４８
２）、検索結果として出力すベきか否かを判定する。こ
の判定は、ある一定の閾値を事前に定めておくか、ある
いは、全ての箇所の類似度値のうちの上位数箇所を選択
する、などの方法が考えられ、用途に応じていずれを用
いてもよいことは自明である。ここでは、前者に示す方
法を採用するものとする。ステップＳ４８３で閾値と比
較され、ここで類似度合値が閾値内にあるか否かが判定
され、その判定された箇所に対し、情報蓄積手段７に予
め蓄えておいた付随情報、すなわち曲名やアーティスト
名等の情報を付加し、検索結果として出力する（ステッ
プＳ４８４）。Returning to FIG. 4, the result of the similarity calculation is
The search result output means 4 is supplied with the search result output process (step S48). Details of the search result output process are shown in the flowchart of FIG. In FIG. 7, the search result output means 4 is
The similarity value with the time series of the target binary feature vector in each part of the time series of the accumulated binary feature vector calculated by the similarity calculation means 3 is received (step S48).
2) It is determined whether or not it is output as a search result. For this determination, a certain threshold value may be set in advance, or a method such as selecting the top few places among the similarity values of all the places may be considered, and which method is used depending on the application. It is self-evident. Here, it is assumed that the former method is adopted. In step S483, it is compared with the threshold value, and it is determined here whether the similarity degree value is within the threshold value. For the determined location, the additional information stored in advance in the information storage means 7, that is, the song title and artist. Information such as a name is added and output as a search result (step S484).
【００３９】図２は、本発明における類似音楽検索装置
の他の実施形態を示すブロック図であり、図１に示す実
施形態との差異は、更に、移調吸収手段５を付加したこ
とにある。類似度計算手段３は、目的バイナリ特徴系列
と蓄積バイナリ特徴系列とが移調されている場合も類似
していると判定するため、移調吸収手段５は、それらの
一方を順次移調させながら類似度を計算するために用い
られる。FIG. 2 is a block diagram showing another embodiment of the similar music search device according to the present invention. The difference from the embodiment shown in FIG. 1 is that transposition absorbing means 5 is further added. Since the similarity calculation means 3 determines that the target binary feature series and the accumulated binary feature series are similar even when they are transposed, the transposition absorbing means 5 determines the similarity while sequentially transposing one of them. Used to calculate.
【００４０】移調吸収手段５による移調吸収処理の手順
が図８にフローチャートで示されている。移調吸収手段
５では、類似度の計算時に、蓄積バイナリ特徴系列計算
手段１から出力された、目的バイナリ特徴ベクトルの各
要素をシフトさせ、最大１２通りに展開する（ステップ
Ｓ４７６）。このようにして得た１２通りの類似度値の
うちの最大値を、その箇所における類似度値とみなす
（ステップＳ４７７、Ｓ４７８）。図１２にその様子が
示されている。図１２では、（ａ）から（ｆ）に向かっ
て入力曲（蓄積バイナリ特徴）が１ビットずつシフトさ
れ、（ｆ）の段階で蓄積バイナリ特徴が目的曲（目的バ
イナリ特徴）と一致する。その時点での類似度は、音符
個数６、共通音符６となるため、類似度は１００％とな
る。The procedure of the transposition absorption processing by the transposition absorption means 5 is shown in the flow chart of FIG. The transposition absorbing means 5 shifts each element of the target binary feature vector output from the accumulated binary feature sequence calculating means 1 at the time of calculating the degree of similarity, and develops the maximum 12 ways (step S476). The maximum value of the 12 similarity values thus obtained is regarded as the similarity value at that location (steps S477 and S478). This is shown in FIG. In FIG. 12, the input song (accumulated binary feature) is shifted by 1 bit from (a) to (f), and the accumulated binary feature matches the target song (target binary feature) at the stage of (f). At that time, the degree of similarity is 6 notes and 6 common notes, so the degree of similarity is 100%.
【００４１】図３は、本発明における類似音楽検索装置
の更に他の実施形態を示すブロック図であり、図２に示
す実施形態との差異は、更に、時間伸縮吸収手段６を付
加したことにある。時間伸縮吸収手段６は、目的バイナ
リ特徴系列と蓄積バイナリ特徴系列とが時間軸方向に局
所的に伸縮している場合も類似していると判定するた
め、この伸縮を吸収しながら類似度を計算する。時間伸
縮吸収手段６では、時間軸の伸縮への対応は、公知の方
法であるＤＰマッチングによる方法を用いることが可能
である。ＤＰマッチングとは、音楽の時系列パターンを
標準の時系列パターンと照合するために動的に時間正規
化する方法の代表例あり、現在広く用いられている。FIG. 3 is a block diagram showing still another embodiment of the similar music search device according to the present invention. The difference from the embodiment shown in FIG. 2 is that the time expansion / contraction absorbing means 6 is further added. is there. The time-stretching absorbing means 6 determines that the target binary feature series and the accumulated binary feature series are similar even when they are locally stretched in the time axis direction, and therefore the similarity is calculated while absorbing the stretch. To do. In the time expansion / contraction absorbing means 6, it is possible to use the method of DP matching, which is a known method, for the expansion / contraction of the time axis. The DP matching is a typical example of a method of dynamically normalizing time in order to match a time series pattern of music with a standard time series pattern, and is widely used at present.
【００４２】その他にも、ランレングス符号による方法
を用いることも可能であり、以下に示す演算式により時
間伸縮吸収処理が行なわれる。
入力曲のＦＦＳ：Ｃ＝｛ｃi｝，ｉ＝１，２，…，…，
Ｄ
ここでランレングス符号化を行うと、
Ｈ＝｛ｈk｝，ｋ＝１，２，…，…，Ｍ
但し、Ｍは符号変化の回数であり、Ｈは、Ｌ（ｃi）＞
αであるようなｃｉのみから成立する（αは特定の音長
の閾値）。
目的曲のＦＳＳ：Ｒ＝｛ｒi｝，ｉ＝１，２，…，…，
Ｄ
第二類似度基準Ｓｃは、Ｒに含まれるＨの割合であると
して（順序も考慮）、Ｓｃ＞θのとき類似していると判
定する。なお、ＦＳＳとは、Feature Symbol Strings
のことをいう。これは各特徴ベクトルをシンボルとし
て、それを時系列順に並べたものである。In addition to this, it is also possible to use a method using a run length code, and the time expansion / contraction absorption processing is performed by the following arithmetic expression. FFS of input song: C = {c i }, i = 1, 2, ..., ...,
D Here, if run length coding is performed, H = {h k }, k = 1, 2, ..., M, where M is the number of code changes, and H is L (c i )>
It is established only from ci that is α (α is a threshold value of a specific tone length). Purposes songs FSS: R = {r i} , i = 1,2, ..., ...,
Assuming that the D second similarity criterion Sc is the ratio of H contained in R (considering the order), it is determined that they are similar when Sc> θ. Note that FSS is Feature Symbol Strings.
I mean. This is one in which each feature vector is used as a symbol and arranged in time series.
【００４３】図９にランレングスによる時間伸縮吸収処
理手順がフローチャートで示されている。図９におい
て、時間伸縮吸収手段６は、はじめに、目的バイナリ特
徴ベクトルの時系列について、時間方向に一定回数以上
連続するバイナリベクトルに着目し、その変化が生じた
時点でのバイナリベクトルを取り出して並ベる（ステッ
プＳ４７９）。なお、図１３に示す時間伸縮吸収手段６
による処理の一例では、ａ、ｃ、ｄ、ｅ、ｇが取り出さ
れたバイナリベクトルであり、蓄積バイナリ特徴との対
応を探索することにより時間伸縮処理が行なわれる。FIG. 9 is a flow chart showing the procedure of time expansion / contraction absorption processing by run length. In FIG. 9, the time expansion / contraction absorbing means 6 first pays attention to a binary vector that continues for a certain number of times in the time direction in the time series of the target binary feature vector, extracts the binary vector at the time when the change occurs, and parallelizes the binary vector. (Step S479). The time expansion / contraction absorbing means 6 shown in FIG.
In the example of the processing by, the a, c, d, e, and g are the extracted binary vectors, and the time expansion / contraction processing is performed by searching the correspondence with the accumulated binary features.
【００４４】次に、これらが、蓄積バイナリ特徴ベクト
ルの時系列に、その順に含まれるか否かを調べ、含まれ
ていた割合を算出する（ステップＳ４８０）。算出され
た値は、類似度計算手段３において既に説明した処理に
よって算出した類似度を補足する、第二類似度とみなさ
れる。この場合、検索結果出力手段４では、これら二つ
の類似度値のそれぞれを総合して、検索結果とすベきか
否かを判定する（ステップＳ４８１）。例えば、それぞ
れの類似度値に対する閾値を予め決めておき、いずれか
がその閾値を越えた場合に、類似していると判断して検
索結果とする。なお、前述の場合とは逆に、蓄積バイナ
リ特徴ベクトルの時系列について、時間方向に一定回数
以上連続するバイナリベクトルを取り出し、これを目的
バイナリ特徴ベクトルの時系列に含まれるかの割合を算
出する処理としてもよい。Next, it is checked whether or not these are included in the time series of the accumulated binary feature vector in that order, and the ratio of inclusion is calculated (step S480). The calculated value is regarded as the second similarity, which complements the similarity calculated by the processing already described in the similarity calculation means 3. In this case, the search result output means 4 integrates each of these two similarity values and determines whether or not the result is a search result (step S481). For example, a threshold value for each similarity value is determined in advance, and if any of them exceeds the threshold value, it is determined that they are similar to each other and the result is set as the search result. Contrary to the above-mentioned case, the time series of the accumulated binary feature vector is taken out as a binary vector continuous for a certain number of times in the time direction, and the ratio of whether this binary vector is included in the time series of the target binary feature vector is calculated. It may be processed.
【００４５】図１４、図１５は、本発明における類似音
楽検索装置の動作実験例を説明するために引用した図で
ある。ここでは、動作実験のために、蓄積音楽信号とし
て、演奏家による実際の１４２曲のアンサンブル演奏を
収録して蓄積した。図１４に＜表１＞として示されるよ
うに、計１４２曲は、２０の異なる曲と、それらに変化
を加えた曲から成っている。FIG. 14 and FIG. 15 are diagrams cited for explaining an operational experiment example of the similar music search device according to the present invention. Here, for the operation experiment, the actual 142 ensemble performances by the performer were recorded and accumulated as the accumulated music signals. As shown as <Table 1> in FIG. 14, 142 songs in total are composed of 20 different songs and the songs to which the variations are added.
【００４６】まず、２０の異なる曲のうちの８曲につい
て、５種類の変化（原曲、移調、楽器変換、テンポ変
換、および変奏）を加え、さらに２回演奏を行って８０
曲とした。次に、２０の異なる曲のうちの別の９曲（い
ずれも３パートのアンサンブル演奏で、ピアノを含む）
について、ピアノが単旋律を演奏したものと、通常のよ
うに和音を演奏したものとの２種類の変化を設け、それ
ぞれ３回演奏を行って、５４曲とした。なお、３回の演
奏のうち、２回は同一の演奏家、１回は別の演奏家が演
奏した。その次に、２０の異なる曲のうちの別の２曲に
ついて、３回演奏を行って、６曲とした。なお、３回の
演奏のうち、２回は同一の演奏家、１回は別の演奏家が
演奏した。さらに、２０の異なる曲のうちの残りの１曲
について、２回の演奏（同一の演奏家）を行って、２曲
とした。First, 5 kinds of changes (original music, transposition, musical instrument conversion, tempo conversion, and variation) were added to 8 out of 20 different musical compositions, and two more performances were performed to obtain 80.
It was a song. Next, another 9 out of 20 different songs (all with 3 parts ensemble performance, including piano)
Regarding the above, two types of changes were provided, one for playing the piano by a single melody and one for playing the chords as usual. Of the three performances, the same musician performed twice, and another musician performed once. Then, another two of the twenty different songs were played three times to give six songs. Of the three performances, the same musician performed twice, and another musician performed once. Furthermore, the remaining one of the 20 different songs was played twice (same performer) to make two songs.
【００４７】このような、計１４２曲の蓄積音楽信号の
全ての曲から、各１箇所ずつ、２０秒間の区間を切り出
して、目的信号とし、その他の１４１曲を対象として照
合する実験を行った。すなわち、検索は１４２回行っ
た。これらの検索のうち、移調を含む曲を対象とする検
索では、図２に示す実施形態を使用し、テンポ変換を含
む曲を対象とする検索では、図３に示す実施形態を使用
し、それ以外の検索では、図１に示す実施形態を使用し
た。An experiment was carried out in which a section of 20 seconds was cut out from each of all the music pieces of the accumulated music signal of a total of 142 music pieces as such, as a target signal, and the other 141 music pieces were compared. . That is, the search was performed 142 times. Among these searches, the embodiment shown in FIG. 2 is used for the search that includes the music including transposition, and the search shown in FIG. 3 is used for the search that includes the music that includes tempo conversion. Other than that, the embodiment shown in FIG. 1 was used.
【００４８】性能評価は、リコール率Ｒと、エラー率Ｅ
とで行った。Ｒは、正しい検索結果の数を、検出される
べき曲数で割ったものである。またＥは、出力として得
られた曲数のうち、誤った曲の割合である。本実験で
は、類似度の閾値を定めて、閾値を越える類似度を与え
る曲を全て出力するものとした。すなわち、検索を行っ
ても、結果が０曲のこともあれば、複数曲が出力される
場合もありうる。また、正誤は、箇所は問わず、曲名に
対して判定した。Performance evaluation is performed by recall rate R and error rate E.
I went with. R is the number of correct search results divided by the number of songs to be detected. E is the ratio of erroneous songs to the number of songs obtained as an output. In this experiment, a threshold of similarity is set, and all songs that give a similarity exceeding the threshold are output. That is, even if a search is performed, the result may be 0 or a plurality of songs may be output. In addition, the correctness was determined for the song name regardless of the location.
【００４９】図１５に、実験結果を＜表２＞として示
す。閾値の設定によって結果は変化するが、この結果は
平均の誤り率がＥ＝１３％となるように設定したとき
の、変化の仕方別のＲ値である。本実験により、最も代
表的な音楽のバリエーションである、演奏の違い、ある
楽器の単旋律／多重奏の違い、調の違い、楽器の違い、
テンポの違いに対して概ね良好な検索結果（Ｒ値が６９
〜１００％）が得られることが明らかになった。すなわ
ち、主旋律の符号列を付与するなど人手による処理を介
することなく、多重奏の音響信号を検索鍵として、良好
な類似音楽検索を行なえることを確かめることができ
た。FIG. 15 shows the experimental results as <Table 2>. Although the result changes depending on the setting of the threshold value, this result is the R value according to the changing method when the average error rate is set to E = 13%. Through this experiment, the most typical variation of music, the difference in performance, the difference in monophonic / polyphony of a certain instrument, the difference in key, the difference in instrument,
Generally good search results (R value 69
.About.100%) was obtained. That is, it was confirmed that a good similar music search can be performed by using the acoustic signal of the polyphony as a search key without manual processing such as adding a code string of the main melody.
【００５０】なお、上記した本発明実施形態において
は、蓄積バイナリ特徴系列計算手段１と、目的バイナリ
特徴系列計算手段２と、類似度計算手段３と、検索結果
出力手段４と、移調吸収手段５と、時間伸縮吸収手段６
のそれぞれで実行される手順をコンピュータ読み取り可
能な記録媒体に記録し、この記録媒体に記録されたプロ
グラムをコンピュータシステムに読み込ませ、実行する
ことにより本発明における類似音楽検索装置における機
能が実行されるものとする。ここでいうコンピュータシ
ステムとは、ＯＳや周辺機器等のハードウアを含むもの
である。In the above embodiment of the present invention, the accumulated binary feature sequence calculation means 1, the target binary feature sequence calculation means 2, the similarity calculation means 3, the search result output means 4, and the transposition absorption means 5 are used. And time expansion / contraction absorbing means 6
The procedure executed by each of the above is recorded in a computer-readable recording medium, and the program recorded in this recording medium is read into a computer system and executed, whereby the function of the similar music search device according to the present invention is executed. I shall. The computer system mentioned here includes an OS and hardware such as peripheral devices.
【００５１】また、「コンピュータシステム」は、ＷＷ
Ｗシステムを利用している場合であれば、ホームページ
提供環境（あるいは表示環境）も含むものとする。ま
た、「コンピュータ読み取り可能な記録媒体」とは、フ
レキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−
ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵され
るハードディスク等の記憶装置のことをいう。さらに
「コンピュータ読み取り可能な記録媒体」とは、インタ
ーネット等のネットワークや電話回線等の通信回線を介
してプログラムが送信された場合のシステムやクライア
ントとなるコンピュータシステム内部の揮発性メモリ
（ＲＡＭ）のように、一定時間プログラムを保持してい
るものも含むものとする。The "computer system" is WW
If the W system is used, the homepage providing environment (or display environment) is also included. The "computer-readable recording medium" means a flexible disk, a magneto-optical disk, a ROM, a CD-
A portable medium such as a ROM or a storage device such as a hard disk built in a computer system. Further, the "computer-readable recording medium" is a volatile memory (RAM) inside a computer system which is a system or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those that hold the program for a certain period of time are also included.
【００５２】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク（通信網）や電話回線等の通信回
線（通信線）のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル（差分プログラム）であっても良
い。The above program may be transmitted from a computer system that stores the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the program may be a program for realizing some of the functions described above. further,
It may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.
【００５３】以上、この発明の実施形態を図面を参照し
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、この発明の要旨を逸脱しない範囲の
設計等も含まれる。Although the embodiment of the present invention has been described in detail above with reference to the drawings, the specific structure is not limited to this embodiment, and includes a design etc. within the scope not departing from the gist of the present invention. Be done.
【００５４】[0054]
【発明の効果】以上説明したように本発明によれば、バ
イナリ特徴系列を用い、また、移調や時間伸縮を考慮し
て音楽の断片同士の比較照合を行なうことによって、従
来容易に実現し得なかった、多重奏同士を対象としても
有効な検索をなし得る類似音楽検索装置を提供すること
ができる。なお、本発明は、検索鍵とする音楽や、蓄積
されている音楽が、ＭＩＤＩ（Musical Instrument Dig
ital Interface）や音符の情報等のように符号として与
えられる場合と、音響信号として与えられる場合の双方
に適用できる。また、本発明は、検索鍵と蓄積されてい
る音楽の双方において、同時に複数の音が演奏されてい
る多重奏であっても適用し得るものである。As described above, according to the present invention, it is possible to easily realize the related art by using the binary feature sequence and comparing and comparing music fragments in consideration of transposition and time expansion / contraction. It is possible to provide a similar music search device capable of performing an effective search even for multiple plays, which was not possible. In the present invention, the music used as the search key and the stored music are MIDI (Musical Instrument Dig.
It can be applied to both cases where it is given as a code such as ital interface) and information of notes, and cases where it is given as an acoustic signal. Further, the present invention can be applied even to a multiple performance in which a plurality of notes are simultaneously played in both the search key and the stored music.
【図１】 本発明による類似音楽検索装置の一実施形態
を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of a similar music search device according to the present invention.
【図２】 本発明による類似音楽検索装置の他の実施形
態を示すブロック図である。FIG. 2 is a block diagram showing another embodiment of the similar music search device according to the present invention.
【図３】 本発明による類似音楽検索装置の更に他の実
施形態を示すブロック図である。FIG. 3 is a block diagram showing another embodiment of the similar music search device according to the present invention.
【図４】 本発明実施形態の動作を説明するために引用
したフローチャートである。FIG. 4 is a flowchart cited to explain the operation of the exemplary embodiment of the present invention.
【図５】 本発明実施形態の動作を説明するために引用
したフローチャートである。FIG. 5 is a flowchart cited to explain the operation of the embodiment of the present invention.
【図６】 本発明実施形態の動作を説明するために引用
したフローチャートである。FIG. 6 is a flowchart cited to explain the operation of the exemplary embodiment of the present invention.
【図７】 本発明実施形態の動作を説明するために引用
したフローチャートである。FIG. 7 is a flowchart cited to explain the operation of the exemplary embodiment of the present invention.
【図８】 本発明実施形態の動作を説明するために引用
したフローチャートである。FIG. 8 is a flowchart cited to explain the operation of the exemplary embodiment of the present invention.
【図９】 本発明実施形態の動作を説明するために引用
したフローチャートである。FIG. 9 is a flowchart cited to explain the operation of the exemplary embodiment of the present invention.
【図１０】 バイナリ特徴ベクトルへの変換処理の一例
を説明するために引用した動作概念図である。FIG. 10 is an operation concept diagram cited for explaining an example of conversion processing into a binary feature vector.
【図１１】 本発明の構成の一つである類似度計算手段
による処理の一例を説明するために引用した動作概念図
である。FIG. 11 is an operation conceptual diagram quoted for explaining an example of processing by the similarity calculation means which is one of the configurations of the present invention.
【図１２】 本発明の構成の一つである移調吸収手段に
よる処理の一例を説明するために引用した動作概念図で
ある。FIG. 12 is an operation conceptual diagram quoted for explaining an example of processing by the transposition absorbing means which is one of the configurations of the present invention.
【図１３】 本発明の構成の一つである時間伸縮吸収手
段による処理の一例を説明するために引用した動作概念
図である。FIG. 13 is an operation conceptual diagram quoted for explaining an example of processing by the time expansion / contraction absorbing means which is one of the configurations of the present invention.
【図１４】 本発明における類似音楽検索装置の機能を
実験するために使用した音楽の種類を説明するために引
用した表（表１）である。FIG. 14 is a table (Table 1) cited for explaining the types of music used for experimenting the function of the similar music search device according to the present invention.
【図１５】 本発明における類似音楽検索装置の実験結
果を説明するために引用した表（表２）である。FIG. 15 is a table (Table 2) cited for explaining the experimental results of the similar music search device according to the present invention.
１…蓄積バイナリ特徴系列計算手段、２…目的バイナリ
特徴系列計算手段、３…類似度計算手段、４…検索結果
出力手段、５…移調吸収手段、６…時間伸縮吸収手段、
７…情報蓄積手段、７１…蓄積音楽信号、７２…蓄積バ
イナリ特徴、７３…付随情報1 ... Accumulated binary feature sequence calculation means, 2 ... Objective binary feature sequence calculation means, 3 ... Similarity degree calculation means, 4 ... Search result output means, 5 ... Transposition absorption means, 6 ... Time expansion / contraction absorption means,
7 ... Information storage means, 71 ... Stored music signal, 72 ... Stored binary feature, 73 ... Accompanying information
───────────────────────────────────────────────────── フロントページの続き (72)発明者 村瀬 洋 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 ブライアン トス アメリカ合衆国 ワシントン州 シアトル セヴンスアベニュー エヌダブリュー 7054 Ｆターム(参考） 5D015 HH01 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Hiroshi Murase 2-3-1, Otemachi, Chiyoda-ku, Tokyo Inside Telegraph and Telephone Corporation (72) Inventor Brian Toss United States Washington, Seattle Seventh Avenue NW 7054 F-term (reference) 5D015 HH01
Claims (19)
ータベースの中から、検索鍵として与えられる音楽信号
に類似した音楽もしくは類似した箇所を探し出す類似音
楽検索装置であって、 前記音楽データベースに蓄積された音楽信号から、各時
刻における楽音または楽音の周波数成分の有無を要素と
して予め定めた２種類の値のいずれかをとるベクトルの
系列で表した蓄積バイナリ特徴系列に変換する蓄積バイ
ナリ特徴系列計算手段と、 前記検索鍵となる音楽信号から、各時刻における楽音ま
たは楽音の周波数成分の有無を要素として予め定めた２
種類の値のいずれかをとるベクトルの系列で表した目的
バイナリ特徴系列に変換する目的バイナリ特徴系列計算
手段と、 前記目的バイナリ特徴系列と前記蓄積バイナリ特徴系列
とを比較して類似度を算出する類似度計算手段と、 前記類似度に基づいて検出すべき箇所を特定し検索結果
として出力する検索結果出力手段とを備えたことを特徴
とする類似音楽検索装置。1. A similar music search device for searching for a music similar to a music signal given as a search key or a similar portion from a music database in which music signals are stored in advance, wherein the similar music search device stores the music in the music database. And a storage binary feature sequence calculation means for converting a music signal into a storage binary feature sequence represented by a sequence of vectors having one of two types of values determined by the presence or absence of a tone or a frequency component of the tone at each time. , Which is determined in advance from the music signal serving as the search key by using the presence or absence of a musical tone or a frequency component of the musical tone at each time as an element
A target binary feature sequence calculation means for converting into a target binary feature sequence represented by a sequence of vectors that take any of the values of types, and a similarity is calculated by comparing the target binary feature sequence and the accumulated binary feature sequence. A similar music search device comprising: a similarity calculation unit; and a search result output unit that specifies a portion to be detected based on the similarity and outputs the result as a search result.
調されている場合、一方を順次移調させながら類似度を
計算する移調吸収手段を備えることを特徴とする請求項
１に記載の類似音楽検索装置。2. The similarity calculating means comprises transposing and absorbing means for calculating the similarity while sequentially transposing one of the target binary feature sequence and the accumulated binary feature sequence when the target binary feature sequence and the accumulated binary feature sequence are transposed. The similar music search device according to claim 1.
時間軸方向に局所的に伸縮している場合、当該伸縮を吸
収しながら類似度を計算する時間伸縮吸収手段を備える
ことを特徴とする請求項１または２に記載の類似音楽検
索装置。3. The similarity calculation means, when the target binary feature series and the accumulated binary feature series are locally expanded / contracted in the time axis direction, time expansion / contraction for calculating similarity while absorbing the expansion / contraction. The similar music search device according to claim 1 or 2, further comprising absorbing means.
ータベースの中から、検索鍵として与えられる音楽信号
に類似した音楽もしくは類似した箇所を探し出す類似音
楽検索装置に用いられる類似音楽検索方法であって、 前記データベースに蓄積された音楽信号から、各時刻に
おける楽音または楽音の周波数成分の有無を要素として
予め定めた２種類の値のいずれかをとるベクトルの系列
で表した蓄積バイナリ特徴系列に変換し、 前記検索鍵の音楽信号から、各時刻における楽音または
楽音の周波数成分の有無を要素として予め定めた２種類
の値のいずれかをとるベクトルの系列で表した目的バイ
ナリ特徴系列に変換し、 前記目的バイナリ特徴系列と前記蓄積バイナリ特徴系列
とを比較し類似度を算出し、 前記類似度に基づいて検出すべき箇所を特定し検索結果
として出力することを特徴とする類似音楽検索方法。4. A similar music search method used in a similar music search device for searching for music similar to a music signal given as a search key or a similar part from a music database in which music signals are stored in advance, The music signal stored in the database is converted into a stored binary feature sequence represented by a sequence of vectors having one of two types of values determined in advance as to whether or not there is a tone or a frequency component of the tone at each time, The music signal of the search key is converted into a target binary feature series represented by a series of vectors that take one of two kinds of predetermined values with the presence or absence of a musical sound or a frequency component of the musical sound at each time, A binary feature series and the accumulated binary feature series are compared to calculate a similarity, and detection should be performed based on the similarity. Similar music search method and outputs as identify Tokoro search results.
リ特徴系列と蓄積バイナリ特徴系列とが移調されている
場合も類似していると判定されるため、それらの一方を
順次移調させながら類似度を算出することを特徴とす
る、請求項４に記載の類似音楽検索方法。5. In the calculation of the degree of similarity, it is determined that the target binary feature series and the accumulated binary feature series are similar even when they are transposed. Therefore, the similarity is determined by sequentially transposing one of them. The similar music search method according to claim 4, wherein the similar music search is performed.
イナリ特徴系列と蓄積バイナリ特徴系列とが時間軸方向
に局所的に伸縮している場合も類似していると判定され
るため、該伸縮を吸収しながら類似度を計算することを
特徴とする請求項４または請求項５に記載の類似音楽検
索方法。6. In the calculation of the similarity, it is determined that the target binary feature series and the accumulated binary feature series are similar even when they are locally expanded / contracted in the time axis direction. The similar music search method according to claim 4 or 5, wherein the similarity is calculated while absorbing.
の中から、検索鍵として与えられた音楽に類似した音楽
もしくは類似した箇所を探し出す類似音楽検索装置に用
いられる類似音楽検索プログラムであって、 前記音楽データベースに蓄積された音楽から、各時刻に
おける楽音または楽音の周波数成分の有無を、要素とし
て予め定めた２種類の値のいずれかをとるベクトルの系
列で表した、蓄積バイナリ特徴系列を導く蓄積バイナリ
特徴系列計算ステップと、 前記検索鍵の音楽から、各時刻における楽音または楽音
の周波数成分の有無を、要素として予め定めた２種類の
値のいずれかをとるベクトルの系列で表した、目的バイ
ナリ特徴系列を導く目的バイナリ特徴系列計算ステップ
と、 前記目的バイナリ特徴系列と前記蓄積バイナリ特徴系列
とを比較し類似度を算出する類似度計算ステップと、 前記類似度に基づいて検出すべき箇所を特定し検索結果
として出力する検索結果出力ステップとをコンピュータ
に実行させる類似音楽検索プログラム。7. A similar music search program used in a similar music search device for finding music similar to music given as a search key or similar parts from a music database stored in advance, said music database A stored binary feature that derives a stored binary feature sequence that represents the presence or absence of a musical tone or a frequency component of a musical tone at each time from the music stored in 1. with a sequence of vectors that take one of two predetermined values as elements. Sequence calculation step, and a target binary feature sequence in which the presence or absence of a musical tone or a frequency component of the musical tone at each time is represented by a sequence of vectors having one of two predetermined values as elements from the search key music. A target binary feature sequence calculation step for deriving the target binary feature sequence and the stored binary feature system A similar music search program that causes a computer to execute a similarity calculation step of comparing a column and calculating a similarity, and a search result output step of specifying a portion to be detected based on the similarity and outputting the search result as a search result.
は、 前記音楽データベースに蓄積された音楽信号を読み込む
音楽信号読み込みステップと、 前記読み込まれた音楽信号の周波数解析を行い短時間パ
ワー値の算出を行なう短時間スペクトル生成ステップ
と、 それぞれの時刻における短時間スペクトルの各要素の中
から、その時刻において存在する音楽の基本周波数かま
たはその上音であると考えられる要素を抽出する要素抽
出ステップと、 前記抽出された要素を１２音階に対応付けして音の高さ
を表す符号に変換し、音名として要因リストを生成する
要因リスト生成ステップと、 前記要因リストにおいて、ある音の上音のうち基本周波
数の略整数倍の周波数を持つ音の音名を除去して基本周
波数リストを生成する基本周波数リスト生成ステップ
と、 前記基本周波数リストの各基本周波数をバイナリ特徴ベ
クトルに変換するバイナリ特徴ベクトル変換ステップと
をコンピュータに実行させる請求項７に記載の類似音楽
検索プログラム。8. The accumulated binary feature sequence calculating step calculates a short-time power value by performing a music signal reading step of reading a music signal accumulated in the music database and a frequency analysis of the read music signal. A short-time spectrum generation step, and an element extraction step of extracting, from each element of the short-time spectrum at each time, an element considered to be the fundamental frequency of music existing at that time or its overtone, A factor list generating step of converting the extracted elements into a code representing the pitch of a note by associating them with 12 scales and generating a factor list as a note name; Generates a fundamental frequency list that removes the note names of sounds with frequencies that are approximately an integer multiple of the frequency Step a, similar music search program according to claim 7 to execute the respective basic frequency of the fundamental frequency list and a binary feature vector conversion step of converting the binary feature vectors to the computer.
は、 前記検索鍵となる音楽信号の少なくとも断片を受信する
目的音楽信号受信ステップと、 前記音響信号の周波数解析を行い短時間パワー値の算出
を行なう短時間スペクトル生成ステップと、 それぞれの時刻における短時間スペクトルの各要素の中
から、その時刻において存在する音楽の基本周波数かま
たはその上音であると考えられる要素を抽出する短時間
スペクトル時系列要素抽出ステップと、 前記抽出された要素を１２音階に対応付けして音の高さ
を表す符号に変換し、音名として要因リストを生成する
要因リスト生成ステップと、 前記要因リストにおいて、ある音の上音のうち基本周波
数の略整数倍の周波数を持つ音の音名を除去して基本周
波数リストを生成する基本周波数リスト生成ステップ
と、 前記基本周波数リストの各基本周波数をバイナリ特徴ベ
クトルに変換するバイナリ特徴ベクトル変換ステップと
をコンピュータに実行させる請求項７に記載の類似音楽
検索装置。9. The target binary feature sequence calculating step calculates a short-time power value by performing a target music signal receiving step of receiving at least a fragment of the music signal serving as the search key and a frequency analysis of the acoustic signal. Short-term spectrum time-series element that extracts from the short-time spectrum generation step and each element of the short-time spectrum at each time, the element that is considered to be the fundamental frequency of the music existing at that time or the overtone. An extraction step; a factor list generation step of converting the extracted element into a code representing the pitch of the note by associating it with a 12-note scale, and generating a factor list as a note name; A fundamental frequency that generates a fundamental frequency list by removing the pitch names of notes that have a frequency that is an integer multiple of the fundamental frequency A strike generating step, similar music search apparatus according to claim 7 to execute the respective basic frequency of the fundamental frequency list and a binary feature vector conversion step of converting the binary feature vectors to the computer.
プは、 以下の演算式（１）を計算することにより、前記基本周
波数リストの各基本周波数をバイナリ特徴ベクトルに変
換するステップをコンピュータに実行させる請求項８ま
たは９に記載の類似音楽検索プログラム。 【数１】 10. The binary feature vector transforming step causes a computer to perform a step of transforming each fundamental frequency of the fundamental frequency list into a binary feature vector by calculating the following arithmetic expression (1). Alternatively, the similar music search program described in 9. [Equation 1]
徴ベクトル時系列を取り込むステップと、 前記目的バイナリ特徴ベクトルの時系列を前記蓄積バイ
ナリ特徴ベクトルの時系列上で時間軸方向にずらしなが
ら各部分に対し、以下の演算式（２）を計算することに
より順次類似度を算出するステップをコンピュータに実
行させる請求項７に記載の類似音楽検索プログラム。 【数２】 11. The similarity calculation step includes a step of fetching the target binary feature vector time series and the accumulated binary feature vector time series, and the time series of the objective binary feature vector on the accumulated binary feature vector time series. The similar music search program according to claim 7, which causes a computer to execute a step of sequentially calculating a similarity by calculating the following arithmetic expression (2) for each part while shifting in the time axis direction. [Equation 2]
調されている場合、一方を順次移調させながら類似度を
計算する移調吸収ステップをコンピュータに実行させる
請求項７または１１に記載の類似音楽検索プログラム。12. The computer according to claim 12, wherein the similarity calculating step causes a computer to execute a transposition absorbing step of calculating the similarity while sequentially transposing one of the target binary feature sequence and the accumulated binary feature sequence when the target binary feature sequence and the accumulated binary feature sequence are transposed. The similar music search program described in 7 or 11.
される目的バイナリ特徴ベクトルの各要素をシフトさせ
て最大１２通りに展開してそれぞれの類似度を求める第
１の類似度計算ステップと、 前記求められた類似度のうちの最大値をその箇所におけ
る類似度とみなす第２の類似度計算ステップとをコンピ
ュータに実行させる請求項１２に記載の類似音楽検索プ
ログラム。13. The transposing and absorbing step shifts each element of a target binary feature vector output from the accumulated binary feature sequence at the time of calculating the degree of similarity and expands the maximum 12 ways to obtain respective degrees of similarity. The similar music search program according to claim 12, which causes a computer to execute a similarity calculation step of 1 and a second similarity calculation step of considering a maximum value of the calculated similarities as a similarity at the location. .
時間軸方向に局所的に伸縮している場合、当該伸縮を吸
収しながら類似度を計算する時間伸縮吸収ステップをコ
ンピュータに実行させる請求項７または１１に記載の類
似音楽検索プログラム。14. The similarity calculation step, when the target binary feature series and the accumulated binary feature series are locally expanded / contracted in the time axis direction, the time expansion / contraction for calculating the similarity while absorbing the expansion / contraction. The similar music search program according to claim 7, which causes a computer to execute the absorbing step.
ベクトルのいずれか一方の時系列について、時間軸方向
に一定回数以上連続するバイナリベクトルに着目し、そ
の変化が生じた時点でのバイナリベクトルを抽出して並
べる連続バイナリベクトル抽出ステップと、 前記連続バイナリベクトルが前記目的バイナリ特徴ベク
トルまたは蓄積バイナリ特徴ベクトルのいずれか他方の
時系列に、前記並べられた順に含まれるか否かを調べ、
含まれる割合を算出するバイナリベクトル含有率計算ス
テップと、 前記割合によって前記類似度計算手段により計算される
類似度を補正する類似度補正ステップとをコンピュータ
に実行させる請求項１４に記載の類似音楽検索プログラ
ム。15. The time expansion / contraction absorbing step focuses on a binary vector that continues for a certain number of times in the time axis direction in the time series of either the target binary feature vector or the accumulated binary feature vector, and changes occur. A continuous binary vector extraction step of extracting and arranging binary vectors at different time points, and whether the continuous binary vector is included in the arranged order in the time series of either the target binary feature vector or the accumulated binary feature vector. Check whether or not
15. The similar music retrieval according to claim 14, wherein the computer is made to execute a binary vector content rate calculation step of calculating a contained rate and a similarity degree correction step of correcting a similarity degree calculated by the similarity degree calculation means based on the rate. program.
ベクトルの時系列の各部分における目的バイナリ特徴ベ
クトルの時系列との類似度値を受信する類似度値受信ス
テップと、 前記類似度値に基づきあらかじめ規定された選択基準に
従い検索結果として出力すべきか否かを判定し、検出す
べき箇所を特定して検索結果として出力する検索結果出
力判定ステップとをコンピュータに実行させる請求項７
に記載の類似音楽検索プログラム。16. The similarity value for receiving the similarity value with the time series of the target binary feature vector in each part of the time series of the accumulated binary feature vector calculated in the similarity calculation step in the search result output step. A computer comprising a receiving step and a search result output determining step of determining whether or not to output as a search result according to a selection criterion defined in advance based on the similarity value, specifying a portion to be detected and outputting as a search result. 7. The method according to claim 7,
Similar music search program described in.
スの中から、検索鍵として与えられた音楽に類似した音
楽もしくは類似した箇所を探し出す類似音楽検索装置に
用いられる類似音楽検索プログラムを記録したコンピュ
ータ読み取り可能な記録媒体であって、 前記音楽データベースに蓄積された音楽から、各時刻に
おける楽音または楽音の周波数成分の有無を、要素とし
て予め定めた２種類の値のいずれかをとるベクトルの系
列で表した、蓄積バイナリ特徴系列を導く蓄積バイナリ
特徴系列計算ステップと、 前記検索鍵の音楽から、各時刻における楽音または楽音
の周波数成分の有無を、要素として予め定めた２種類の
値のいずれかをとるベクトルの系列で表した、目的バイ
ナリ特徴系列を導く目的バイナリ特徴系列計算ステップ
と、 前記目的バイナリ特徴系列と前記蓄積バイナリ特徴系列
とを比較し類似度を算出する類似度計算ステップと、 前記類似度に基づいて検出すべき箇所を特定し検索結果
として出力する第検索結果出力ステップとをコンピュー
タに実行させる類似音楽検索プログラムを記録した記録
媒体。17. A computer-readable recording medium storing a similar music search program used in a similar music search device for searching for music similar to a music given as a search key or a similar portion from a music database stored in advance. A recording medium, the presence or absence of a musical tone or a frequency component of the musical tone at each time from the music stored in the music database is represented by a series of vectors that take one of two types of predetermined values as elements. A step of calculating a stored binary feature sequence for deriving a stored binary feature sequence, and a vector that takes one of two types of values determined in advance as an element, from the music of the search key, the presence or absence of a tone or a frequency component of the tone at each time A target binary feature sequence calculation step for deriving a target binary feature sequence represented by a sequence, and A similarity calculation step of calculating a similarity by comparing the objective binary feature series and the accumulated binary feature series; a first search result output step of specifying a location to be detected based on the similarity and outputting the search result. A recording medium that records a similar music search program that causes a computer to execute.
調されている場合、一方を順次移調させながら類似度を
計算する移調吸収ステップをコンピュータに実行させる
請求項１７に記載の類似音楽検索プログラムを記録した
記録媒体。18. The similarity calculating step causes a computer to execute a transposition absorbing step of calculating the similarity while sequentially transposing one of the target binary feature sequence and the accumulated binary feature sequence when the target binary feature sequence and the accumulated binary feature sequence are transposed. A recording medium recording the similar music search program according to item 17.
時間軸方向に局所的に伸縮している場合、当該伸縮を吸
収しながら類似度を計算する時間伸縮吸収ステップをコ
ンピュータに実行させる請求項１７または１８に記載の
類似音楽検索プログラムを記録した記録媒体。19. In the similarity calculation step, when the target binary feature series and the accumulated binary feature series are locally expanded / contracted in the time axis direction, the time expansion / compression for calculating the similarity while absorbing the expansion / contraction. A recording medium having the similar music search program according to claim 17 or 18 causing a computer to execute the absorbing step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001236948A JP3730144B2 (en) | 2001-08-03 | 2001-08-03 | Similar music search device and method, similar music search program and recording medium thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001236948A JP3730144B2 (en) | 2001-08-03 | 2001-08-03 | Similar music search device and method, similar music search program and recording medium thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003044082A true JP2003044082A (en) | 2003-02-14 |
| JP3730144B2 JP3730144B2 (en) | 2005-12-21 |
Family
ID=19068120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001236948A Expired - Fee Related JP3730144B2 (en) | 2001-08-03 | 2001-08-03 | Similar music search device and method, similar music search program and recording medium thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3730144B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007226071A (en) * | 2006-02-27 | 2007-09-06 | Dainippon Printing Co Ltd | Audio signal retrieving device |
| KR100822376B1 (en) * | 2006-02-23 | 2008-04-17 | 삼성전자주식회사 | Method and system for classfying music theme using title of music |
| JP2008107641A (en) * | 2006-10-26 | 2008-05-08 | Yamaha Corp | Voice data retrieving apparatus |
| JP2009186944A (en) * | 2008-02-11 | 2009-08-20 | Ixicom Ltd | Similar music search system and similar music search method |
| JP2009282536A (en) * | 2003-05-30 | 2009-12-03 | National Institute Of Advanced Industrial & Technology | Method and device for removing known acoustic signal |
| JP2010079188A (en) * | 2008-09-29 | 2010-04-08 | Nagoya Institute Of Technology | Sound source-identifying method and sound source-identifying device |
| JP2011069845A (en) * | 2009-09-24 | 2011-04-07 | Nippon Telegr & Teleph Corp <Ntt> | Method, device and program for audio search |
| KR101051803B1 (en) * | 2010-12-16 | 2011-07-25 | 전자부품연구원 | Method and system for searching audio source based humming or sing |
| WO2013084774A1 (en) * | 2011-12-05 | 2013-06-13 | ソニー株式会社 | Sound processing device, sound processing method, program, recording medium, server device, sound replay device, and sound processing system |
| JP2015129868A (en) * | 2014-01-08 | 2015-07-16 | Ｐｓソリューションズ株式会社 | Acoustic signal detection system, acoustic signal detection method, acoustic signal detection server, acoustic signal detection device, and acoustic signal detection program |
| JP2020201478A (en) * | 2019-06-11 | 2020-12-17 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Electronic apparatus for dynamic note matching and operating method of the same |
-
2001
- 2001-08-03 JP JP2001236948A patent/JP3730144B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009282536A (en) * | 2003-05-30 | 2009-12-03 | National Institute Of Advanced Industrial & Technology | Method and device for removing known acoustic signal |
| KR100822376B1 (en) * | 2006-02-23 | 2008-04-17 | 삼성전자주식회사 | Method and system for classfying music theme using title of music |
| JP2007226071A (en) * | 2006-02-27 | 2007-09-06 | Dainippon Printing Co Ltd | Audio signal retrieving device |
| JP2008107641A (en) * | 2006-10-26 | 2008-05-08 | Yamaha Corp | Voice data retrieving apparatus |
| JP2009186944A (en) * | 2008-02-11 | 2009-08-20 | Ixicom Ltd | Similar music search system and similar music search method |
| JP2010079188A (en) * | 2008-09-29 | 2010-04-08 | Nagoya Institute Of Technology | Sound source-identifying method and sound source-identifying device |
| JP2011069845A (en) * | 2009-09-24 | 2011-04-07 | Nippon Telegr & Teleph Corp <Ntt> | Method, device and program for audio search |
| KR101051803B1 (en) * | 2010-12-16 | 2011-07-25 | 전자부품연구원 | Method and system for searching audio source based humming or sing |
| WO2013084774A1 (en) * | 2011-12-05 | 2013-06-13 | ソニー株式会社 | Sound processing device, sound processing method, program, recording medium, server device, sound replay device, and sound processing system |
| JP2015129868A (en) * | 2014-01-08 | 2015-07-16 | Ｐｓソリューションズ株式会社 | Acoustic signal detection system, acoustic signal detection method, acoustic signal detection server, acoustic signal detection device, and acoustic signal detection program |
| JP2020201478A (en) * | 2019-06-11 | 2020-12-17 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Electronic apparatus for dynamic note matching and operating method of the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3730144B2 (en) | 2005-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20080054393A (en) | Music analysis | |
| JP2004533016A (en) | Music score tracking method and apparatus | |
| JP3844627B2 (en) | Music search system | |
| Zhu et al. | Precise pitch profile feature extraction from musical audio for key detection | |
| JP2007041234A (en) | Method for deducing key of music sound signal, and apparatus for deducing key | |
| JP3730144B2 (en) | Similar music search device and method, similar music search program and recording medium thereof | |
| KR100512143B1 (en) | Method and apparatus for searching of musical data based on melody | |
| JP3508978B2 (en) | Sound source type discrimination method of instrument sounds included in music performance | |
| JP3631650B2 (en) | Music search device, music search method, and computer-readable recording medium recording a music search program | |
| KR100702059B1 (en) | Ubiquitous music information retrieval system and method based on query pool with feedback of customer characteristics | |
| JP3612272B2 (en) | Music information search device, music information search method, and computer-readable recording medium storing music information search program | |
| JP4722738B2 (en) | Music analysis method and music analysis apparatus | |
| JP3934556B2 (en) | Method and apparatus for extracting signal identifier, method and apparatus for creating database from signal identifier, and method and apparatus for referring to search time domain signal | |
| JP2006195384A (en) | Musical piece tonality calculating device and music selecting device | |
| JPH06202621A (en) | Music retrieval device utilizing music performance information | |
| Salamon et al. | A chroma-based salience function for melody and bass line estimation from music audio signals | |
| JP2008257020A (en) | Method and device for calculating degree of similarity of melody | |
| JP2004531758A5 (en) | ||
| Zhang | Music Data Feature Analysis and Extraction Algorithm Based on Music Melody Contour | |
| Rajan et al. | Melody extraction from music using modified group delay functions | |
| Ito et al. | A query-by-humming music information retrieval from audio signals based on multiple F0 candidates | |
| KR101051803B1 (en) | Method and system for searching audio source based humming or sing | |
| Ghosal et al. | Automatic identification of instrument type in music signal using wavelet and mfcc | |
| Müller et al. | Music signal processing | |
| Mazur et al. | Music information retrieval on the internet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050927 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051005 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3730144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |