JP2002123287A - 音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体 - Google Patents
音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体Info
- Publication number
- JP2002123287A JP2002123287A JP2000312774A JP2000312774A JP2002123287A JP 2002123287 A JP2002123287 A JP 2002123287A JP 2000312774 A JP2000312774 A JP 2000312774A JP 2000312774 A JP2000312774 A JP 2000312774A JP 2002123287 A JP2002123287 A JP 2002123287A
- Authority
- JP
- Japan
- Prior art keywords
- music
- feature
- information
- music information
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
報を検索するシステムを構築する場合に、その検索精度
の向上を実現可能にする音楽特徴量を算出できるように
する音楽特徴量生成技術の提供を目的とする。 【解決手段】本発明は、従来技術のように、音楽片全体
から特徴量を算出するという構成を採るのではなくて、
音楽片の中に含まれる特徴点を検出する構成を採って、
その特徴点を起点とするいわば音楽片の部分特徴量とも
言うべき特徴量を算出するように処理する。これによ
り、入力された音楽情報に類似するものを音楽情報デー
タベースから検索するような場合にあって、入力された
音楽情報を分割することで得た音楽片と音楽情報データ
ベースに格納される分割された音楽片との先頭が一致し
ない場合にも、高い検索精度を実現できるようになる。
Description
徴量を生成する音楽特徴量生成方法及び装置と、その特
徴量を用いて音楽情報を検索する音楽情報検索装置と、
その特徴量を生成するためのプログラムを記録した音楽
特徴量生成用プログラムの記録媒体とに関する。
るにあたって、類似検索は欠かせない技術である。
合、検索キーとして与えたリンゴの絵や写真とまったく
同じリンゴが写っている画像を探したいという要求はめ
ったにない。ほとんどが、単にリンゴが写っている画像
が欲しいという要求であり、このような場合には、「検
索キーとして与えたリンゴの画像に似ている画像を探
す」といった、類似検索技術が必要である。
対応として、ハミングや口ずさんだメロディなどを使っ
て、音楽情報データベースから曲名や歌手を検索する技
術の研究が盛んに行われている。
も、音楽から音の推移や音の分布に関する特徴量を抽出
して、それを使って、音楽情報データベースを検索する
システムの研究(Naoko Kosugi,Yuichi Nishihara,Seii
chi Kon'ya,Masashi Yamamuro,and Kazuhiko Kushima :
Music Retrieval by Humming-Using Similarity Retri
eval over High Dimensional Feature Vector Space-,
PACRIM'99 p404-407)を行っている。
ムでは、人の歌唱を検索キーとして受け付けることで、
曲の旋律の一部のみしか覚えていない人に、その曲の題
名や歌手・演奏者などを捜し出すことができるようにす
ることを提供している。
索する場合、人は必ずしもサビや出たしを歌うとは限ら
ない。そこで、本発明者らが提案した音楽検索システム
では、音楽データ(旋律データ)を細かく分割し、保持
する音楽データの冗長性を増すことで、人が曲のどの部
分を歌っても検索できるようにすることを実現してい
る。
提案した音楽検索システムでは、図21に示すように、
ある一定の区間ごとに音楽データを分割することで音楽
片を切り出して、それらの音楽片毎に、音楽片の先頭を
起点とする特徴量(特徴量ベクトル)を算出するという
構成を採っている。
を使って、音楽情報データベースを構築するとともに、
そのようにして算出される特徴量を使って、人の歌唱の
音楽データと音楽情報データベースに格納される音楽デ
ータとの類似度を評価するという構成を採っている。
を起点として、音楽片全体から特徴量(特徴量ベクト
ル)を算出するという構成を採っている。
量(特徴量ベクトル)を、音楽片全体から算出されるこ
とを考慮して、以下において「Entire Feature Vector
」と称することがある。
うな従来技術に従っていると、検索者の歌唱部分と、分
割された音楽データ(旋律データ)の先頭とが一致しな
い場合に、検索精度が著しく悪化するという問題点があ
る。
起点として、音楽片全体から特徴量を算出するという構
成を採っていることから、検索者の歌唱部分と、分割さ
れた音楽データ(旋律データ)の先頭とが一致しない場
合には、検索精度が著しく悪化するのである。
ータをより細かく分割するという方法を用いることが考
えられるが、この方法を用いると、データ量が爆発的に
増大するという新たな問題点が出てくる。
であって、人の歌唱によってその曲に関する情報を検索
するシステムを構築する場合に、その検索精度の向上を
実現可能にする音楽特徴量を算出できるようにする新た
な音楽特徴量生成技術の提供と、その音楽特徴量を用い
て音楽情報を検索する新たな音楽情報検索技術の提供と
を目的とする。
に、本発明の音楽特徴量生成装置は、処理対象の音楽情
報を規定の音符形態に変換する変換手段と、変換手段の
変換する音楽情報を分割することで音楽片を切り出す分
割手段と、分割手段の切り出す音楽片から特徴点の選出
に用いる区間を抽出する抽出手段と、抽出手段の抽出す
る区間に含まれる特徴点を検出する検出手段と、検出手
段の検出する特徴点を起点とする特徴量を生成する生成
手段とを備えるように構成する。
生成装置では、変換手段は、処理対象の音楽情報を、実
験により検証された検索精度の向上を実現できる例えば
8分音符といった規定の音符形態に変換し、これを受け
て、分割手段は、その変換された音楽情報から、例え
ば、4拍ずつずらしながら16拍の長さを持つ音楽片を
切り出すことなどにより、音楽片を切り出す。
は、例えば、中央部分の4拍を特徴点の選出に用いる区
間として抽出することで、特徴点の選出に用いる区間を
抽出し、これを受けて、検出手段は、例えば、抽出され
た区間の中に含まれる最も高い音を特徴点として検出す
る。
手段は、例えば、検出された特徴点を起点とし音楽片終
端を終点とする音楽片部分を特徴量として生成したり、
検出された特徴点を起点とする規定長さの音楽片部分を
特徴量として生成する。
成する例えば時系列データ形式の特徴量を、例えばヒス
トグラム形式などのような別の表現形式に変換すること
で複数の特徴量を生成することがある。
(特徴量ベクトル)を、音楽片の一部分から算出される
ことを考慮して、以下において「Partial Feature Vect
or」と称することがある。
ように、音楽片全体から特徴量を算出するという構成を
採るのではなくて、図1に示すように、音楽片の中に含
まれる特徴点を検出する構成を採って、その特徴点を起
点とするいわば音楽片の部分特徴量とも言うべき特徴量
を算出するように処理することから、入力された音楽情
報に類似するものを音楽情報データベースから検索する
ような場合にあって、入力された音楽情報を分割するこ
とで得た音楽片と音楽情報データベースに格納される分
割された音楽片との先頭が一致しない場合にも、高い検
索精度を実現できるようになる。
の音楽情報検索装置は、入力された音楽情報から切り出
される複数の音楽片の持つそれぞれの特徴点を検出し
て、それらの特徴点を起点とする特徴量を生成する生成
手段と、検索対象となる楽曲を、それが持つ特徴量(生
成手段の生成対象となる特徴量)との対応をとりつつ管
理するデータベース手段と、データベース手段を検索す
ることで、生成手段の生成する特徴量毎に、それに類似
する特徴量を持つ複数の楽曲を検索する検索手段と、検
索手段の検索する楽曲の中から、入力された音楽情報の
指す楽曲を特定する特定手段とを備えるように構成す
る。
から切り出される1つの音楽片の持つ特徴点を検出し
て、その特徴点を起点とする特徴量を生成することがあ
り、このときには、特定手段については備えられずに、
検索手段は、生成された特徴量に類似する特徴量を持つ
1つ又は複数の楽曲を検索して、それを検索結果として
出力することになる。
索装置では、生成手段は、入力された音楽情報から切り
出される複数の音楽片の持つそれぞれの特徴点を検出し
て、それらの特徴点を起点とする特徴量を生成する。
データベース手段を検索することで、生成手段の生成す
る特徴量毎に、それに類似する特徴量を持つ複数の楽曲
を検索し、これを受けて、特定手段は、例えば検索され
た楽曲の持つ類似度をOR演算することで、入力された
音楽情報の指す楽曲を特定する。
向上を図るために、生成手段は、例えば生成する時系列
データ形式の特徴量を、例えばヒストグラム形式などの
ような別の表現形式に変換することで複数の特徴量を生
成することがあり、これを受けて、データベース手段
は、この表現形式の異なる複数の特徴量を管理すること
がある。
ように、検索対象となる楽曲を、それが持つ本発明の音
楽特徴量生成技術により作成される特徴量との対応をと
りつつ管理する音楽情報データベースを構築するととも
に、入力された音楽情報の持つ特徴量を本発明の音楽特
徴量生成技術に従って生成して、それを検索キーにして
音楽情報データベースを検索することで、入力された音
楽情報の指す楽曲を検索するように処理することから、
入力された音楽情報を分割することで得た音楽片と音楽
情報データベースに格納される分割された音楽片との先
頭が一致しない場合にも、高い検索精度を実現できるよ
うになる。
を詳細に説明する。
置1の一実施形態例を図示する。
ングした曲に関する情報(曲名など)を検索する処理を
行うものであって、この検索処理を実現するために、音
楽情報データベース10と、採譜部11と、ノイズ除去
部12と、特徴量生成部13と、検索部14とを備え
る。
える採譜部11やノイズ除去部12や特徴量生成部13
や検索部14は、具体的にはプログラムで実現されるも
のであり、これらのプログラムは、計算機が読み取り可
能な半導体メモリなどの適当な記録媒体に格納すること
ができる。
なる楽曲の音楽情報(曲名・旋律情報)と、その楽曲の
持つ特徴量と、その楽曲の持つ属性情報(歌手・演奏者
などの情報)とを管理する。この音楽情報データベース
10に管理される楽曲の持つ特徴量は、特徴量生成部1
3により生成されて登録されるものである。
より構成されて、入力されたハミングの楽譜情報を作成
する。
IDI形式で作成されるものであって、楽譜情報を構成
する相対時間にかかる情報と、その楽譜情報の演奏時間
を構成する絶対時間にかかる情報とで構成されることに
なるが、採譜部11は、音楽情報データベース10の管
理する特徴量(相対時間で記述されている)との時間の
正規化を図るべく、この内の絶対時間に関係しない部分
である楽譜情報部分をノイズ除去部12に渡すように処
理している。
れる音楽情報(楽譜情報)を入力として、中心となるメ
ロディーラインを外れた音や、レコーディング開始のあ
る区間内で、ある長さ以上の無音区間が継続するときに
は、その無音区間よりも前の音区間を削除することなど
により、入力するハミングに乗っているノイズを除去す
る処理を行う。例えば、図4に示すようなハミングを入
力するときには、1番目と4番目と14番目の音はノイ
ズであるとして除去するように処理する。
ら渡される音楽情報を音楽片に分割する音楽情報分割部
130と、分割された音楽片の持つ特徴量(旋律の特徴
量)を算出する音楽特徴量算出部131と、算出された
特徴量(旋律の特徴量)から音楽片の特徴点を選出する
ための区間を限定する特徴点選出区間限定部132と、
限定された区間の中から特徴点を決定する特徴点決定部
133と、決定された特徴点を起点とする特徴量を導出
する特徴量導出部134とを備えることで、入力したハ
ミングの持つ特徴量を生成して、それを検索部14に渡
す処理を実行する。
る音楽特徴量は旋律に1対1に対応付けられる特徴量で
あるのに対して、特徴量導出部134の導出する特徴量
は本発明に特徴的な特徴量である。以下、説明の便宜
上、特徴量導出部134の導出する特徴量を「特徴点起
点音楽部分特徴ベクトル」と称することがある。
れるハミングの持つ特徴量を検索キーにして音楽情報デ
ータベース10を検索することで、入力したハミングの
曲名などを検索する。
フローの一実施形態例を図示する。次に、この処理フロ
ーに従って、特徴量生成部13の実行する処理について
説明する。
らハミングの音楽情報が渡されることで起動されると、
図5の処理フローに示すように、先ず最初に、ステップ
1で、その音楽情報(検索対象となるもの)を入力す
る。
情報から、例えば、4拍ずつずらしながら16拍の長さ
を持つ音楽片を切り出すことで、その入力した音楽情報
を音楽片に分割する。この分割処理が音楽情報分割部1
30の処理に相当する。
特徴量を算出する。例えば、図6に示すような音の高さ
を示すMIDIコードを使って音楽片の旋律の特徴量を
算出する場合を具体例にして説明するならば、「64,
64,65,65,67,67,65,65」という旋
律の特徴量を算出したり、この65をベーストーンとす
る「−1,−1,0,0,2,2,0,0」という旋律
の特徴量を算出するのである。この算出処理が音楽特徴
量算出部131の処理に相当する。
楽片を処理したのか否かを判断して、全ての音楽片を処
理していないことを判断するときには、ステップ6に進
んで、未処理の音楽片を1つ選択する。
片の持つ中央部分の区間を特徴点を選出するための区間
として限定(抽出)する。例えば、16拍の長さを持つ
音楽片の中央の4拍を限定するのである。この限定処理
が特徴点選出区間限定部132の処理に相当する。
の中の最も高い音を特徴点として決定(選出)する。こ
の決定処理が特徴点決定部133の処理に相当する。
点から音楽片の最後拍までをその音楽片の特徴量(特徴
点起点音楽部分特徴ベクトル)として導出(生成)して
から、次の音楽片を処理すべくステップ4に戻る。この
導出処理が特徴量導出部134の処理に相当する。
楽片を処理したことを判断するときには、ステップ5に
進んで、生成した特徴量(音楽片毎に求まる)を検索部
14に渡して、処理を終了する。
5の処理フローに従う場合には、入力した音楽情報か
ら、4拍ずつずらしながら16拍の長さを持つ音楽片を
切り出して旋律の特徴量を算出すると、図7に示すよう
に、先ず最初に、その音楽片の中央の4拍を限定し、続
いて、その4拍の中の最も高い音を特徴点として決定
し、続いて、その特徴点から最後拍までをその音楽片の
特徴量(特徴点起点音楽部分特徴ベクトル)として導出
するように処理するのである。
フローの他の実施形態例を図示する。
う場合には、ノイズ除去部12からハミングの音楽情報
が渡されることで起動されると、先ず最初に、ステップ
1で、その音楽情報を入力し、続くステップ2で、その
入力した音楽情報から音楽片を切り出し、続くステップ
3で、各音楽片の旋律の特徴量を算出する。
楽片を処理したのか否かを判断して、全ての音楽片を処
理していないことを判断するときには、ステップ6に進
んで、未処理の音楽片を1つ選択する。
片の持つ最初の4拍の区間を特徴点を選出するための区
間として限定(抽出)し、続くステップ8で、最初の8
拍内の最も長い音で、かつ鳴り出しがその限定した区間
(最初の4拍)にある音を特徴点として決定(選出)
し、続くステップ9で、その決定した特徴点から12拍
までをその音楽片の特徴量(特徴点起点音楽部分特徴ベ
クトル)として導出(生成)してから、次の音楽片を処
理すべくステップ4に戻る。
楽片を処理したことを判断するときには、ステップ5に
進んで、生成した特徴量(音楽片毎に求まる)を検索部
14に渡して、処理を終了する。
8の処理フローに従う場合には、入力した音楽情報か
ら、4拍ずつずらしながら16拍の長さを持つ音楽片を
切り出して旋律の特徴量を算出すると、図9に示すよう
に、先ず最初に、その音楽片の最初の4拍を限定し、続
いて、最初の8拍内の最も長い音で、かつ鳴り出しがそ
の最初の4拍にある音を特徴点として決定し、続いて、
その特徴点から12拍ををその音楽片の特徴量(特徴点
起点音楽部分特徴ベクトル)として導出するように処理
するのである。
術のように、音楽片の全体から特徴量を算出するという
構成を採るのではなくて、音楽片の中に含まれる特徴点
を検出する構成を採って、その特徴点を起点とする特徴
量(特徴点起点音楽部分特徴ベクトル)を導出するよう
に処理している。
るならば、18番目の音符から切り出される音楽片につ
いて、従来技術では、その音楽片の先頭に位置する18
番目の音符を起点としつつ、その音楽片全体から「Enti
re Feature Vector 」と表現すべき特徴量を生成するの
に対して、特徴量生成部13では、例えば、その音楽片
の19番目の音符を起点としつつ、その音楽片の一部分
から「Partial Feature Vector」と表現すべき特徴量を
生成するのである。
間限定部132や特徴点決定部133や特徴量導出部1
34の実行する処理については、色々な処理を用意して
おいて、その中から検索精度の向上を実現する最適なも
のを選択できるようにしておくことが望まれる。
(a)に示すように、異なるアルゴリズムに従って特徴
点の選出区間を限定する複数のルールを用意しておき、
その中からユーザの設定するルールを呼び出していくこ
とで特徴点の選出区間を限定したり、図11(b)に示
すように、異なるアルゴリズムに従って特徴点を決定す
る複数のルールを用意しておき、その中からユーザの設
定するルールを呼び出していくことで特徴点を決定した
り、図11(c)に示すように、異なるアルゴリズムに
従って特徴量(特徴点起点音楽部分特徴ベクトル)を導
出する複数のルールを用意しておき、その中からユーザ
の設定するルールを呼び出していくことで特徴量を導出
するという構成を用いることが好ましい。
示したような音の高さを示すMIDIコードの時系列デ
ータで定義される図12(b)に示すような特徴点起点
音楽部分特徴ベクトルを生成するときに、そのMIDI
コードのヒストグラムで定義される図12(b)に示す
ような特徴点起点音楽部分特徴ベクトルを生成すること
がある。
式を持つ複数の特徴点起点音楽部分特徴ベクトルを使っ
て音楽情報データベース10を検索すると、検索精度を
向上できるようになることから、特徴量生成部13は、
図12に示すように、時系列データで定義される特徴点
起点音楽部分特徴ベクトルを生成するときに、それか
ら、それとは表現形式の異なる別の特徴点起点音楽部分
特徴ベクトルを生成するように処理することがあるので
ある。
る処理フローの一実施形態例を図示する。ここで、図1
3は、特徴量生成部13が1種類の特徴量を生成すると
きに検索部14が実行することになる処理を図示してお
り、図14は、特徴量生成部13が異なる表現形式を持
つ複数の特徴量を生成するときに検索部14が実行する
ことになる処理を図示している。
量生成部13の生成する特徴量(特徴点起点音楽部分特
徴ベクトル)を使って実行される検索処理について説明
する。
場合には、ハミングから切り出された複数の音楽片の特
徴量を特徴量生成部13から渡されることで起動される
と、先ず最初に、ステップ1で、特徴量生成部13から
それらの各音楽片の持つ1種類の特徴量を受け取る。
択したのか否かを判断して、未処理の音楽片が残されて
いることを判断するときには、ステップ3に進んで、未
処理の音楽片を1つ選択する。
片の特徴量を処理対象として設定し、続くステップ5
で、音楽情報データベース10を検索することで、その
処理対象の特徴量に類似する特徴量を持つ例えば上位2
0曲を検索して、次の音楽片を処理すべくステップ2に
戻る。
したことを判断するときには、ステップ6に進んで、そ
の検索した楽曲の持つ類似度(例えば距離を使って類似
度を評価するときには、距離値が小さい値ほど高い類似
を示す)にOR演算を施すことで、ハミングに類似する
例えば上位10曲を特定する。
特徴量から、距離0.9 の類似度を持つ楽曲D/距離1.5
の類似度を持つ楽曲B/距離1.8 の類似度を持つ楽曲C
/距離5.8 の類似度を持つ楽曲Aが検索され、音楽片2
の特徴量から、距離0.3 の類似度を持つ楽曲A/距離1.
2 の類似度を持つ楽曲B/距離2.0 の類似度を持つ楽曲
C/距離5.9 の類似度を持つ楽曲Dが検索され、音楽片
3の特徴量から、距離1.0 の類似度を持つ楽曲B/距離
1.2 の類似度を持つ楽曲C/距離1.5 の類似度を持つ楽
曲D/距離6.0 の類似度を持つ楽曲Aが検索される場合
には、楽曲Aの最小距離が0.3 で、楽曲Bの最小距離が
1.0 で、楽曲Cの最小距離が1.2 で、楽曲Dの最小距離
が0.9 であるので、OR演算に従って、ハミングに最も
類似する楽曲してA、次に類似する楽曲としてD、その
次に類似する楽曲としてB、その次に類似する楽曲とし
てCを特定するのである。
した例えば上位10曲を検索結果として出力して、処理
を終了する。
に従う場合には、ハミングから切り出された複数の音楽
片の特徴量を特徴量生成部13から渡されることで起動
されると、先ず最初に、ステップ1で、特徴量生成部1
3からそれらの各音楽片の持つ複数種類の特徴量を受け
取る。
択したのか否かを判断して、未処理の音楽片が残されて
いることを判断するときには、ステップ3に進んで、未
処理の音楽片を1つ選択する。
片の持つ特徴量を全て処理したのか否かを判断して、未
処理のものが残されていることを判断するときには、ス
テップ5に進んで、その選択した音楽片の持つ特徴量の
中から未処理のものを選択して処理対象とし、続くステ
ップ6で、音楽情報データベース10を検索すること
で、その処理対象の特徴量に類似する特徴量を検索し
て、次の特徴量を処理すべくステップ4に戻る。
の処理を繰り返していくことで、ステップ4で、選択し
た音楽片の持つ特徴量を全て処理したことを判断すると
きには、ステップ7に進んで、ステップ6で検索した特
徴量の持つ類似度の重み付線形和を算出し、その中から
例えば上位20個の特徴量を特定して、その特徴量を持
つ例えば上位20曲を検索する。そして、次の音楽片を
処理すべくステップ2に戻る。
したことを判断するときには、ステップ8に進んで、そ
の検索した楽曲の持つ類似度に上述のOR演算を施すこ
とで、ハミングに類似する例えば上位10曲を特定し、
続くステップ9で、その特定した例えば上位10曲を検
索結果として出力して、処理を終了する。
成部13から、ハミングから切り出された複数の音楽片
の特徴量が渡されると、それを検索キーにして音楽情報
データベース10を検索することで、ハミングに類似す
る例えば上位10曲を得て、それを出力するように処理
するのである。
量生成部13がハミングの中から複数の音楽片を切り出
してその特徴量を生成し、それを検索部14に渡す処理
を行うことで説明したが、特徴量生成部13がハミング
の中から例えば真ん中に位置する1つの音楽片のみの特
徴量を生成し、それを検索部14に渡す処理を行うとい
うこともある。
理フローに代えて図16(a)の処理フローを実行し、
また、図14の処理フローに代えて図16(b)の処理
フローを実行することになる。このときには、図15で
説明したOR演算は行われない。
った実験の結果について説明する。
約10,000件の楽曲についての情報を管理する構成を採る
ときにあって、25人のユーザが自分の選んだ任意の合
計186曲をハミングするときに、その検索結果となる
10位までの曲名を得て、その曲名をハミングした曲と
照らし合わせることで行った。
は、音楽片の最初の4拍を限定して、その4拍の中の最
も高い音を特徴点として決定し、その特徴点から12.5
拍をを抽出することで得られるものを使った。
点音楽部分特徴ベクトルを検索キーとする場合の実験結
果と、従来技術により得られる「Entire Feature Vecto
r 」を検索キーとする場合の実験結果とを対比して示
す。
より得られる特徴点起点音楽部分特徴ベクトルを検索キ
ーとすると、ハミングした曲が10位までに入る確率は
約75%であるのに対して、従来技術により得られる
「Entire Feature Vector 」を検索キーとすると、ハミ
ングした曲が10位までに入る確率は約65%に止ま
り、これにより本発明の有効性を検証できた。
り出して検索を行う場合の実験結果と、ハミングの真ん
中に位置する1つの音楽片を切り出して検索を行う場合
の実験結果とを対比して示す。前者の検索を行う場合に
は、図15で説明したOR演算を行うことで最終的な検
索結果を得るように処理することになる。
から複数の音楽片を切り出して検索を行う方が、1つの
音楽片を切り出して検索を行うよりも検索精度を向上で
きることが検証できた。
ル(Partial Tone Transition Feature Vector) を検索
キーとする場合の実験結果と、特徴点起点音楽部分特徴
ベクトルをヒストグラムの表現形式に変換した特徴ベク
トル(Tone Distribution Feature Vector) を検索キー
とする場合の実験結果と、その2つの特徴ベクトルを結
合した形を検索キーとする場合の実験結果とを対比して
示す。
点音楽部分特徴ベクトルとそれをヒストグラムの表現形
式に変換した特徴ベクトルとの2つを検索キーとする
と、特徴点起点音楽部分特徴ベクトルのみを検索キーと
する場合よりも検索精度を向上できることが検証でき
た。
理する特徴量を8分音符(quaver-note)で記述する場合
の実験結果と、4分音符(quater-note)で記述する場合
の実験結果とを対比して示す。ここで、ハミングの音符
形態と音楽情報データベースの音符形態とが異なる場合
には、特徴量生成部13は、ハミングの音符形態を音楽
情報データベースの音符形態に変換してから、上述の処
理を行う。
8分音符の音符形態で実現する方が、4分音符の音符形
態で実現するよりも検索精度を向上できることが検証で
きた。
ったが、音楽情報データベース10の管理する特徴量を
8分音符のような検索精度の向上を実現できる音符形態
で構築するとともに、特徴量生成部13がハミングの音
符形態をその音楽情報データベース10の音符形態に変
換する機能を持つことが好ましい。
技術のように、音楽片全体から特徴量を算出するという
構成を採るのではなくて、音楽片の中に含まれる特徴点
を検出する構成を採って、その特徴点を起点とするいわ
ば音楽片の部分特徴量とも言うべき特徴量を算出するよ
うに処理することから、入力された音楽情報に類似する
ものを音楽情報データベースから検索するような場合に
あって、入力された音楽情報を分割することで得た音楽
片と音楽情報データベースに格納される分割された音楽
片との先頭が一致しない場合にも、高い検索精度を実現
できるようになる。
を、それが持つ本発明の音楽特徴量生成技術により作成
される特徴量との対応をとりつつ管理する音楽情報デー
タベースを構築するとともに、入力された音楽情報の持
つ特徴量を本発明の音楽特徴量生成技術に従って生成し
て、それを検索キーにして音楽情報データベースを検索
することで、入力された音楽情報の指す楽曲を検索する
ように処理することから、入力された音楽情報を分割す
ることで得た音楽片と音楽情報データベースに格納され
る分割された音楽片との先頭が一致しない場合にも、高
い検索精度を実現できるようになる。
ある。
態例である。
る。
形態例である。
る。
である。
である。
図である。
施形態例である。
結果の説明図である。
結果の説明図である。
結果の説明図である。
結果の説明図である。
Claims (14)
- 【請求項1】 音楽情報の持つ特徴量を生成する音楽特
徴量生成方法において、 処理対象の音楽情報から切り出される音楽片の持つ特徴
点を検出して、その特徴点を起点とする特徴量を生成す
るように処理することを、 特徴とする音楽特徴量生成方法。 - 【請求項2】 音楽情報の持つ特徴量を生成する音楽特
徴量生成装置において、 処理対象の音楽情報を分割することで音楽片を切り出す
分割手段と、 上記音楽片から特徴点の選出に用いる区間を抽出する抽
出手段と、 上記区間に含まれる特徴点を検出する検出手段と、 上記検出される特徴点を起点とする特徴量を生成する生
成手段とを備えることを、 特徴とする音楽特徴量生成装置。 - 【請求項3】 請求項2に記載される音楽特徴量生成装
置において、 処理対象の音楽情報を規定の音符形態に変換する変換手
段を備え、 上記分割手段は、上記変換手段の変換する音楽情報を分
割することで音楽片を切り出すことを、 特徴とする音楽特徴量生成装置。 - 【請求項4】 請求項2又は3に記載される音楽特徴量
生成装置において、 上記生成手段は、上記生成する特徴量を別の表現形式に
変換することで複数の特徴量を生成することを、 特徴とする音楽特徴量生成装置。 - 【請求項5】 請求項2ないし4のいずれか1項に記載
される音楽特徴量生成装置において、 上記抽出手段は、上記音楽片の規定位置に位置する規定
長さの区間部分を特徴点の選出に用いる区間として抽出
することを、 特徴とする音楽特徴量生成装置。 - 【請求項6】 請求項2ないし4のいずれか1項に記載
される音楽特徴量生成装置において、 上記検出手段は、特徴点に課される音の高さ又は長さに
ついての条件を充足する音位置を検出することで、上記
区間に含まれる特徴点を検出することを、 特徴とする音楽特徴量生成装置。 - 【請求項7】 請求項2ないし4のいずれか1項に記載
される音楽特徴量生成装置において、 上記生成手段は、特徴点を起点とする規定長さの音楽片
部分を特徴量として生成することを、 特徴とする音楽特徴量生成装置。 - 【請求項8】 請求項2ないし4のいずれか1項に記載
される音楽特徴量生成装置において、 上記生成手段は、特徴点を起点とし音楽片終端を終点と
する音楽片部分を特徴量として生成することを、 特徴とする音楽特徴量生成装置。 - 【請求項9】 入力された音楽情報の指す曲名及び/又
はその曲の属性情報を検索する音楽情報検索装置におい
て、 入力された音楽情報から切り出される1つの音楽片の持
つ特徴点を検出して、その特徴点を起点とする特徴量を
生成する生成手段と、 検索対象となる楽曲を、それが持つ上記特徴量との対応
をとりつつ管理するデータベース手段と、 上記データベース手段を検索することで、上記生成手段
の生成する上記特徴量に類似する上記特徴量を持つ1つ
又は複数の楽曲を検索する検索手段とを備えることを、 特徴とする音楽情報検索装置。 - 【請求項10】 入力された音楽情報の指す曲名及び/
又はその曲の属性情報を検索する音楽情報検索装置にお
いて、 入力された音楽情報から切り出される複数の音楽片の持
つそれぞれの特徴点を検出して、それらの特徴点を起点
とする特徴量を生成する生成手段と、 検索対象となる楽曲を、それが持つ上記特徴量との対応
をとりつつ管理するデータベース手段と、 上記データベース手段を検索することで、上記生成手段
の生成する上記特徴量毎に、それに類似する上記特徴量
を持つ複数の楽曲を検索する検索手段と、 上記検索手段の検索する楽曲の中から、入力された音楽
情報の指す楽曲を特定する特定手段とを備えることを、 特徴とする音楽情報検索装置。 - 【請求項11】 請求項10に記載される音楽情報検索
装置において、 上記特定手段は、上記検索手段の検索する楽曲の持つ類
似度をOR演算することで、入力された音楽情報の指す
楽曲を特定することを、 特徴とする音楽情報検索装置。 - 【請求項12】 請求項9ないし11のいずれか1項に
記載される音楽情報検索装置において、 上記生成手段は、上記生成する特徴量を別の表現形式に
変換することで複数の特徴量を生成し、これに合わせ
て、上記データベース手段は、この表現形式の異なる複
数の特徴量を管理するように構成されることを、 特徴とする音楽情報検索装置。 - 【請求項13】 音楽情報の持つ特徴量を生成するため
のプログラムを記録した記録媒体であって、 処理対象の音楽情報から切り出される音楽片の持つ特徴
点を検出して、その特徴点を起点とする特徴量を生成す
る処理をコンピュータに実行させるプログラムを記録し
たことを、 特徴とする音楽特徴量生成用プログラムの記録媒体。 - 【請求項14】 音楽情報の持つ特徴量を生成するため
のプログラムを記録した記録媒体であって、 処理対象の音楽情報を分割することで音楽片を切り出す
処理と、 上記音楽片から特徴点の選出に用いる区間を抽出する処
理と、 上記区間に含まれる特徴点を検出する処理と、 上記検出される特徴点を起点とする特徴量を生成する処
理とをコンピュータに実行させるプログラムを記録した
ことを、 特徴とする音楽特徴量生成用プログラムの記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000312774A JP3612272B2 (ja) | 2000-10-13 | 2000-10-13 | 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000312774A JP3612272B2 (ja) | 2000-10-13 | 2000-10-13 | 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002123287A true JP2002123287A (ja) | 2002-04-26 |
JP3612272B2 JP3612272B2 (ja) | 2005-01-19 |
Family
ID=18792297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000312774A Expired - Lifetime JP3612272B2 (ja) | 2000-10-13 | 2000-10-13 | 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3612272B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118010A (ja) * | 2002-09-27 | 2004-04-15 | Communication Research Laboratory | 楽曲印象値自動付与装置 |
JP2007519092A (ja) * | 2003-12-08 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | メロディデータベースの検索 |
JP2007193222A (ja) * | 2006-01-20 | 2007-08-02 | Casio Comput Co Ltd | メロディ入力装置及び楽曲検索装置 |
JP2008170504A (ja) * | 2007-01-09 | 2008-07-24 | Yamaha Corp | 楽音処理装置およびプログラム |
JP2008257019A (ja) * | 2007-04-06 | 2008-10-23 | Alpine Electronics Inc | メロディー推定方法及びメロディー推定装置 |
JP2009092970A (ja) * | 2007-10-10 | 2009-04-30 | Yamaha Corp | 素片検索装置およびプログラム |
JP2012058328A (ja) * | 2010-09-06 | 2012-03-22 | Dainippon Printing Co Ltd | 音響データの関連情報検索装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100127974A1 (en) * | 2007-03-07 | 2010-05-27 | Pioneer Corporation | Data inspecting device and method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0561917A (ja) * | 1991-08-29 | 1993-03-12 | Nec Corp | 旋律情報を利用した音楽データベース検索方式および旋律整合方式 |
JP2000172693A (ja) * | 1998-12-01 | 2000-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2000347659A (ja) * | 1999-03-26 | 2000-12-15 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2000356996A (ja) * | 1999-04-12 | 2000-12-26 | Alpine Electronics Inc | 音楽検索システム |
JP2001109471A (ja) * | 1999-10-12 | 2001-04-20 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2002055695A (ja) * | 2000-08-08 | 2002-02-20 | Alpine Electronics Inc | 音楽検索システム |
JP3434223B2 (ja) * | 1998-11-19 | 2003-08-04 | 日本電信電話株式会社 | 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体 |
-
2000
- 2000-10-13 JP JP2000312774A patent/JP3612272B2/ja not_active Expired - Lifetime
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0561917A (ja) * | 1991-08-29 | 1993-03-12 | Nec Corp | 旋律情報を利用した音楽データベース検索方式および旋律整合方式 |
JP3434223B2 (ja) * | 1998-11-19 | 2003-08-04 | 日本電信電話株式会社 | 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体 |
JP2000172693A (ja) * | 1998-12-01 | 2000-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP3467415B2 (ja) * | 1998-12-01 | 2003-11-17 | 日本電信電話株式会社 | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2000347659A (ja) * | 1999-03-26 | 2000-12-15 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2000356996A (ja) * | 1999-04-12 | 2000-12-26 | Alpine Electronics Inc | 音楽検索システム |
JP2001109471A (ja) * | 1999-10-12 | 2001-04-20 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2002055695A (ja) * | 2000-08-08 | 2002-02-20 | Alpine Electronics Inc | 音楽検索システム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118010A (ja) * | 2002-09-27 | 2004-04-15 | Communication Research Laboratory | 楽曲印象値自動付与装置 |
JP2007519092A (ja) * | 2003-12-08 | 2007-07-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | メロディデータベースの検索 |
JP2007193222A (ja) * | 2006-01-20 | 2007-08-02 | Casio Comput Co Ltd | メロディ入力装置及び楽曲検索装置 |
JP2008170504A (ja) * | 2007-01-09 | 2008-07-24 | Yamaha Corp | 楽音処理装置およびプログラム |
US7750228B2 (en) | 2007-01-09 | 2010-07-06 | Yamaha Corporation | Tone processing apparatus and method |
JP4548424B2 (ja) * | 2007-01-09 | 2010-09-22 | ヤマハ株式会社 | 楽音処理装置およびプログラム |
JP2008257019A (ja) * | 2007-04-06 | 2008-10-23 | Alpine Electronics Inc | メロディー推定方法及びメロディー推定装置 |
JP2009092970A (ja) * | 2007-10-10 | 2009-04-30 | Yamaha Corp | 素片検索装置およびプログラム |
JP2012058328A (ja) * | 2010-09-06 | 2012-03-22 | Dainippon Printing Co Ltd | 音響データの関連情報検索装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3612272B2 (ja) | 2005-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Serra et al. | Chroma binary similarity and local alignment applied to cover song identification | |
JP4344499B2 (ja) | 音楽データベースの検索 | |
US6528715B1 (en) | Music search by interactive graphical specification with audio feedback | |
US7342167B2 (en) | Apparatus and method for generating an encoded rhythmic pattern | |
US20070162497A1 (en) | Searching in a melody database | |
JP3467415B2 (ja) | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 | |
JP2007183921A (ja) | 3d検索アルゴリズムを用いる楽曲情報検索 | |
JP2002278547A (ja) | 楽曲検索方法、楽曲検索用データ登録方法、楽曲検索装置及び楽曲検索用データ登録装置 | |
JP2000356996A (ja) | 音楽検索システム | |
CN110010159B (zh) | 声音相似度确定方法及装置 | |
Guo et al. | Time-Warped Longest Common Subsequence Algorithm for Music Retrieval. | |
JP4364838B2 (ja) | 楽曲リミックス可能な音楽再生装置ならびに楽曲リミックス方法およびプログラム | |
Rizo et al. | A Pattern Recognition Approach for Melody Track Selection in MIDI Files. | |
Raju et al. | TANSEN: A query-by-humming based music retrieval system | |
JP3631650B2 (ja) | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した計算機読み取り可能な記録媒体 | |
JP2000155759A (ja) | 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体 | |
JP3612272B2 (ja) | 音楽情報検索装置、音楽情報検索方法および音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Suyoto et al. | Searching musical audio using symbolic queries | |
Lee et al. | Korean traditional music genre classification using sample and MIDI phrases | |
JP2001075985A (ja) | 音楽検索装置 | |
KR20060019096A (ko) | 허밍 기반의 음원 질의/검색 시스템 및 그 방법 | |
JP2007072023A (ja) | 情報処理装置及び情報処理方法 | |
Müller et al. | Content-based audio retrieval | |
KR20090083972A (ko) | 음악 검색을 위한 음악 데이터베이스 구축 방법, 허밍 질의를 입력으로 하여 음악을 검색하는 방법 및 장치 | |
JP2003044082A (ja) | 類似音楽検索装置ならびにその方法、および類似音楽検索プログラムならびにその記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041022 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3612272 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071029 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111029 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111029 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121029 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121029 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |