JP4125990B2 - 検索結果利用型類似音楽検索装置，検索結果利用型類似音楽検索処理方法，検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体 - Google Patents
検索結果利用型類似音楽検索装置，検索結果利用型類似音楽検索処理方法，検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体 Download PDFInfo
- Publication number
- JP4125990B2 JP4125990B2 JP2003126208A JP2003126208A JP4125990B2 JP 4125990 B2 JP4125990 B2 JP 4125990B2 JP 2003126208 A JP2003126208 A JP 2003126208A JP 2003126208 A JP2003126208 A JP 2003126208A JP 4125990 B2 JP4125990 B2 JP 4125990B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- music
- short
- time window
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，音声音楽信号を検索する技術に関し，特に非定常雑音を含む音声音楽信号でも精度よく，高速に検索可能な検索結果利用型類似音楽検索装置，検索結果利用型類似音楽検索処理方法，検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体に関するものである。
【０００２】
【従来の技術】
音声音楽信号を高速に検索する従来技術（従来手法１）としては，例えば，特許文献１「高速信号探索方法，装置及びその記録媒体」および非特許文献１に示されているような，検索対象中から検索キーと一致する音声音楽信号を検索する技術がある。
【０００３】
また，雑音を含む音声音楽信号を検索する従来技術（従来手法２）として，検索対象の音声音楽信号を時間周波数領域で多数の小領域に分割し，各領域間で検索キーの音声音楽信号との類似度を計算する手法がある（例えば，特許文献２「情報送受信システム及び方法，情報処理装置及び方法」，非特許文献２参照）。この手法では，各領域の類似度を投票法により積算することで，検索対象と検索キーの音声音楽信号中のナレーションなどの突発的で非定常な雑音部分以外の背景音楽などの部分で一致検索を行う。
【０００４】
この他に，類似する音声音楽信号を検索する従来技術（従来手法３）として，一致する音声音楽信号だけでなく類似する音声音楽信号も検索でき，多次元インデックスを用いることで高速な検索ができる手法がある（例えば，非特許文献３参照）。
【０００５】
ここで，後述する本発明の実施の形態で利用している技術が記載された文献として，例えば非特許文献４，非特許文献５，非特許文献６，非特許文献７がある。
【０００６】
【特許文献１】
特許第３０６５３１４号公報
【特許文献２】
特開２００２−１０２３７号公報
【非特許文献１】
柏野邦夫，ガビンスミス，村瀬洋：“ヒストグラム特徴を用いた音響信号の高速探索法−時系列アクティブ探索法−”：電子情報通信学会論文誌，D-1 ，Vol.J82-D-II NO.9 ，pp.1365-1373，1999
【非特許文献２】
阿部素嗣，西口正之：“背景音楽同定のための自己最適化スペクトル相関法”：電子情報通信学会技術報告，PRMU2001-209，pp.25-30，2002
【非特許文献３】
須賀啓敏，寺本純司，片岡良治，芳西崇：“類似音声検索による映像検索”：電子情報通信学会，第１３回データ工学ワークショップ（DEWS2002 ISSN1347-4413）B1-1，2002
【非特許文献４】
鹿野清宏他，：“ＩＴ ｔｅｘｔ 音声認識システム”，オーム社，2001
【非特許文献５】
Lawrence Rabiner，Biing-Hwang Juang 共著，古井貞煕監訳：“音声認識の基礎（上）”，ＮＴＴアドバンステクノロジ株式会社，1995
【非特許文献６】
Norio Katayama and Shin'ichi Satoh：“The SR-tree ：An Index Structure for High-Dimensional Nearest Neighbor Queries”，in Proc.ACM SIGMOD International Conference On Management of Data ，pp.368-380，May 1997
【非特許文献７】
Yasushi Sakurai ，Masatoshi Yoshikawa ，Shunsuke Uemura ，and Haruhiko Kojima ：“A-tree：An Index Structure for High-Dimensional Space Using Relative Approximations ”，In Proc.of the 26th International Conference on Very Large Data Bases (VLDB)，pp.516-526，Cairo ，September 2000
【０００７】
【発明が解決しようとする課題】
〔課題１〕前述した従来手法１では，一致する音声音楽信号を検索するため，信号に雑音が入ると検索できなくなってしまうという問題がある。
〔課題２〕従来手法２では，非定常な雑音が入った音声音楽信号でも検索が可能であるが，類似度計算の計算量が大きく，計算に時間がかかってしまうという問題がある。
〔課題３〕従来手法３では，音声音楽信号に雑音が入っても信号が類似していれば従来手法２よりも高速な検索が可能であるが，雑音がない場合に比べて検索精度は下がってしまうという問題がある。
【０００８】
本発明は，上記問題点の解決を図り，非定常な雑音を含む音声音楽信号を精度良く，高速に検索できる手段を確立することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の検索結果利用型類似音楽検索装置は，上記課題を解決するため，検索キー音声音楽信号入力手段と，短時間窓音声音楽特徴量抽出手段と，短時間窓音声音楽特徴量類似検索手段と，音声音楽情報比較統合手段と，前後検索結果利用手段と，検索結果蓄積手段と，音声音楽表示出力手段と，検索対象音声音楽信号入力手段と，特徴量の蓄積手段とを備える。
【００１０】
検索キー音声音楽信号入力手段は，非定常雑音を含む長時間の音声音楽信号から，検索キーとして数秒間の音声音楽信号を逐次的に切り出して入力する。
【００１１】
短時間窓音声音楽特徴量抽出手段は，短時間窓を少しずつずらしながら，短時間窓長の音声音楽信号を切り出し，そこから短時間窓音声音楽特徴量を抽出する。短時間窓音声音楽特徴量は多次元ベクトルの形で表現される。
【００１２】
短時間窓音声音楽特徴量類似検索手段は，検索キーから抽出されたそれぞれの短時間窓音声音楽特徴量の中から所定の規則によって一部のものを選択し，蓄積された短時間窓音声音楽特徴量の中から，それらの選択された短時間窓音声音楽特徴量に類似するものを検索する。類似度は，多次元ベクトル間の距離が近いものほど類似度が高いとする。なお，この類似度のことを部分類似度と呼ぶことにする。
【００１３】
音声音楽情報比較統合手段は，前記短時間窓音声音楽特徴量類似検索手段による短時間窓音声音楽特徴量ごとの類似検索結果から正解候補音声音楽区間を作成し，その正解候補音声音楽区間全体と検索キー音声音楽信号全体との間の類似度を計算し，その類似度の高い正解候補音声音楽区間のリストを作成する。
【００１４】
この類似度は，例えば，検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離の近いものだけの和をとり，その和が小さいものほど類似度が高いものとする。なお，この類似度を全体類似度と呼ぶこととする。そして，正解候補音声音楽区間のリストを全体類似度の高い順に並び替える。
【００１５】
前後検索結果利用手段は，蓄積された過去の検索キーに対する検索結果から今回の検索キーに対する検索キーと全体類似度の高い音声音楽区間を推定してその音声音楽区間と前記検索キーとの全体類似度を計算し，この結果と前記比較統合過程における結果を統合して全体類似度の高い順に並んだ音声音楽区間のリストを作成することで今回の検索キーに対する検索結果を更新する。
【００１６】
次に，更新された今回の検索キーに対する検索結果から過去の検索キーと全体類似度の高い音声音楽区間を推定してこの音声音楽区間と前記過去の検索キーとの全体類似度を計算し，この結果を過去の検索キーに対する検索結果のリストに挿入して過去の検索結果も更新し，さらに，今回の検索キーに対する検索結果のリストと検索キーを蓄積し，過去の検索結果のリストの個数が一定数以上蓄積された場合にその最も古い検索結果のリストを出力する。
【００１７】
音声音楽表示出力手段は，ディスプレイ等の表示装置に，前記前後検索結果利用手段から出力された検索結果の音声音楽区間のリストを表示し，マウス等のポインティングデバイスで選択したリスト中の音声音楽区間の音声音楽信号をスピーカー等で出力する。
【００１８】
検索対象音声音楽信号入力手段は，検索対象となる長時間の音声音楽信号を入力する。
【００１９】
蓄積手段は，検索対象音声音楽信号から抽出された個々の短時間窓音声音楽特徴量または平均短時間窓音声音楽特徴量を蓄積する。また抽出した短時間窓音声音楽特徴量または平均短時間窓音声音楽特徴量から多次元空間インデックスを構成する。
【００２０】
以上の各手段による処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００２１】
本発明は，特願２００３−８０８３号で本発明者等が先に提案した「類似音声音楽検索装置，類似音声音楽検索処理方法，類似音声音楽検索プログラムおよびそのプログラムの記録媒体」（これを先の発明という）の検索技術を改良し，さらに高速化の実現を可能にしたものである。
【００２２】
本発明の改良のポイントは，先の発明において時間的に連続する複数の検索キーに対する処理手順が繰り返される場合に，短時間窓音声音楽特徴量の類似検索回数を削減して検索の高速化を図り，一方で時間的に前後の検索キーによる検索結果を利用することにより検索精度の維持を図ったところにある。すなわち，本発明では，以下の処理を行う。
【００２３】
（１）例えばテレビ映像音声などの，検索キーとするための比較的長時間の音声音楽信号を入力し，音声音楽信号から所定の長さの検索キーを逐次的に切り出し，各検索キーごとに先の発明で提案した短時間窓音声音楽特徴量に基づく類似音声音楽区間の検索を行い，検索結果を記憶する。
【００２４】
（２）検索結果の類似音声音楽区間を全体類似度の高い順に並べたリストを各検索キーごとに蓄積しておく。
【００２５】
（３）上記（１）の処理で今回の検索キーに対する検索結果を得た後，過去の検索キーに対する検索結果の類似音声音楽区間を起点として，同じ検索対象から今回の検索キーに時間的に対応する部分の音声音楽区間を切り出し，その音声音楽区間と今回の検索キーとの全体類似度を計算し，今回の検索キーに対する検索結果に加える。
【００２６】
（４）上記（３）とは逆に，今回の検索キーに対する検索結果の類似音声音楽区間から時間的に遡って，同じ検索対象から過去の検索キーに時間的に対応する部分の音声音楽区間を切り出し，その音声音楽区間と過去の検索キーとの全体類似度を計算し，その結果を過去の検索キーに対する検索結果に挿入する。
【００２７】
（５）何個かの検索キーについて上記処理を繰り返したなら，過去の検索キーに対する検索結果から順次，類似音声音楽区間の情報を出力する。この出力は，検索対象の音声音楽信号をスピーカーに出力する処理でもよいし，検索された音楽のタイトルや該当位置などの情報をディスプレイに出力する処理でもよい。基本的には各検索キーごとに検索結果を出力するが，さらに時間的に連続した複数の検索キーの検索結果を統合した検索結果から，検索対象の音声音楽信号を特定して出力するようにしてもよい。
【００２８】
以上のように，本発明は，長時間の音声音楽信号から逐次的に切り出される検索キーはその隣り合う検索キー同士が同一音楽でつながっており，従って検索したいそれぞれの音声音楽区間も同一の音楽でつながっているはずであるという点に着目し，現在の単独の検索キーに対する検索結果に加えて，現在の検索キーの時間よりも相対的に過去および未来の検索キーに対する検索結果も利用した類似音声音楽区間の検索を行うことにより，検索速度の高速化，検索精度の向上を実現することができるようになる。
【００２９】
【発明の実施の形態】
本発明の実施の形態を説明するに先立ち，実施の形態の説明中で用いている言葉の意味について簡単に説明する。
【００３０】
「非定常雑音」：ある区間に対して，その全体に渡って入っていない雑音（例えば，雑音としての人の話し声は，息継ぎなどのために音が途切れるので，非定常雑音である）。
【００３１】
「短時間窓」：約２０ミリ秒から４０ミリ秒程度の時間窓。
【００３２】
「短時間窓音声音楽特徴量」：短時間窓長の音声音楽信号から抽出される特徴量。多次元ベクトルで表される。
【００３３】
「検索キー音声音楽信号」：非定常雑音を含む長時間の音声音楽信号から逐次的に切り出された数秒（例えば４秒など）の検索キーとして入力される音声音楽信号。
【００３４】
「検索対象音声音楽信号」：検索対象となる長時間の雑音を含まない音声音楽信号（例えば，ＣＤ音源１０００曲分等）。
【００３５】
「部分類似度」：多次元ベクトルで表される短時間窓音声音楽特徴量間（または平均短時間窓音声音楽特徴量間）の類似度である。多次元ベクトル間の距離が近いものほど，この類似度は高い。
【００３６】
「全体類似度」：検索キーと検索対象中の検索キーと同じ長さの音声音楽信号との間の類似度である。例えば，検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する検索対象中の検索キーの長さの音声音楽信号から抽出された短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離の近いものだけの和をとり，その和の小さいものほどこの類似度が高い。
【００３７】
「正解候補音声音楽区間」：検索キーの短時間窓音声音楽特徴量の検索キー音声音楽信号中での位置と，部分類似度の高い検索対象中の短時間窓音声音楽信号の位置が同じになるように切り出した，検索対象中の音声音楽信号区間。これが全体類似度も高い正解の候補とする。
【００３８】
「平均短時間窓音声音楽特徴量」：短時間窓音声音楽特徴量を時間順に並ぶ複数ごとに平均をとったもの。これを短時間窓音声音楽特徴量の代わりとして扱うことにより，類似検索処理の際に検索回数を少なくでき，高速化が図れる。
【００３９】
以下，図面を用いて本発明の実施の形態を説明する。
【００４０】
〔実施の形態１〕
本実施の形態１では，放送されているテレビ映像音声などから非定常な雑音が含まれるような数秒の楽曲の音声音楽信号を逐次的に切り出して検索キーとし，検索対象として用意されているＣＤ等の雑音が含まれない音声音楽信号を格納した音楽データベースから，その雑音が入った楽曲の音声音楽信号と同じ楽曲の同じ部分を検索する。これにより，放送されている映像音声中の雑音が入っているような楽曲部分の楽曲名とそれが楽曲中のどの部分であるかを検索することができる。
【００４１】
図１は，本発明の実施の形態における前後の検索結果利用型類似音楽検索装置の構成例を示す図である。前後の検索結果利用型類似音楽検索装置１０は，短時間窓音声音楽特徴量抽出部（検索フェーズ）１１，短時間窓音声音楽特徴量類似検索部１２，音声音楽情報比較統合部１３，前後検索結果利用部１４，検索結果蓄積部１５，短時間窓音声音楽特徴量抽出部（蓄積フェーズ）１６，蓄積部１７，記憶部１８とから構成されており，検索キー音声音楽信号入力装置２０，音声音楽表示出力装置２１，検索対象音声音楽信号入力装置２２と接続されている。
【００４２】
前後の検索結果利用型類似音楽検索装置１０の動作は，検索キーの短時間窓音声音楽特徴量で検索対象の短時間窓音声音楽特徴量を検索することにより類似音声音楽を検索する検索フェーズＰ１と，検索対象の音声音楽信号と短時間窓音声音楽特徴量とを蓄積する蓄積フェーズＰ２からなる。
【００４３】
図２は，本実施の形態における前後の検索結果利用型類似音楽検索処理フローチャートである。この例では，検索キー入力処理ステップＳ１０において，放送中のＴＶ番粗の音声などのリアルタイムに流れている音声音楽を入力し，そこから逐次的に数秒程度の音声音楽信号を検索キーとして切り出す処理を行い，検索キー音声音楽信号を得る。
【００４４】
次に，特徴量抽出処理ステップＳ２０において，短時間窓音声音楽特徴量抽出部（検索フェーズ）１１は，約２０ミリ秒から４０ミリ秒程度の短時間窓を少しずつずらしながら，検索キー入力処理ステップＳ１０で得られた検索キー音声音楽信号から音声音楽信号をＭ個切り出し，その切り出した音声音楽信号からＭ個の短時間窓音声音楽特徴量を抽出する。
【００４５】
ここで，短時間窓音声音楽特徴量としては，例えば，非特許文献４に述べられているメル周波数ケプストラム係数や，フィルタバンク分析による各帯域の音声パワーや，非特許文献５に述べられている重み付きケプストラム係数等を用いることができる。なお，短時間窓音声音楽特徴量は，多次元ベクトルとして表される。
【００４６】
類似検索処理ステップＳ３０による検索のために，あらかじめ短時間窓音声音楽特徴量抽出部（蓄積フェーズ）１６が，長時間の検索対象音声音楽信号から上記特徴量抽出処理ステップＳ２０の特徴量抽出処理と同様にして短時間窓音声音楽特徴量を抽出し，蓄積部１７が，抽出された短時間窓音声音楽特徴量を記憶部１８に蓄積しておく。また，それらの短時間窓音声音楽特徴量から，非特許文献６に述べられているＳＲ−ｔｒｅｅや，非特許文献７に述べられているＡ−ｔｒｅｅなどの多次元空間インデックスを構成しておく。
【００４７】
類似検索処理ステップＳ３０において，短時間窓音声音楽特徴量類似検索部１２は，検索キーから抽出されたＭ個の短時間窓音声音楽特徴量を入力し，そのＭ個の短時間窓音声音楽特徴量からＮ個（Ｎ＜Ｍ）選択し，そのＮ個の短時間窓音声音楽特徴量に類似する検索対象中の短時間窓音声音楽特徴量を，多次元空間インデックスを使って高速に検索する。Ｍ個の短時間窓音声音楽特徴量からＮ個選択する方法としては，例えば，Ｍ個の中からＭ／Ｎ個おきに選択する方法などを用いることができる。検索キーの選択されたＮ個の短時間窓音声音楽特徴量ごとに，部分類似度の高い検索対象中の短時間窓音声音楽特徴量のリストを作成する。
【００４８】
部分類似度は，短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いほど高いものとする。なお，多次元空間インデックスを使うことで，使わない場合と比較した時に約１０倍高速に検索できていることが確認されている。
【００４９】
また，例えばＭ＝３００，Ｎ＝１０とすると，検索対象中の短時間窓音声音楽特徴量を検索する回数が３０分の１となり，検索キーの全ての短時間窓音声音楽特徴量を使う場合に比べて，３０倍高速に検索できることになる。
【００５０】
続いて，比較統合処理ステップＳ４０に進む。図３は，本実施の形態における比較統合処理フローチャートである。本実施の形態１における音声音楽情報比較統合部１３による比較統合処理ステップＳ４０は，図３のフローチャートを用いて詳細に説明する。
【００５１】
ステップＳ４１０において，類似検索処理ステップＳ３０で得られた類似検索の結果の部分類似度の高い短時間窓音声音楽特徴量のリストを入力し，検索キーの短時間窓音声音楽特徴量の位置と，対応する部分類似度の高い検索対象中の短時間窓音声音楽特徴量の位置とが同じ位置になるように合わせ，検索対象音声音楽信号から検索キーと同一の長さの音声音楽信号を切り出して正解候補音声音楽区間を作成する。これを入力されたすべての部分類似度の高い短時間窓音声音楽特徴量について行い，正解候補音声音楽区間のリストを作成する。
【００５２】
図４は，上記ステップＳ４１０の処理における検索対象からの正解候補音声音楽区間の切り出しを説明する図である。検索キー音声音楽信号における０，１，…，９および検索対象音声音楽信号におけるａ，ｂ，…は，それぞれ短時間窓音声音楽特徴量を表している。まず，図４（Ａ）のように，検索キー音声音楽信号中の短時間窓音声音楽特徴量の位置と，類似度が高い検索対象音声音楽信号中の短時間窓音声音楽特徴量の位置とを合わせる。図４（Ａ）の例では，検索キー短時間窓音声音楽特徴量「４」と検索対象の短時間窓音声音楽特徴量「ｈ」との類似度が高いので，その位置を合わせる。
【００５３】
次に，図４（Ｂ）のように，検索対象音声音楽信号から，検索キー音声音楽信号と同じ長さの区間を正解候補音声音楽区間として切り出す。図４（Ｂ）の例では，検索対象音声音楽信号（「ａ」〜…）から，検索キー音声音楽信号（「０」〜「９」）と同じ長さの区間（「ｄ」〜「ｍ」）が正解候補音声音楽区間として切り出される。
【００５４】
次に，図３のステップＳ４２０において，正解候補音声音楽区間のリストを入力し，そのリスト中の最上位にある正解候補音声音楽区間中の短時間窓音声音楽特徴量を読み込む。また，ステップＳ４３０において，ステップＳ４２０で読み込まれた正解候補音声音楽区間のリストの最上位の正解候補音声音楽区間をリストから削除する。
【００５５】
続いて，ステップＳ４４０において，ステップＳ４２０で読み込まれた正解候補音声音楽区間の全体の短時間窓音声音楽特徴量を入力し，それと検索キー全体の短時間窓音声音楽特徴量との全体類似度を計算する。音声音楽情報比較統合部１３は，この正解候補音声音楽区間と全体類似度の組を蓄積部１７に出力し，蓄積部１７はそれらを記憶部１８に保持する。
【００５６】
全体類似度の計算方法としては，例えば次のような方法を用いることができる。検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離の近いものの上位何個かの和をとり，その和が小さいものほど全体類似度が高いものとする。
【００５７】
すなわち，例えば検索キー音声音楽信号から短時間窓で切り出した音声音楽信号が３００個である場合に，検索キーと正解候補音声音楽区間との間において，短時間窓音声音楽特徴量を表す多次元ベクトル間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離が近い値の上位１００個だけの和を検索キーと正解候補音声音楽区間との距離とし，その距離が近いものほど全体類似度が高いものであると定義する。
【００５８】
これにより，雑音が入っていない部分や雑音の影響が少ない部分だけを扱って全体類似度の計算ができるため，非定常な雑音の影響を低減した検索をすることができる。なお，距離の近い上位のもののうち，いくつの距離の和とするかは，あらかじめ設定しておくものとする。上位何個の和を全体類似度の距離として用いるかを，ユーザが設定できるようにするためのＧＵＩ（Graphical User Interface）を設ける実施も好適である。短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いもののうちの和をとる個数を，雑音が多いときは少なく，雑音が少ないときは多くすることで，検索精度をさらに向上させることが可能である。
【００５９】
図５に従って全体類似度の計算方法の具体例を説明する。図５の例では，まず，検索キーと正解候補音声音楽区間との部分類似度を計算し，部分類似度の距離が小さい上位６件（「３」，「４」，「５」，「７」，「９」，「１０」）の和を，検索キーと正解候補音声音楽区間との全体類似度の距離としている。これによって，雑音の影響により部分類似度の距離が大きい部分（「１」，「２」，「６」，「８」）を除くことができ，非定常な雑音があっても類似する音声音楽信号を検索することができる。
【００６０】
図３のステップＳ４５０において，正解候補音声音楽区間のリストを入力し，このリストがすでに空であれば，ステップＳ４６０に進む。空でなければステップＳ４２０に戻り，同様に処理を繰り返す。
【００６１】
すべての正解候補音声音楽区間について，ステップＳ４２０〜Ｓ４４０の処理が終了し，正解候補音声音楽区間のリストが空になったならば，ステップＳ４６０では，ステップＳ４４０において記憶部１８に保持されたすべての正解候補音声音楽区間とその全体類似度の組を蓄積部１７から入力し，それらを全体類似度の高い順に並び替えてリストを作成する。
【００６２】
これらのステップＳ４１０からステップＳ４６０までの処理を行うことで，図２のフローチャートの比較統合処理ステップＳ４０は，類似検索処理ステップＳ３０の類似検索の結果の部分類似度の高い短時間窓音声音楽特徴量のリストを入力し，全体類似度の高い順に並び替えられた正解候補音声音楽区間のリストを出力することができる。
【００６３】
続いて，前後検索結果利用処理ステップＳ５０に進む。図６は，本実施の形態における前後検索結果処理フローチャートである。本実施の形態１における前後検索結果利用部１４による前後検索結果利用処理ステップＳ５０は，図６のフローチャートを用いて詳細に説明する。
【００６４】
ステップＳ５１０では，検索結果蓄積部１５内に過去の検索結果のリストが蓄積されている場合には，ステップＳ５２０に進み，蓄積されていない場合には，ステップＳ５８０に進む。
【００６５】
ステップＳ５２０では，過去の検索結果を利用して検索キーと全体類似度の高い音声音楽区間を推定する。検索結果蓄積部１５に蓄積されているｉ回前の過去の検索結果のリストとｉ回前の過去の検索キーのそれぞれＭ個の短時間窓音声音楽特徴量を入力とし，図７のように，ｉ回前の過去の検索結果リストの音声音楽区間の始点の時刻から検索キーの長さのｉ倍後の時刻を計算し，その時刻を始点とした音声音楽区間を全体類似度が高いと推定し，その音声音楽区間を切り出して今回の検索キーとの全体類似度を計算する。
【００６６】
ｉ−１，ｉ−２，…，２，１回前の検索結果についても同様に音声音楽区間を推定し，全体類似度を計算する。これらの音声音楽区間を全体類似度の高い順にソートしたリストを過去の検索結果を利用した検索結果のリストとして出力することにより本ステップは実施可能である。
【００６７】
ステップＳ５３０では，前記比較統合処理ステップＳ４０で出力された検索結果のリストとステップＳ５２０で出力された過去の検索結果を利用した検索結果のリストを入力として，その二つのリストを統合して全体類似度の高い順にソートしたリストを今回の検索結果のリストとして出力することにより本ステップは実施可能である。
【００６８】
ステップＳ５４０では，ステップＳ５２０で出力された過去の検索結果を利用した検索結果のリストとステップＳ５３０で出力された今回の検索結果のリストを入力とし，今回の検索結果のリストの最上位の音声音楽区間が過去の検索結果を利用した検索結果のリストに含まれる場合はステップＳ５６０に進み，含まれない場合はステップＳ５５０に進む。
【００６９】
ステップＳ５５０では，今回の検索結果を利用して過去の検索結果を更新する。検索結果蓄積部１５内の過去の検索結果のリストと過去の検索キーとステップＳ５３０で出力された今回の検索結果のリストを入力とし，図８のように，今回の検索結果のリストの音声音楽区間の始点から検索キーの長さのｉ倍前の時刻を計算し，この時刻を始点とする音声音楽区間を全体類似度が高いと推定し，その音声音楽区間を切り出してｉ回前の過去の検索キーとの全体類似度を計算する。この音声音楽区間を今回の検索結果を利用したｉ回前の検索結果とする。
【００７０】
この検索結果の全体類似度とｉ回前の過去の検索結果のリストの最上位の全体類似度を比較して，今回の検索結果を利用したｉ回前の検索結果の方が全体類似度が高い場合には，ｉ回前の過去の検索結果のリストの最上位に今回の検索結果を利用したｉ回前の検索結果を挿入し，ｉ回前の過去の検索結果のリストを更新する。
【００７１】
ｉ−１，ｉ−２，…，２，１回前の過去の検索結果についても同様にして，今回の検索結果を利用した検索結果の方が全体類似度が高い場合には，それぞれの過去の検索結果のリストの最上位に挿入して，過去の検索結果のリストを更新する。この更新された過去の検索結果のリストを検索結果蓄積部１５に出力することで，本ステップは実施可能である。
【００７２】
本実施の形態では，今回の検索結果を利用して過去の検索結果のリストを更新する際に，処理の高速化を考慮し，検索結果のリストの最上位との比較と検索結果のリストの最上位への挿入とを行っているが，全体類似度の高い順にソートする方法を用いて，今回の検索結果を過去の検索結果に反映する方法を用いてもよい。
【００７３】
ステップＳ５６０では，検索結果蓄積部１５内に保持されている過去の検索結果のリストの個数ｉと本装置において何回前までの過去の検索結果を利用するかを決定するパラメータｊを入力とし，ｉ＝ｊとなる場合には，ステップＳ５７０に進み，ｉ＜ｊである場合には，ステップＳ５８０に進む。
【００７４】
ステップＳ５７０では，検索結果蓄積部１５内のｊ回前の過去の検索結果のリストを出力する。さらに，検索結果蓄積部１５内からｊ回前の過去の検索結果のリストとｊ回前の過去の検索キーを破棄することで，本ステップは実施可能である。
【００７５】
ステップＳ５８０では，ステップＳ５３０より出力される今回の検索結果のリスト，または検索結果蓄積部１５に過去の検索結果のリストが蓄積されていなかった場合には前記比較統合処理ステップＳ４０から出力される検索結果のリストと，前記特徴量抽出ステップＳ２０で出力される今回の検索キーとを入力とし，それらを検索結果蓄積部１５に出力して蓄積することにより本ステップは実施可能である。
【００７６】
これにより，長時間の音声音楽信号中の突発的な非定常雑音を含む音楽が，検索キーの長さよりも長い時間使われている場合には，そこから逐次的に切り出される検索キーはその隣り合う検索キー同士が同一音楽でつながっており，従って検索したいそれぞれの音声音楽区間も同一の音楽でつながることになるため，前後の検索キーの検索結果を利用することで検索精度を向上できる。よって，検索キーから抽出される短時間窓音声音楽特徴量の一部だけしか使わなくても検索精度が維持でき，その結果，短時間窓音声音楽特徴量の類似検索回数が少なくなり検索時間の高速化が可能となる。
【００７７】
その後，図２の表示出力処理ステップＳ６０において，前記前後検索結果利用処理ステップＳ５０から検索結果のリストが出力された場合には，そのリストを，ディスプレイ等の音声音楽表示出力装置２１に出力し，マウス等のポインティングデバイスで選択されたリスト中の音声音楽区間の音声音楽信号を，スピーカー等の音声音楽表示出力装置２１で出力する。
【００７８】
検索キー終了判定の処理ステップＳ７０では，検索キー音声音楽信号入力装置２０から入力される音声音楽信号からもうこれ以上検索キーの長さの音声音楽信号を切り出せなくなった場合には，前後の検索結果利用型類似音楽検索装置１０の動作を終了する。まだ検索キーの長さ以上の音声音楽信号が残っていて切り出せる場合には，ステップＳ１０に戻る。
【００７９】
〔実施の形態２〕
本実施の形態２では，前述した実施の形態１の検索時間をより高速化するため，類似検索する際に，短時間窓音声音楽特徴量をそのまま使わずに，時間順に並んだ複数個の短時間窓音声音楽特徴量の平均となる平均短時間窓音声音楽特徴量を使って類似検索を行う。平均短時間窓音声音楽特徴量は，それぞれの短時間窓音声音楽特徴量を表す多次元ベクトルの平均ベクトルにより表される。これにより類似検索の回数の削減と検索対象のデータ数が削減されるため，処理の高速化が図れる。
【００８０】
本実施の形態２における前後の検索結果利用型類似音楽検索装置の構成例は，前述した実施の形態１と同様に，図１に示される構成例となる。また，本実施の形態２における前後の検索結果利用型類似音楽検索処理フローチャートは，前述した実施の形態１と同様に，図２に示されるフローチャートとなる。以下，本実施の形態２について，図２のフローチャートを用いて説明するが，前述した実施の形態１とは，類似検索処理ステップＳ３０と比較統合処理ステップＳ４０とが異なる。
【００８１】
検索キー入力処理ステップＳ１０，特徴量抽出処理ステップＳ２０，前後検索結果利用処理ステップＳ５０，表示出力処理ステップＳ６０，検索キー終了判定の処理ステップＳ７０については，前述した実施の形態１における処理と同様の処理であるので，説明を省略する。
【００８２】
図９は，本実施の形態２における類似検索処理フローチャートである。本実施の形態２における類似検索処理ステップＳ３０の処理を，図９のフローチャートを用いて詳細に説明する。
【００８３】
類似検索処理のために，あらかじめ以下のステップＳ３１０〜Ｓ３３０による蓄積フェーズＰ２を実行する。ステップＳ３１０において，短時間窓音声音楽特徴量抽出部（蓄積フェーズ）１６が，検索対象となる長時間の音声音楽信号を入力し，特徴量抽出処理ステップＳ２０と同様にして短時間窓音声音楽特徴量を抽出し，蓄積部１７が，抽出された短時間窓音声音楽特徴量を記憶部１８に蓄積しておく。
【００８４】
ステップＳ３２０において，検索対象音声音楽信号から抽出したすべての短時間窓音声音楽特徴量を入力し，それらの短時間窓音声音楽特徴量の時間順に並んだＫ個分ずつの平均をとって平均短時間窓音声音楽特徴量を作成する。例えば，Ｋ＝６とした場合，時間順に並ぶ６個ずつの短時間窓音声音楽特徴量の平均をとったものを平均短時間窓音声音楽特徴量とする。
【００８５】
ステップＳ３３０において，ステップＳ３２０で作成した平均短時間窓音声音楽特徴量を入力し，それらの平均短時間窓音声音楽特徴量から，前述した実施の形態１と同様に，多次元空間インデックスを構築しておく。
【００８６】
検索フェーズＰ１では，ステップＳ３４０において，検索キーの短時間窓音声音楽特徴量の時間順に並んだＫ個分ずつの平均をとり，平均短時間窓音声音楽特徴量を作成する。例えば，Ｋ＝６とした場合，時間順に並ぶ６個ずつの短時間窓音声音楽特徴量の平均をとったものを平均短時間窓音声音楽特徴量とする。
【００８７】
例えば，検索キーから抽出される短時間窓音声音楽特徴量がＭ＝３００個とし，作成される平均短時間窓音声音楽特徴量をＬ個とすると，Ｌ＝Ｍ／Ｋ＝３００／６＝５０個となる。
【００８８】
ステップＳ３５０において，短時間窓音声音楽特徴量類似検索部１２は，検索キーのＬ個の平均短時間窓音声音楽特徴量を入力し，そのＬ個の平均短時間窓音声音楽特徴量の中からＰ個選択し，そのＰ個の平均短時間窓音声音楽特徴量と類似するものを，蓄積されている検索対象の平均短時間窓音声音楽特徴量の中から検索し，検索キーの選択されたＰ個の平均短時間窓音声音楽特徴量ごとに，部分類似度の高い平均短時間窓音声音楽特徴量のリストを作成する。Ｌ個の平均短時間窓音声音楽特微量からＰ個選択する方法としては，例えば，Ｌ個の中からＬ／Ｐ個おきに選択する方法などを用いることができる。
【００８９】
ここでの部分類似度は，平均短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いほど高いものとする。この際に，ステップＳ３３０で構築した多次元空間インデックスを使用することで高速に検索することができる。
【００９０】
また，例えば，Ｋ＝６として短時間窓音声音楽特徴量の６個分の平均を平均短時間窓音声音楽特徴量とすると，前述した実施の形態１と比較して多次元インデックスを構成するデータ数は６分の１となり，さらに多次元インデックスを用いて行う検索回数も６分の１となることにより，検索の高速化が図られる。
【００９１】
さらに，例えばＬ＝５０，Ｐ＝５とすると，検索対象中の平均短時間窓音声音楽特徴量を検索する回数が１０分の１となり，検索キーの全ての平均短時間窓音声音楽特微量を使う場合と比べて，１０倍高速に検索できることになる。前記前後検索結果利用処理ステップＳ５０により，このように検索に使用する平均短時間窓音声音楽特微量の数を減らしても，前後の検索キーによる検索結果を利用することで検索精度は維持できる。
【００９２】
本実施の形態２における比較統合処理ステップＳ４０については，図３に示すフローチャートのステップＳ４１０の処理（正解候補音声音楽区間のリストを作成する処理）だけが前述した実施の形態１と異なる。ステップＳ４２０からステップＳ４６０までについては，前述した実施の形態１と同様であるので説明を省略する。
【００９３】
以下，本実施の形態２における平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間のリストを作成する方法の例を説明するが，平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間のリストを作成する方法は，以下の例に限られるものではない。
【００９４】
図１０は，本実施の形態２における正解候補音声音楽区間リスト作成処理フローチャートである。本実施の形態２における正解候補音声音楽区間のリストを作成する処理（前述した実施の形態１において，図３のステップＳ４１０に該当する処理）は，図１０のフローチャートを用いて詳細に説明する。
【００９５】
ステップＳ４１１において，本実施の形態２における類似検索処理ステップＳ３０の結果である平均短時間窓音声音楽特徴量のリストを入力し，このリストの最上位の平均短時間窓音声音楽特徴量を読み込む。また，ステップＳ４１２において，ステップＳ４１１で読み込んだ平均短時間窓音声音楽特徴量のリストの最上位の平均短時間窓音声音楽特徴量をリストから削除する。
【００９６】
ステップＳ４１３において，ステップＳ４１１で読み込んだ平均短時間窓音声音楽特徴量を入力し，この平均短時間窓音声音楽特徴量の平均をとった元であるＫ個の短時間窓音声音楽特徴量を，記憶部１８から蓄積部１７を介して読み込む。
【００９７】
ステップＳ４１４において，平均をとった元のＫ個の短時間窓音声音楽特徴量ごとに，その平均をとった元の短時間窓音声音楽特徴量の位置が，検索キー中の対応する短時間窓音声音楽特徴量（例えば，平均をとった区間の中央の短時間窓音声音楽特徴量）と同じ位置になるように検索対象音声音楽信号の位置を合わせ，正解候補音声音楽区間を切り出す。切り出された正解候補音声音楽区間は合計でＫ個となる。
【００９８】
ステップＳ４１５において，Ｋ個の正解候補音声音楽区間を入力し，それらＫ個の正解候補音声音楽区間を正解候補音声音楽区間のリストに記載する。
【００９９】
ステップＳ４１６において，平均短時間窓音声音楽特徴量のリストを入力し，そのリストが空でなければＳ４１１に戻り，空になったならば正解候補音声音楽区間のリストを出力する。以上のステップＳ４１１〜Ｓ４１６の処理を，すべての平均短時間窓音声音楽特徴量のリストについて実行する。
【０１００】
図１１は，本実施の形態における類似度が高い平均短時間窓音声音楽特徴量から正解候補音声音楽区間を作成する例を説明する図である。図１１の例では，短時間窓音声音楽特徴量の３個（Ｋ＝３）の平均を平均短時間窓音声音楽特徴量としている。また，検索キーの対応する短時間窓音声音楽特徴量を，平均をとった区間の中央の短時間窓音声音楽特徴量としている。
【０１０１】
図中，「ｓＸ」（Ｘ＝０，１，２，…）は検索キーにおける短時間窓音声音楽特徴量を表し，「Ｍｅａｎ−ｓＸ」（Ｘ＝０，１，２，…）は検索キーにおける平均短時間窓音声音楽特徴量を表す。また，「ｔＸ」（Ｘ＝０，１，２，…）は検索対象における短時間窓音声音楽特徴量を表し，「Ｍｅａｎ−ｔＸ」（Ｘ＝０，１，２，…）は検索対象における平均短時間窓音声音楽特徴量を表す。
【０１０２】
図１１（Ａ）において，検索キー音声音楽信号の「Ｍｅａｎ−ｓ１」と検索対象音声音楽信号の「Ｍｅａｎ−ｔ３」との間の類似度が高いものとする。「Ｍｅａｎ−ｓ１」の元になっている短時間窓音声音楽特徴量は「ｓ３」，「ｓ４」，「ｓ５」であり，「Ｍｅａｎ−ｔ３」の元になっている短時間窓音声音楽特徴量は「ｔ９」，「ｔ１０」，「ｔ１１」である。検索キーの対応する短時間窓音声音楽特徴量を，平均をとった区間の中央の短時間窓音声音楽特徴量とすると，ここでは「ｓ４」である。
【０１０３】
これをもとに正解候補音声音楽区間を切り出す場合，図１１（Ｂ）に示すように，検索対象音声音楽信号の「ｔ９」，「ｔ１０」，「ｔ１１」の位置を，それぞれ検索キー音声音楽信号の「ｓ４」の位置に合わせて，「ｔ９」，「ｔ１０」，「ｔ１１」ごとに検索キーの長さと同じ長さで音声音楽信号を切り出し，正解候補音声音楽区間を作成する。Ｋ＝３であるので，「ｓ４」の位置に「ｔ９」を合わせたもの，「ｔ１０」を合わせたもの，「ｔ１１」を合わせたものの３つの正解候補音声音楽区間が作成される。
【０１０４】
以上の図１０，図１１によって，平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間を作成する方法の一例を示したが，これに限られるものではなく，例えば，検索キーの対応する短時間窓音声音楽特徴量を，平均をとった区間の中央の短時間窓音声音楽特徴量ではなく，他のものにすることも可能である。また，例えば図１１の例において，作成する正解候補音声音楽区間の数は，Ｋ＝３個に限らず，Ｋ＋２＝５個，Ｋ−１＝１個のように任意の数を設定することも可能である。
【０１０５】
【発明の効果】
本発明は，検索キーとそれと同じ長さに切り出された検索対象の音声音楽信号との全体類似度を表す距離を，短時間窓音声音楽特徴量間の部分類似度を表す距離のうち距離の近い上位のものだけの和とすることによって，非定常な雑音の影響を低減した音声音楽信号の類似検索が可能になるという効果を有する（課題１，課題３の解決）。
【０１０６】
また，短時間窓音声音楽特徴量間の部分類似度の高いものを検索する際に多次元空間インデックスを用いることにより，高速な検索ができるという効果を有する（課題２の解決）。
【０１０７】
さらに，本発明では，長時間の音声音楽信号中の突発的な非定常雑音を含む音楽が，検索キーの長さよりも長い時間使われている場合には，そこから逐次的に切り出される検索キーはその隣り合う検索キー同士が同一音楽でつながっており，従って検索したいそれぞれの音声音楽区間も同一の音楽でつながることに着目し，前後の検索キーの検索結果から正解の音声音楽区間を推定する手段を用いることで，検索精度を向上させることができる。
【０１０８】
従って，検索に使用する短時間窓音声音楽特徴量（または平均短時間窓音声音楽特徴量）の個数を削減することで個々の検索キーごとの検索精度が低下してしまったとしても，全体としての検索精度を維持することができる。すなわち，検索に使用する短時間窓音声音楽特徴量（または平均短時間窓音声音楽特徴量）を削減しないで検索する場合と，削減して検索してこの手段を適用した場合の検索精度を同程度に維持することが可能となる。
【０１０９】
よって，本発明によれば，検索精度を低下させずに，検索に使用する短時間窓音声音楽特徴量を削減することができ，これにより短時間窓音声音楽特徴量（平均短時間窓音声音楽特徴量）の検索回数が少なくなり検索時間の高速化が可能となるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態における前後の検索結果利用型類似音楽検索装置の構成例を示す図である。
【図２】本実施の形態における前後の検索結果利用型類似音楽検索処理フローチャートである。
【図３】本実施の形態における比較統合処理フローチャートである。
【図４】本実施の形態における検索対象からの正解候補音声音楽区間の切り出しを説明する図である。
【図５】本実施の形態における全体類似度の計算方法を説明する図である。
【図６】本実施の形態における前後検索結果処理フローチャートである。
【図７】過去の検索結果からの今回の検索キーと全体類似度が高いと推定される音声音楽期間の切り出しを説明する図である。
【図８】今回の検索結果からの過去の検索キーと全体類似度が高いと推定される音声音楽期間の切り出しを説明する図である。
【図９】本実施の形態における類似検索処理フローチャートである。
【図１０】正解候補音声音楽区間リスト作成処理フローチャートである。
【図１１】類似度が高い平均短時間窓音声音楽特徴量から正解候補音声音楽区間を作成する例を説明する図である。
【符号の説明】
Ｐ１ 検索フェーズ
Ｐ２ 蓄積フェーズ
１０ 前後の検索結果利用型類似音楽検索装置
１１ 短時間窓音声音楽特徴量抽出部（検索フェーズ）
１２ 短時間窓音声音楽特徴量類似検索部
１３ 音声音楽情報比較統合部
１４ 前後検索結果利用部
１５ 検索結果蓄積部
１６ 短時間窓音声音楽特徴量抽出部（蓄積フェーズ）
１７ 蓄積部
１８ 記憶部
２０ 検索キー音声音楽信号入力装置
２１ 音声音楽表示出力装置
２２ 検索対象音声音楽信号入力装置
【発明の属する技術分野】
本発明は，音声音楽信号を検索する技術に関し，特に非定常雑音を含む音声音楽信号でも精度よく，高速に検索可能な検索結果利用型類似音楽検索装置，検索結果利用型類似音楽検索処理方法，検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体に関するものである。
【０００２】
【従来の技術】
音声音楽信号を高速に検索する従来技術（従来手法１）としては，例えば，特許文献１「高速信号探索方法，装置及びその記録媒体」および非特許文献１に示されているような，検索対象中から検索キーと一致する音声音楽信号を検索する技術がある。
【０００３】
また，雑音を含む音声音楽信号を検索する従来技術（従来手法２）として，検索対象の音声音楽信号を時間周波数領域で多数の小領域に分割し，各領域間で検索キーの音声音楽信号との類似度を計算する手法がある（例えば，特許文献２「情報送受信システム及び方法，情報処理装置及び方法」，非特許文献２参照）。この手法では，各領域の類似度を投票法により積算することで，検索対象と検索キーの音声音楽信号中のナレーションなどの突発的で非定常な雑音部分以外の背景音楽などの部分で一致検索を行う。
【０００４】
この他に，類似する音声音楽信号を検索する従来技術（従来手法３）として，一致する音声音楽信号だけでなく類似する音声音楽信号も検索でき，多次元インデックスを用いることで高速な検索ができる手法がある（例えば，非特許文献３参照）。
【０００５】
ここで，後述する本発明の実施の形態で利用している技術が記載された文献として，例えば非特許文献４，非特許文献５，非特許文献６，非特許文献７がある。
【０００６】
【特許文献１】
特許第３０６５３１４号公報
【特許文献２】
特開２００２−１０２３７号公報
【非特許文献１】
柏野邦夫，ガビンスミス，村瀬洋：“ヒストグラム特徴を用いた音響信号の高速探索法−時系列アクティブ探索法−”：電子情報通信学会論文誌，D-1 ，Vol.J82-D-II NO.9 ，pp.1365-1373，1999
【非特許文献２】
阿部素嗣，西口正之：“背景音楽同定のための自己最適化スペクトル相関法”：電子情報通信学会技術報告，PRMU2001-209，pp.25-30，2002
【非特許文献３】
須賀啓敏，寺本純司，片岡良治，芳西崇：“類似音声検索による映像検索”：電子情報通信学会，第１３回データ工学ワークショップ（DEWS2002 ISSN1347-4413）B1-1，2002
【非特許文献４】
鹿野清宏他，：“ＩＴ ｔｅｘｔ 音声認識システム”，オーム社，2001
【非特許文献５】
Lawrence Rabiner，Biing-Hwang Juang 共著，古井貞煕監訳：“音声認識の基礎（上）”，ＮＴＴアドバンステクノロジ株式会社，1995
【非特許文献６】
Norio Katayama and Shin'ichi Satoh：“The SR-tree ：An Index Structure for High-Dimensional Nearest Neighbor Queries”，in Proc.ACM SIGMOD International Conference On Management of Data ，pp.368-380，May 1997
【非特許文献７】
Yasushi Sakurai ，Masatoshi Yoshikawa ，Shunsuke Uemura ，and Haruhiko Kojima ：“A-tree：An Index Structure for High-Dimensional Space Using Relative Approximations ”，In Proc.of the 26th International Conference on Very Large Data Bases (VLDB)，pp.516-526，Cairo ，September 2000
【０００７】
【発明が解決しようとする課題】
〔課題１〕前述した従来手法１では，一致する音声音楽信号を検索するため，信号に雑音が入ると検索できなくなってしまうという問題がある。
〔課題２〕従来手法２では，非定常な雑音が入った音声音楽信号でも検索が可能であるが，類似度計算の計算量が大きく，計算に時間がかかってしまうという問題がある。
〔課題３〕従来手法３では，音声音楽信号に雑音が入っても信号が類似していれば従来手法２よりも高速な検索が可能であるが，雑音がない場合に比べて検索精度は下がってしまうという問題がある。
【０００８】
本発明は，上記問題点の解決を図り，非定常な雑音を含む音声音楽信号を精度良く，高速に検索できる手段を確立することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の検索結果利用型類似音楽検索装置は，上記課題を解決するため，検索キー音声音楽信号入力手段と，短時間窓音声音楽特徴量抽出手段と，短時間窓音声音楽特徴量類似検索手段と，音声音楽情報比較統合手段と，前後検索結果利用手段と，検索結果蓄積手段と，音声音楽表示出力手段と，検索対象音声音楽信号入力手段と，特徴量の蓄積手段とを備える。
【００１０】
検索キー音声音楽信号入力手段は，非定常雑音を含む長時間の音声音楽信号から，検索キーとして数秒間の音声音楽信号を逐次的に切り出して入力する。
【００１１】
短時間窓音声音楽特徴量抽出手段は，短時間窓を少しずつずらしながら，短時間窓長の音声音楽信号を切り出し，そこから短時間窓音声音楽特徴量を抽出する。短時間窓音声音楽特徴量は多次元ベクトルの形で表現される。
【００１２】
短時間窓音声音楽特徴量類似検索手段は，検索キーから抽出されたそれぞれの短時間窓音声音楽特徴量の中から所定の規則によって一部のものを選択し，蓄積された短時間窓音声音楽特徴量の中から，それらの選択された短時間窓音声音楽特徴量に類似するものを検索する。類似度は，多次元ベクトル間の距離が近いものほど類似度が高いとする。なお，この類似度のことを部分類似度と呼ぶことにする。
【００１３】
音声音楽情報比較統合手段は，前記短時間窓音声音楽特徴量類似検索手段による短時間窓音声音楽特徴量ごとの類似検索結果から正解候補音声音楽区間を作成し，その正解候補音声音楽区間全体と検索キー音声音楽信号全体との間の類似度を計算し，その類似度の高い正解候補音声音楽区間のリストを作成する。
【００１４】
この類似度は，例えば，検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離の近いものだけの和をとり，その和が小さいものほど類似度が高いものとする。なお，この類似度を全体類似度と呼ぶこととする。そして，正解候補音声音楽区間のリストを全体類似度の高い順に並び替える。
【００１５】
前後検索結果利用手段は，蓄積された過去の検索キーに対する検索結果から今回の検索キーに対する検索キーと全体類似度の高い音声音楽区間を推定してその音声音楽区間と前記検索キーとの全体類似度を計算し，この結果と前記比較統合過程における結果を統合して全体類似度の高い順に並んだ音声音楽区間のリストを作成することで今回の検索キーに対する検索結果を更新する。
【００１６】
次に，更新された今回の検索キーに対する検索結果から過去の検索キーと全体類似度の高い音声音楽区間を推定してこの音声音楽区間と前記過去の検索キーとの全体類似度を計算し，この結果を過去の検索キーに対する検索結果のリストに挿入して過去の検索結果も更新し，さらに，今回の検索キーに対する検索結果のリストと検索キーを蓄積し，過去の検索結果のリストの個数が一定数以上蓄積された場合にその最も古い検索結果のリストを出力する。
【００１７】
音声音楽表示出力手段は，ディスプレイ等の表示装置に，前記前後検索結果利用手段から出力された検索結果の音声音楽区間のリストを表示し，マウス等のポインティングデバイスで選択したリスト中の音声音楽区間の音声音楽信号をスピーカー等で出力する。
【００１８】
検索対象音声音楽信号入力手段は，検索対象となる長時間の音声音楽信号を入力する。
【００１９】
蓄積手段は，検索対象音声音楽信号から抽出された個々の短時間窓音声音楽特徴量または平均短時間窓音声音楽特徴量を蓄積する。また抽出した短時間窓音声音楽特徴量または平均短時間窓音声音楽特徴量から多次元空間インデックスを構成する。
【００２０】
以上の各手段による処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００２１】
本発明は，特願２００３−８０８３号で本発明者等が先に提案した「類似音声音楽検索装置，類似音声音楽検索処理方法，類似音声音楽検索プログラムおよびそのプログラムの記録媒体」（これを先の発明という）の検索技術を改良し，さらに高速化の実現を可能にしたものである。
【００２２】
本発明の改良のポイントは，先の発明において時間的に連続する複数の検索キーに対する処理手順が繰り返される場合に，短時間窓音声音楽特徴量の類似検索回数を削減して検索の高速化を図り，一方で時間的に前後の検索キーによる検索結果を利用することにより検索精度の維持を図ったところにある。すなわち，本発明では，以下の処理を行う。
【００２３】
（１）例えばテレビ映像音声などの，検索キーとするための比較的長時間の音声音楽信号を入力し，音声音楽信号から所定の長さの検索キーを逐次的に切り出し，各検索キーごとに先の発明で提案した短時間窓音声音楽特徴量に基づく類似音声音楽区間の検索を行い，検索結果を記憶する。
【００２４】
（２）検索結果の類似音声音楽区間を全体類似度の高い順に並べたリストを各検索キーごとに蓄積しておく。
【００２５】
（３）上記（１）の処理で今回の検索キーに対する検索結果を得た後，過去の検索キーに対する検索結果の類似音声音楽区間を起点として，同じ検索対象から今回の検索キーに時間的に対応する部分の音声音楽区間を切り出し，その音声音楽区間と今回の検索キーとの全体類似度を計算し，今回の検索キーに対する検索結果に加える。
【００２６】
（４）上記（３）とは逆に，今回の検索キーに対する検索結果の類似音声音楽区間から時間的に遡って，同じ検索対象から過去の検索キーに時間的に対応する部分の音声音楽区間を切り出し，その音声音楽区間と過去の検索キーとの全体類似度を計算し，その結果を過去の検索キーに対する検索結果に挿入する。
【００２７】
（５）何個かの検索キーについて上記処理を繰り返したなら，過去の検索キーに対する検索結果から順次，類似音声音楽区間の情報を出力する。この出力は，検索対象の音声音楽信号をスピーカーに出力する処理でもよいし，検索された音楽のタイトルや該当位置などの情報をディスプレイに出力する処理でもよい。基本的には各検索キーごとに検索結果を出力するが，さらに時間的に連続した複数の検索キーの検索結果を統合した検索結果から，検索対象の音声音楽信号を特定して出力するようにしてもよい。
【００２８】
以上のように，本発明は，長時間の音声音楽信号から逐次的に切り出される検索キーはその隣り合う検索キー同士が同一音楽でつながっており，従って検索したいそれぞれの音声音楽区間も同一の音楽でつながっているはずであるという点に着目し，現在の単独の検索キーに対する検索結果に加えて，現在の検索キーの時間よりも相対的に過去および未来の検索キーに対する検索結果も利用した類似音声音楽区間の検索を行うことにより，検索速度の高速化，検索精度の向上を実現することができるようになる。
【００２９】
【発明の実施の形態】
本発明の実施の形態を説明するに先立ち，実施の形態の説明中で用いている言葉の意味について簡単に説明する。
【００３０】
「非定常雑音」：ある区間に対して，その全体に渡って入っていない雑音（例えば，雑音としての人の話し声は，息継ぎなどのために音が途切れるので，非定常雑音である）。
【００３１】
「短時間窓」：約２０ミリ秒から４０ミリ秒程度の時間窓。
【００３２】
「短時間窓音声音楽特徴量」：短時間窓長の音声音楽信号から抽出される特徴量。多次元ベクトルで表される。
【００３３】
「検索キー音声音楽信号」：非定常雑音を含む長時間の音声音楽信号から逐次的に切り出された数秒（例えば４秒など）の検索キーとして入力される音声音楽信号。
【００３４】
「検索対象音声音楽信号」：検索対象となる長時間の雑音を含まない音声音楽信号（例えば，ＣＤ音源１０００曲分等）。
【００３５】
「部分類似度」：多次元ベクトルで表される短時間窓音声音楽特徴量間（または平均短時間窓音声音楽特徴量間）の類似度である。多次元ベクトル間の距離が近いものほど，この類似度は高い。
【００３６】
「全体類似度」：検索キーと検索対象中の検索キーと同じ長さの音声音楽信号との間の類似度である。例えば，検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する検索対象中の検索キーの長さの音声音楽信号から抽出された短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離の近いものだけの和をとり，その和の小さいものほどこの類似度が高い。
【００３７】
「正解候補音声音楽区間」：検索キーの短時間窓音声音楽特徴量の検索キー音声音楽信号中での位置と，部分類似度の高い検索対象中の短時間窓音声音楽信号の位置が同じになるように切り出した，検索対象中の音声音楽信号区間。これが全体類似度も高い正解の候補とする。
【００３８】
「平均短時間窓音声音楽特徴量」：短時間窓音声音楽特徴量を時間順に並ぶ複数ごとに平均をとったもの。これを短時間窓音声音楽特徴量の代わりとして扱うことにより，類似検索処理の際に検索回数を少なくでき，高速化が図れる。
【００３９】
以下，図面を用いて本発明の実施の形態を説明する。
【００４０】
〔実施の形態１〕
本実施の形態１では，放送されているテレビ映像音声などから非定常な雑音が含まれるような数秒の楽曲の音声音楽信号を逐次的に切り出して検索キーとし，検索対象として用意されているＣＤ等の雑音が含まれない音声音楽信号を格納した音楽データベースから，その雑音が入った楽曲の音声音楽信号と同じ楽曲の同じ部分を検索する。これにより，放送されている映像音声中の雑音が入っているような楽曲部分の楽曲名とそれが楽曲中のどの部分であるかを検索することができる。
【００４１】
図１は，本発明の実施の形態における前後の検索結果利用型類似音楽検索装置の構成例を示す図である。前後の検索結果利用型類似音楽検索装置１０は，短時間窓音声音楽特徴量抽出部（検索フェーズ）１１，短時間窓音声音楽特徴量類似検索部１２，音声音楽情報比較統合部１３，前後検索結果利用部１４，検索結果蓄積部１５，短時間窓音声音楽特徴量抽出部（蓄積フェーズ）１６，蓄積部１７，記憶部１８とから構成されており，検索キー音声音楽信号入力装置２０，音声音楽表示出力装置２１，検索対象音声音楽信号入力装置２２と接続されている。
【００４２】
前後の検索結果利用型類似音楽検索装置１０の動作は，検索キーの短時間窓音声音楽特徴量で検索対象の短時間窓音声音楽特徴量を検索することにより類似音声音楽を検索する検索フェーズＰ１と，検索対象の音声音楽信号と短時間窓音声音楽特徴量とを蓄積する蓄積フェーズＰ２からなる。
【００４３】
図２は，本実施の形態における前後の検索結果利用型類似音楽検索処理フローチャートである。この例では，検索キー入力処理ステップＳ１０において，放送中のＴＶ番粗の音声などのリアルタイムに流れている音声音楽を入力し，そこから逐次的に数秒程度の音声音楽信号を検索キーとして切り出す処理を行い，検索キー音声音楽信号を得る。
【００４４】
次に，特徴量抽出処理ステップＳ２０において，短時間窓音声音楽特徴量抽出部（検索フェーズ）１１は，約２０ミリ秒から４０ミリ秒程度の短時間窓を少しずつずらしながら，検索キー入力処理ステップＳ１０で得られた検索キー音声音楽信号から音声音楽信号をＭ個切り出し，その切り出した音声音楽信号からＭ個の短時間窓音声音楽特徴量を抽出する。
【００４５】
ここで，短時間窓音声音楽特徴量としては，例えば，非特許文献４に述べられているメル周波数ケプストラム係数や，フィルタバンク分析による各帯域の音声パワーや，非特許文献５に述べられている重み付きケプストラム係数等を用いることができる。なお，短時間窓音声音楽特徴量は，多次元ベクトルとして表される。
【００４６】
類似検索処理ステップＳ３０による検索のために，あらかじめ短時間窓音声音楽特徴量抽出部（蓄積フェーズ）１６が，長時間の検索対象音声音楽信号から上記特徴量抽出処理ステップＳ２０の特徴量抽出処理と同様にして短時間窓音声音楽特徴量を抽出し，蓄積部１７が，抽出された短時間窓音声音楽特徴量を記憶部１８に蓄積しておく。また，それらの短時間窓音声音楽特徴量から，非特許文献６に述べられているＳＲ−ｔｒｅｅや，非特許文献７に述べられているＡ−ｔｒｅｅなどの多次元空間インデックスを構成しておく。
【００４７】
類似検索処理ステップＳ３０において，短時間窓音声音楽特徴量類似検索部１２は，検索キーから抽出されたＭ個の短時間窓音声音楽特徴量を入力し，そのＭ個の短時間窓音声音楽特徴量からＮ個（Ｎ＜Ｍ）選択し，そのＮ個の短時間窓音声音楽特徴量に類似する検索対象中の短時間窓音声音楽特徴量を，多次元空間インデックスを使って高速に検索する。Ｍ個の短時間窓音声音楽特徴量からＮ個選択する方法としては，例えば，Ｍ個の中からＭ／Ｎ個おきに選択する方法などを用いることができる。検索キーの選択されたＮ個の短時間窓音声音楽特徴量ごとに，部分類似度の高い検索対象中の短時間窓音声音楽特徴量のリストを作成する。
【００４８】
部分類似度は，短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いほど高いものとする。なお，多次元空間インデックスを使うことで，使わない場合と比較した時に約１０倍高速に検索できていることが確認されている。
【００４９】
また，例えばＭ＝３００，Ｎ＝１０とすると，検索対象中の短時間窓音声音楽特徴量を検索する回数が３０分の１となり，検索キーの全ての短時間窓音声音楽特徴量を使う場合に比べて，３０倍高速に検索できることになる。
【００５０】
続いて，比較統合処理ステップＳ４０に進む。図３は，本実施の形態における比較統合処理フローチャートである。本実施の形態１における音声音楽情報比較統合部１３による比較統合処理ステップＳ４０は，図３のフローチャートを用いて詳細に説明する。
【００５１】
ステップＳ４１０において，類似検索処理ステップＳ３０で得られた類似検索の結果の部分類似度の高い短時間窓音声音楽特徴量のリストを入力し，検索キーの短時間窓音声音楽特徴量の位置と，対応する部分類似度の高い検索対象中の短時間窓音声音楽特徴量の位置とが同じ位置になるように合わせ，検索対象音声音楽信号から検索キーと同一の長さの音声音楽信号を切り出して正解候補音声音楽区間を作成する。これを入力されたすべての部分類似度の高い短時間窓音声音楽特徴量について行い，正解候補音声音楽区間のリストを作成する。
【００５２】
図４は，上記ステップＳ４１０の処理における検索対象からの正解候補音声音楽区間の切り出しを説明する図である。検索キー音声音楽信号における０，１，…，９および検索対象音声音楽信号におけるａ，ｂ，…は，それぞれ短時間窓音声音楽特徴量を表している。まず，図４（Ａ）のように，検索キー音声音楽信号中の短時間窓音声音楽特徴量の位置と，類似度が高い検索対象音声音楽信号中の短時間窓音声音楽特徴量の位置とを合わせる。図４（Ａ）の例では，検索キー短時間窓音声音楽特徴量「４」と検索対象の短時間窓音声音楽特徴量「ｈ」との類似度が高いので，その位置を合わせる。
【００５３】
次に，図４（Ｂ）のように，検索対象音声音楽信号から，検索キー音声音楽信号と同じ長さの区間を正解候補音声音楽区間として切り出す。図４（Ｂ）の例では，検索対象音声音楽信号（「ａ」〜…）から，検索キー音声音楽信号（「０」〜「９」）と同じ長さの区間（「ｄ」〜「ｍ」）が正解候補音声音楽区間として切り出される。
【００５４】
次に，図３のステップＳ４２０において，正解候補音声音楽区間のリストを入力し，そのリスト中の最上位にある正解候補音声音楽区間中の短時間窓音声音楽特徴量を読み込む。また，ステップＳ４３０において，ステップＳ４２０で読み込まれた正解候補音声音楽区間のリストの最上位の正解候補音声音楽区間をリストから削除する。
【００５５】
続いて，ステップＳ４４０において，ステップＳ４２０で読み込まれた正解候補音声音楽区間の全体の短時間窓音声音楽特徴量を入力し，それと検索キー全体の短時間窓音声音楽特徴量との全体類似度を計算する。音声音楽情報比較統合部１３は，この正解候補音声音楽区間と全体類似度の組を蓄積部１７に出力し，蓄積部１７はそれらを記憶部１８に保持する。
【００５６】
全体類似度の計算方法としては，例えば次のような方法を用いることができる。検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離の近いものの上位何個かの和をとり，その和が小さいものほど全体類似度が高いものとする。
【００５７】
すなわち，例えば検索キー音声音楽信号から短時間窓で切り出した音声音楽信号が３００個である場合に，検索キーと正解候補音声音楽区間との間において，短時間窓音声音楽特徴量を表す多次元ベクトル間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離が近い値の上位１００個だけの和を検索キーと正解候補音声音楽区間との距離とし，その距離が近いものほど全体類似度が高いものであると定義する。
【００５８】
これにより，雑音が入っていない部分や雑音の影響が少ない部分だけを扱って全体類似度の計算ができるため，非定常な雑音の影響を低減した検索をすることができる。なお，距離の近い上位のもののうち，いくつの距離の和とするかは，あらかじめ設定しておくものとする。上位何個の和を全体類似度の距離として用いるかを，ユーザが設定できるようにするためのＧＵＩ（Graphical User Interface）を設ける実施も好適である。短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いもののうちの和をとる個数を，雑音が多いときは少なく，雑音が少ないときは多くすることで，検索精度をさらに向上させることが可能である。
【００５９】
図５に従って全体類似度の計算方法の具体例を説明する。図５の例では，まず，検索キーと正解候補音声音楽区間との部分類似度を計算し，部分類似度の距離が小さい上位６件（「３」，「４」，「５」，「７」，「９」，「１０」）の和を，検索キーと正解候補音声音楽区間との全体類似度の距離としている。これによって，雑音の影響により部分類似度の距離が大きい部分（「１」，「２」，「６」，「８」）を除くことができ，非定常な雑音があっても類似する音声音楽信号を検索することができる。
【００６０】
図３のステップＳ４５０において，正解候補音声音楽区間のリストを入力し，このリストがすでに空であれば，ステップＳ４６０に進む。空でなければステップＳ４２０に戻り，同様に処理を繰り返す。
【００６１】
すべての正解候補音声音楽区間について，ステップＳ４２０〜Ｓ４４０の処理が終了し，正解候補音声音楽区間のリストが空になったならば，ステップＳ４６０では，ステップＳ４４０において記憶部１８に保持されたすべての正解候補音声音楽区間とその全体類似度の組を蓄積部１７から入力し，それらを全体類似度の高い順に並び替えてリストを作成する。
【００６２】
これらのステップＳ４１０からステップＳ４６０までの処理を行うことで，図２のフローチャートの比較統合処理ステップＳ４０は，類似検索処理ステップＳ３０の類似検索の結果の部分類似度の高い短時間窓音声音楽特徴量のリストを入力し，全体類似度の高い順に並び替えられた正解候補音声音楽区間のリストを出力することができる。
【００６３】
続いて，前後検索結果利用処理ステップＳ５０に進む。図６は，本実施の形態における前後検索結果処理フローチャートである。本実施の形態１における前後検索結果利用部１４による前後検索結果利用処理ステップＳ５０は，図６のフローチャートを用いて詳細に説明する。
【００６４】
ステップＳ５１０では，検索結果蓄積部１５内に過去の検索結果のリストが蓄積されている場合には，ステップＳ５２０に進み，蓄積されていない場合には，ステップＳ５８０に進む。
【００６５】
ステップＳ５２０では，過去の検索結果を利用して検索キーと全体類似度の高い音声音楽区間を推定する。検索結果蓄積部１５に蓄積されているｉ回前の過去の検索結果のリストとｉ回前の過去の検索キーのそれぞれＭ個の短時間窓音声音楽特徴量を入力とし，図７のように，ｉ回前の過去の検索結果リストの音声音楽区間の始点の時刻から検索キーの長さのｉ倍後の時刻を計算し，その時刻を始点とした音声音楽区間を全体類似度が高いと推定し，その音声音楽区間を切り出して今回の検索キーとの全体類似度を計算する。
【００６６】
ｉ−１，ｉ−２，…，２，１回前の検索結果についても同様に音声音楽区間を推定し，全体類似度を計算する。これらの音声音楽区間を全体類似度の高い順にソートしたリストを過去の検索結果を利用した検索結果のリストとして出力することにより本ステップは実施可能である。
【００６７】
ステップＳ５３０では，前記比較統合処理ステップＳ４０で出力された検索結果のリストとステップＳ５２０で出力された過去の検索結果を利用した検索結果のリストを入力として，その二つのリストを統合して全体類似度の高い順にソートしたリストを今回の検索結果のリストとして出力することにより本ステップは実施可能である。
【００６８】
ステップＳ５４０では，ステップＳ５２０で出力された過去の検索結果を利用した検索結果のリストとステップＳ５３０で出力された今回の検索結果のリストを入力とし，今回の検索結果のリストの最上位の音声音楽区間が過去の検索結果を利用した検索結果のリストに含まれる場合はステップＳ５６０に進み，含まれない場合はステップＳ５５０に進む。
【００６９】
ステップＳ５５０では，今回の検索結果を利用して過去の検索結果を更新する。検索結果蓄積部１５内の過去の検索結果のリストと過去の検索キーとステップＳ５３０で出力された今回の検索結果のリストを入力とし，図８のように，今回の検索結果のリストの音声音楽区間の始点から検索キーの長さのｉ倍前の時刻を計算し，この時刻を始点とする音声音楽区間を全体類似度が高いと推定し，その音声音楽区間を切り出してｉ回前の過去の検索キーとの全体類似度を計算する。この音声音楽区間を今回の検索結果を利用したｉ回前の検索結果とする。
【００７０】
この検索結果の全体類似度とｉ回前の過去の検索結果のリストの最上位の全体類似度を比較して，今回の検索結果を利用したｉ回前の検索結果の方が全体類似度が高い場合には，ｉ回前の過去の検索結果のリストの最上位に今回の検索結果を利用したｉ回前の検索結果を挿入し，ｉ回前の過去の検索結果のリストを更新する。
【００７１】
ｉ−１，ｉ−２，…，２，１回前の過去の検索結果についても同様にして，今回の検索結果を利用した検索結果の方が全体類似度が高い場合には，それぞれの過去の検索結果のリストの最上位に挿入して，過去の検索結果のリストを更新する。この更新された過去の検索結果のリストを検索結果蓄積部１５に出力することで，本ステップは実施可能である。
【００７２】
本実施の形態では，今回の検索結果を利用して過去の検索結果のリストを更新する際に，処理の高速化を考慮し，検索結果のリストの最上位との比較と検索結果のリストの最上位への挿入とを行っているが，全体類似度の高い順にソートする方法を用いて，今回の検索結果を過去の検索結果に反映する方法を用いてもよい。
【００７３】
ステップＳ５６０では，検索結果蓄積部１５内に保持されている過去の検索結果のリストの個数ｉと本装置において何回前までの過去の検索結果を利用するかを決定するパラメータｊを入力とし，ｉ＝ｊとなる場合には，ステップＳ５７０に進み，ｉ＜ｊである場合には，ステップＳ５８０に進む。
【００７４】
ステップＳ５７０では，検索結果蓄積部１５内のｊ回前の過去の検索結果のリストを出力する。さらに，検索結果蓄積部１５内からｊ回前の過去の検索結果のリストとｊ回前の過去の検索キーを破棄することで，本ステップは実施可能である。
【００７５】
ステップＳ５８０では，ステップＳ５３０より出力される今回の検索結果のリスト，または検索結果蓄積部１５に過去の検索結果のリストが蓄積されていなかった場合には前記比較統合処理ステップＳ４０から出力される検索結果のリストと，前記特徴量抽出ステップＳ２０で出力される今回の検索キーとを入力とし，それらを検索結果蓄積部１５に出力して蓄積することにより本ステップは実施可能である。
【００７６】
これにより，長時間の音声音楽信号中の突発的な非定常雑音を含む音楽が，検索キーの長さよりも長い時間使われている場合には，そこから逐次的に切り出される検索キーはその隣り合う検索キー同士が同一音楽でつながっており，従って検索したいそれぞれの音声音楽区間も同一の音楽でつながることになるため，前後の検索キーの検索結果を利用することで検索精度を向上できる。よって，検索キーから抽出される短時間窓音声音楽特徴量の一部だけしか使わなくても検索精度が維持でき，その結果，短時間窓音声音楽特徴量の類似検索回数が少なくなり検索時間の高速化が可能となる。
【００７７】
その後，図２の表示出力処理ステップＳ６０において，前記前後検索結果利用処理ステップＳ５０から検索結果のリストが出力された場合には，そのリストを，ディスプレイ等の音声音楽表示出力装置２１に出力し，マウス等のポインティングデバイスで選択されたリスト中の音声音楽区間の音声音楽信号を，スピーカー等の音声音楽表示出力装置２１で出力する。
【００７８】
検索キー終了判定の処理ステップＳ７０では，検索キー音声音楽信号入力装置２０から入力される音声音楽信号からもうこれ以上検索キーの長さの音声音楽信号を切り出せなくなった場合には，前後の検索結果利用型類似音楽検索装置１０の動作を終了する。まだ検索キーの長さ以上の音声音楽信号が残っていて切り出せる場合には，ステップＳ１０に戻る。
【００７９】
〔実施の形態２〕
本実施の形態２では，前述した実施の形態１の検索時間をより高速化するため，類似検索する際に，短時間窓音声音楽特徴量をそのまま使わずに，時間順に並んだ複数個の短時間窓音声音楽特徴量の平均となる平均短時間窓音声音楽特徴量を使って類似検索を行う。平均短時間窓音声音楽特徴量は，それぞれの短時間窓音声音楽特徴量を表す多次元ベクトルの平均ベクトルにより表される。これにより類似検索の回数の削減と検索対象のデータ数が削減されるため，処理の高速化が図れる。
【００８０】
本実施の形態２における前後の検索結果利用型類似音楽検索装置の構成例は，前述した実施の形態１と同様に，図１に示される構成例となる。また，本実施の形態２における前後の検索結果利用型類似音楽検索処理フローチャートは，前述した実施の形態１と同様に，図２に示されるフローチャートとなる。以下，本実施の形態２について，図２のフローチャートを用いて説明するが，前述した実施の形態１とは，類似検索処理ステップＳ３０と比較統合処理ステップＳ４０とが異なる。
【００８１】
検索キー入力処理ステップＳ１０，特徴量抽出処理ステップＳ２０，前後検索結果利用処理ステップＳ５０，表示出力処理ステップＳ６０，検索キー終了判定の処理ステップＳ７０については，前述した実施の形態１における処理と同様の処理であるので，説明を省略する。
【００８２】
図９は，本実施の形態２における類似検索処理フローチャートである。本実施の形態２における類似検索処理ステップＳ３０の処理を，図９のフローチャートを用いて詳細に説明する。
【００８３】
類似検索処理のために，あらかじめ以下のステップＳ３１０〜Ｓ３３０による蓄積フェーズＰ２を実行する。ステップＳ３１０において，短時間窓音声音楽特徴量抽出部（蓄積フェーズ）１６が，検索対象となる長時間の音声音楽信号を入力し，特徴量抽出処理ステップＳ２０と同様にして短時間窓音声音楽特徴量を抽出し，蓄積部１７が，抽出された短時間窓音声音楽特徴量を記憶部１８に蓄積しておく。
【００８４】
ステップＳ３２０において，検索対象音声音楽信号から抽出したすべての短時間窓音声音楽特徴量を入力し，それらの短時間窓音声音楽特徴量の時間順に並んだＫ個分ずつの平均をとって平均短時間窓音声音楽特徴量を作成する。例えば，Ｋ＝６とした場合，時間順に並ぶ６個ずつの短時間窓音声音楽特徴量の平均をとったものを平均短時間窓音声音楽特徴量とする。
【００８５】
ステップＳ３３０において，ステップＳ３２０で作成した平均短時間窓音声音楽特徴量を入力し，それらの平均短時間窓音声音楽特徴量から，前述した実施の形態１と同様に，多次元空間インデックスを構築しておく。
【００８６】
検索フェーズＰ１では，ステップＳ３４０において，検索キーの短時間窓音声音楽特徴量の時間順に並んだＫ個分ずつの平均をとり，平均短時間窓音声音楽特徴量を作成する。例えば，Ｋ＝６とした場合，時間順に並ぶ６個ずつの短時間窓音声音楽特徴量の平均をとったものを平均短時間窓音声音楽特徴量とする。
【００８７】
例えば，検索キーから抽出される短時間窓音声音楽特徴量がＭ＝３００個とし，作成される平均短時間窓音声音楽特徴量をＬ個とすると，Ｌ＝Ｍ／Ｋ＝３００／６＝５０個となる。
【００８８】
ステップＳ３５０において，短時間窓音声音楽特徴量類似検索部１２は，検索キーのＬ個の平均短時間窓音声音楽特徴量を入力し，そのＬ個の平均短時間窓音声音楽特徴量の中からＰ個選択し，そのＰ個の平均短時間窓音声音楽特徴量と類似するものを，蓄積されている検索対象の平均短時間窓音声音楽特徴量の中から検索し，検索キーの選択されたＰ個の平均短時間窓音声音楽特徴量ごとに，部分類似度の高い平均短時間窓音声音楽特徴量のリストを作成する。Ｌ個の平均短時間窓音声音楽特微量からＰ個選択する方法としては，例えば，Ｌ個の中からＬ／Ｐ個おきに選択する方法などを用いることができる。
【００８９】
ここでの部分類似度は，平均短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いほど高いものとする。この際に，ステップＳ３３０で構築した多次元空間インデックスを使用することで高速に検索することができる。
【００９０】
また，例えば，Ｋ＝６として短時間窓音声音楽特徴量の６個分の平均を平均短時間窓音声音楽特徴量とすると，前述した実施の形態１と比較して多次元インデックスを構成するデータ数は６分の１となり，さらに多次元インデックスを用いて行う検索回数も６分の１となることにより，検索の高速化が図られる。
【００９１】
さらに，例えばＬ＝５０，Ｐ＝５とすると，検索対象中の平均短時間窓音声音楽特徴量を検索する回数が１０分の１となり，検索キーの全ての平均短時間窓音声音楽特微量を使う場合と比べて，１０倍高速に検索できることになる。前記前後検索結果利用処理ステップＳ５０により，このように検索に使用する平均短時間窓音声音楽特微量の数を減らしても，前後の検索キーによる検索結果を利用することで検索精度は維持できる。
【００９２】
本実施の形態２における比較統合処理ステップＳ４０については，図３に示すフローチャートのステップＳ４１０の処理（正解候補音声音楽区間のリストを作成する処理）だけが前述した実施の形態１と異なる。ステップＳ４２０からステップＳ４６０までについては，前述した実施の形態１と同様であるので説明を省略する。
【００９３】
以下，本実施の形態２における平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間のリストを作成する方法の例を説明するが，平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間のリストを作成する方法は，以下の例に限られるものではない。
【００９４】
図１０は，本実施の形態２における正解候補音声音楽区間リスト作成処理フローチャートである。本実施の形態２における正解候補音声音楽区間のリストを作成する処理（前述した実施の形態１において，図３のステップＳ４１０に該当する処理）は，図１０のフローチャートを用いて詳細に説明する。
【００９５】
ステップＳ４１１において，本実施の形態２における類似検索処理ステップＳ３０の結果である平均短時間窓音声音楽特徴量のリストを入力し，このリストの最上位の平均短時間窓音声音楽特徴量を読み込む。また，ステップＳ４１２において，ステップＳ４１１で読み込んだ平均短時間窓音声音楽特徴量のリストの最上位の平均短時間窓音声音楽特徴量をリストから削除する。
【００９６】
ステップＳ４１３において，ステップＳ４１１で読み込んだ平均短時間窓音声音楽特徴量を入力し，この平均短時間窓音声音楽特徴量の平均をとった元であるＫ個の短時間窓音声音楽特徴量を，記憶部１８から蓄積部１７を介して読み込む。
【００９７】
ステップＳ４１４において，平均をとった元のＫ個の短時間窓音声音楽特徴量ごとに，その平均をとった元の短時間窓音声音楽特徴量の位置が，検索キー中の対応する短時間窓音声音楽特徴量（例えば，平均をとった区間の中央の短時間窓音声音楽特徴量）と同じ位置になるように検索対象音声音楽信号の位置を合わせ，正解候補音声音楽区間を切り出す。切り出された正解候補音声音楽区間は合計でＫ個となる。
【００９８】
ステップＳ４１５において，Ｋ個の正解候補音声音楽区間を入力し，それらＫ個の正解候補音声音楽区間を正解候補音声音楽区間のリストに記載する。
【００９９】
ステップＳ４１６において，平均短時間窓音声音楽特徴量のリストを入力し，そのリストが空でなければＳ４１１に戻り，空になったならば正解候補音声音楽区間のリストを出力する。以上のステップＳ４１１〜Ｓ４１６の処理を，すべての平均短時間窓音声音楽特徴量のリストについて実行する。
【０１００】
図１１は，本実施の形態における類似度が高い平均短時間窓音声音楽特徴量から正解候補音声音楽区間を作成する例を説明する図である。図１１の例では，短時間窓音声音楽特徴量の３個（Ｋ＝３）の平均を平均短時間窓音声音楽特徴量としている。また，検索キーの対応する短時間窓音声音楽特徴量を，平均をとった区間の中央の短時間窓音声音楽特徴量としている。
【０１０１】
図中，「ｓＸ」（Ｘ＝０，１，２，…）は検索キーにおける短時間窓音声音楽特徴量を表し，「Ｍｅａｎ−ｓＸ」（Ｘ＝０，１，２，…）は検索キーにおける平均短時間窓音声音楽特徴量を表す。また，「ｔＸ」（Ｘ＝０，１，２，…）は検索対象における短時間窓音声音楽特徴量を表し，「Ｍｅａｎ−ｔＸ」（Ｘ＝０，１，２，…）は検索対象における平均短時間窓音声音楽特徴量を表す。
【０１０２】
図１１（Ａ）において，検索キー音声音楽信号の「Ｍｅａｎ−ｓ１」と検索対象音声音楽信号の「Ｍｅａｎ−ｔ３」との間の類似度が高いものとする。「Ｍｅａｎ−ｓ１」の元になっている短時間窓音声音楽特徴量は「ｓ３」，「ｓ４」，「ｓ５」であり，「Ｍｅａｎ−ｔ３」の元になっている短時間窓音声音楽特徴量は「ｔ９」，「ｔ１０」，「ｔ１１」である。検索キーの対応する短時間窓音声音楽特徴量を，平均をとった区間の中央の短時間窓音声音楽特徴量とすると，ここでは「ｓ４」である。
【０１０３】
これをもとに正解候補音声音楽区間を切り出す場合，図１１（Ｂ）に示すように，検索対象音声音楽信号の「ｔ９」，「ｔ１０」，「ｔ１１」の位置を，それぞれ検索キー音声音楽信号の「ｓ４」の位置に合わせて，「ｔ９」，「ｔ１０」，「ｔ１１」ごとに検索キーの長さと同じ長さで音声音楽信号を切り出し，正解候補音声音楽区間を作成する。Ｋ＝３であるので，「ｓ４」の位置に「ｔ９」を合わせたもの，「ｔ１０」を合わせたもの，「ｔ１１」を合わせたものの３つの正解候補音声音楽区間が作成される。
【０１０４】
以上の図１０，図１１によって，平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間を作成する方法の一例を示したが，これに限られるものではなく，例えば，検索キーの対応する短時間窓音声音楽特徴量を，平均をとった区間の中央の短時間窓音声音楽特徴量ではなく，他のものにすることも可能である。また，例えば図１１の例において，作成する正解候補音声音楽区間の数は，Ｋ＝３個に限らず，Ｋ＋２＝５個，Ｋ−１＝１個のように任意の数を設定することも可能である。
【０１０５】
【発明の効果】
本発明は，検索キーとそれと同じ長さに切り出された検索対象の音声音楽信号との全体類似度を表す距離を，短時間窓音声音楽特徴量間の部分類似度を表す距離のうち距離の近い上位のものだけの和とすることによって，非定常な雑音の影響を低減した音声音楽信号の類似検索が可能になるという効果を有する（課題１，課題３の解決）。
【０１０６】
また，短時間窓音声音楽特徴量間の部分類似度の高いものを検索する際に多次元空間インデックスを用いることにより，高速な検索ができるという効果を有する（課題２の解決）。
【０１０７】
さらに，本発明では，長時間の音声音楽信号中の突発的な非定常雑音を含む音楽が，検索キーの長さよりも長い時間使われている場合には，そこから逐次的に切り出される検索キーはその隣り合う検索キー同士が同一音楽でつながっており，従って検索したいそれぞれの音声音楽区間も同一の音楽でつながることに着目し，前後の検索キーの検索結果から正解の音声音楽区間を推定する手段を用いることで，検索精度を向上させることができる。
【０１０８】
従って，検索に使用する短時間窓音声音楽特徴量（または平均短時間窓音声音楽特徴量）の個数を削減することで個々の検索キーごとの検索精度が低下してしまったとしても，全体としての検索精度を維持することができる。すなわち，検索に使用する短時間窓音声音楽特徴量（または平均短時間窓音声音楽特徴量）を削減しないで検索する場合と，削減して検索してこの手段を適用した場合の検索精度を同程度に維持することが可能となる。
【０１０９】
よって，本発明によれば，検索精度を低下させずに，検索に使用する短時間窓音声音楽特徴量を削減することができ，これにより短時間窓音声音楽特徴量（平均短時間窓音声音楽特徴量）の検索回数が少なくなり検索時間の高速化が可能となるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態における前後の検索結果利用型類似音楽検索装置の構成例を示す図である。
【図２】本実施の形態における前後の検索結果利用型類似音楽検索処理フローチャートである。
【図３】本実施の形態における比較統合処理フローチャートである。
【図４】本実施の形態における検索対象からの正解候補音声音楽区間の切り出しを説明する図である。
【図５】本実施の形態における全体類似度の計算方法を説明する図である。
【図６】本実施の形態における前後検索結果処理フローチャートである。
【図７】過去の検索結果からの今回の検索キーと全体類似度が高いと推定される音声音楽期間の切り出しを説明する図である。
【図８】今回の検索結果からの過去の検索キーと全体類似度が高いと推定される音声音楽期間の切り出しを説明する図である。
【図９】本実施の形態における類似検索処理フローチャートである。
【図１０】正解候補音声音楽区間リスト作成処理フローチャートである。
【図１１】類似度が高い平均短時間窓音声音楽特徴量から正解候補音声音楽区間を作成する例を説明する図である。
【符号の説明】
Ｐ１ 検索フェーズ
Ｐ２ 蓄積フェーズ
１０ 前後の検索結果利用型類似音楽検索装置
１１ 短時間窓音声音楽特徴量抽出部（検索フェーズ）
１２ 短時間窓音声音楽特徴量類似検索部
１３ 音声音楽情報比較統合部
１４ 前後検索結果利用部
１５ 検索結果蓄積部
１６ 短時間窓音声音楽特徴量抽出部（蓄積フェーズ）
１７ 蓄積部
１８ 記憶部
２０ 検索キー音声音楽信号入力装置
２１ 音声音楽表示出力装置
２２ 検索対象音声音楽信号入力装置
Claims (8)
- 検索対象となる音声音楽信号から，検索キーとなる音声音楽信号と類似する音声音楽信号を検索する検索結果利用型類似音楽検索装置であって，
検索キーとするための音声音楽信号を入力し，該音声音楽信号から所定の長さの検索キーを順次切り出す検索キー入力手段と，
前記検索キーとなる音声音楽信号から短時間窓を用いて多次元ベクトルで表される短時間窓音声音楽特徴量を抽出する特徴量抽出手段と，
前記抽出された短時間窓音声音楽特徴量から所定の規則により選択した一部だけを用いて，蓄積された検索対象の音声音楽信号の短時間窓音声音楽特徴量の中から，部分類似度の高い短時間窓音声音楽特徴量を検索する類似検索手段と，
前記類似検索の結果により，前記検索キーとなる音声音楽信号中での短時間窓音声音楽特徴量の位置と，前記検索対象の音声音楽信号中での前記部分類似度が高い短時間窓音声音楽特徴量の位置とを合わせ，その位置をもとに，検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間を作成し，前記検索キーとなる音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する前記正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離が近いものの上位何個かの和をとり，その和が小さいものほど全体類似度が高いとして，前記正解候補音声音楽区間と前記検索キーとの全体類似度を計算して，今回の検索キーに対する検索結果とする比較統合手段と，
過去の検索キーの始点と前記今回の検索キーの始点との時間差をもとに，前記過去の検索キーに対する検索結果である音声音楽区間の始点から前記時間差だけ後の時刻を始点とする前記検索対象の音声音楽区間を切り出し，その音声音楽区間と前記今回の検索キーとの全体類似度を計算し，この結果と前記比較統合手段における検索結果を統合して全体類似度の高い順に並んだ音声音楽区間のリストを作成し，それを更新後の検索結果として前記今回の検索キーに対する検索結果を更新する前後検索結果利用手段と，
前記前後検索結果利用手段から出力される検索結果に基づき，前記全体類似度の高い音声音楽区間を出力する出力手段とを備える
ことを特徴とする検索結果利用型類似音楽検索装置。 - 請求項１に記載の検索結果利用型類似音楽検索装置において，
前記前後検索結果利用手段は，
さらに，前記更新された今回の検索キーに対する検索結果から，過去の検索キーの始点と前記今回の検索キーの始点との時間差をもとに，前記今回の検索キーに対する検索結果である音声音楽区間の始点から前記時間差だけ前の時刻を始点とする前記検索対象の音声音楽区間を切り出し，その音声音楽区間と前記過去の検索キーとの全体類似度を計算し，この結果を過去の検索キーに対する検索結果のリストに挿入して過去の検索結果も更新し，さらに，今回の検索キーに対する検索結果のリストと今回の検索キーとを蓄積し，過去の検索結果のリストの個数が一定数以上蓄積された場合にその最も古い検索結果のリストを出力する
ことを特徴とする検索結果利用型類似音楽検索装置。 - 請求項１または請求項２に記載の検索結果利用型類似音楽検索装置において，
前記類似検索手段は，
部分類似度の高い短時間窓音声音楽特徴量の検索において，短時間窓音声音楽特徴量の代わりに，時間順に並ぶＫ個（Ｋは２以上の任意の整数）ごとの短時間窓音声音楽特徴量の平均の値である平均短時間窓音声音楽特徴量を用いて，部分類似度の高い平均短時間窓音声音楽特徴量を検索し，
前記比較統合手段は，
前記正解候補音声音楽区間を作成する際に，前記短時間窓音声音楽特徴量の位置合わせに代えて，前記検索キーとなる音声音楽信号中での前記平均短時間窓音声音楽特徴量の算 出対象となった少なくとも一つの短時間窓音声音楽特徴量の位置と，前記検索対象の音声音楽信号中での前記部分類似度が高い平均短時間窓音声音楽特徴量の算出対象となった各短時間窓音声音楽特徴量の位置とを合わせる処理を行い，その位置をもとに，検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする検索結果利用型類似音楽検索装置。 - 検索対象となる音声音楽信号から，検索キーとなる音声音楽信号と類似する音声音楽信号を検索する検索結果利用型類似音楽検索処理方法であって，
検索キーとするための音声音楽信号を入力し，該音声音楽信号から所定の長さの検索キーを順次切り出す検索キー入力過程と，
前記検索キーとなる音声音楽信号から短時間窓を用いて多次元ベクトルで表される短時間窓音声音楽特徴量を抽出する特徴量抽出過程と，
前記抽出された短時間窓音声音楽特徴量から所定の規則により選択した一部だけを用いて，蓄積された検索対象の音声音楽信号の短時間窓音声音楽特徴量の中から，部分類似度の高い短時間窓音声音楽特徴量を検索する類似検索過程と，
前記類似検索の結果により，前記検索キーとなる音声音楽信号中での短時間窓音声音楽特徴量の位置と，前記検索対象の音声音楽信号中での前記部分類似度が高い短時間窓音声音楽特徴量の位置とを合わせ，その位置をもとに，検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間を作成し，前記検索キーとなる音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと，それに対応する前記正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を，対応する短時間窓音声音楽特徴量ごとに計算し，それらの距離のうち距離が近いものの上位何個かの和をとり，その和が小さいものほど全体類似度が高いとして，前記正解候補音声音楽区間と前記検索キーとの全体類似度を計算して，今回の検索キーに対する検索結果とする比較統合過程と，
過去の検索キーの始点と前記今回の検索キーの始点との時間差をもとに，前記過去の検索キーに対する検索結果である音声音楽区間の始点から前記時間差だけ後の時刻を始点とする前記検索対象の音声音楽区間を切り出し，その音声音楽区間と前記今回の検索キーとの全体類似度を計算し，この結果と前記比較統合過程で求めた検索結果を統合して全体類似度の高い順に並んだ音声音楽区間のリストを作成し，それを更新後の検索結果として前記今回の検索キーに対する検索結果を更新する前後検索結果利用過程と，
前記前後検索結果利用過程から出力される検索結果に基づき，前記全体類似度の高い音声音楽区間を出力する出力過程とを有する
ことを特徴とする検索結果利用型類似音楽検索処理方法。 - 請求項４に記載の検索結果利用型類似音楽検索処理方法において，
前記前後検索結果利用過程では，
さらに，前記更新された今回の検索キーに対する検索結果から，過去の検索キーの始点と前記今回の検索キーの始点との時間差をもとに，前記今回の検索キーに対する検索結果である音声音楽区間の始点から前記時間差だけ前の時刻を始点とする前記検索対象の音声音楽区間を切り出し，その音声音楽区間と前記過去の検索キーとの全体類似度を計算し，この結果を過去の検索キーに対する検索結果のリストに挿入して過去の検索結果も更新し，さらに，今回の検索キーに対する検索結果のリストと今回の検索キーとを蓄積し，過去の検索結果のリストの個数が一定数以上蓄積された場合にその最も古い検索結果のリストを出力する
ことを特徴とする検索結果利用型類似音楽検索処理方法。 - 請求項４または請求項５に記載の検索結果利用型類似音楽検索処理方法において，
前記類似検索過程では，
部分類似度の高い短時間窓音声音楽特徴量の検索において，短時間窓音声音楽特徴量の代わりに，時間順に並ぶＫ個（Ｋは２以上の任意の整数）ごとの短時間窓音声音楽特徴量の平均の値である平均短時間窓音声音楽特徴量を用いて，部分類似度の高い平均短時間窓音声音楽特徴量を検索し，
前記比較統合過程では，
前記正解候補音声音楽区間を作成する際に，前記短時間窓音声音楽特徴量の位置合わせに代えて，前記検索キーとなる音声音楽信号中での前記平均短時間窓音声音楽特徴量の算出対象となった少なくとも一つの短時間窓音声音楽特徴量の位置と，前記検索対象の音声音楽信号中での前記部分類似度が高い平均短時間窓音声音楽特徴量の算出対象となった各短時間窓音声音楽特徴量の位置とを合わせる処理を行い，その位置をもとに，検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする検索結果利用型類似音楽検索処理方法。 - 請求項４から請求項６までのいずれか１項に記載された検索結果利用型類似音楽検索処理方法をコンピュータに実行させるための検索結果利用型類似音楽検索プログラム。
- 請求項４から請求項６までのいずれか１項に記載された検索結果利用型類似音楽検索処理方法をコンピュータに実行させるための検索結果利用型類似音楽検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003126208A JP4125990B2 (ja) | 2003-05-01 | 2003-05-01 | 検索結果利用型類似音楽検索装置，検索結果利用型類似音楽検索処理方法，検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003126208A JP4125990B2 (ja) | 2003-05-01 | 2003-05-01 | 検索結果利用型類似音楽検索装置，検索結果利用型類似音楽検索処理方法，検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004333605A JP2004333605A (ja) | 2004-11-25 |
| JP4125990B2 true JP4125990B2 (ja) | 2008-07-30 |
Family
ID=33503208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003126208A Expired - Fee Related JP4125990B2 (ja) | 2003-05-01 | 2003-05-01 | 検索結果利用型類似音楽検索装置，検索結果利用型類似音楽検索処理方法，検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4125990B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112379857A (zh) * | 2020-11-24 | 2021-02-19 | 惠州Tcl移动通信有限公司 | 音频数据处理方法、装置、存储介质及移动终端 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5213797B2 (ja) * | 2009-06-03 | 2013-06-19 | 日本電信電話株式会社 | メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム |
| JP5599363B2 (ja) * | 2011-05-02 | 2014-10-01 | 株式会社Ｐｈｏｔｏｎｉｃ Ｓｙｓｔｅｍ Ｓｏｌｕｔｉｏｎｓ | ハミング空間検索装置、ハミング空間検索方法、ハミング空間検索プログラムおよび記録媒体 |
| CN102956237B (zh) | 2011-08-19 | 2016-12-07 | 杜比实验室特许公司 | 测量内容一致性的方法和设备 |
| JP6031475B2 (ja) * | 2014-08-21 | 2016-11-24 | 株式会社Ｐｈｏｔｏｎｉｃ Ｓｙｓｔｅｍ Ｓｏｌｕｔｉｏｎｓ | ハミング空間検索装置、ハミング空間検索方法、ハミング空間検索プログラムおよび記録媒体 |
| US11461649B2 (en) * | 2020-03-19 | 2022-10-04 | Adobe Inc. | Searching for music |
-
2003
- 2003-05-01 JP JP2003126208A patent/JP4125990B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112379857A (zh) * | 2020-11-24 | 2021-02-19 | 惠州Tcl移动通信有限公司 | 音频数据处理方法、装置、存储介质及移动终端 |
| CN112379857B (zh) * | 2020-11-24 | 2022-01-04 | 惠州Tcl移动通信有限公司 | 音频数据处理方法、装置、存储介质及移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004333605A (ja) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105723449B (zh) | 言语内容分析***和言语内容分析方法 | |
| JP3488174B2 (ja) | 内容情報と話者情報を使用して音声情報を検索するための方法および装置 | |
| US7788279B2 (en) | System and method for storing and retrieving non-text-based information | |
| US6633845B1 (en) | Music summarization system and method | |
| US8249870B2 (en) | Semi-automatic speech transcription | |
| KR100446627B1 (ko) | 음성대화 인터페이스를 이용한 정보제공장치 및 그 방법 | |
| EP1244093B1 (en) | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same | |
| US7590605B2 (en) | Lattice matching | |
| US20090234854A1 (en) | Search system and search method for speech database | |
| US20080270344A1 (en) | Rich media content search engine | |
| US20060206324A1 (en) | Methods and apparatus relating to searching of spoken audio data | |
| JP3467415B2 (ja) | 音楽検索装置，音楽検索方法および音楽検索プログラムを記録した記録媒体 | |
| CN1682279A (zh) | 利用语音识别访问和检索媒体文件的***和方法 | |
| WO2006097299A1 (en) | Method for classifying audio data | |
| JP3999674B2 (ja) | 類似音声音楽検索装置，類似音声音楽検索プログラムおよびそのプログラムの記録媒体 | |
| US8060368B2 (en) | Speech recognition apparatus | |
| EP1898320A1 (en) | Musical composition searching device, musical composition searching method, and musical composition searching program | |
| JP4125990B2 (ja) | 検索結果利用型類似音楽検索装置，検索結果利用型類似音楽検索処理方法，検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体 | |
| Wilcox et al. | Annotation and segmentation for multimedia indexing and retrieval | |
| EP1531405B1 (en) | Information search apparatus, information search method, and information recording medium on which information search program is recorded | |
| Pauwels et al. | Confidence Measures and Their Applications in Music Labelling Systems Based on Hidden Markov Models. | |
| EP1531457B1 (en) | Apparatus and method for segmentation of audio data into meta patterns | |
| Lu et al. | Audio keywords discovery for text-like audio content analysis and retrieval | |
| JP4125989B2 (ja) | 類似音声音楽検索装置，類似音声音楽検索処理方法，類似音声音楽検索プログラムおよびそのプログラムの記録媒体 | |
| CN111737513B (zh) | 一种针对海量音乐数据的哼唱检索*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050715 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080509 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |