JP4394083B2 - 信号検出装置、信号検出方法、信号検出プログラム及び記録媒体 - Google Patents

Description

本発明は、入力される入力信号に類似の信号を探索する信号探索技術に係わり、特に、信号が蓄積されている蓄積信号データベースから、入力信号から抽出した検索用キー信号に類似する信号を含む区間を検出（信号検出）する信号検出装置、信号検出方法、信号検出プログラム及び記録媒体に関する。
例えば、上記信号探索技術は、テレビ放送において使われた音楽やビデオクリップの検出およびリスト作成、またはラジオ放送において使われた音楽の検出およびリスト作成に利用される。

従来の上記信号探索技術としては、ある特定の信号（以下、参照信号とする）が与えられたとき、データベースに蓄積された複数の信号（以下、蓄積信号とする）から、参照信号が含まれる区間を検出する方法が用いられている。この検出方法として、時系列アクティブ探索法（例えば、特許文献１参照、ＴＡＳ）、分割一致探索法（例えば、特許文献２参照、ＤＡＬ−１）、より高速な分割一致探索法（例えば、特許文献３参照、ＤＡＬ−２）、バイナリエリア照合法（例えば、特許文献４、ＢＡＭ）が提案されている。

そして、複数の蓄積信号が登録された蓄積信号データベースを有した探索装置に対して、入力信号が与えられると、入力信号から探索用キー信号を順次切り出し、この切り出した探索用キー信号を参照信号として、上記蓄積信号データベースの蓄積信号中のある区間に類似した区間を有する蓄積信号を探索する。これにより、蓄積信号データベースに登録されている蓄積信号が入力信号の探索用キー信号を切り出した箇所にて使われていた場合に、この蓄積信号が入力信号の探索用キー信号を切り出した箇所で使われているとして検出することができる。

上述したように、例えば、入力信号をテレビ放送の音声信号とし、この入力信号から５秒の長さの探索用キー信号を、１秒ずらしながら順次切り出し、切り出された各探索用キー信号に含まれる音楽を、音楽音響信号を蓄積信号とする蓄積信号データベースから探索する。この探索結果により、蓄積信号データベースに登録されている音楽が入力信号のどの時刻からどの時刻まで使われていたかを示すプレイリストを作成することができる。また、映像信号を用いることにより、上述した音楽の場合と同様な処理により映像コンテンツのプレイリストを作成することもできる。
なお、プレイリストの時刻情報の細かさは、探索用キー信号の切り出し間隔に依存し、探索用キー信号の切り出し間隔が細かいほど、プレイリストの時刻情報も細かく検出することができる。
特許第３０６５３１４号 特開２００４−１０２０２３号公報 ＷＯ２００６／００４０５０ ＷＯ２００６／００６５２８

従来、上述したように信号検出を行い、音楽コンテンツや映像コンテンツなどのプレイリストを作成することが考えられる。
しかしながら、上記従来例においては、探索用キー信号の切り出し間隔が小さくなればなるほど、探索用キー信号の個数が増加、すなわち探索用キーを用いた探索処理を行う回数が増加する。
この結果、従来例においては、プレイリストの時刻情報も細かく検出しようとする際、探索用キー信号の切り出し間隔を小さくするため、信号検出に時間がかかるという問題点があった。

また、同様に、従来例においては、蓄積信号データベースに登録されている蓄積信号の数が増加するに従い、各探索用キー信号について、類似する信号の蓄積信号データベースからの探索に要するするのにかかる時間が増加し、信号検出に必要な時間が増大する問題点があった。
本発明は、このような事情に鑑みてなされたものであり、粗い間隔で探索用キー信号を入力信号から切り出し、少ない数の探索用キー信号で蓄積信号データベースから各探索用キー信号に類似する蓄積信号を選び、これらの少数の蓄積信号を集めたデータベースから、密な間隔で入力信号から切り出した探索用キー信号について類似する信号を探索することで、信号検出をより高速に行う信号検出装置、信号検出方法、信号検出プログラム及び記録媒体を提供することを目的としている.

本発明の信号検出装置は、入力信号の所定の区間と、予め登録されている蓄積信号の一部または全部とを比較し、前記入力信号に類似する蓄積信号を複数の探索段階にて検出していく信号検出装置であって、蓄積信号を登録した蓄積信号データベースと、
上位探索キー信号を、予め定められた間隔にて前記入力信号から切り出す上位探索キー信号切り出し部と、前記上位探索キー信号に類似する区間を含む蓄積信号を、前記蓄積信号データベースから探索し、探索された蓄積信号を出力する上位探索部と、
前記上位探索部が出力した蓄積信号を集めた下位蓄積信号データベースを作成する下位蓄積信号データベース作成部と、下位探索キー信号を、前記上位探索キー信号切り出し部における間隔よりも狭い間隔にて、前記入力信号のうち前記上位探索部にて類似する区間を含む蓄積信号が探索された上位探索キー信号の切り出し箇所の近傍の領域のみから切り出す下位探索キー信号切り出し部と、前記下位探索キー信号に類似する区間を含む蓄積信号を、前記下位蓄積信号データベースから探索する下位探索部とを備えることを特徴とする。

本発明の信号検出方法は、入力信号の所定の区間と、蓄積信号データベースに予め登録されている蓄積信号の区間とを比較し、前記入力信号に類似する蓄積信号を複数の探索段階にて検出していく信号検出方法であって、前記複数の探索段階は、１つの粗探索段階と前記粗探索段階に引き続いて順番に実行される１以上の密探索段階とからなり、前記粗探索段階は、上位探索キー信号切り出し部が上位探索キー信号を、予め定められた間隔にて前記入力信号の複数箇所から切り出す上位探索キー信号切り出し過程と、上位探索部が前記上位探索キー信号に類似する区間を含む蓄積信号を、前記蓄積信号データベースから探索し、探索された蓄積信号を出力する上位探索過程と、を含み、前記密探索段階は、下位蓄積信号データベース作成部が当該密探索段階の直前に実行された探索段階の探索により探索された蓄積信号を集めた下位蓄積信号データベースを作成する下位蓄積信号データベース作成過程と、下位探索キー信号切り出し部が下位検索キー信号を、前記入力信号のうち、直前に実行された探索段階が粗探索段階であれば、前記粗探索段階にて類似する区間を含む蓄積信号が探索された上位探索キー信号の切り出し箇所の近傍の領域のみから、また直前に実行された探索段階が密探索段階であれば、前記直前の密探索段階にて類似する区間を含む蓄積信号が探索された下位探索キー信号の切り出し箇所の近傍の領域のみから、当該密探索段階の直前に実行された探索段階における信号の切り出し間隔よりも狭い間隔にて切り出す下位探索キー信号切り出し過程と、下位探索部が前記下位探索キー信号に類似する区間を含む蓄積信号を、前記下位蓄積信号データベースから探索する下位探索過程と
を含むことを特徴とする。

本発明のプログラムは、上記記載の信号検出装置として、コンピュータを機能させるための信号検出プログラムである。

本発明の記録媒体は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。

以上説明したように、本発明によれば、段階的に、粗から密に探索キーの切り出しを行うため、網羅的に探索キー信号を切り出す処理を行う処理を行う従来の方法に比較して、より少ない個数の上位段階の探索キー信号を用いて蓄積信号データベースから類似する信号の探索を行うことができ、途中の段階において、蓄積信号データベースから抽出された蓄積信号により、蓄積信号データベースの蓄積信号の中から、より密に入力信号から切り出した下位の探索段階における探索キー信号に類似する区間を有する蓄積信号を抽出し、この抽出された蓄積信号により下位蓄積信号データベース（実施形態における密探索用蓄積信号データベース）を生成し、蓄積信号データベーススよりも登録されている蓄積信号数の少ない下位蓄積信号データベースから、別途切り出された探索用キー信号に類似する蓄積信号を探索することによって、より蓄積信号の数の少ないデータベースからの検索処理となるため、従来の方法に比較して、より高速な信号検出処理を行うことができるという利点がある。

また、本発明（第２の実施形態）によれば、上位の探索段階（一次探索）において、蓄積信号と比較する際、入力信号から切り出す上位探索段階用の上位探索キー信号のずらし幅を大きくすることにより、蓄積用データベースに格納された蓄積信号と比較する上位探索キーの数を削減することができ、より高速に類似する区間のある蓄積信号を探索することが可能である。
また、本発明（第２の実施形態）によれば、下位の探索段階（二次探索）において、リストアップされた、上記上位の探索段階にて探索した蓄積信号を識別する情報を用い、下位蓄積信号データベースに格納する蓄積信号（第２の実施形態における楽曲）を絞りこむことができ、探索する下位探索用キー信号と比較する蓄積信号が少なくなり、抽出したい蓄積信号を、従来に比較して高速に探索することが可能である。

また、本発明（第２の実施形態）によれば、上位の検索段階（一次探索）において、探索用キー信号の蓄積信号に対するずらし幅が大きいため、使用された探索用キー信号信号（楽曲）が、蓄積データベースに格納された蓄積信号（楽曲）の正確な区間（何秒目から何秒目まで）にて使用されたのかを求められないが、下位の探索段階（二次探索）において、細かいずらし幅による探索を行い、使用された探索用キー信号の区間に対応する蓄積信号の区間を、細かい情報、すなわち高い時間精度にて検出することができるという利点がある。

本発明は、複数の段階にて徐々に、蓄積情報データベースから、入力信号に類似する区間を有する蓄積信号の検索において、検出精度の高い蓄積信号の検索を行うものであり、上位の段階において粗い間隔で探索キー信号（例えば、実施形態においては粗探索用探索キー信号）を入力信号から切り出し、少ない数の探索キー信号で蓄積信号データベース（例えば、実施形態においては蓄積信号データベース）から、各探索用キー信号に類似する蓄積信号を選び、選択された蓄積信号により下位の探索部の用いる、上位段階より少数の蓄積信号を集めた下位のデータベースを作成し、この下位データベースから、上位段階に比較して密な間隔で入力信号から切り出した下位探索キー信号（例えば、実施形態においては密探索用探索キー信号）を用いて、下位の探索段階用のデータベース（例えば、実施形態においては密探索用蓄積信号データベース）から類似する信号を探索する。

このように、下位の探索段階を複数回にて行うことにより、高い時間精度による類似した信号の検出を、検索回数を減少させて行うことができるため、初めから密な間隔で切り出した探索用キー信号を用いる場合に比較して、より高速に検出処理を行うことができる。
すなわち、本発明は、予め複数の蓄積信号が登録された蓄積信号データベースがあり、探索の目的信号である入力信号が入力されると、上記入力信号から切り出した区間（探索キー信号）の信号に、上記蓄積信号のある区間に類似する信号が含まれているか否かを、入力信号を切り出した区間毎に探索を行う。このとき、本発明は、探索段階毎に入力信号からの区間のずらし幅を小さくしつつ区間を分割し、複数段階により、検索対象となる蓄積信号を除々に絞り込み、検出精度の高い入力信号に類似した蓄積信号の検出処理を高速に行う。
ここで、各段階の探索は、入力信号の所定の区間と、予め登録されている蓄積信号の一部または全部とを比較して行われる。
以下、本発明の実施形態による信号検出装置を図面を参照して説明する。

＜第１の実施形態＞
図１は第１の実施形態の構成例を示すブロック図である。この図１に示す第１の実施形態による信号検出装置は、複数の段階での信号検出を、粗探索及び密探索の２段階にて説明を行うが、すでに述べたように、最上位段階と、２つ以上の下位段階、すなわち３段階以上にても同様の処理にて、信号の検出処理が行えることは言うまでもない。図１の信号検出装置は、粗探索用探索キー信号切り出し部１０１（上位探索キー信号切り出し部），粗探索部（上位探索部）１０２，密探索用蓄積信号データベース作成部（下位蓄積信号蓄積信号データベース作成部）１０３，密探索用探索キー信号切り出し部１０４（下位探索キー信号切り出し部），密探索部１０５（下位探索部），蓄積信号データベース１１１及び密探索用蓄積信号データベース１１２（下位蓄積信号データベース）を有している。

蓄積信号データベース１１１には、予め複数の蓄積信号としての音響信号または映像信号が、それぞれを特定する識別情報とともに登録されている。
粗探索用探索キー信号切り出し部１０１は、外部から入力される入力信号の複数箇所から、それぞれ粗探索用探索キー信号を切り出す。
粗探索部１０２は、上記粗探索用探索キー信号に類似する区間を含む蓄積信号を、上記蓄積信号データベース１１１から探索し、探索された蓄積信号を密探索用の蓄積信号として、この蓄積信号を特定する識別情報を下位段階の密探索用蓄積信号データベース作成部１０３へ出力する。
密探索用蓄積信号データベース作成部１０３は、粗探索部１０２が出力する密探索用の蓄積信号を集めて、識別番号に対応してこの蓄積信号をデータベースに登録して、密探索用蓄積信号データベース１１２を生成する。

密探索用探索キー信号切り出し部１０４は、外部から入力される参照信号としての入力信号の複数箇所から、それぞれ密探索用探索キー信号を切り出す。ここで、粗探索用探索キー信号の切り出し間隔は、密探索用探索キー信号の切り出し間隔に比較して大きい（切り出しのずらし幅が長い）。また、粗探索用探索キー信号切り出し部１０１は、粗探索用探索キー信号を、時間的に間引いた切り出し箇所から、順次切り出すようにしても良い。
密粗探索部１０５は、上記密探索用探索キー信号に類似する区間を有する蓄積信号を、密探索用蓄積信号データベース１１２から探索し、探索結果を出力する。この探索結果により、密探索用探索キーが切り出された箇所において、この密探索用探索キー信号に類似する蓄積信号が、切り出された箇所にて入力信号に含まれていることが検出される。

本発明の第１の実施形態においては、入力信号と蓄積信号として音響信号を一例として説明する。
以下、図１及び図２を用いて、本第１の実施形態による信号検出装置の動作を説明する。図２は、第１の実施形態による信号検出装置の動作例を示すフローチャートである。
まず、粗探索用探索キー信号切り出し部１０１は、外部機器から入力信号を入力し、指定されたずらし幅（例えば、ユーザにより設定あるいは予め設定されている粗探索用探索キー信号のずらし幅であり、後述する特徴ベクトルの符号列である場合、特徴ベクトル単位で設定）と、探索キー信号長（例えば、ユーザにより設定あるいは予め設定されている粗探索用探索キー信号長であり、後述する特徴ベクトルの符号列である場合、特徴ベクトル単位で設定）とにより、粗探索用探索キー信号を、入力した入力信号から順次切り出し、切り出した粗探索用探索キー信号を、粗探索装置１０２に対して出力する（ステップＳ１０１）。

次に、粗探索部１０２は、粗探索用探索キー信号切り出し部１０１から入力された各粗探索用探索キー信号について、粗探索用探索キー信号毎に、類似する蓄積信号を、ＤＡＬ−２の探索方法（後述）により、蓄積信号データベース１１１から探索する。
そして、粗探索部１０２は、粗探索用探索キー信号と蓄積信号の区間との類似度が、予め設定したしきい値より大きいことを検出すると、その区間を含む蓄積信号を一端選択し、この選択された蓄積信号のなかで、上記類似度が上位Ｎ件となる蓄積信号の識別番号（蓄積信号を特定する情報）を密探索用蓄積信号データベース作成装置１０３へ出力する(ステップＳ１０２)。

次に、密探索用蓄積信号データベース作成装置１０３は、粗探索装置１０２から入力された上記識別情報により、蓄積信号データベース１１１を検索し、この識別情報に対応する蓄積信号を蓄積信号データベース１１１から読み出し、この読み出した蓄積信号を密探索用蓄積信号データベース１１２へ登録し、粗探索用探索キー信号と類似する区間を有し、その類似度が予め設定された閾値を超えるＮ個の蓄積信号からなるデータベースを作成する。例えば、蓄積信号データベース１１１に３Ｎ個の蓄積信号が登録されていたとすると、密探索にて探索する蓄積信号数がＮ個となり、探索対象が１／３の量に絞り込まれ、時間精度の高い細かな探索を効果的に適用することができる。そして、密探索用蓄積信号データベース作成装置１０３は、密探索用蓄積信号データベース１１２の作成が完了すると、密探索用蓄積信号データベース作成完了通知を密探索用探索キー信号切り出し装置１０４に対して出力する（ステップＳ１０３)。

密探索用探索キー信号切り出し装置１０４は、密探索用蓄積信号データベース作成装置１０３から密探索用蓄積信号データベース作成完了通知が入力されると、指定されたずらし幅（例えば、ユーザにより設定、または予め設定されている密探索用探索キー信号ずらし幅、ビット単位）と、密探索用探索キー信号長（例えば、ユーザにより設定、または予め設定されている密探索用探索キー信号長）により、密探索用探索キー信号を入力信号から順次切り出し、切り出した密探索用探索キー信号を、順次、密探索装置１０５へ出力する（ステップＳ１０４）。

次に、密探索部１０５は、密探索用探索キー信号切り出し部１０４から入力された各密探索用探索キー信号毎に、密探索用蓄積信号データベース１１２に登録されているＮ個の蓄積信号各々との比較を行う。ここで、密探索部１０５は、密探索用蓄積信号データベース１１２から蓄積信号を読み出し、上記密探索用探索キー信号を、読み出した蓄積信号に対して、予め設定されたずらし幅により、移動させつつ、密探索用探索キー信号と類似する区間を有する蓄積信号の探索を行う。そして、密探索部１０５は、各密探索用探索キー信号について、予め設定された閾値を超える類似度の区間を有する蓄積信号が検出された場合、入力信号におけるこの密探索用探索キー信号の切り出し箇所に、検出された蓄積信号における類似する区間と同じ信号が含まれていることを検出し、その蓄積信号及び類似した区間を検出結果として出力する（ステップＳ１０５）。
ここで、密探索の類似度の閾値としては、必ずしも粗探索の段階と同一である必要はなく、粗探索の段階よりも高い類似度値または低い類似度値を設定することができる。特に、高い類似度値を閾値として設定することにより、粗探索すなわち候補となる楽曲の選定時よりも、確実に高い類似性を有する蓄積信号を検出するという実用的な効果が期待できる。

上述したＤＡＬ−２の探索法については、特許文献２に記載されているが、本実施形態の動作を明確にするため、補足としてＴＡＳ及びＤＡＬ−１とともに、以下に概要の説明を行う。
ＴＡＳは、音響信号及び映像信号を対象とした高速な探索方法である。目的信号（本実施形態の入力信号に対応）と蓄積信号（音響信号や映像信号）とから、それぞれ特徴ベクトルを時系列に抽出する。蓄積信号としては、予め特徴情報が抽出され、この特徴情報の形式により、後に述べるベクトル量子化による符号列として蓄積信号データベース１１１に登録されている。この特徴ベクトルとしては、音響信号の場合にはパワースペクトル、映像信号の場合はフレーム毎の色特徴ベクトルなどを使用することができる。

次に、抽出した特徴ベクトルをベクトル量子化による符号列に変換する。この変換の後、目的信号と同じ長さの照合窓を蓄積信号に設定する。
そして、目的信号と照合窓内の蓄積信号の符号列に対して、符号毎の出現頻度を調べて、ヒストグラムを作成する。
上述したように作成した目的信号ヒストグラムと、蓄積信号ヒストグラムとの類似度を測定し、その測定された値が設定値以上であるか否かにより、目的信号が検出されたか否かの検出が行われる。この際の、類似度尺度としては、ヒストグラムの重なり率などを使用することが可能である。

上述した類似度の検出処理を、蓄積信号上における照合窓の位置を順次時間軸方向にずらしながら（本実施形態においては探索キー信号を蓄積信号に対してずらしていく）繰り返し行うこととなる。
なお、照合窓の位置をずらす際、必ずしも特徴ベクトル１個分ずつ行う必要がなく、現在の位置における類似度と、検出基準となる類似度の設定値とから、移動可能幅を求め、照合窓を一度に複数個分ずつずらすことも可能である。この移動可能幅は、最大何個の特徴ベクトルが入れ替わっても、類似度が設定値に達しないかとの観点から計算することができ、具体的な計算方法はすでに公知であるため省略する。

ＤＡＬ−１は、ナレーションなど、主に線スペクトル構造を有する前景音が存在している場合にも、その背景に流れている音楽について探索を行うことを目的とする探索法である。目的信号（本実施形態の入力信号に対応）と蓄積信号とのそれぞれについて、音響スペクトルを時間及び周波数方向に、各々１以上の数に分割する。
次に、分割したそれぞれの小領域（入力信号においては探索キー信号）に関して、比較を行うことにより探索処理を行う。この時に用いる探索方法としては、上述したＴＡＳを用いることができる。そして、それぞれの小領域に対する探索結果を投票法により統合することにより、多くの小領域が高い類似度を有する箇所を特定して探索を行う。

ＤＡＬ−２は、上記ＤＡＬ−１の小領域の照合法を変更したものである。すなわち、ＤＡＬ−２は、ＤＡＬ−１における小領域をベクトル量子化し、さらに量子化符号どうしの類似度をあらかじめ計算しておき、類似度テーブルを作成するとともに、各蓄積信号（データベースに登録されている）に対して、各量子化符号の出現位置を予め調べたテーブルを作成することを特徴としている。これらのテーブルを用いることにより、ＤＡＬ−１に比較して、ほぼ同等の探索結果を、より高速に得ることができる。

次に、以下に、上述した第１の実施形態の信号検出装置による信号検出の実験結果に関し、図を参照して説明する。
本実験においては、実験用のある番組の音響信号を入力信号として用い、蓄積信号として音楽の音響信号を集めた蓄積信号データベース１１１を用意し、入力信号により使用された蓄積信号を検出する楽曲使用検出実験を行うとする。そして、この楽曲使用検出実験を、上記第１の実施形態の手法および従来手法各々を計算機上に実装したもので比較実験行い、各々の手法にて処理に要する時間と、検出精度とを、本発明及び従来例との間にて比較した。なお、実験用番組は、番組Ａと番組Ｂとの２つを用意し、各番組に対して上記の楽曲使用検出実験を行った。

このとき、本第１の実施形態において、粗探索部１０３は、各組探索用探索キー信号に対して、類似する区間を含む蓄積信号の中から、探索用探索キー信号及び蓄積信号の区間との類似度が、上位のもの３件を密探索用蓄積信号データベース作成部１０３へ出力するように構成した。
また、粗探索用探索キー信号切り出し部１０１は、粗探索用探索キー信号ずらし幅を５秒とし、粗探索用探索キー信号長を５秒として、入力信号からの粗探索用探索キー信号の切り出しを行い。密探索用探索キー信号切り出し部１０４は、密探索用探索キー信号ずらし幅を１秒とし、密探索用探索キー信号長は５秒として、入力信号からの密探索用探索キー信号の切り出しを行った。

そして、蓄積信号データベース１１１に登録されている蓄積信号から、入力信号のある区間に類似する区間を有する蓄積信号の探索における実験を行った。
また、密探索部１０５におけるＤＡＬ−２を用いた探索においては、密探索用探索キー信号の切り出しにおいて、粗探索部１０２におけるＤＡＬ−２による探索の２倍の個数の小領域への分割を行うとした。
一方、従来法であるが、これは、入力信号から５秒の長さの探索用探索キー信号を、１秒ずらしで切り出し、各探索用探索キー信号に類似する区間を含む蓄積信号を蓄積信号データベースから用いて探索し、その結果を出力することとした。
従来法におけるＤＡＬ−２のパラメータ設定は、上記第１の実施形態の粗探索部１０２のＤＡＬ−２のパラメータ設定と同様にした。

上記実験結果を、図３及び図４の各テーブルに示す。図３のテーブルは、従来法の検出速度を１としたときの、第１の実施形態における検出速度を示した、検出速度の比較テーブルである。この図３のテーブルからは、第１の実施形態が従来法の４倍以上の速度にて、高速に、使用された楽曲（蓄積信号）の検出を、蓄積信号データベースから行えることがわかる。ここで、検出速度とは、入力信号が信号検出装置に入力されてから、プレイリスト（番組中の使用楽曲、すなわち検出された蓄積信号を特定するデータがリストアップされた表）が信号検出装置から出力されるまでの時間の逆数を、従来の方法（全ての蓄積信号に対して、本願発明の密探索用と同一の探索条件によって探索した場合）における入力信号を入力してから探索結果が出力されるまでの時間の逆数を基準とした比として表している。

次に、図４のテーブルは、従来法と第１の実施形態とによる検出精度を比較したテーブルである。
ここで、正答率は検出された楽曲のうち正しいものの割合であり、検出率は入力信号で使用され、かつ蓄積信号データベース１１１内に同じ蓄積信号がある楽曲の中から検出されたものの割合である。
そして、図４のテーブルには、従来法の正答率および検出率を１としたときの、第１の実施形態の提案法における検出率と正答率とが示されている。

本発明の第１の実施形態は、従来法に比較して、検出精度が向上する場合と、検出精度が低下する場合とがある。すなわち、検出精度が向上する場合としては、蓄積信号データベース１１１に蓄積されている楽曲から、粗探索用探索キー信号により抽出して、密探索用蓄積信号データベース１１２に登録した楽曲が、比較する数として削減されたことにより、密探索部１０５における誤検出が減少することが考えられる。一方、検出精度が低下する場合としては、粗探索部１０２の探索漏れにより、使用されている楽曲が密探索用蓄積信号データベース１１２に登録する段階において、抜け落ちてしまっていることが考えられる。

上述した図３及び図４のテーブルに示す実験結果からは、本発明の実施形態における、蓄積信号データベースからの蓄積情報の検出精度が従来法とほぼ同等と考えられる。一方、本発明の実施形態における検出速度は、従来法の４倍以上である。
したがって、本発明の実施形態における信号検出方法は、従来に対して同等の検出精度を維持し、より高速な信号検出法として有効と考えられる。
また、本発明は、例えばテレビドラマなどのように、同じ楽曲が繰り返し使われる番組における楽曲使用検出には特に有効と考えれられる。
なお、上述した実験においては、粗探索用探索キー信号長と密探索用探索キー信号長とは同じ５秒として設定したが、これに限定されることなく、上述した長さと異なる長さとすることも可能であり、粗探索用探索キー信号長と密探索用探索キー信号長とで異なる長さとして設定してもよい。

また、粗探索と密探索とに用いる探索法としては、本実施形態においては、ＤＡＬ−２を用いたが、探索にＴＡＳ，ＢＡＭ（バイナリエリア探索方法）等を用いても構わない。
また、粗探索と密探索とにおいて、それぞれ異なる探索法を用いることもできる。
また、粗探索用探索キー信号切り出し装置１０１は、粗探索用探索キー信号の切り出しにおいて、入力信号上の指定された区間または箇所（例えば、ユーザが設定する）からのみ行うようにすることも可能である。

さらに、密探索用探索キー信号切り出し装置１０４は、ある蓄積信号の区間に対し、予め設定された閾値より、大きい類似度で類似することが粗探部１０２にて検出された粗探索用探索キー信号の切り出し箇所の近傍からのみ、密探索用探索キー信号を切り出すようにすることも容易である。
この場合、密探索用探索キー信号切り出し装置１０４は、切り出す密探索用探索キー信号の数を削減することができ、従来方法と比較してさらに高速な信号検出が行えることとなる。

また、第１の実施形態においては、粗探索用探索キー信号切り出し、粗探索および密探索用蓄積信号データベース作成による密探索用蓄積信号データベースに登録される蓄積信号の削減を一回のみ行ったが、得られた密探索用蓄積信号データベースを蓄積信号データベースとして、粗探索用探索キー信号切り出し及び粗探索および密探索用蓄積信号データベース作成を行い、蓄積信号データーベースの粗探索用探索キー信号切り出し及び粗探索および密探索用蓄積信号データベース作成の処理におけるパラメータ・探索方法を変更しながら、蓄積信号データベースに登録される蓄積信号の削減を繰り返し、すなわち複数の段階にて行う構成としてもよい。

例えば、構成として、粗探索用探索キー信号切り出し部１０１が入力信号から粗探索用探索キー信号を切り出し、粗探索部１０２は蓄積信号データベース１１１から、すでに述べたように、粗探索用探索キー信号と類似する区間を有する蓄積信号を探索する。
次に、密探索用蓄積信号データベース作成部１０３は、上記探索された蓄積信号を登録した密探索用蓄積信号データベース１１２を作成する。
次に、密探索用探索キー信号切り出し部１０４は、密探索用探索キー信号を、入力信号から切り出す。
上記密探索用探索キー信号が切り出されると、密探索部１０５は、密探索用蓄積データベース１１２から、この密探索用探索キー信号に類似した蓄積信号を探索する。

そして、密探索用蓄積信号データベース作成部１０３は、直前の密探索段階において密探索部１０５が探索した蓄積信号を、新たに、上記密探索用データベース１１２に対して再登録する。
次に、密探索用探索キー信号切り出し部１０４は、密探索用探索キー信号を、入力信号から切り出す。このとき、密探索用探索キー信号切り出し部１０４は、直前の探索段階（自身より上位にある探索段階）の切り出しに比較して、より切り出しのずらし幅を小さくし、探索における時間精度を向上させる。
そして、密探索部１０５は、直前に比較して、さらに削減された数に再登録された密探索用蓄積データベース１１２から、この密探索用探索キー信号に類似した蓄積信号を探索する。

すなわち、上位段階の探索においては、入力信号を粗い間隔にて粗探索用探索キー信号を切り出し、少ない数の粗探索用探索キー信号により、蓄積信号データベース１１１から、ある程度の類似度を有する蓄積信号（例えば、上述したように、予め設定されている閾値を超える類似度と検出された区間を有する蓄積信号）を探索し、この探索された蓄積信号を集めた下位段階の探索に用いる密探索用蓄積信号データベース１１２から、直前の上位の探索段階の場合に比較して密な間隔で入力信号から切り出した密探索用探索キー信号にて、ある程度の類似度を有する蓄積信号（例えば、上述した上位の探索段階に比較し、より高い数値として予め設定された閾値を超える類似度と検出された区間を有する蓄積信号）を探索する。この処理を繰り返すことにより、各段階において徐々に検出精度を高くして探索を行っていくことができる。
例えば、探索処理を３段階以上の複数段階にて行う場合、最も上位の粗の探索段階から、最も下位の密な探索段階に至るまで、それぞれの段階において、入力信号に対する探索キー信号の最短信号長（照合窓長）や、探索キー信号の時間移動幅（照合窓の移動幅）の詳細化（小さくする）と、蓄積信号の絞り込みとを順次段階的に行う。

このとき、密探索用探索キ一信号切り出し部１０４は、入力信号から密探索用探索キ一信号を切り出すが、上述したように、探索段階各々に対し、それぞれ予め設定された（あるいはユーザに指定された）切り出し間隔（ずらし幅）にて、密探索用探索キー信号を切り出す。ここで、このずらし幅は、下位段階の探索過程に比較して、上位の探索過程において大きく設定されている。すなわち、粗探索用探索キー信号の切り出しにおけるずらし幅は、密探索用探索キー信号に比較して大きい。また、密探索用探索キー信号は、下位段階の探索過程に行くに従い、直前の密探索用探索キー信号の切り出におけるずらし幅に比較して小さくなる。

上述したように、第１の実施形態の信号検出装置を、密探索用蓄積信号データベース作成部１０３，密探索用探索キー信号切り出し部１０４及び密探索部１０５における下位段階の探索を複数回行い、徐々に、蓄積情報探索における検出精度を向上させるようにする構成としてもよい。
また、各探索段階の探索処理を行う、密探索用蓄積信号データベース作成部１０３，密探索用探索キー信号切り出し部１０４及び密探索部１０５に対応する構成を複数設けるようにしてもよい。

上述してきたように、本実施形態における信号検出装置は、蓄積信号データベース１１１に登録されている蓄積信号のなかから、入力信号に用いられている蓄積信号を粗探索及び密探索の２段階において、探索対象の蓄積信号の数を絞り込むことで、探索の処理を高速化している。
一方、従来、粗い探索処理と密な探索処理とを順次行うことにより、パターン認識や信号探索の処理の効率を向上させる手法は、粗密法またはコース・トゥー・ファイン（coarse to fine）などの名称で広く知られているものである。

しかしながら、本発明は、公知の粗密法を信号検出に単に適用することを主旨とするものではない。これについて、以下に放送中の楽曲を検出する例にて説明する。
まず、公知の粗密法では、入力信号（放送の音響信号）において、粗い移動幅にて照合窓を蓄積信号に対して設定し、検出対象となる楽曲が検出された箇所の付近にて細かい移動幅にて照合窓を設定して、検出時刻、すなわち蓄積信号における検出位置を詳細に特定する処理となる。
このような方法によれば、初めから細かい移動幅にて、照合する方法に比較して、必ずしも同一の結果が得られるとは限らないが、照合回数を削減して、処理の効率化を期待することができる。

一方、すでに詳細に説明したように、本発明の本実施形態では、粗探索過程により抽出された、より類似度が高い蓄積信号の集合である密探索用蓄積信号データベース１１２を新たに作成し、すなわち、粗い移動幅での照合において類似度が高いとして検出された蓄積信号（対象楽曲）を選択し、細かい移動幅での照合において、前記選択された蓄積信号のみを用いて探索を行う点が特徴である。

従来法による細かい移動幅のみでの照合は、計算量が非常に多くなる。このため、上記のように、選択された少数の蓄積信号（対象楽曲）のみを用いて、密な探索を行うことにより、本実施形態の信号処理装置は、信号処理における処理コストを、従来法に比較して著しく削減することができる。
上述したように、本実施形態は、蓄積信号データベース１１１から粗い処理により、密探索を行う蓄積信号を選択し、この選択した蓄積信号から密の探索処理により、最終的な探索結果を得る構成となっている。
また、とりわけ放送番組などに対する楽曲探索を対象とする場合、番組中においては一貫性を持たせるなどの目的で、特定の楽曲が繰り返し用いられることが多く、本実施形態が極めて有効に機能する。

なお、各段階において用いる探索方法としては、必ずしも同一のアルゴリズムである必要はなく、また、探索パラメータの設定を変更することもできる。例えば、ここに述べた例においては、小領域を、密探索において粗探索よりも多数になるように、すなわち高密度にて配置した。他の、探索パラメータとしては、類似度閾値，周波数帯域，探索キー信号の長さなどが含まれる。
また、本実施形態において、外部から入力される入力信号及び蓄積信号データベース１１１に登録されている蓄積信号とは、音響信号や画像信号のデータそのものでも、特徴情報を抽出して時系列に並べた符号列のいずれでもよい。
すなわち、本実施形態ですでに述べたように、音響信号や画像信号のデータから特徴情報を抽出して、特徴情報によって類似性を求めてもよく、一方、データそのもの同士の類似性尺度（相関や距離など）を計算して、類似性を求めても、いずれの手法を用いてもよい。以下、入力信号を音響信号として説明するが、画像信号等の他の信号に対しても同様の処理を行う行うことができる。

また、特徴情報にて類似性を求める場合、入力信号がすでに特徴情報であり、蓄積信号データベース１１１に登録されている蓄積情報も特徴情報である場合と、入力信号が音響信号そのもので、蓄積信号データベース１１１に登録されている蓄積情報が特徴情報で、類似性を求める際に、入力信号から特徴情報を抽出して比較を行う場合と、入力信号が音響信号の特徴情報であり、蓄積信号データベース１１１に登録されている蓄積情報が音響信号そのもので、類似性を求める際に、蓄積情報から特徴情報を抽出して比較を行う場合と、入力信号が音響信号そのもので、蓄積信号データベース１１１に登録されている蓄積情報が音響信号そのもので、類似性を求める際に、入力信号及び蓄積情報各々から特徴情報を抽出して比較を行う場合とのいずれの構成を用いても良い。
また、データそのもの同士の相関を計算して、類似性を求める手法の場合、蓄積信号データベース１１１には、画像信号及び音響信号そのもののデータが登録されている。

＜第２の実施形態＞
次に、本発明の第２の実施形態について、図５を用いて説明する。図５は本実施形態による信号検出装置の構成例を示すブロック図である。ここで、上記信号検出装置は、具体的にはＣＰＵやメモリを有する一般的な計算機上に実現される。第１の実施形態における同様の構成については同一の符号を付し、異なる構成及び異なる機能について説明する。第２の実施形態における粗探索部１０２及び密探索部１０５での探索方法に関しては、第１の実施形態と同様であるが、特徴情報の抽出処理を明確化するため、特徴抽出部を設けた。

特徴抽出部１０６は、入力される音響信号または映像信号から、特徴情報を抽出し、目的特徴信号として出力する。
原本データベース１１０には、複数の音響信号または映像信号の特徴情報が、蓄積信号として登録されている。
蓄積信号データベース１１１には、入力信号に対応し、粗探索部１０２により原本データベース１１０から選択され蓄積信号が記憶されている。

粗探索用探索キー信号切り出し部１０１は、第１の実施形態と同様に、粗探索用探索キー信号を設定されたずらし幅に応じて、切り出し位置をずらしつつ、順次、目的特徴信号から粗探索用探索キー信号を切り出す。
楽曲リスト作成部１０７は、粗探索部１０２が上記粗探索用探索キー信号にて探索した蓄積信号を特定する情報、例えば蓄積信号が音響信号であれば楽曲名，識別番号など、あるいは映像信号であれば映像名，識別番号などを粗探索リストへリストアップする。

密探索用蓄積信号データベース作成部１０３は、上記粗探索リストを参照して、この粗探索リストにリストアップされている蓄積信号を蓄積用デーベース１１１から読み出し、密探索用蓄積信号データベース１１２へ記憶させ、密探索に用いる密探索用蓄積信号データベース１１２の作成処理を行う。
密探索用キー信号切り出し部１０４は、第１の実施形態と同様に、密探索用探索キー信号を設定されたずらし幅（粗探索用探索キー信号に比較して切り出しのずらし幅が小さい設定となっている）に応じて、切り出し位置をずらしつつ、順次、参照信号から密探索用探索キー信号を切り出す。
楽曲リスト作成部１０８は、密探索部１０５が上記密用探索キー信号にて探索した蓄積信号を特定する情報、例えば蓄積信号が音響信号であれば楽曲名，識別番号など、あるいは映像信号であれば映像名，識別番号などを密探索リストへリストアップする。

次に、図５，図６及び図７を参照して、第２の実施形態による信号検出装置の説明を行う。ここで、図６は、粗探索用及び密探索用の探索キー信号の切り出しを説明する概念図である。また、図７は、第２の実施形態の信号検出の動作例を示すフローチャートである。
なお、本実施形態においては、入力信号として、放送などで流される映像信号や音響信号、あるいは録画された映像信号、録音された音響信号を想定し、また、蓄積信号（原本データベース１１０に蓄積されている蓄積信号）としてはビデオ等に録画されている映像や、ＣＤなどに記録されている音楽を特徴情報に変換した信号を想定している。

信号検出装置は、外部機器から放送などで流された映像信号や音響信号，または録画された映像信号や録音された音響信号を、入力信号として入力し、この入力信号を特徴情報抽出部１０６へ出力する（ステップＳ２０１）する。
上記入力信号が入力されると、特徴情報抽出部１０６は、この入力信号を元に特徴情報を抽出して、目的特徴信号を作成して、管理部１０９を介して、目的特徴信号を粗探索用探索キー信号切り出し部１０１へ出力する（ステップＳ２０２）。

次に、粗探索用探索キー信号切り出し部１０１は、設定されたずらし幅にて、切り出し位置をずらしつつ、入力される目的特徴信号から粗探索用探索キー信号を切り出し、順次、粗探索部１０２へ出力する（ステップＳ２０３）。ここで、粗探索用探索キー信号切り出し部１０１は、送信された目的特徴情報を見つけ出したい映像信号または音響信号の最短信号長Ｌにより、時間移動幅ｔ1にてずらしながら、粗探索用探索キー信号を切り出す（図６（ａ）参照）。
また、粗探索用探索キー信号切り出し部１０１は、目的特徴信号と比較を行う、入力信号に対応した蓄積信号（映像信号または音響信号の特徴情報）を、原本データベース１１０から読み出し、蓄積信号データベース１１１へ格納する（ステップＳ２０４）。ここで、原本データベース１１０から蓄積信号を読み出し、蓄積信号データベース１１１への登録処理は、最初の粗探索時までに完了し、以下の下位段階の探索過程毎に、原本データベース１１０からの蓄積信号の取り出しは行われない。

粗探索用探索キー信号が入力されると、粗探索部１０２は、分割された、すなわち切り出された粗探索用探索キー信号と、蓄積信号データベース１１１から読み出す蓄積信号との比較を行い、この比較結果として類似度を算出して出力する（ステップＳ２０５）。
楽曲リスト作成部１０７は、比較した各蓄積信号の類似度を入力し、予め設定されている閾値と比較し、この閾値を超えた類似度を有する蓄積信号を、粗探索過程における一致と判定し、一致と判定した蓄積信号を特定するデータ（楽曲名、映像名、識別情報など）をリストアップして粗探索リストを生成し、この粗探索リストを管理部１０９へ出力する（ステップＳ２０６）。

次に、管理部９は、入力される粗探索リストを参照し、蓄積信号データベース１１１から、粗探索リストにおける蓄積信号を特定するデータにより蓄積信号を抽出し、粗探索リストに記載されている蓄積信号の収集を行い、目的特徴信号を密信号用探索キー信号へ、また、粗探索リスト及び収集した蓄積信号を密探索用蓄積信号データベス作成部１０３へ出力（送信）する（ステップＳ２０７）。
粗探索リスト及び収集した蓄積信号が入力（受信）されると、密探索用蓄積信号データベース作成部１０３は、粗探索リスト及び入力された蓄積信号をデータベースへ登録し、密探索用蓄積信号データベース１１２を、密探索用の最低限の蓄積信号を格納したデータベースとして作成（構築）する（ステップＳ２０８）。

次に、密探索用探索キー信号切り出し部１０４は、見つけ出したい映像または音響信号の特徴である目的特徴信号を、図６（ｂ）に示すように、粗探索の探索過程と同様に、同一の最短信号長Ｌにて、また粗探索の探索過程におけるより短い時間移動幅ｔ2（＜ｔ1）にてずらしながら、目的特徴信号から密探索用探索キー信号を切り出し、密探索部１０５へ順次出力する（ステップＳ２０９）。
密探索用探索キー信号が入力されると、密探索部１０５は、密探索用蓄積信号データベース１１２から比較を行う蓄積信号を読み出し、取得する（ステップＳ２１０）。

そして、密探索部１０５は、入力された粗探索用探索キー信号と、蓄積信号データベース１１１から読み出した蓄積信号との比較を行い、この比較結果として類似度を算出して出力する（ステップＳ２１１）。
楽曲リスト作成部２１２は、密探索部１０５から比較した各蓄積信号の類似度を入力し、予め設定されている閾値と比較し、この閾値を超えた類似度を有する蓄積信号を、密探索過程における一致と判定し、一致と判定した蓄積信号を特定するデータ（楽曲名、映像名、識別情報など）をリストアップして密探索リストを生成し、管理部１０９を介して、画面に表示するなどのユーザへの通知処理を行う（ステップＳ２１２）。

なお、図２及び図７のフローチャートにおける信号検出処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより信号検出の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の第１の実施形態による信号検出装置の構成例を示すブロック図である。 図１の第１の実施形態による信号検出装置の動作例を示すフローチャートである。 第１の実施形態と従来法との検出速度の比較実験の結果を示したテーブルである。 第１の実施形態と従来法との検出精度の比較実験の結果を示したテーブルである。 本発明の第２の実施形態による信号検出装置の構成例を示すブロック図である。 第２の実施形態における入力信号からの粗探索用及び密探索用探索キー信号の切り出しを説明する概念図である。 図５の第２の実施形態による信号検出装置の動作例を示すフローチャートである。

符号の説明

１０１…粗探索用探索キー信号切り出し部
１０２…粗探索部
１０３…密探索用蓄積信号データベース探索部
１０４…密探索用探索キー信号切り出し部
１０５…密探索部
１０６…特徴抽出部
１０７，１０８…楽曲リスト作成部
１０９…管理部
１１０…原本データベース
１１１…蓄積信号データベース
１１２…密探索用蓄積信号データベース

Claims (4)

1. 入力信号の所定の区間と、予め登録されている蓄積信号の一部または全部とを比較し、前記入力信号に類似する蓄積信号を複数の探索段階にて検出していく信号検出装置であって、
   蓄積信号を登録した蓄積信号データベースと、
   上位探索キー信号を、予め定められた間隔にて前記入力信号から切り出す上位探索キー信号切り出し部と、
   前記上位探索キー信号に類似する区間を含む蓄積信号を、前記蓄積信号データベースから探索し、探索された蓄積信号を出力する上位探索部と、
   前記上位探索部が出力した蓄積信号を集めた下位蓄積信号データベースを作成する下位蓄積信号データベース作成部と、
   下位探索キー信号を、前記上位探索キー信号切り出し部における間隔よりも狭い間隔にて、前記入力信号のうち前記上位探索部にて類似する区間を含む蓄積信号が探索された上位探索キー信号の切り出し箇所の近傍の領域のみから切り出す下位探索キー信号切り出し部と、
   前記下位探索キー信号に類似する区間を含む蓄積信号を、前記下位蓄積信号データベースから探索する下位探索部と
   を備えることを特徴とする信号検出装置。
2. 入力信号の所定の区間と、蓄積信号データベースに予め登録されている蓄積信号の区間とを比較し、前記入力信号に類似する蓄積信号を複数の探索段階にて検出していく信号検出方法であって、
   前記複数の探索段階は、１つの粗探索段階と前記粗探索段階に引き続いて順番に実行される１以上の密探索段階とからなり、
   前記粗探索段階は、
   上位探索キー信号切り出し部が上位探索キー信号を、予め定められた間隔にて前記入力信号の複数箇所から切り出す上位探索キー信号切り出し過程と、
   上位探索部が前記上位探索キー信号に類似する区間を含む蓄積信号を、前記蓄積信号データベースから探索し、探索された蓄積信号を出力する上位探索過程と、
   を含み、
   前記密探索段階は、
   下位蓄積信号データベース作成部が当該密探索段階の直前に実行された探索段階の探索により探索された蓄積信号を集めた下位蓄積信号データベースを作成する下位蓄積信号データベース作成過程と、
   下位探索キー信号切り出し部が下位検索キー信号を、前記入力信号のうち、直前に実行された探索段階が粗探索段階であれば、前記粗探索段階にて類似する区間を含む蓄積信号が探索された上位探索キー信号の切り出し箇所の近傍の領域のみから、また直前に実行された探索段階が密探索段階であれば、前記直前の密探索段階にて類似する区間を含む蓄積信号が探索された下位探索キー信号の切り出し箇所の近傍の領域のみから、当該密探索段階の直前に実行された探索段階における信号の切り出し間隔よりも狭い間隔にて切り出す下位探索キー信号切り出し過程と、
   下位探索部が前記下位探索キー信号に類似する区間を含む蓄積信号を、前記下位蓄積信号データベースから探索する下位探索過程と
   を含む
   ことを特徴とする信号検出方法。
3. 請求項１に記載の信号検出装置として、コンピュータを機能させるための信号検出プログラム。
4. 請求項３のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images