JP2002108385A - 信号検出方法ならびに装置および同方法がプログラムされ記録された記録媒体 - Google Patents

信号検出方法ならびに装置および同方法がプログラムされ記録された記録媒体

Info

Publication number
JP2002108385A
JP2002108385A JP2000297407A JP2000297407A JP2002108385A JP 2002108385 A JP2002108385 A JP 2002108385A JP 2000297407 A JP2000297407 A JP 2000297407A JP 2000297407 A JP2000297407 A JP 2000297407A JP 2002108385 A JP2002108385 A JP 2002108385A
Authority
JP
Japan
Prior art keywords
signal
feature
similarity
histogram
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000297407A
Other languages
English (en)
Inventor
Kunio Kayano
邦夫 柏野
Takayuki Kurozumi
隆行 黒住
Hiroshi Murase
洋 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000297407A priority Critical patent/JP2002108385A/ja
Publication of JP2002108385A publication Critical patent/JP2002108385A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Receiver Circuits (AREA)

Abstract

(57)【要約】 【課題】 信号検出装置において、極めて長い蓄積信号
に対し信号処理を行なう場合にも高速に類似した箇所を
探索可能とする。 【解決手段】 蓄積信号から特徴系列を導いて各時点に
おける特徴ヒストグラムを作成してこれを蓄積し(蓄積
信号特徴ヒストグラム系列蓄積部3)、当該蓄積された
特徴ヒストグラム系列に対していくつかの注目箇所を設
定し(注目箇所セッ居部6)、当該それぞれの注目箇所
における蓄積信号特徴ヒストグラムと、前記目的信号か
ら作成された目的信号特徴ヒストグラムとの類似度を計
算し(類似度計算部7)、当該類似度とあらかじめ設定
した目的とする類似度とを比較することによりそれぞれ
の注目箇所における目的信号との類似を判定し、検出の
対象となる目的信号に類似した箇所を検出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、信号系列の中か
ら、予め登録した信号と類似した信号の場所を探し出す
のに用いて好適な、信号検出方法ならびに装置および同
方法がプログラムされ記録された記録媒体に関する。
【0002】
【従来の技術】放送の音響信号の中から特定のコマーシ
ャルが放映された時刻を検出し、自動記録したり、ある
いは、特定のテーマソングを検出してビデオ録画を開始
したり、停止したりするのに音響信号検出技術が用いら
れる。上記した音響信号検出技術により、ある信号系列
の中から、予め登録した信号と類似した信号の位置を割
り出すことが可能となる。また、放送から拍手音の発せ
られた時刻や、笑い声が発せられた時刻等を自動的に監
視したり、あるいは特定シーンの検索を行なうこともで
きる。上述した音響信号検出技術の代表的なものに、平
成12年5月12日に登録された特許第3065314
号「高速信号探索方法、装置およびその記録媒体」があ
る。
【0003】
【発明が解決しようとする課題】しかしながら上述した
従来技術によれば、信号検出処理を行いながら蓄積信号
特徴ヒストグラムを作成するために、蓄積信号が極めて
長時間に及ぶ場合は、信号検出処理に多大な処理時間を
要し、目的とする類似した箇所を高速に探索することが
できなかった。本発明は上記事情に鑑みてなされたもの
であり、新たに蓄積信号特徴ヒストグラム系列を蓄積す
る手段を付加し、信号検出処理を行う際のヒストグラム
作成にかかわる処理時間を排除することにより、極めて
長い蓄積信号に対し信号処理を行なう場合にも高速に類
似した箇所を探索可能な、信号検出方法ならびに装置お
よび同方法がプログラムされ記録された記録媒体を提供
することを目的とする。
【0004】
【課題を解決するための手段】上述した課題を解決する
ために請求項1に記載の発明は、あらかじめ蓄積された
蓄積信号の中から目的とする目的信号に類似した箇所を
探索する信号検出方法であって、前記蓄積信号から特徴
系列を導いて各時点における特徴ヒストグラムを作成し
てこれを蓄積し、当該蓄積された特徴ヒストグラム系列
に対していくつかの注目箇所を設定し、当該それぞれの
注目箇所における蓄積信号特徴ヒストグラムと、前記目
的信号から作成された目的信号特徴ヒストグラムとの類
似度を計算し、当該類似度とあらかじめ設定した目的と
する類似度とを比較することによりそれぞれの注目箇所
における目的信号との類似を判定し、検出の対象となる
目的信号に類似した箇所を検出することを特徴とする。
【0005】請求項2に記載の発明は、請求項1に記載
の信号検出方法において、前記蓄積された特徴ヒストグ
ラム系列に対していくつかの注目箇所を設定するにあた
り、前記計算された類似度から前記蓄積信号に対する前
記注目箇所の現在位置近傍における類似度上限値を求
め、当該上限値に基づいて次に設定される注目箇所の位
置を求めることを特徴とする。
【0006】請求項3に記載の発明は、あらかじめ蓄積
された蓄積信号から特徴系列を導き、前記導き出された
特徴系列において所定長の時間窓を設定し、当該時間窓
内の特徴系列を分類計数することにより前記蓄積信号の
各時点における特徴ヒストグラムを作成する第1の工程
と、前記作成された特徴ヒストグラム系列を蓄積する第
2の工程と、あらかじめ登録された信号検出のための目
的信号から特徴系列を導き、前記導き出された目的信号
の特徴系列において所定長の時間窓を設定し、当該時間
窓内の特徴系列を分類計数することにより前記目的信号
の各時点における特徴ヒストグラムを作成する第3の工
程と、前記蓄積された特徴ヒストグラム系列に対して注
目箇所を設定し、当該注目箇所における蓄積信号特徴ヒ
ストグラムと前記目的信号特徴ヒストグラムの類似度を
計算する第4の工程と、前記蓄積信号のいくつかの注目
箇所に対して前記類似度計算を行い、当該注目箇所にお
ける類似度とあらかじめ設定した類似度とを比較するこ
とにより、前記蓄積信号の当該箇所と前記目的信号との
類似を判定する第5の工程とを備えたことを特徴とす
る。
【0007】上述した課題を解決するために請求項4に
記載の発明は、あらかじめ蓄積された蓄積信号の中から
目的とする目的信号に類似した箇所を探索する信号検出
装置であって、前記蓄積信号から特徴系列を導いて各時
点における特徴ヒストグラムを作成してこれを蓄積する
蓄積信号抽出系と、当該蓄積された特徴ヒストグラム系
列に対していくつかの注目箇所を設定し、当該それぞれ
の注目箇所における蓄積信号特徴ヒストグラムと、前記
目的信号から作成された目的信号特徴ヒストグラムとの
類似度を計算し、当該類似度とあらかじめ設定した目的
とする類似度とを比較することによりそれぞれの注目箇
所における目的信号との類似を判定し、検出の対象とな
る目的信号に類似した箇所を検出する比較演算系とを備
えたことを特徴とする。
【0008】請求項5に記載の発明は、請求項4に記載
の信号検出装置において、前記比較演算系は、前記蓄積
された特徴ヒストグラム系列に対していくつかの注目箇
所を設定するにあたり、前記計算された類似度から前記
蓄積信号に対する前記注目箇所の現在位置近傍における
類似度上限値を求め、当該上限値に基づいて次に設定さ
れる注目箇所の位置を求める演算部を備えたことを特徴
とする。
【0009】請求項6に記載の発明は、あらかじめ蓄積
された蓄積信号から特徴系列を導く蓄積信号特徴計算手
段と、前記導き出された特徴系列において所定長の時間
窓を設定し、当該時間窓内の特徴系列を分類計数するこ
とにより前記蓄積信号の各時点における特徴ヒストグラ
ムを作成する蓄積信号特徴ヒストグラム作成手段と、前
記作成された特徴ヒストグラム系列を蓄積する蓄積信号
特徴ヒストグラム系列蓄積手段と、あらかじめ登録され
た信号検出のための目的信号から特徴系列を導く目的信
号特徴計算手段と、前記導き出された目的信号の特徴系
列において所定長の時間窓を設定し、当該時間窓内の特
徴系列を分類計数することにより前記目的信号の各時点
における特徴ヒストグラムを作成する目的信号特徴ヒス
トグラム作成手段と、前記蓄積された特徴ヒストグラム
系列に対して注目箇所を設定する注目箇所設定手段と、
当該注目箇所における蓄積信号特徴ヒストグラムと前記
目的信号特徴ヒストグラムの類似度を計算する類似度度
計算手段と、前記蓄積信号のいくつかの注目箇所に対し
て前記類似度計算を行い、当該注目箇所における類似度
とあらかじめ設定した類似度とを比較することにより、
前記蓄積信号の当該箇所と前記目的信号との類似を判定
する類似度判定手段とを備えたことを特徴とする。
【0010】請求項7に記載の発明は、上記請求項6に
記載の信号検出装置において、前記蓄積信号特徴ヒスト
グラム作成手段および、または、前記目的信号特徴ヒス
トグラム作成手段は、前記蓄積信号特徴計算手段およ
び、または、前記目的信号特徴計算手段から出力される
特徴ベクトルの時系列を読込み、前記特徴ベクトルの各
要素をn個の区間に分割し、各特徴ベクトルの次元数が
mのとき、nのm乗個の区間のうちの1つに分類し、前
記蓄積信号および、または、目的信号の先頭に任意長の
時間窓を設定し、その時間窓内におけるそれぞれの分類
についての特徴ベクトルの個数を数え、前記時間窓を時
間軸方向に順次移動しながら上記操作を繰り返し、ヒス
トグラムの時系列を作成することを特徴とする。上記構
成により、新たに蓄積信号特徴のヒストグラム系列を蓄
積するための手段を付加し、信号検出を行う際のヒスト
グラム作成に係わる処理時間を排除したことによって、
極めて長時間の蓄積信号に対して信号検出を行いたい場
合であっても高速な信号検出が可能となる。
【0011】請求項8に記載の発明は、上記請求項6ま
たは7に記載の信号検出装置において、前記注目箇所設
定手段は、注目箇所の移動可能幅ωを次式を演算するこ
とにより求めることを特徴とする。
【数3】 ただし、θは類似度閾値、Sは蓄積信号類似度値、Dは
特徴量系列の総度数、floor(・)は小数点以下の切り下
げを表す場合とする。
【0012】請求項9に記載の発明は、上記請求項6な
いし8に記載の信号検出装置において、前記類似度計算
部は、類似度を次式を演算することにより求めることを
特徴とする。
【数4】 ただし、Lは特徴ベクトルの分類の総数、Dはヒストグ
ラムの総度数、hRl、hIlは、それぞれ、目的信号特徴
ヒストグラム、蓄積信号特徴ヒストグラムのl番目の分
類に含まれる特徴ベクトルの数を示すものとする。
【0013】請求項10に記載の発明は、あらかじめ蓄
積された蓄積信号の中から目的とする目的信号に類似し
た箇所を検出する信号検出装置に用いられる信号検出プ
ログラムが記録されたコンピュータ読み取り可能な記録
媒体において、前記信号検出プログラムは、あらかじめ
蓄積された蓄積信号から特徴系列を導く第1のステップ
と、前記導き出された特徴系列において所定長の時間窓
を設定し、当該時間窓内の特徴系列を分類計数すること
により前記蓄積信号の各時点における特徴ヒストグラム
を作成する第2のステップと、前記作成された特徴ヒス
トグラム系列を蓄積する第3のステップと、あらかじめ
登録された信号検出のための目的信号から特徴系列を導
く第4のステップと、前記導き出された目的信号の特徴
系列において所定長の時間窓を設定し、当該時間窓内の
特徴系列を分類計数することにより前記目的信号の各時
点における特徴ヒストグラムを作成する第5のステップ
と、 前記蓄積された特徴ヒストグラム系列に対して注
目箇所を設定する第6のステップと、前記注目箇所にお
ける蓄積信号特徴ヒストグラムと前記目的信号特徴ヒス
トグラムの類似度を計算する第7のステップと、前記第
6と第7のステップによる処理を繰り返すことにより蓄
積信号のいくつかの注目箇所に対して前記類似度計算を
行い、当該注目箇所における類似度とあらかじめ設定し
た類似度とを比較することにより、前記蓄積信号の当該
箇所と前記目的信号との類似を判定する第8のステップ
とをコンピュータに実行させる信号検出プログラムを記
録したことを特徴とする。
【0014】請求項11に記載の発明は、請求項10に
記載の記録媒体において、前記第6のステップは、前記
第7のステップにおいて計算された類似度から前記蓄積
信号に対する前記注目箇所の現在位置近傍における類似
度上限値を求めるステップと、前記上限値に基づいて次
に設定される注目箇所の位置を求めるステップとを更に
備えたことを特徴とする。
【0015】
【発明の実施の形態】図1は本発明における信号検出装
置の一実施形態を示すブロック図である。ここでは、信
号検出の対象を音響信号として説明を行う。本発明にお
ける信号検出装置は、機能的に大別すれば、蓄積信号特
徴抽出系Aと、蓄積信号と目的信号との比較演算を行う
比較演算系Bに区分される。蓄積信号特徴抽出系Aは、
蓄積信号特徴計算部1と、蓄積信号特徴ヒストグラム作
成部2と、蓄積信号特徴ヒストグラム系列蓄積部3で構
成される。比較演算系Bは、目的信号特徴計算部4と、
目的信号特徴ヒストグラム作成部5と、注目箇所設定部
6と、類似度計算部7と、類似度判定部8で構成され
る。
【0016】本発明の信号検出装置は、目的信号、すな
わち見本となる検索したい音響信号と、蓄積信号、すな
わち目的信号をその一部として含む可能性をもつ、事前
に与えられた長時間の音響信号を入力として得、目的信
号との類似度があらかじめ設定された値θ(探索閾値)
を上回る蓄積信号中の任意の箇所を出力する。図1に示
される信号検出装置は、具体的には、CPUおよびその
周辺LSIで構成されるコンピュータ装置で構成され
る。このコンピュータ装置は、所定の記録媒体(半導体
メモリ、磁気ディスク、光メモリ等)に記録された制御
プログラムをCPUが読み出し実行することによって図
1に示される各ブロックとして機能する。また、この制
御プログラムは、通信回線を介して頒布することも可能
である。
【0017】図1において、蓄積信号特徴計算部1は、
外部から得られる蓄積信号から特徴系列を導く。蓄積信
号特徴ヒストグラム作成部2は、蓄積信号特徴計算部1
により出力される蓄積信号の特徴系列において、予め定
められる所定長の時間窓を設定し、当該時間窓内の特徴
系列を分類計数することによって、その蓄積信号の各時
点における特徴のヒストグラムを作成し、蓄積信号特徴
ヒストグラム系列蓄積部3へ出力する。蓄積信号特徴ヒ
ストグラム系列蓄積部3は、蓄積信号特徴ヒストグラム
作成部2によって作成された特徴ヒストグラムの系列を
蓄積する。
【0018】目的信号特徴計算部4は、あらかじめ登録
された目的信号から特徴系列を導く。目的信号特徴ヒス
トグラム作成部5は、目的信号特徴計算部4によって出
力される目的信号の特徴系列において、予め定められる
所定長の時間窓を設定し、当該時間窓内の特徴系列を分
類計数することによって、その目的信号に関する特徴の
ヒストグラムを作成し、注目箇所設定部6へ出力する。
【0019】注目箇所設定部6は、後述するように、演
算部(図示せず)を内蔵し、蓄積信号特徴ヒストグラム
系列蓄積部3に蓄積された蓄積信号特徴ヒストグラム系
列に対して注目箇所を設定し、当該注目箇所における蓄
積信号特徴ヒストグラムを類似度計算部7へ出力する。
類似度計算部7は、目的信号特徴ヒストグラム作成部5
で作成された目的信号特徴ヒストグラムと、注目箇所設
定部6で設定した注目箇所における蓄積信号特徴ヒスト
グラムについて、両者の類似度合を示す類似度を計算
し、類似度判定部8へ出力する。また、同時に次の注目
箇所を設定するためにその類似度計算の結果を注目箇所
設定部6に出力する。類似度判定部8は、蓄積信号のい
くつかの注目箇所に対して前記類似度計算を行い、当該
注目箇所における類似度とあらかじめ設定した類似度
(θ:探索閾値)とを比較することにより、前記蓄積信
号の当該箇所と前記目的信号との類似を判定し、信号検
出結果として出力する。
【0020】図2は、本発明実施形態の動作を説明する
ために引用したフローチャートである。以下、図2に示
すフローチャートを参照しながら図1に示す本発明実施
形態の動作について詳細に説明する。蓄積信号特徴計算
部1は、まず、与えられた蓄積信号を読み込む(ステッ
プS11)。次に、読み込んだ蓄積信号に対して特徴抽
出を行う(ステップS12)。ここでは、特徴としてス
ペクトル特徴を用いるため、特徴抽出は、例えば、帯域
通過フィルタによって行うことができる。
【0021】例えば、15秒程度の音響信号を探索した
い場合、特徴抽出の具体的な設定を次のようにすると期
待する結果が得られる。すなわち、7個の帯域通過フィ
ルタを用い、それらの中心周波数を対数軸上で等間隔に
300Hz〜3500Hzの範囲で設定し、60ミリ秒
程度の時間長を有する時間窓を10ミリ秒ずつ移動させ
ながら、この時間窓内における各帯域通過フィルタの出
力の自乗の平均値を計算し、得られた7個の値を一組に
して7次元特徴ベクトルとする。この場合、特徴ベクト
ル10ミリ秒毎に1つ得られる。なお、映像特徴を用い
ることによって映像の探索にも用いることができる。こ
の場合は、映像の1フレームの画像を横4等分、縦3等
分の計12分割し、それぞれの分割でのRGB値の平均
を特徴として、計36次元特徴ベクトルとすると期待す
る結果が得られる。
【0022】蓄積信号特徴ヒストグラム作成部2は、は
じめに、蓄積信号特徴計算部1から出力された、蓄積信
号についての特徴ベクトルの時系列を読み込み、特徴ベ
クトルのヒストグラムを作成する(ステップS13)。
具体的には、まず、特徴ベクトルを分類する。例えば、
特徴ベクトルの各要素の値をいくつかのビン(区間)に
分割する。すなわち、例えば、各要素を3つの区間に分
割し、各特徴ベクトルの次元数が7であれば、全体のビ
ン数、すなわち、ヒストグラムの横軸に配置される区間
の数3の7乗となる。従って、各特徴ベクトルは、この
3の7乗個の区間のうちのどれか一つに分類されたこと
になる。次に、蓄積信号の先頭に、目的信号と同一の長
さの時間窓を設定し、その時間窓内におけるそれぞれの
分類についての特徴ベクトルの個数を数えることによ
り、特徴ベクトルのヒストグラムを作成する。
【0023】このヒストグラムの作成を、時間窓を蓄積
信号の時間軸方向に順次移動しながら繰り返し行い、ヒ
ストグラムの時系列とする。ここで、時間窓の移動幅を
zとすれば、zは、例えば、特徴ベクトル1つ分に相当
する時間とすればよい。このようにして作成された蓄積
信号特徴ヒストグラム系列を、蓄積信号特徴ヒストグラ
ム系列蓄積部3に対して出力する。なお、特徴ベクトル
の分類を行う方法は、上述した方法に制限されず、ベク
トル量子化の技術を用いることもできる。また、時間窓
の長さは必ずしも目的信号と同一の長さでなくともよ
い。また、時間窓の移動幅zは、必ずしも特徴ベクトル
1個分ずつである必要はなく、信号検出の精度を損なわ
ない程度に、一度に特徴ベクトル複数個分に相当する時
間だけ移動してもよい。
【0024】蓄積信号特徴ヒストグラム系列蓄積部3
は、蓄積信号特徴ヒストグラム作成部2から出力され
た、蓄積信号特徴ヒストグラムの系列を読み込み、これ
を内蔵の記録媒体に記録し蓄積する(ステップS1
4)。このように、蓄積信号特徴ヒストグラムの系列を
具体的な目的信号についての信号検出処理に先だって記
録媒体に記録蓄積しておくことが本発明の主眼であり、
これにより、具体的な目的信号が与えられた後の信号検
出処理が著しく高速化されるという特異な効果がもたら
される。詳細は後述する。
【0025】目的信号特徴計算部4は、はじめに、検出
の目的とする音響信号の見本である目的信号を読み込む
(ステップS15)。次に、読み込んだ目的信号に対し
て特徴抽出を行う(ステップS16)。特徴抽出は、先
に蓄積信号特徴計算部1において行ったのと同じ操作を
行う。目的信号特徴ヒストグラム作成部5は、はじめ
に、目的信号特徴計算部4から出力された、目的信号に
ついての特徴ベクトルの時系列を読み込み、前記特徴ベ
クトルのヒストグラムを作成する(ステップS17)。
ヒストグラムの作成は、蓄積信号特徴ヒストグラム作成
部2と同様に行う。
【0026】注目箇所設定部6は、信号検出処理の最初
の時点では、蓄積信号特徴ヒストグラム系列蓄積部3に
おいて蓄積された蓄積信号特徴ヒストグラムの冒頭に、
注目箇所を設定し、その注目箇所における蓄積信号特徴
ヒストグラムを類似度計算部7に出力する(ステップS
18)。類似度計算部7では、後述するように、注目箇
所における蓄積信号特徴ヒストグラムと、目的信号特徴
ヒストグラムとの類似度SRIを計算するが(ステップS
19)、そのとき、注目箇所設定部6は、計算された類
似度値SRIを類似度計算部7から受け取る(ステップS
20)。その類似度値に基づき、注目箇所設定部6は、
次の時点でどの位置に注目箇所を設定できるかを表す値
であるスキップ可能幅ωを計算する(ステップS21)
演算部を内蔵する。当該演算部により計算されるスキッ
プ可能値ωは、次式で求められる。
【0027】
【数5】 ただし、スキップ可能値ωの単位は特徴ベクトルの個
数、すなわち特徴ベクトル系列において隣接する特徴ベ
クトル間の時間間隔を単位とした時間であり、floor
(・)は切り下げを表す。従って、蓄積信号特徴ヒスト
グラム作成部2において、z=1とした場合(すなわち
特徴ベクトル1個ごとにヒストグラム1個を作成した場
合)にあっては、ωの値はそのまま、ヒストグラムの個
数を単位としたときの注目箇所の移動量を表すことにな
る。
【0028】特徴ベクトル複数個分ずつ移動させながら
ヒストグラムを作成した場合は、ステップ可能幅ωの値
を適切に換算したものが注目箇所の移動量を表すことは
容易に理解される。例えば、特徴ベクトルn個毎に1個
のヒストグラムを作成した場合、注目箇所の移動量はfl
oor(ω/n)+1となる。一方、SRI≧θならば、類似
度のローカルピークを見出すためにω=1(全探索)と
する。すなわち、注目箇所設定部6は、類似度計算部7
により計算された類似度から蓄積信号に対す注目箇所の
現在位置近傍における類似度上限値を求め、当該上限値
に基づいて次に設定される注目箇所の位置を求めること
になる。
【0029】注目箇所設定部6は、以上のようにして定
めた次の注目箇所の位置を、類似度計算部7に対して出
力し、以下、順次、蓄積信号の末端に達するまで(ステ
ップS22)、類似度計算部7による類似度計算の処理
(ステップS19)と、注目箇所設定部6によるスキッ
プ可能幅ωを計算する処理(ステップS20)とを繰り
返す。類似度計算部7では、はじめに、目的信号特徴ヒ
ストグラム作成部5から出力される目的信号特徴ヒスト
グラムと、注目箇所設定部6から出力される注目箇所が
示す蓄積信号特徴ヒストグラムとを読み込む。目的信号
特徴ヒストグラム作成部5から出力される目的信号特徴
ヒストグラムをHR、注目箇所設定部6から出力される
注目箇所が示す蓄積信号特徴ヒストグラムをHIとす
る。ただし、R、Iは、それぞれヒストグラムが目的信
号の特徴ベクトル、蓄積信号の特徴ベクトルから作られ
たものであることを表す。
【0030】類似度SRIの計算は、次式によって行うこ
とができる。
【数6】 ただし、Lは特徴ベクトルの分類の総数(ここでは3の
7乗)、Dはヒストグラムの総度数(一つの目的信号か
ら導かれた特徴ベクトルの総数)であり、hRI、h
Ilは、それぞれHR、HIのl番目の分類に含まれる特徴
ベクトルの数(度数)を表す。類似度計算部7は、類似
度の値を、注目箇所設定部6に対して出力すると同時に
類似度判定部8に出力する。類似度判定部8では、類似
度の値が予め設定した値(閾値)を越えている場合にあ
っては、その目的信号が蓄積信号中に存在したことを意
味するので、信号検出結果として、その目的信号の番号
と、蓄積信号に対する注目箇所の現在位置とを出力する
(ステップS23)。
【0031】本発明が実施される信号検出装置の動作実
験例を図3に示してある。図3は、本発明を適用した場
合の信号検出の所要時間を従来例と対比するために表形
式で示した図である。ここでは、20時間分の音響信号
を蓄積信号とし、200種類の10秒間の音響信号を目
的信号とし、全ての目的信号について、蓄積信号中に存
在するか否か検出する処理に関する所要時間をパーソナ
ルコンピュータによって測定した。図3には、蓄積信号
特徴ヒストグラム系列蓄積部3の有無に基づく信号検出
の所要時間が示されている。すなわち、(a)に蓄積信
号特徴ヒストグラム系列蓄積部3を持たない従来例、
(b)に蓄積信号特徴ヒストグラム系列蓄積部3を持つ
本発明による信号検出の所要時間を示す。図3から明白
なように、本発明によれば5倍以上の高速処理が実現さ
れている。
【0032】以上説明のように本発明によれば、新たに
蓄積信号特徴のヒストグラム系列を蓄積するための手段
を付加し、信号検出を行う際のヒストグラム作成に係わ
る処理時間を排除したことによって、極めて長時間の蓄
積信号に対して信号検出を行いたい場合であっても高速
な信号検出が可能となる。なお、本発明は、信号検出の
対象として音響信号のみ例示したが、このことに制限さ
れず、音響信号の場合と同一の構成において、蓄積信号
特徴計算部1および蓄積信号特徴ヒストグラム作成部2
において、映像をもとに、色特徴などの映像特徴を用い
ることにより、映像信号の探索を行うことも可能であ
る。
【0033】
【発明の効果】以上説明のように本発明によれば、新た
に蓄積信号特徴ヒストグラム系列を蓄積する手段を付加
し、信号検出処理を行う際のヒストグラム作成にかかわ
る処理を排除することにより、極めて長い蓄積信号に対
し信号処理を行う場合にも高速に類似した箇所を探索す
ることができる。このことにより、放送の音響信号の中
から特定のコマーシャルの放映された時刻を検出して自
動記録したり、特定のテーマソングを検出してビデオ録
画を開始したり、停止したりすることが可能になる。ま
た、放送から拍手音の発せられた時刻や、笑い声の発せ
られた時刻等を自動的に監視したり、特定のシーンを検
索したりすることも可能になる。また、本発明は、音響
信号のみならず、画像パターン等一般の信号の検出にも
応用可能である。
【図面の簡単な説明】
【図1】 本発明における信号検出装置の一実施形態を
示すブロック図である。
【図2】 本発明実施形態の動作を示すフローチャート
である。
【図3】 本発明を適用した場合の信号検出の所要時間
を従来例と対比するために表形式で示した図である。
【符号の説明】
1 蓄積信号特徴計算部 2 蓄積信号特徴ヒストグラム作成部 3 蓄積信号特徴ヒストグラム系列蓄積部 4 目的信号特徴計算部 5 目的信号特徴ヒストグラム作成部 6 注目箇所設定部 7 類似度計算部 8 類似度判定部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 3/00 531C (72)発明者 村瀬 洋 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5C025 BA11 DA08 5C026 DA27 DA28 5D015 AA06 EE00 HH04

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 あらかじめ蓄積された蓄積信号の中から
    目的とする目的信号に類似した箇所を探索する信号検出
    方法であって、 前記蓄積信号から特徴系列を導いて各時点における特徴
    ヒストグラムを作成してこれを蓄積し、 当該蓄積された特徴ヒストグラム系列に対していくつか
    の注目箇所を設定し、当該それぞれの注目箇所における
    蓄積信号特徴ヒストグラムと、前記目的信号から作成さ
    れた目的信号特徴ヒストグラムとの類似度を計算し、当
    該類似度とあらかじめ設定した目的とする類似度とを比
    較することによりそれぞれの注目箇所における目的信号
    との類似を判定し、検出の対象となる目的信号に類似し
    た箇所を検出することを特徴とする信号検出方法。
  2. 【請求項2】 前記蓄積された特徴ヒストグラム系列に
    対していくつかの注目箇所を設定するにあたり、 前記計算された類似度から前記蓄積信号に対する前記注
    目箇所の現在位置近傍における類似度上限値を求め、当
    該上限値に基づいて次に設定される注目箇所の位置を求
    めることを特徴とする請求項1に記載の信号検出方法。
  3. 【請求項3】 あらかじめ蓄積された蓄積信号から特徴
    系列を導き、前記導き出された特徴系列において所定長
    の時間窓を設定し、当該時間窓内の特徴系列を分類計数
    することにより前記蓄積信号の各時点における特徴ヒス
    トグラムを作成する第1の工程と、 前記作成された特徴ヒストグラム系列を蓄積する第2の
    工程と、 あらかじめ登録された信号検出のための目的信号から特
    徴系列を導き、前記導き出された目的信号の特徴系列に
    おいて所定長の時間窓を設定し、当該時間窓内の特徴系
    列を分類計数することにより前記目的信号の各時点にお
    ける特徴ヒストグラムを作成する第3の工程と、 前記蓄積された特徴ヒストグラム系列に対して注目箇所
    を設定し、当該注目箇所における蓄積信号特徴ヒストグ
    ラムと前記目的信号特徴ヒストグラムの類似度を計算す
    る第4の工程と、 前記蓄積信号のいくつかの注目箇所に対して前記類似度
    計算を行い、当該注目箇所における類似度とあらかじめ
    設定した類似度とを比較することにより、前記蓄積信号
    の当該箇所と前記目的信号との類似を判定する第5の工
    程と、を備えたことを特徴とする信号検出方法。
  4. 【請求項4】 あらかじめ蓄積された蓄積信号の中から
    目的とする目的信号に類似した箇所を探索する信号検出
    装置であって、 前記蓄積信号から特徴系列を導いて各時点における特徴
    ヒストグラムを作成してこれを蓄積する蓄積信号抽出系
    と、 当該蓄積された特徴ヒストグラム系列に対していくつか
    の注目箇所を設定し、当該それぞれの注目箇所における
    蓄積信号特徴ヒストグラムと、前記目的信号から作成さ
    れた目的信号特徴ヒストグラムとの類似度を計算し、当
    該類似度とあらかじめ設定した目的とする類似度とを比
    較することによりそれぞれの注目箇所における目的信号
    との類似を判定し、検出の対象となる目的信号に類似し
    た箇所を検出する比較演算系とを備えたことを特徴とす
    る信号検出装置。
  5. 【請求項5】 前記比較演算系は、 前記蓄積された特徴ヒストグラム系列に対していくつか
    の注目箇所を設定するにあたり、前記計算された類似度
    から前記蓄積信号に対する前記注目箇所の現在位置近傍
    における類似度上限値を求め、当該上限値に基づいて次
    に設定される注目箇所の位置を求める演算部を備えたこ
    とを特徴とする請求項4に記載の信号検出装置。
  6. 【請求項6】 あらかじめ蓄積された蓄積信号から特徴
    系列を導く蓄積信号特徴計算手段と、 前記導き出された特徴系列において所定長の時間窓を設
    定し、当該時間窓内の特徴系列を分類計数することによ
    り前記蓄積信号の各時点における特徴ヒストグラムを作
    成する蓄積信号特徴ヒストグラム作成手段と、 前記作成された特徴ヒストグラム系列を蓄積する蓄積信
    号特徴ヒストグラム系列蓄積手段と、 あらかじめ登録された信号検出のための目的信号から特
    徴系列を導く目的信号特徴計算手段と、 前記導き出された目的信号の特徴系列において所定長の
    時間窓を設定し、当該時間窓内の特徴系列を分類計数す
    ることにより前記目的信号の各時点における特徴ヒスト
    グラムを作成する目的信号特徴ヒストグラム作成手段
    と、 前記蓄積された特徴ヒストグラム系列に対して注目箇所
    を設定する注目箇所設定手段と、 当該注目箇所における蓄積信号特徴ヒストグラムと前記
    目的信号特徴ヒストグラムの類似度を計算する類似度度
    計算手段と、 前記蓄積信号のいくつかの注目箇所に対して前記類似度
    計算を行い、当該注目箇所における類似度とあらかじめ
    設定した類似度とを比較することにより、前記蓄積信号
    の当該箇所と前記目的信号との類似を判定する類似度判
    定手段と、を備えたことを特徴とする信号検出装置。
  7. 【請求項7】 前記蓄積信号特徴ヒストグラム作成手段
    および、または、前記目的信号特徴ヒストグラム作成手
    段は、前記蓄積信号特徴計算手段および、または、前記
    目的信号特徴計算手段から出力される特徴ベクトルの時
    系列を読込み、前記特徴ベクトルの各要素をn個の区間
    に分割し、各特徴ベクトルの次元数がmのとき、nのm
    乗個の区間のうちの1つに分類し、前記蓄積信号およ
    び、または、目的信号の先頭に任意長の時間窓を設定
    し、その時間窓内におけるそれぞれの分類についての特
    徴ベクトルの個数を数え、前記時間窓を時間軸方向に順
    次移動しながら上記操作を繰り返し、ヒストグラムの時
    系列を作成することを特徴とする請求項6に記載の信号
    検出装置。
  8. 【請求項8】 前記注目箇所設定手段は、注目箇所の移
    動可能幅ωを次式を演算することにより求めることを特
    徴とする請求項6または7に記載の信号検出装置。 【数1】 ただし、θは類似度閾値、Sは蓄積信号類似度値、Dは
    特徴量系列の総度数、floor(・)は小数点以下の切り下
    げを表す場合とする。
  9. 【請求項9】 前記類似度計算部は、類似度を次式を演
    算することにより求めることを特徴とする請求項6ない
    し8に記載の信号検出装置。 【数2】 ただし、Lは特徴ベクトルの分類の総数、Dはヒストグ
    ラムの総度数、hRl、hIlは、それぞれ、目的信号特徴
    ヒストグラム、蓄積信号特徴ヒストグラムのl番目の分
    類に含まれる特徴ベクトルの数を示すものとする。
  10. 【請求項10】 あらかじめ蓄積された蓄積信号の中か
    ら目的とする目的信号に類似した箇所を検出する信号検
    出装置に用いられる信号検出プログラムが記録されたコ
    ンピュータ読み取り可能な記録媒体において、 前記信号検出プログラムは、 あらかじめ蓄積された蓄積信号から特徴系列を導く第1
    のステップと、 前記導き出された特徴系列において所定長の時間窓を設
    定し、当該時間窓内の特徴系列を分類計数することによ
    り前記蓄積信号の各時点における特徴ヒストグラムを作
    成する第2のステップと、 前記作成された特徴ヒストグラム系列を蓄積する第3の
    ステップと、 あらかじめ登録された信号検出のための目的信号から特
    徴系列を導く第4のステップと、 前記導き出された目的信号の特徴系列において所定長の
    時間窓を設定し、当該時間窓内の特徴系列を分類計数す
    ることにより前記目的信号の各時点における特徴ヒスト
    グラムを作成する第5のステップと、 前記蓄積された特徴ヒストグラム系列に対して注目箇所
    を設定する第6のステップと、 前記注目箇所における蓄積信号特徴ヒストグラムと前記
    目的信号特徴ヒストグラムの類似度を計算する第7のス
    テップと、 前記第6と第7のステップによる処理を繰り返すことに
    より蓄積信号のいくつかの注目箇所に対して前記類似度
    計算を行い、当該注目箇所における類似度とあらかじめ
    設定した類似度とを比較することにより、前記蓄積信号
    の当該箇所と前記目的信号との類似を判定する第8のス
    テップと、をコンピュータに実行させる信号検出プログ
    ラムを記録した記録媒体。
  11. 【請求項11】 前記第6のステップは、 前記第7のステップにおいて計算された類似度から前記
    蓄積信号に対する前記注目箇所の現在位置近傍における
    類似度上限値を求めるステップと、 前記上限値に基づいて次に設定される注目箇所の位置を
    求めるステップとを更に備えたことを特徴とする請求項
    10に記載の記録媒体。
JP2000297407A 2000-09-28 2000-09-28 信号検出方法ならびに装置および同方法がプログラムされ記録された記録媒体 Pending JP2002108385A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000297407A JP2002108385A (ja) 2000-09-28 2000-09-28 信号検出方法ならびに装置および同方法がプログラムされ記録された記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000297407A JP2002108385A (ja) 2000-09-28 2000-09-28 信号検出方法ならびに装置および同方法がプログラムされ記録された記録媒体

Publications (1)

Publication Number Publication Date
JP2002108385A true JP2002108385A (ja) 2002-04-10

Family

ID=18779526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000297407A Pending JP2002108385A (ja) 2000-09-28 2000-09-28 信号検出方法ならびに装置および同方法がプログラムされ記録された記録媒体

Country Status (1)

Country Link
JP (1) JP2002108385A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009066397A1 (ja) * 2007-11-22 2009-05-28 Endless Co., Ltd. 検索装置及び検索システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009066397A1 (ja) * 2007-11-22 2009-05-28 Endless Co., Ltd. 検索装置及び検索システム
JP5105109B2 (ja) * 2007-11-22 2012-12-19 エンドレス株式会社 検索装置及び検索システム

Similar Documents

Publication Publication Date Title
KR100737176B1 (ko) 신호 처리 방법 및 영상 음성 처리 장치
US6928233B1 (en) Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal
US6195458B1 (en) Method for content-based temporal segmentation of video
JP4683253B2 (ja) Av信号処理装置および方法、プログラム、並びに記録媒体
US6826350B1 (en) High-speed signal search method device and recording medium for the same
Ferman et al. Efficient filtering and clustering methods for temporal video segmentation and visual summarization
US7796860B2 (en) Method and system for playing back videos at speeds adapted to content
JP4332988B2 (ja) 信号処理装置及び方法
US20090279840A1 (en) Image Digesting Apparatus
JP2005513663A (ja) コマーシャル及び他のビデオ内容の検出用のファミリーヒストグラムに基づく技術
JP3065314B1 (ja) 高速信号探索方法、装置およびその記録媒体
CN109740530B (zh) 视频段的提取方法、装置、设备及计算机可读存储介质
US7054388B2 (en) Signal detection method and apparatus, relevant program, and storage medium storing the program
JP2000285242A (ja) 信号処理方法及び映像音声処理装置
JP4447602B2 (ja) 信号検出方法,信号検出システム,信号検出処理プログラム及びそのプログラムを記録した記録媒体
US20100169248A1 (en) Content division position determination device, content viewing control device, and program
JP3408800B2 (ja) 信号検出方法、装置及びそのプログラム、記録媒体
JP2002108385A (ja) 信号検出方法ならびに装置および同方法がプログラムされ記録された記録媒体
US20050162442A1 (en) Target object appearing position display apparatus
JP3730179B2 (ja) 信号検索装置、信号検索方法、信号検索プログラム及び信号検索プログラムを記録した記録媒体
JPH11282492A (ja) 音声認識装置、話者検出装置及び画像記録装置
US9135509B2 (en) Determining representative images for a video
JP3574075B2 (ja) 信号検出方法、信号検出装置、記録媒体及びプログラム
CN111291224A (zh) 视频流数据处理方法、装置、服务器及存储介质
JP2003196658A (ja) 類似性判定方法および装置