JP2009229921A

JP2009229921A - 音響信号分析装置

Info

Publication number: JP2009229921A
Application number: JP2008076604A
Authority: JP
Inventors: Takao Yamabe; 孝朗山邊; Naoya Ogami; 直哉大上
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2008-03-24
Filing date: 2008-03-24
Publication date: 2009-10-08

Abstract

【課題】音響信号に音楽が含まれるか否かを高精度で即時に判定する。
【解決手段】音響信号特徴抽出部５は、音楽判定パラメータと周波数信号とを用いて、音響信号特徴量をフレームごとに求め、これを音響信号特徴量蓄積メモリ６に蓄積する。読み出し制御部７は、解析区間に含まれる複数フレームの音響信号特徴量を音響信号特徴量蓄積メモリ６から読み出して判定部８に供給し、判定部８は、読み出し制御部７からの音響信号特徴量と持続性判定パラメータとを用いて、解析区間の音響信号に音楽が含まれているか否かを判定する。読み出し制御部７は、連続する解析区間がオーバーラップするように、音響信号特徴量蓄積メモリ６から読み出す音響信号特徴量を決定する。パラメータ調整部３は、音圧レベル検出部２で検出した音圧レベルに基づいて、音楽判定パラメータ、解析区間の時間幅である音楽判定時間解析幅、および持続性判定パラメータを調整する。
【選択図】図１

Description

本発明は、音響信号を分析して音楽が含まれるか否かを判定する音響信号分析装置に関する。

現在、放送されたコンテンツを楽しむ方法として、テレビやラジオなどで受信したコンテンツを保存せずにリアルタイムで楽しむ方法や、コンテンツをＤＶＤ（Digital Versatile Disc）やハードディスクなどの記録媒体に保存した後に観賞するなどの方法がある。コンテンツを記録媒体に保存した後に観賞する場合、時間を有効活用するために、各種情報を基に、コンテンツのハイライトを探し出したり、コンテンツのダイジェストを作成したり、コンテンツの中で音楽が含まれる信号区間を判別したりする技術が開発されている。

例えば、特許文献１には、音響信号の単位時間ごとの周波数データを抽出し、この周波数データのエネルギーの分散値により有音区間と無音区間の判別を行い、また、周波数の重心の平均と重心の標準偏差から周波数の分布により雑音区間と雑音以外の区間の判別を行い、雑音以外の区間のうち有音区間において音の疎密度により音声区間と音楽区間の判別を行う技術が開示されている。

また、特許文献２には、２チャンネル音声の各チャンネルのパワーの合計と各チャンネルのパワーの差との比を用いて、音楽区間の判別を行う技術が開示されている。
特開２０００−６６６９１号公報特開２００６−３０１１３４号公報

特許文献１では、圧縮符号化された音響信号、あるいは圧縮符号化されていない音響信号の符号化データから音声区間、音楽区間、雑音区間を判別することができるが、周波数全体を扱って処理を行っており、音楽特有の周波数成分を利用していないため、音楽判定の精度が十分ではない。

また、音響信号に対して１秒毎での音楽判定を行えると記載されているが、この時間幅の解析区間では、定常的な音楽コンテンツのみにしか対応できず、様々なコンテンツが放送されるラジオやテレビなどのソースでは、解析区間の時間幅が不十分であり、誤検出が増加するおそれがある。

また、音楽が始まった時点が解析区間のどの位置にあるかによって、解析区間に音楽が含まれるか否かの判定には、解析区間の時間幅の２倍程度の時間を要することがある。このため、誤検出を低減するために解析区間の時間幅を増加させると、判定遅延時間の増大を招いてしまう。

また、特許文献２の技術では、音楽検出に要する演算量を軽減することができるが、音楽区間の判別に長時間を要する。テレビやラジオなどで放送されるコンテンツや、これを記録した記録装置から再生されたコンテンツにおいて、音響信号に対して何らかの効果を与えるために音楽検出を行う場合、その即時性が重要となるが、特許文献２の技術では、このような用途に対応できない。

本発明は上記に鑑みてなされたもので、音響信号に音楽が含まれるか否かを高精度で即時に判定することができる音響信号分析装置を提供することを目的とする。

上記目的を達成するため、本発明の音響信号分析装置は、入力された音響信号を分析して前記音響信号に音楽が含まれるか否かを判定する音響信号分析装置であって、前記音響信号を所定の単位であるフレームに分割するフレーム分割手段と、前記フレームごとの前記音響信号の音圧レベルを検出する音圧レベル検出手段と、前記フレームごとの前記音響信号を時間領域の信号から周波数領域の信号である周波数信号へと変換する周波数分析手段と、前記音響信号に音楽が含まれているか否かの程度を示す音響信号特徴量を求めるための音楽判定パラメータと前記周波数信号とを用いて、前記音響信号特徴量を前記フレームごとに求める音響信号特徴抽出手段と、前記音響信号に音楽が含まれるか否かを判定するための時間幅である音楽判定時間解析幅に相当する連続する複数フレーム分の前記音響信号特徴量を蓄積する音響信号特徴量蓄積手段と、前記音楽判定時間解析幅を有する解析区間に含まれる複数フレームの前記音響信号特徴量を前記音響信号特徴量蓄積手段から読み出す読み出し制御手段と、前記読み出し制御手段により読み出した前記解析区間の複数フレームの前記音響信号特徴量と、前記解析区間の前記音響信号に音楽が持続的に存在するか否かを判定するための持続性判定パラメータとを用いて、前記解析区間の前記音響信号に音楽が含まれているか否かを判定する判定手段と、前記音圧レベル検出手段で検出した音圧レベルに基づいて、前記音楽判定パラメータ、前記音楽判定時間解析幅、および前記持続性判定パラメータを調整するパラメータ調整手段とを備え、前記読み出し制御手段は、時間的に連続する２つの前記解析区間に同じフレームが少なくとも１つ含まれるように、前記音響信号特徴量蓄積手段から読み出す前記音響信号特徴量を決定することを特徴とする。

また、本発明の音響信号分析装置における前記パラメータ調整手段は、前記音圧レベルを用いて前記音響信号のフレームごとの振幅最大値またはパワーを検出し、この振幅最大値またはパワーと予め設定された基準値との比を用いて、前記音楽判定パラメータ、前記音楽判定時間解析幅、および前記持続性判定パラメータを調整することを特徴とする。

また、本発明の音響信号分析装置における前記音楽判定パラメータは、所定の周波数帯に対して設定された音圧レベルの閾値、所定の中域信号のピッチ性の有無を判定するためのパラメータ、および隣接する所定の時間幅を有する区間における前記音響信号の振幅最大値またはパワーの変化量に対して設定された閾値のうちの少なくともいずれか１つであることを特徴とする。

また、本発明の音響信号分析装置における前記持続性判定パラメータは、前記解析区間に含まれる複数のフレームにおける、当該フレームの音響信号特徴量が音楽を含むことを示すフレームの割合に対して設定された閾値であることを特徴とする。

本発明の音響信号分析装置によれば、音響信号に音楽が含まれるか否かを高精度で即時に判定することができる。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。

図１は、本発明の実施の形態に係る音響信号分析装置の構成を示すブロック図である。図１に示すように本実施の形態に係る音響信号分析装置は、入力される音響信号を所定の単位であるフレームに分割するフレーム分割部１と、音響信号の音圧レベルを検出する音圧レベル検出部２と、音響信号を時間領域の信号から周波数領域の信号である周波数信号へと変換する周波数分析部４と、音響信号に音楽が含まれているか否かの程度を示す音響信号特徴量を求めるための音楽判定パラメータと周波数信号とを用いて音響信号特徴量をフレームごとに求める音響信号特徴抽出部５と、音響信号に音楽が含まれるか否かを判定するための時間幅である音楽判定時間解析幅に相当する連続する複数フレーム分の音響信号特徴量を蓄積する音響信号特徴量蓄積メモリ６と、音楽判定時間解析幅を有する解析区間に含まれる複数フレームの音響信号特徴量を音響信号特徴量蓄積メモリ６から読み出す読み出し制御部７と、読み出し制御部７により読み出した解析区間の複数フレームの音響信号特徴量と解析区間の音響信号に音楽が持続的に存在するか否かを判定するための持続性判定パラメータとを用いて解析区間の音響信号に音楽が含まれているか否かを判定する判定部８と、音圧レベル検出部２で検出した音圧レベルに基づいて、音楽判定パラメータ、音楽判定時間解析幅、および持続性判定パラメータを調整するパラメータ調整部３とを備える。

次に、本実施の形態に係る音響信号分析装置の動作を説明する。

外部からデジタル信号である音響信号が入力されると、フレーム分割部１は、後段の周波数分析部４で用いる周波数分析法に従う所定のサンプル数（周波数分析幅）を有するフレーム単位に音響信号を分割する。なお、入力音響信号はデジタル信号が前提であるが、アナログ信号である場合は、図示しないＡＤコンバータによりデジタル信号に変換した後、フレーム分割部１に入力される。

音圧レベル検出部２は、フレーム分割部１から入力される音響信号の音圧レベルを検出する。音圧レベルの検出単位は、フレーム分割部１で分割したフレームごとに行ってもよいし、時間的変化量を平滑化するために、より長い時間幅で検出してもよい。その１つの目安として、後述する判定部８における音楽判定時間解析幅を考慮すると、音圧レベルの検出と音楽判定で用いる音響信号の一致が図れる。

パラメータ調整部３は、音圧レベル検出部２で検出した音圧レベルに基づいて、音響信号特徴抽出部５で用いる音楽判定パラメータ、読み出し制御部７で用いる音楽判定時間解析幅、および判定部８で用いる持続性判定パラメータを調整するための調整値をフレームごとに算出する。そして、この調整値を用いて、予め保持している上記各種パラメータの初期値を、フレームごとに最適な値に調整する。なお、各種パラメータの初期値は、音圧レベルが極めて高いコンテンツに対し最適な音楽検出が可能な値に設定しておく。

ここで、調整値を算出する方法の一例を説明する。パラメータ調整部３は、音圧レベル検出部２で検出した音圧レベルから、時間領域の音響信号のフレームごとの振幅最大値を検出する。そして、この検出した振幅最大値をMax_dataとして、下記（数式１）により、調整値Adjustを算出する。

Adjust＝（Avr_data×Ｎ＋Max_data／Ａ）／（Ｎ＋１）（数式１）
ここで、Avr_dataは、１つ前のフレームの調整値Adjustとして算出された値であり、その初期値は１とする。Ｎは平滑化の時定数であり、Ｎが大きいほど、調整値Adjustが時間方向により平滑化される。例えば、上記（数式１）のＮの値を大きくとることにより、新たに検出したMax_dataの影響を小さいものとすることができ、Ｎの値を小さくすることにより、新たに検出したMax_dataの影響を大きくすることも可能である。

Ａは基準値であり、この基準値Ａとしては、例えば、入力音響信号の振幅の理論的最大値を用いる。上記（数式１）では、振幅最大値Max_dataをこの基準値Ａで正規化する（０〜１までの値で表現する）ことで、音圧レベルに比例した調整量Adjustを求めることができる。

なお、パラメータ調整部３において、フレームごとの振幅最大値のかわりに、音響信号のフレームごとのパワー検出し、この検出したパワーをMax_dataとして用いてもよい。

周波数分析部４は、フレーム分割部１でフレーム単位に分割された音響信号を、ＦＦＴ（Fast Fourier Transform）、ＭＤＣＴ（Modified Discrete Cosine Transform）、ポリフェイズフィルタ等の周波数解析法により、時間領域の信号から周波数信号へと変換する。なお、周波数分析における演算負荷を軽減するために、ＦＩＲ（Finite Impulse Response）フィルタやＩＩＲ（Infinite Impulse Response）フィルタ等の時間領域のフィルタを用いてもよい。ただし、周波数分解能不足により音楽判定の精度が損なわれるため、前述の周波数解析法の方が望ましい。

音響信号特徴抽出部５は、周波数分析部４から入力される周波数信号と、パラメータ調整部３で調整された音楽判定パラメータとを用いて、音響信号に音楽が含まれているか否かの程度を示す音響信号特徴量をフレームごとに求める。

ここで、音楽判定パラメータとしては、例えば、低域や中域の所定の周波数帯に対して設定された音圧レベルの閾値を用いることができる。この場合、音圧レベルがこの閾値を超えた場合に音楽であると判定する。

また、所定の中域信号のピッチ性の有無を判定するためのパラメータを、音楽判定パラメータとして用いてもよい。例えば、所定の中域信号が検出される間隔や回数をパラメータとし、所定間隔で所定回数以上検出された場合に、ピッチ性があり音楽であると判定する。

また、隣接する所定の時間幅を有する区間における音響信号の振幅最大値またはパワーの変化量に対して設定された閾値を、音楽判定パラメータとして用いてもよい。この場合、隣接する区間における音響信号の振幅最大値またはパワーの変化量がこの閾値を超えた場合に音楽であると判定する。

音響信号特徴量としては、例えば、そのフレームに音楽が含まれるか、音楽が含まれないかを示す２値情報を用いることができる。または、そのフレームに音楽が含まれるか否かの程度をレベル化し、その情報を音響信号特徴量として用いてもよい。

フレーム単位で求めた音響信号特徴量は、音楽的特徴の持続性を判定するために、一時的に音響信号特徴量蓄積メモリ６に記録される。音響信号特徴量蓄積メモリ６は、ＦＩＦＯ（first in first out）の構造を有し、最も新しいデータが最も古いデータを記録してある位置に上書きされる。音響信号特徴量蓄積メモリ６の容量は、判定部８での音楽判定に用いられる音楽判定時間解析幅のフレーム数分の音響信号特徴量を記録する領域を満足すればよく、大きな容量は必要ない。

本実施の形態の音響信号分析装置では、音響信号特徴抽出部５においてフレーム単位で求めた音響信号特徴量を連続する数フレーム分観察し、音楽が持続的に存在したと判断された場合に、初めて入力音響信号に音楽が含まれると判定する。通常、判定には数秒間の音楽判定時間解析幅を必要とし、この時間が判定遅延時間となる。

読み出し制御部７は、パラメータ調整部３で調整された音楽判定時間解析幅を有する解析区間に含まれる複数フレームの音響信号特徴量を音響信号特徴量蓄積メモリ６から読み出し、これを判定部８に供給する。

判定部８は、読み出し制御部７からの複数フレームの音響信号特徴量と、パラメータ調整部３で調整された持続性判定パラメータとを用いて、解析区間の音響信号に音楽が含まれているか否かを判定し、判定結果を外部に出力する。

持続性判定パラメータとしては、例えば、音響信号特徴量として、音楽が含まれるか含まれないかを示す２値情報を用いる場合、解析区間に含まれる複数のフレームにおける、その音響信号特徴量が音楽を含むことを示すフレームの割合に対して設定された閾値を用いることができる。この場合、音響信号特徴量が音楽を含むことを示すフレームの割合がこの閾値を超えた場合に、解析区間に音楽が含まれると判定する。音響信号特徴量が音楽を含むことを示すフレームの割合が閾値以下の場合、解析区間に音楽が含まれず、音楽が終了したものと判定する。持続性判定パラメータである閾値は、音楽の開始を判定する場合と終了を判定する場合とで共通でもよいし異なってもよい。

また、音響信号特徴量として、音楽が含まれるか否かの程度をレベル化した情報を用いた場合は、持続性判定パラメータとして、レベル化された値の解析区間における平均値または合計に対して設定された閾値を用いることができる。この場合、レベル化された値の解析区間における平均値または合計が閾値を超えた場合に、解析区間に音楽が含まれると判定する。

従来方法では、音楽の持続性を考慮するために設定する音楽判定時間解析幅が固定であったため、様々な入力音響信号に対し、最適な音楽検出を行うことが困難であった。これに対し、本実施の形態では、音圧レベルに応じてパラメータ調整部３で調整された最適な音楽判定時間解析幅を読み出し制御部７へ伝送し、その音楽判定時間解析幅に対応する持続性判定パラメータを判定部８へ伝送することで、精度の高い音楽検出を行うことができる。

また、従来方法では、音楽判定時間解析幅と、実際に音楽が開始する時点とのズレを解消することができず、最悪なケースとして音楽判定時間解析幅の２倍に近い時間の判定遅延時間が生じていた。これについて図２を参照して説明する。図２（ａ）の場合は、設定された音楽判定時間解析幅を有する解析区間の先頭に対し、実際に音楽が含まれる音楽区間の開始がわずかに早く、最低限必要な判定遅延時間である音楽判定時間解析幅にほぼ近い判定遅延時間で済んでいる。しかし、図２（ｂ）の場合では、音楽区間が開始しているにも係らず、先頭の解析区間で音楽が含まれていると判定できないおそれがあり、判定遅延時間が音楽判定時間解析幅の２倍程度になっていた。

通常、判定遅延時間を短くするには、音楽判定時間解析幅を短くすればよい。しかし、音楽の持続性を観察する区間が短いと誤検出の原因となる。特に小音量の場合は、前後の音圧レベルの変化量が小さく、また、全体的に音圧レベルが低いことにより、音響信号に音楽が含まれるか否かの判定が困難である。

本実施の形態では、判定遅延時間の増大を抑制するために、図３に示すように解析区間がオーバーラップするように、読み出し制御部７が音響信号特徴量蓄積メモリ６から読み出す音響信号特徴量を決定し、読み出した音響信号特徴量を判定部８に供給する。図３において、時間的に連続する２つの解析区間には同じフレームが少なくとも１つ含まれ、解析区間がオーバーラップするようになっている。

音楽判定の頻度を最大とする場合では、解析区間を１フレームずつシフトさせる。このように解析区間をオーバーラップさせることで、図３に示すように、判定遅延時間をほぼ一定の音楽判定時間解析幅に抑えることができる。なお、ほぼ一定と述べたが、本実施の形態では入力音響信号に適応する動作を行っており、音楽判定時間解析幅が可変であるがゆえ、その変移量を加味する必要がある。

なお、音楽判定は周波数分析にかかる負荷と比較して非常に小さいため、音楽判定の頻度を最大としても、装置全体に与える負担はほとんど増えない。

上記説明のように本実施の形態によれば、入力音響信号の音圧レベルに応じて、音響信号特徴抽出部５で音響信号特徴量を求めるための音楽判定パラメータ、音楽の持続性を考慮するために設定する解析区間の音楽判定時間解析幅および持続性判定パラメータを調整することで、音響信号に音楽が含まれるか否かを高精度で判定することができる。また、解析区間をオーバーラップさせることで、判定遅延時間の増大を抑制し、音響信号に音楽が含まれるか否かを即時に判定することができる。

これにより、テレビやラジオに代表される放送メディアまたはそれらを記録したレコーダ等で再生する放送コンテンツ、さらにはパッケージメディアから再生されたコンテンツに対し、予め音楽部分を検出する前処理をしなくとも、音楽部分を判定することができ、非音楽部分には聴き易さを提供する音声帯域強調処理、音楽部分には臨場感を拡大させるステレオ強調処理などの各種音響処理を、コンテンツに最適なモードを自動で切り替えながら提供することができる。

（変形例）
図４は、本発明の実施の形態の変形例に係る音響信号分析装置の構成を示すブロック図である。なお、図４では図１と重複する部分には同一の符号を付し、重複する説明を省略する。

図４に示す本変形例の音響信号分析装置は、入力信号が圧縮音響信号である場合に対応する装置であり、図１に示す音響信号分析装置に対し、フレーム分割部１および周波数分析部４を省略し、圧縮音響信号を復号する圧縮信号デコーダ９を追加した構成である。

外部から圧縮音響信号が入力されると、圧縮信号デコーダ９は、圧縮音響信号を時間領域の音響信号へと復号し、これを外部に出力する。また、圧縮信号デコーダ９は、復号過程で得られる、圧縮方式に依存するフレーム長で生成された周波数信号を、音圧レベル検出部２、および音響信号特徴抽出部５に出力する。

これ以降は、上述した図１の音響信号分析装置と同様の処理を行うことにより、音響信号に音楽が含まれるか否かを高精度で即時に判定することができる。

なお、上記した実施の形態およびその変形例に係る音響信号分析装置の機能をプログラムによりコンピュータに実現させるようにしてもよい。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワーク等を介して伝送されてコンピュータに取り込まれてもよい。

本発明の実施の形態に係る音響信号分析装置の構成を示すブロック図である。音楽判定時間解析幅と判定遅延時間との関係を示す図である。解析区間のオーバーラップを説明するための図である。本発明の実施の形態の変形例に係る音響信号分析装置の構成を示すブロック図である。

符号の説明

１フレーム分割部
２音圧レベル検出部
３パラメータ調整部
４周波数分析部
５音響信号特徴抽出部
６音響信号特徴量蓄積メモリ
７読み出し制御部
８判定部
９圧縮信号デコーダ

Claims

入力された音響信号を分析して前記音響信号に音楽が含まれるか否かを判定する音響信号分析装置であって、
前記音響信号を所定の単位であるフレームに分割するフレーム分割手段と、
前記フレームごとの前記音響信号の音圧レベルを検出する音圧レベル検出手段と、
前記フレームごとの前記音響信号を時間領域の信号から周波数領域の信号である周波数信号へと変換する周波数分析手段と、
前記音響信号に音楽が含まれているか否かの程度を示す音響信号特徴量を求めるための音楽判定パラメータと前記周波数信号とを用いて、前記音響信号特徴量を前記フレームごとに求める音響信号特徴抽出手段と、
前記音響信号に音楽が含まれるか否かを判定するための時間幅である音楽判定時間解析幅に相当する連続する複数フレーム分の前記音響信号特徴量を蓄積する音響信号特徴量蓄積手段と、
前記音楽判定時間解析幅を有する解析区間に含まれる複数フレームの前記音響信号特徴量を前記音響信号特徴量蓄積手段から読み出す読み出し制御手段と、
前記読み出し制御手段により読み出した前記解析区間の複数フレームの前記音響信号特徴量と、前記解析区間の前記音響信号に音楽が持続的に存在するか否かを判定するための持続性判定パラメータとを用いて、前記解析区間の前記音響信号に音楽が含まれているか否かを判定する判定手段と、
前記音圧レベル検出手段で検出した音圧レベルに基づいて、前記音楽判定パラメータ、前記音楽判定時間解析幅、および前記持続性判定パラメータを調整するパラメータ調整手段とを備え、
前記読み出し制御手段は、時間的に連続する２つの前記解析区間に同じフレームが少なくとも１つ含まれるように、前記音響信号特徴量蓄積手段から読み出す前記音響信号特徴量を決定することを特徴とする音響信号分析装置。
前記パラメータ調整手段は、前記音圧レベルを用いて前記音響信号のフレームごとの振幅最大値またはパワーを検出し、この振幅最大値またはパワーと予め設定された基準値との比を用いて、前記音楽判定パラメータ、前記音楽判定時間解析幅、および前記持続性判定パラメータを調整することを特徴とする請求項１に記載の音響信号分析装置。
前記音楽判定パラメータは、所定の周波数帯に対して設定された音圧レベルの閾値、所定の中域信号のピッチ性の有無を判定するためのパラメータ、および隣接する所定の時間幅を有する区間における前記音響信号の振幅最大値またはパワーの変化量に対して設定された閾値のうちの少なくともいずれか１つであることを特徴とする請求項１または２に記載の音響信号分析装置。
前記持続性判定パラメータは、前記解析区間に含まれる複数のフレームにおける、当該フレームの音響信号特徴量が音楽を含むことを示すフレームの割合に対して設定された閾値であることを特徴とする請求項１乃至３のいずれか１項に記載の音響信号分析装置。