JP4705480B2 - 高調波信号の基本周波数を求める方法 - Google Patents

Description

本発明は、高調波信号（harmonic signal）中の高調波（harmonics）の共通基本周波数を見出して、見出された基本周波数にその高調波が属するかどうかを判定する目安を表す証拠値（evidence value）を時間周波数単位に対応付ける手法に関する。この手法は、例えば、モノラル録音の音響音源を、その音源の基礎を成す基本周波数に基づいて、分離するために使用することができる。しかし、本発明は、音響の分野に限定されることなく、例えば圧力センサから生じる信号のような他の信号にも応用することができる。

音響録音を行なうとき、多数の音源が同時に存在することが多い。これらの音源は、各種の音声信号、雑音（例えば、ファンによる）、または同様な信号である。信号をさらに進んで分析するために、第１に、これらの妨害信号を分離することが必要である。一般的な用途は、音声認識または音響情景分析である。よく知られていることであるが、高調波信号は、それの基本周波数に基づいて人の聴覚システムで分離することができる（非特許文献１を参照されたい）。このようにして、音声信号は一般に多くの有声音部分、したがって高調波部分を含むことは注目に値する。

一般的な方式では、入力信号が帯域通過フィルタによって異なる周波数帯域に分割され、そして、もっと後の段階で、時間の各瞬間に帯域ごとに、この帯域が所定の基本周波数から生じるための０から１の範囲の証拠値を計算する（簡単な単一決定は２進証拠値を使用するものとして解釈することができる）。そのように行なうことによって、基本周波数、周波数帯域、および時間の軸を有する信号の３次元記述が得られる。そのような表現は、また、人の聴覚システムにも存在する（非特許文献２を参照されたい）。これらの予め計算された証拠値に基づいて、共通の基本周波数を有する帯域のグループを形成することができる。それ故に、各グループに、１つの基本周波数から生ずる高調波だけ、したがって１つの音源に属する高調波だけが存在している。この方法で、音源の分離を行なうことができる。

音源分離において極めて重要なステップは、存在する基本周波数を求めること、および様々な高調波をそれの対応する基本周波数に対応付けることである。一般的な従来技術の方式では、これは自己相関関数によって行なわれる（非特許文献３を参照されたい）。周波数帯域ごとに、自己相関が決定され、高調波関係にある周波数はラグ領域（lag domain）でピークを共有する。また、これによって、高調波の周波数に対応するラグおよびこのラグの倍数にピークが生ずる。
A. Bregman, "Auditory Scene Analysis", MIT Press, 1990 G. Langner, H. Schulze, M. Sams, and P. Heil, "The topographic representation of periodicity pitch in the auditory cortex", Proc. of the NATO Adv. Study Inst. On Comp. Hearing, 1998, 91-97 G. Hu and D. Wang, "Monaural speech segregation based on pitch tracking and amplitude", IEEE Trans. On Neural Networks, 2004

本発明の目的は、高調波信号中の高調波の共通基本周波数を見出す新しい手法を提案することである。

この目的は、独立請求項の特徴によって達成される。従属請求項は、本発明の中心的な概念をさらに発展させる。

本発明は、従来技術に従って使用された自己相関関数を、例えば信号のゼロ交差（zerocrossing）のように定義された交差における異なる次数の距離を計算することに置き換える。

例えば、負から正、正から負、または両方のゼロ交差を使用することができる。原理的には、最大、最小、または一定値との交点のような正弦曲線の他の点も同様に使用することができる。

本発明の第１の態様に従って、入力信号中に存在する異なる高調波信号の基本周波数の時間経過を得る方法が提案される。本方法は、例えば最大、最小、一定値のような予め決められた値と正弦波信号の交差の距離を評価することに基づいている（ゼロ交差は、予め決められた一定値との交差の下位事例である）。

好ましくは、多数のゼロ交差の間の距離が計算される。これは、より高次の高調波は基本周波数の１周期中に多数のゼロ交差を示すことを考慮に入れている。したがって、多数のゼロ交差の間のこの距離は、以下では、高次のゼロ交差（higher order zero crossing）と呼ぶ。

本発明の他の態様は、ゼロ交差距離の次数に依存する付加的な重付け値だけでなく、基礎フィルタ・チャネル（underlying filter channel）のエネルギーでもこれらのゼロ交差距離値に重み付けすることである。

示したアルゴリズムは、高調波信号中の基本周波数の時間経過を見出し、見出された基本周波数の証拠値を時間の各瞬間にチャネルごとに計算するために適用される。

本発明のさらに他の有利点、特徴および目的は、添付の図面の図に関連して行なわれる本発明の好ましい実施形態の次の詳細な説明を読むとき、当業者には明らかになるであろう。

好ましい実施形態の流れ図を図１に示す。

提案されたアルゴリズムの第１のステップ１は、一組の（例えば２個の）帯域通過フィルタ３．１、３．２から成るフィルタ・バンク３による入力信号２の周波数分解である。

次のステップ４は、各ゼロ交差ごとに、３個のゼロ交差ごとに、４個のゼロ交差ごとになど、フィルタ信号ごとに調べられたゼロ交差の最大次数まで、各ゼロ交差の間の距離を計算することである。これらの値は、時間、周波数および距離の軸を有する３次元表現で格納される。音声信号の場合、異なる高調波は、声道（voice tract）の影響のために位相が互いに合っていない。実際の位相関係と無関係であるために、前に計算された距離値は、それが計算されたゼロ交差発生点の３次元表現に入力されるだけでなく、現在ゼロ交差から始まって時間を逆戻りして前のゼロ交差までの全ての値に入力される。このようにして、帯域通過フィルタ３．１および３．２に従った異なるフィルタ・チャネルの信号をより容易に結合させることができる。したがって、データが３次元表現で格納される（ステップ６）前に、ステップ５で、現在ゼロ交差と前のゼロ交差の間の差が計算される。

基礎を成す基本周波数を見出すために、ステップ７で、異なるチャネルの情報が結合される。ヒストグラムが計算され、そのヒストグラムには、時間の各瞬間に、それまでに特定の距離値が見出された頻度が入力される。これによって、時間・距離ドメインの２次元表現が与えられ、ここでは基礎を成す基本周波数の位置にピークが現れる。これは、基本周波数の距離値が基本周波数の第１次のゼロ交差、第１高調波の第２次のゼロ交差、第２高調波の第３次のゼロ交差などで発生することによる。したがって、基本周波数の距離値は、他の距離値よりも遥かにより頻繁に発生し、それでヒストグラムにピークを形成する。

ヒストグラムを計算するために、中心周波数が高調波関係にあるかまたは高調波関係に近いフィルタ・チャネルを単に使用することが、くし形（comb）フィルタと同様に可能である。ここで、高調波関係の計算は、基本周波数の仮定（hypothesis）に基づいている。完全なヒストグラムを作るために、基本周波数の可能な仮定全てを処理しなければならない。

時間−距離ヒストグラムのピークをさらに鋭くするために、対応する距離値の発生に基礎フィルタ・チャネルのエネルギーで重み付けすることができる。このようにして、高エネルギーを有するチャネルからの距離値は、低エネルギーを有するチャネルよりもより多くヒストグラムに寄与する。

ヒストグラムをいっそう鋭くすることは、ゼロ交差の次数に依存して異なる重みを設定することで達成できる。低次の高調波がより高次の高調波よりも基本周波数の知覚にとって重要であることは、人の知覚から知られている。このことは、低次のゼロ交差により大きな重みを使用し、より高次のゼロ交差により小さな重みを使用することで、アルゴリズムで考慮することができる。ステップ７のヒストグラムを計算する前に、随意のステップ８で鋭くすることができる。

そのように計算されたヒストグラムにおいて、基本周波数の時間経過は、ヒストグラムのピークで表される。周波数は、見出された距離にサンプリング・レートを掛けたものの逆数である。そのようにして、時間の各瞬間のヒストグラムから、基本周波数を読み出すことができる。このようにして、ステップ９で、第１に、最大ピークおよびサンプリング・プロセスの相対時間単位での最大ピークの距離を決定し、そして第２に、この距離にサンプリング・レートを掛けることで、基本周波数を計算する。

いったん基本周波数が見出されると、ステップ１０で、基本周波数のゼロ交差距離と調査中のチャネルの全ての次数の距離との間の最小距離に基づいて、この基本周波数に属する各フィルタ・チャネルの証拠値（ソフト情報）を計算することができる。この距離が小さいほど、証拠値は大きく、したがってフィルタ・チャネルがこの基本周波数に実際に属する確率が高い。

より高い周波数では、ゼロ交差の距離は非常に小さくなり、基本周波数１周期にわたるためには、ゼロ交差の非常に高い次数を計算しなければならない。これに関係した問題を克服するために、より高い周波数に対応するより高次の高調波は通常分解されないで、基本周波数による振幅変調を示すことが利用される。ステップ１１で、基本周波数の情報を用いて入力信号を復調し、そしてステップ１３で、それぞれの復調信号に対して第２のフィルタ・バンク１２を使用することで（M. Heckmann, F. Joublin, “Unified Treatment of Resolved and Unresolved Harmonics, EP04013274.8を参照されたい）、これらの高周波は低周波ドメインに変換することができる。このようにして結果として得られた第１次のゼロ交差距離は、分解されない高調波の基本周波数に対応する。この値は、他のゼロ交差距離と同じように、距離−時間ヒストグラムの計算に使用することができる。

時間−距離ヒストグラムから基本周波数の時間経過を得ることおよび証拠値の計算を容易にするために、距離値だけでなく計算されたヒストグラムも低域フィルタまたは同様なフィルタで滑らかにすることができる。

これまで示した方法で、基本周波数の距離値に大きなピークが生じるが、またこの距離値の倍数および整数分の１（integer fractions）にもより小さなピークが生じる。この付加的なピークは、他の高調波信号に対応する距離を得るのを妨げる。

したがって、以下において、この妨害信号を阻止する方法を提案する。時間の各瞬間の最大値は基本周波数の距離に対応するものと想定する。したがって、時間−距離ヒストグラムの最大は、時間の各瞬間に対して計算される（ステップ９）。次に、ステップ９および直ぐ隣の値から分かる最大に対応する距離の倍数および整数分の１に対応する距離値で最大値が引かれる。ステップ１４で、修正されたヒストグラムがこのように計算される。雑音に対してより敏感でないようにするために、最大の計算の前に空間的および時間的積分を行なうことがさらに可能である。この阻止プロセスから結果として生じる修正ヒストグラムで、付加的に存在する高調波信号は、ステップ９で行なわれた計算に類似した計算によっていっそう容易に識別することができる。また、この信号をさらに強くするために、見出された最大を引くことができる。

図２は、ｆ_ｘおよびｆ_ｙの中心周波数を有する帯域通過フィルタ３．１および３．２によって入力信号２から濾過された２つの周波数帯域１６、１７を示す。本発明は、これらの信号から基本周波数を決定し、そして、この２つの周波数帯域１６、１７がこの基本周波数から生ずる証拠値を計算する。ここで、周波数帯域１６は、また、基本周波数を含むことができる。それにもかかわらず、証拠値は高調波信号だけから計算されるので、実際の基本周波数が存在する必要はない。また、いくつかの音声信号でそうであることがあるように、この特性によって、基本周波数を含まない信号で基本周波数を求めることが可能になる。

図３は、帯域通過信号１８からより高い次数のゼロ交差距離を計算する方法を示す。２つの連続したゼロ交差の間の第１次のゼロ交差距離は、ｄ_１と呼ぶ。例として、上向きの（rising）ゼロ交差だけを考慮に入れる。第２次のゼロ交差は、３つのゼロ交差の間で計算され、ｄ_２と呼ばれる。第３次のゼロ交差は、４つのゼロ交差の間で計算され、ｄ_３と呼ばれ、さらに次数ｎまで同様である。

図４は、時間の所定の瞬間の時間−距離ヒストグラムの計算結果の例を示す。異なる距離値の発生がプロットされている。ｄ_０が基本周波数のゼロ交差距離であるとき、この距離値は最も頻繁に発生する。測定誤差のために、隣の値も非常に頻繁に現れる。さらに、実際の距離値の倍数および整数分の１が、測定方法のために現れる。

図５は、中心周波数が高調波関係にあるかまたは高調波関係に近い帯域通過信号だけを使用して時間−距離ヒストグラムを計算する方法を示す。ｆ_０を基本周波数仮定とし、ｆ_ｃを帯域通過フィルタの中心周波数とすると、ｆ_０−Δ_０ｆ＜ｆ_ｃ＜ｆ_０＋Δ_０ｆ、２*ｆ_０−Δ_１ｆ＜ｆ_ｃ＜２*ｆ_０＋Δ_１ｆ、・・・、ｎ*ｆ_０−Δ_ｎｆ＜ｆ_ｃ＜ｎ*ｆ_０＋Δ_ｎｆの範囲に中心周波数を有する帯域通過信号だけが、時間−距離ヒストグラムの計算に使用される。ここで、全ての可能な基本周波数仮定が処理される。

共通基本周波数を見出し、さらに証拠値を求める方法を示す流れ図である。 本発明に従った信号処理の第１のステップである帯域通過フィルタ処理を示す図である。 本発明に従った処理に使用される手段を示す信号時間図である。 時間の所定の瞬間における時間−距離ヒストグラムの計算結果を示す図である。 時間−距離ヒストグラムを計算するための、中心周波数が高調波関係にあるかまたは高調波関係に近い帯域通過信号の使用を示す図である。

符号の説明

２ 入力信号
３ フィルタ・バンク
３．１、３．２ 帯域通過フィルタ
１ 周波数分解のステップ
４ ゼロ交差間の距離を計算するステップ
７ ヒストグラムを計算するステップ

Claims (6)

1. 複数の音源からの音を表す高調波信号の基本周波数を求めるためコンピュータで実行される方法であって、
   複数の音源から音を表す高調波信号を受け取るステップと、
   前記高調波信号をフィルタにより高調波関係に近い複数の周波数チャネルに分割するステップと、
   前記複数の周波数チャネルのそれぞれについて、高調波のゼロ交差の距離値を求めるステップと、
   複数の距離値について、前記複数の周波数チャネル全体でのゼロ交差の発生頻度のヒストグラムを計算するステップと、を備え、
   前記ヒストグラムの最大ピークを求め、該最大ピークに対応する距離値の逆数を用いて前記高調波信号の基本周波数を求める、前記方法。
2. 帯域の中心周波数が高調波関係にあるかまたは高調波関係に近い帯域通過信号だけが、前記ヒストグラムを計算するために使用される、請求項１に記載の方法。
3. 前記ヒストグラムのピークを鋭くするために、前記ヒストグラムの入力が、基礎を成す帯域通過信号のエネルギーで重み付けされる、請求項１または請求項２に記載の方法。
4. 前記ヒストグラムの構築において、仮定基本周波数に対応する第１次のゼロ交差、第１高調波に対応する第２次のゼロ交差など、ゼロ交差の次数ごとに独立した重みが使用される、請求項１乃至請求項３のいずれかに記載の方法。
5. 分解されなかった高調波に起因する距離値を、請求項１乃至請求項４のいずれかに従って評価された時間−距離ヒストグラムにまとめる方法。
6. コンピュータで実行されるとき、請求項１乃至請求項５のいずれかに記載の方法を実施する、コンピュータプログラム。

Images