JP3992619B2 - 適応転置による情報源符号化システムの増強方法 - Google Patents

Description

【０００１】
技術分野
本発明は、高周波復元を使用する情報源符号化システムの増強のための新規の方法に関する。本発明は、音色信号をパルス列状又は非パルス列状のいずれかに分類できることを教示する。この分類によれば、トランスポーザの適応切替えにより、知覚される音声品質のかなりの改善を達成することができる。本発明は、そのように切り替えられるトランスポーザがそれらの特性に基本的相違を持たなければならないことを示す。
【０００２】
発明の背景
「スペクトル帯域複製を使用する情報源符号化の増強」［ＷＯ９８／５７４３６］で、転置は、ＨＦＲ（高周波復元）に基づくコーデックで使用される高周波生成のための効率的な手段と定義され確立された。幾つかのトランスポーザの実施例が記載された。しかし、過渡応答の改善についての短い考察は別として、基本的なトランスポーザの特性のプログラム依存適応については詳述されていない。
【０００３】
発明の概要
本発明は、音色のある一節、すなわちピッチ調整された楽器からの貢献が優位を占める抜粋部を「パルス列状」又は「非パルス列状」として特性化できることを教示する。前者の典型例は、母音の場合の人の声、又はトランペットなど単一のピッチ調整された楽器であり、そこでは「励振信号」を「パルス列」としてモデル化することができる。後者は、幾つかの異なるピッチが組み合わされる場合であり、したがって単一パルス列は識別できない。本発明では、上記の２つの場合を区別し、それに応じてトランスポーザ特性を適応させることによって、ＨＦＲ性能をかなり改善することができる。
【０００４】
パルス列状楽節が検出されたときに、トランスポーザは１パルス毎に作動することが好ましい。ここで、トランスポーザへの入力信号として働く復号低帯域は、周期Ｔｐで分離されたカットオフ周波数ｆｃを持つ低域通過性の一連のインパルス応答ｈ（ｎ）と見ることができる。これは、周波数ｆｃまでの１／Ｔｐの全ての整数倍の高調波を含む、基本周波数ｌ／Ｔｐのフーリエ級数に対応する。トランスポーザの目的は、周期Ｔｐを変えることなく、個々の応答ｈ（ｎ）の帯域幅を所望の帯域幅Ｎｆｃまで増大することであり、ここでＮは転置係数（transposition factor）である。パルス周期は維持されるので、転置された信号は依然として基本周波数１／Ｔｐのフーリエ級数に対応するが、今はＮｆｃまでの全ての部分音（partials）を含む。したがってこの方法は、低帯域の打切りフーリエ級数（truncated Fourier series）に対する完全な連続を提供する。一部の先行技術の方法は、パルス周期の維持の要件を満たしている。例として周波数変換、及び［ＷＤ９８／５７４３６］によるＦＤ転置があり、そこでは窓は１周期を超える周期を含まないように充分に短く選択される。
すなわち、長さ(window)≦Ｔｐである。これらの方法はいずれも複数のピッチを持つ材料をうまく処理せず、ＦＤ転置だけが低帯域の打切りフーリエ級数に対する完全な連続を提供する。
【０００５】
非パルス列状楽節が検出されたとき、例えば複数のピッチがあるとき、トランスポーザに対する要求は、パルス周期の維持から、それに代わって、低帯域の高調波と生成されたより高域部分音との間の整数関係の維持に移行する。この要件は［ＷＯ９８／５７４３６］のＦＤ転置法によって満たされる。そこでは、シーケンスを形成する個々のピッチの多数の周期Ｔｉが１つの窓内に含まれるように窓が充分に長く選択され、すなわち、長さ(window)＞＞Ｔｉとされる。これによりトランスポーザ源周波数範囲の打切りフーリエ級数［ｆｉ，２ｆｉ，３ｆｉ，．．．］は［Ｎｆｉ，２Ｎｆｉ，３Ｎｆｉ，．．．］に転置される。ここでＮは整数の転置係数である。明らかに、上記のパルス毎の作動とは対照的に、この方式は低帯域フーリエ級数の完全な連続を生成しない。これは複数のピッチ信号には許容できるが、単一ピッチのパルス列状の場合には理想的ではない。したがって、この転置モードは非パルス列状の場合にのみ使用することが好ましい。
【０００６】
本発明では、パルス状信号と非パルス状信号との間の区別を符号器で行なうことができ、対応する制御信号が復号器に送信される。又は、検出を復号器で行ない制御信号を不要にすることができるが、復号器がより複雑になる。検出器の原理の例として、周波数ドメインのピークピッキングのみならず、時間ドメインにおける過渡検出もある。復号器は、必要なトランスポーザ適応のための手段を含む。一例として、パルス列状の場合には周波数変換を、非パルス列状の場合には長窓ＦＤトランスポーザを使用するシステムについて記載する。トランスポーザ間の実際の切替え又はクロスフェージング（cross fading）は、エンベロープ調整フィルタバンクで実行することが好ましい。
【０００７】
本発明は次の特徴を含む。
処理される信号がパルス列状の性質を持つか、それとも非パルス列状の性質を持つかに基づいて、高周波生成のために異なる方法を経時的に適応して選択する。
その選択は、信号の時間及び周波数ドメイン表現のピークピッキングによる解析に基づいて行なわれる。
高周波生成のための異なる方法は、周波数変換及びＦＤ転置であるか、
又は、高周波生成のための異なる方法は異なる窓サイズのＦＦ転置であるか、
又は、高周波生成のための異なる方法は時間ドメインパルス列転置及びＦＤ転置である。
【０００８】
本発明を、添付の図面を参照しながら、発明の範囲又は精神を制限することなく、例示の実施例により説明する。
【０００９】
好適な実施形態の説明
以下に記載する実施形態は、ＨＦＲシステム用の適応トランスポーザ切替えのための本発明の原理の単なる例証である。ここに記載する構成及び細部の変形及び変化がこの技術に習熟した者には明らかであることを理解されたい。したがって、本発明は請求の範囲によってのみ制限され、実施形態の記述及び説明としてここに提示する特定の詳細によっては制限されない。
【００１０】
ピッチを調整した単一パルス列状信号の「理想的な転置」は、単純なモデルによって定義することができる。原信号をｍ個の標本によって分離されるディラックδ（ｎ）の和、すなわち次のパルス列であるとしよう。
【数１】

【００１１】
図１ａはｘ（ｎ）を示し、図１ｂは対応する振幅スペクトル｜Ｘ（ｆ）｜を示す。明らかに｜Ｘ（ｆ）｜は、ｆｓを標本化周波数とすると、基本周波数ｆｓ／ｍのフーリエ級数に対応する。ｙ（ｎ）をｘ（ｎ）の低域通過バージョンであるとしよう。ここで低域ＦＩＲフィルタはｐ＜ｍとなるように長さｐのインパルス応答ｈｏ（ｎ）を有する。時間及び周波数ドメインの表現についてはそれぞれ図２ａ及び２ｂを参照されたい。フィルタのカットオフ周波数はｆｃである。そうすると出力信号は次式によって与えられる。
【数２】

すなわち、ｍ個の標本によって分離される一連のインパルス応答である。図３ａ及び３ｂはｙ₀（ｎ）及び｜Ｙ₀（ｆ）｜を示す。原フーリエ級数は周波数ｆｃで事実上打ち切られている。時間ドメインに基づくトランスポーザが個々のインパルス応答ｈ₀（ｎ−ｌｍ）を検出することができ、これらの信号が２分の１間引きされる、すなわち２つ目の標本毎に出力に送られると仮定する。捨てられた標本は、信号の長さを維持するために、より短い応答ｈ₁（ｎ−ｌｍ）の間に零を挿入することによって補償される。間引きインパルス応答ｈ₁（ｎ）及び対応する周波数表現｜Ｈ₁（ｆ）｜を図４ａ及び４ｂに示す。明らかに、時間ドメイン信号の狭幅化は、この場合は２倍の周波数ドメイン信号の広幅化に対応する。最後に、転置信号

及び｜Ｙ₁（ｆ）｜を図５ａ及び５ｂに示す。正しい時間を維持し、それによって周波数も特性を維持しながら、ＬＰ濾波されたパルス列の帯域幅は増大する。出力信号ｙ₁（ｎ）は、周波数２ｆ_cに達する部分音のフーリエ級数に対応する。
【００１２】
上記転置は幾つかの方法で近似化することができる。１つの方法は、［ＷＯ９８／５７４３６］に記載されているＳＴＦＴトランスポーザなどの周波数ドメイントランスポーザ（ＦＤトランスポーザ）を使用することであるが、異なる窓サイズのものを使用する。すなわち、パルス列信号には短い窓を使用し、他の全ての信号には長い窓を使用する。短い窓（上の例では、長さ≦ｍ）は、トランスポーザが単パルス毎に作動することを確実にし、上述した所望のパルス転置が得られる。パルス転置のための別の方法は、単一側帯域変調を使用するものである。これはパルス間の周期時間Ｔｐが正しいことを確実にするが、生成される部分音は低帯域の部分音と調波的に関係しない。また、異なるプログラム材料に対し異なるパルス列転置アルゴリズムが異なる仕方で働くことも指摘しなければならない。したがって、符号器及び／又は復号器で、最適性能を確実にするために、幾つかのパルス列トランスポーザは適切な検出アルゴリズムで使用することができる。
【００１３】
上の例で使用したパルス列信号の場合、長い窓を使用するＦＤ転置法による実現は不満足な結果を生じる。これは、次の理由による。すなわち、長い窓（長さ＞＞ｍ）をＦＤ転置法で使用する場合、次の関係が当てはまる。
【数３】

ここでｕ（ｎ）は入力、ｖ（ｎ）は出力、Ｍは転置係数、Ｎは正弦波の数、ｆ_i、ｅ_i（ｎ）、α_iはそれぞれ個々の入力周波数、時間エンベロープ、及び位相定数であり、β_iは任意の出力位相定数、ｆｓは標本化周波数であり、０≦Ｍｆ_i≦ｆｓ／２である。式３の関係を使用すると、入力信号ｘ（ｎ）は、図６による振幅スペクトル｜Ｙ₂（ｆ）｜の出力信号ｙ₂（ｎ）を生じる。ここでｙ₂（ｎ）の部分音はｘ（ｎ）の部分音に調波的に関係する。しかし、それらの間の距離は転置係数に従って増加する。すなわち信号のピッチは転置係数だけ増加する。この新しい高帯域信号を原低帯域信号に追加すると、２つの異なるピッチは明らかに区別することができる。これは例えば音声信号を、あたかも追加話者が同時に、ただしより高いピッチで話しているかのように聞こえさせる。すなわち、いわゆるゴースト音声が発生する。
【００１４】
しかし、高品質ＨＦＲが要求される場合、入力信号が信号ピッチ調整されたパルス列特性を示さなくなるとすぐに、パルス転置が適用されなくなる。したがって、ＨＦＲシステムの性能を最適化するために、どの転置方法が任意の時間に最良の結果を出すかを検出することが非常に望ましい。
【００１５】
復号器で異なる転置特性からの利益を得るために、符号器及び／又は復号器で、どの転置方法が任意の時間に最良の結果を出すかを評価する必要がある。信号のパルス列状の性質を検出する方法は幾つかあり、それは時間ドメイン又は周波数ドメインのいずれかで行なうことができる。パルス列が周期時間Ｔｐを有する場合、パルスはその周期時間だけ時間的に分離され、周波数成分は１／Ｔｐ離れる。したがって、Ｔｐが高ければ、すなわち低ピッチパルス列の場合、パルスは比較的遠くに離れており、したがって区別しやすいので、これは時間ドメインで検出することが好ましい。しかし、Ｔｐが低い場合、これは高ピッチパルス列に対応し、したがって、周波数ドメインの方が検出しやすい。時間ドメイン検出の場合、できるだけパルス列状の性質をより簡単に得るために、信号をスペクトル的に白色化することが好ましい。時間ドメインと周波数ドメインの検出方式は類似している。それらはピークピッキング及びピックしたピーク間の距離の統計的分析に基づいている。時間ドメインではピークピッキングは、任意の点の前と後の信号のエネルギ及びピークレベルを比較し、こうして信号の過渡的な挙動を探索することによって行なわれる。周波数ドメインでは、ピーク検出は、強い調波系列が存在する場合の優れた標識である高調波積スペクトルに基づいて行なわれる。検出されるピッチ間の距離がヒストグラムで提示され、そこでピッチ関連エントリと非ピッチ関連エントリとの間の比を比較することによって検出が行なわれる。
【００１６】
図７に例示された実施例は、同一復号器システムにおける２種類の転置法、すなわち長い窓を使用するＦＤトランスポーザ型及び周波数変換装置型［ＰＣＴ／ＳＥ０１／０１１５０］の利用を示す。デマルチプレクサ７０１はビットストリーム信号をアンパックし、それを任意のベースバンド復号器７０２に送る。ベースバンド復号器からの出力、すなわち帯域幅制限音声信号は分析フィルタバンク７０３に送られ、分析フィルタバンク７０３は音声信号をスペクトル帯域に分割する。音声信号は同時にＦＤトランスポーザユニット７０５に送られる。そこからの出力は、フィルタバンクユニット７０３と同じ型の追加分析フィルタバンク７０６に送られる。フィルタバンクユニット７０３からのデータは、周波数変換装置７０４の原理に従ってパッチされ、分析フィルタバンク７０６の出力と共に混合ユニット７０７に送られる。混合ユニットは、符号器から送信される制御信号又は復号器で得られる制御信号に従ってデータを混合する。混合されたスペクトルデータはその後エンベロープ調整器７０８で、ビットストリームで送られたデータ及び制御信号を用いてエンベロープ調整される。スペクトル調整された信号及び分析フィルタバンク７０３からのデータは合成フィルタバンクユニット７０９に送られ、こうしてエンベロープ調整された広帯域信号が生成される。最後にディジタル広帯域信号はアナログ出力信号に変換される（７１０）。
【図面の簡単な説明】
【図１ａ】 入力パルス列信号ｘ（ｎ）を示すグラフである。
【図１ｂ】 信号ｘ（ｎ）の振幅スペクトル｜Ｘ（ｆ）｜を示すグラフである。
【図２ａ】 ＦＩＲフィルタのインパルス応答ｈ₀（ｎ）を示すグラフである。
【図２ｂ】 ＦＩＲフィルタの振幅スペクトル｜Ｈ₀（ｆ）｜を示すグラフである。
【図３ａ】 信号ｙ₀（ｎ）＝ｘ（ｎ）＊ｈ₀（ｎ）を示すグラフである。
【図３ｂ】 信号ｙ₀（ｎ）の振幅スペクトル｜Ｙ₀（ｆ）｜を示すグラフである。
【図４ａ】 ＦＩＲフィルタの間引きインパルス応答ｈ₁（ｎ）を示すグラフである。
【図４ｂ】 間引きＦＩＲフィルタの振幅スペクトル｜Ｈ₁（ｆ）｜を示すグラフである。
【図５ａ】 転置信号ｙ₁（ｎ）を示すグラフである。
【図５ｂ】 信号ｙ₁（ｎ）の振幅スペクトル｜Ｙ₁（ｆ）｜を示すグラフである。
【図６】 信号ｘ（ｎ）の長い窓によるＦＤ転置後の振幅スペクトル｜Ｙ₂（ｆ）｜を示すグラフである。
【図７】 復号器側における本発明の実施例を示す概略図である。

Claims (12)

1. 帯域幅制限音声信号に基づいて高周波復元信号を生成するための装置において、
   前記帯域幅制限音声信号の処理すべき一節がパルス列状の性質又は非パルス列状の性質のどちらを持つかの情報を得るための手段（７０１）であって、前記一節がそれに関連付けられたパルス周期を持つ一連のパルスを含むときには前記一節はパルス列状の性質を持ち、前記一節がそれに関連付けられたパルス周期を持つ一連のパルスを含まないときには前記一節は非パルス列状の性質を持つものとする手段（７０１）と、
   前記情報に基づいて処理すべき節に対して高周波生成のための異なる方法を経時的に適応して選択するための手段（７０７）と、
   前記帯域幅制限音声信号の一節に対し選択された高周波生成方法を実行して高周波復元信号を得るための手段（７０４、７０５）とを備え、
   前記高周波生成のための異なる方法が、パルス列状の性質を有する一節のための周波数変換と、非パルス列状の性質を有する一節のための周波数ドメイン転置とを含む、装置。
2. 帯域幅制限音声信号に基づいて高周波復元信号を生成するための装置において、
   前記帯域幅制限音声信号の処理すべき一節がパルス列状の性質又は非パルス列状の性質のどちらを持つかの情報を得るための手段（７０１）であって、前記一節がそれに関連付けられたパルス周期を持つ一連のパルスを含むときには前記一節はパルス列状の性質を持ち、前記一節がそれに関連付けられたパルス周期を持つ一連のパルスを含まないときには前記一節は非パルス列状の性質を持つものとする手段（７０１）と、
   前記情報に基づいて処理すべき節に対して高周波生成のための異なる方法を経時的に適応して選択するための手段（７０７）と、
   前記帯域幅制限音声信号の一節に対し選択された高周波生成方法を実行して高周波復元信号を得るための手段（７０４、７０５）とを備え、
   前記高周波生成のための異なる方法が、パルス列状の性質を有する一節のための時間ドメインパルス列転置と、非パルス列状の性質を有する一節のための周波数ドメイン転置とを含む、装置。
3. 前記情報を得るための手段が、一節がパルス列状の性質又は非パルス列状の性質のどちらを持つかを示す制御信号を受け取るように構成された請求項１又は請求項２に記載の装置。
4. 前記情報を得るための手段が、一節がパルス列状の性質又は非パルス列状の性質のどちらを持つかを検出するための検出器を含み、前記検出器が時間ドメインで過渡検出を実行するか又は周波数ドメインでピークピッキング動作を実行するように構成された請求項１又は請求項２に記載の装置。
5. 前記検出器が、前記検出を実行する前にスペクトル的に白色化ステップを実行して一節をスペクトル的に白色化するように構成された請求項４に記載の装置。
6. 前記検出器が、ピークピッキング動作を実行するステップと、ピックされるピーク間の距離の統計分析を実行するステップとを行なうように構成された請求項４又は５に記載の装置。
7. 前記検出器が、任意点の前と後の信号のエネルギ及びピークレベルを比較して信号の過渡的な挙動を探索するステップを行なうように構成された請求項６に記載の装置。
8. 前記検出器が、高調波積スペクトルでピーク検出を行なって、検出されたピッチがヒストグラムに提示されるようにし、前記ヒストグラムのピッチ関連エントリと非ピッチ関連エントリとの間の比を比較することによって検出を行なうように構成された請求項６に記載の装置。
9. 前記高周波生成のための異なる方法が異なる窓サイズの周波数ドメイン転置を含み、パルス列状の性質を有する一節には比較的小さい窓サイズが選択され、非パルス列状の性質を有する一節には比較的長い窓サイズが選択されるようにした請求項１から８のいずれかに記載の装置。
10. 前記選択された方法を実行するための手段が、
    周波数ドメイントランスポーザ（７０５）と、
    前記周波数ドメイントランスポーザ（７０５）に接続された第１分析フィルタバンク（７０６）と、
    前記第１分析フィルタバンク（７０６）と同じ種類である第２分析フィルタバンク（７０３）と、
    前記第２分析フィルタバンクの出力に接続された周波数変換装置（７０４）と、
    前記第１フィルタバンク（７０６）からの出力と前記周波数変換装置（７０４）の出力とを混合するための混合器（７０７）であって、制御信号に従って混合して、混合されたスペクトルデータを出力するように構成された混合器（７０７）と、
    前記混合されたスペクトルデータにエンベロープデータを用いてエンベロープ調整を実行して、高周波復元信号を提供するためのエンベロープ調整器（７０８）と
    を含む請求項８に記載の装置。
11. 帯域幅制限音声信号に基づいて高周波復元信号を生成するための方法において、
    前記帯域幅制限音声信号の処理すべき一節がパルス列状の性質又は非パルス列状の性質のどちらを持つかの情報を得るステップ（７０１）であって、前記一節がそれに関連付けられたパルス周期を持つ一連のパルスを含むときには前記一節はパルス列状の性質を持ち、前記一節がそれに関連付けられたパルス周期を持つ一連のパルスを含まないときには前記一節は非パルス列状の性質を持つとするようにしたステップ（７０１）と、
    前記情報に基づいて処理すべき節に対して高周波生成のための異なる方法を経時的に適応して選択するステップ（７０７）と、
    前記帯域幅制限音声信号の一節に対し選択された高周波生成方法を実行して高周波復元信号を得るステップ（７０４、７０５）とを含み、
    前記高周波生成のための異なる方法が、パルス列状の性質を有する一節のための周波数変換と、非パルス列状の性質を有する一節のための周波数ドメイン転置とを含む、方法。
12. 帯域幅制限音声信号に基づいて高周波復元信号を生成するための方法において、
    前記帯域幅制限音声信号の処理すべき一節がパルス列状の性質又は非パルス列状の性質のどちらを持つかの情報を得るステップ（７０１）であって、前記一節がそれに関連付けられたパルス周期を持つ一連のパルスを含むときには前記一節はパルス列状の性質を持ち、前記一節がそれに関連付けられたパルス周期を持つ一連のパルスを含まないときには前記一節は非パルス列状の性質を持つとするようにしたステップ（７０１）と、
    前記情報に基づいて処理すべき節に対して高周波生成のための異なる方法を経時的に適応して選択するステップ（７０７）と、
    前記帯域幅制限音声信号の一節に対し選択された高周波生成方法を実行して高周波復元信号を得るステップ（７０４、７０５）とを含み、
    前記高周波生成のための異なる方法が、パルス列状の性質を有する一節のための時間ドメインパルス列転置と、非パルス列状の性質を有する一節のための周波数ドメイン転置とを含む、方法。

Images