JP4489959B2 - 時間同期波形補間によるピッチプロトタイプ波形からの音声を合成するための音声合成方法および音声合成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、概して音声処理の分野に関し、さらに特定すると、時間同期波形補間（ＴＳＷＩ）によってピッチプロトタイプ波形からの音声の合成のための方法および装置に関する。
【０００２】
【従来の技術】
デジタル技法による音声の伝送は、特に長距離電話およびデジタル無線電話の用途において普及してきた。その結果、これは、再構築される音声の知覚品質を維持しつつ、チャネル上で送信できる情報の最低量を決定する際に大きな関心を生じさせてきた。音声が単にサンプリングおよびデジタル化だけで送信される場合、従来のアナログ電話の音声品質を達成するためには、約毎秒あたり６４キロビット（ｋｂｐｓ）のデータ転送速度が必要とされる。しかしながら、適切なコーディング、伝送、および受信機での再合成が後に続く音声分析の使用を通して、データ転送速度のかなりの削減を達成することができる。
【０００３】
人間の音声生成のモデルに関するパラメータを抽出することにより音声を圧縮するための技術を利用する装置は、音声コーダと呼ばれる。音声コーダは、入力音声信号を時間のブロックまたは分析フレームに分割する。音声コーダは、典型的には、エンコーダとデコーダ、つまりコーデックを備える。符号器は、入力音声フレームを分析し、一定の関連するパラメータを抽出してから、該パラメータを２進表記に、つまりビットのセットまたはバイナリデータパケットに量子化する。データパケットは、受信機とデコーダまで通信路上で送信される。
【０００４】
デコーダは、データパケットを処理し、それらを逆量子化してから、逆量子化パラメータを使用して音声フレームを再合成する。
【０００５】
音声コーダの機能とは、音声に固有の自然の冗長性のすべてを除去することにより、デジタル化された音声信号を低ビット伝送速度に圧縮することである。デジタル圧縮は、パラメータのセットで入力音声フレームを表し、ビットのセットでパラメータを表すために量子化を利用することにより達成される。
入力音声フレームが多くのビットＮ_ｉを有し、音声コーダにより作られるデータパケットが多くのビットＮ_ｏを有する場合、音声コーダにより達成される圧縮係数は、Ｃｒ＝Ｎ_ｉ／Ｎ_ｏである。課題は、ターゲット圧縮係数を達成しつつ、復号された音声の高い音声品質を保持することである。音声コーダの性能は、（１）音声モデル、つまり前述された分析と合成の組み合わせがどの程度うまく実行されるのか、および（２）フレームあたりＮ_ｏビットというターゲットビット伝送速度でパラメータ量子化プロセスがどの程度うまく実行されるのかに依存する。音声モデルの目標とは、このようにして音声信号、またはターゲット音声品質の本質を各フレームのパラメータの小さなセットで捕捉することである。
【０００６】
音声コーダは、そのモデルが時間ドメインモデルである場合に時間ドメインコーダと呼ばれる。よく知られている例は、参照してここに完全に組み込まれている、Ｌ．Ｂ．ＲａｂｉｎｅｒおよびＷ．Ｒ．Ｓｃｈａｆｅｒの音声信号のデジタル処理（Ｄｉｇｉｔａｌ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ Ｓｐｅｅｃｈ Ｓｉｇｎａｌｓ）３９６−４５３（１９７８年）に説明されている符号励起線形予測（ＣＥＬＰ）コーダである。
【０００７】
ＣＥＬＰコーダにおいては、音声信号における短期間の相関関係、つまり冗長性は、短期間フォルマントフィルタの係数を検索する線形予測（ＬＰ）分析により除去される。短期間予測フィルタを入力音声フレームに適用することにより、長期予測フィルタパラメータおよびそれ以降の確率論的なコードブックでモデル化、量子化されるＬＰ残余信号が生成される。このようにして、ＣＥＬＰコーディングは、時間ドメイン音声波形の符号化というタスクを、ＬＰ短期フィルタ係数の符号化およびＬＰ残余の符号化という別個のタスクに分ける。
【０００８】
目標は、入力音声波形に酷似する合成出力音声波形を作り出すことである。時間ドメイン波形を正確に保存するためには、ＣＥＬＰコーダは、さらに、残余フレームをさらに小さなブロック、つまりサブフレームに分け、サブフレームの合成による分析（ａｎａｌｙｓｉｓ−ｂｙ−ｓｙｎｔｈｅｓｉｓ）方法を続行する。サブフレームごとに量子化するための多くのパラメータがあるため、これにはフレームごとに多数のビットＮ_ｏが必要となる。ＣＥＬＰコーダは、典型的には、フレームごとにビットＮ_ｏの使用可能な数が、８ｋｂｐｓ以上というコーディングビット伝送速度にとって十分大きいときに、優れた品質を送達する。
【０００９】
波形補間（ＷＩ）は、音声のフレームごとにＭ個のプロトタイプ波形が抽出され、使用可能なビットで符号化される音声コーディング技法である。出力音声は、任意の従来の波形補間技法により、復号されたプロトタイプ波形から合成される。多様なＷＩ技法は、参照してここに完全に組み込まれるＷ．Ｂａｓｔｉａａｎ ＫｌｅｉｊｎおよびＪｅｓｐｅｒ Ｈａａｇｅｎの音声コーディングおよび合成（Ｓｐｅｅｃｈ Ｃｏｄｉｎｇ ａｎｄ Ｓｙｎｔｈｅｓｉｓ）、１７６−２０５（１９９５年）に説明されている。
【００１０】
従来のＷＩ技法は、ここに参照して完全に組み込まれている米国特許番号第５，５１７，５９５号にも説明されている。しかしながら、このような従来のＷＩ技法においては、正確な結果を送達するために、フレームごとに複数のプロトタイプ波形を抽出することが必要である。さらに、再構成された波形の時間同期性を提供するための機構は存在していない。この理由から、合成された出力ＷＩ波形は、最初の入力波形と位置合わせされることが保証されていない。
【００１１】
現在、中から低のビット伝送速度で（つまり２．４から４ｋｂｐｓ以下の範囲で）動作している高品質音声コーダを開発するという研究の関心および強い商業的な必要性の高まりがある。応用分野は、無線電話、衛星通信、インターネット電話、多様なマルチメディアと音声ストリーミング用途、音声メール、およびその他の音声記憶システムを含む。その原動力は、高容量に対する必要性およびパケットが失われた状況での堅牢な性能に対する要求である。多様な近年の音声コーディング標準化の作業は、低速度音声コーディングアルゴリズムの研究開発を推進する別の直接的な駆動力である。低速度音声コーダは、許容アプリケーション帯域幅ごとに複数のチャネル、つまりユーザを作り出し、低速度音声コーダは適切なチャネルコーディングのさらなる層と組み合わされてコーダ仕様の総合的なビット予算に適合し、チャネルエラー状態においても堅牢な性能を提供することができる。
【００１２】
しかしながら、低ビット伝送速度（４ｋｂｐｓ以下）では、ＣＥＬＰコーダのような時間ドメインコーダは、使用可能なビットの数が限られているために、高品質および堅牢な性能を保持することはできない。低ビット速度では、限られたコードブック空間が、さらに高い速度の商業用アプリケーションにおいて首尾よく配備されている、従来の時間ドメインコーダの波形整合機能を取り去ってしまう。
【００１３】
音声を低ビット速度で効率的に符号化するための１つの有効な技法は、マルチモードコーディングである。マルチモードコーダは、さまざまなモード、つまり符号化−復号アルゴリズムを、異なる種類の入力音声フレームに適用する。それぞれのモード、つまり符号化−復号プロセスは、最も効率的な方法で一定の種類の音声セグメント（つまり、有声、無声、または背景雑音）を表すためにカスタマイズされる。外部モード決定機構は、入力音声フレームを調べ、フレームにどのモードを適用するのかに関する決定を下す。典型的には、モードの決定は、入力フレームの中からパラメータの数を抽出し、どのモードを適用するのかに関する決定を下すためにそれらを評価することにより、開放ループ様式で実行される。このようにして、モードの決定は、事前に出力音声の正確な状態、つまり出力信号が、音声品質または任意の他の性能基準という点で入力音声にどの程度類似するだろうかを知らずに下される。音声コーダの例示的な開放ループモードは、本発明の譲受人に譲渡され、ここに参照して完全に組み込まれている米国特許番号第５，４１４，７９６号に説明されている。
【００１４】
マルチモードコーディングは、フレームごとのビットＮ_０の同じ数を使用する固定速度であるか、あるいは異なるビット伝送速度がさまざまなモードに使用される可変速度のどちらかである場合がある。可変速度コーディングの目標とは、ターゲット品質を得るために十分なレベルまでコーデックパラメータを符号化するために必要とされるビット量だけを使用することである。その結果、固定速度のターゲット音声品質と同じターゲット音声品質、つまりさらに高い速度のコーダは、可変ビット伝送速度（ＶＢＲ）技法を使用してかなり低い平均速度で得ることができる。例示的な可変速度音声コーダは、本発明の譲受人によって譲渡され、参照してここに過去に完全に組み込まれる米国特許第５，４１４，７９６号に説明される。
【００１５】
【発明が解決しようとする課題】
音声化された音声セグメントは、このようなセグメントをピッチプロトタイプ波形、すなわち、ピッチつまり周期性の基本的な周波数が時間とともに変化するにつれて、その長さＬ（ｎ）が時間と共に変化する小さなセグメント、に分割できるという点で準周期的と呼ばれる。このようなセグメント、つまりピッチプロトタイプ波形は、強い相関を有する。つまり、それらは互いにきわめて類似している。これは、特に隣接するピッチプロトタイプ波形に当てはまる。準周期的に声に出された音声セグメントを低速度モードで表すために、低平均速度で高い音声品質をもつ効率的なマルチモードＶＢＲコーダを設計する際に有利である。
【００１６】
音声モデル、つまり音声の準周期的に声に出されるセグメントを表す、分析−合成方法を提供することが望ましいだろう。高品質合成を提供し、それによって高品質で音声を作成するモデルを設計することはさらに有利だろう。モデルが、ビットの小さなセットで符号化するために敏感に反応するようにパラメータの小さなセットを有することもさらに望ましいだろう。このようにして、符号化のために最小量のビットを必要とし、高品質の音声合成を生じさせる発声された音声セグメントのための時間同期波形補間方法に対する必要性がある。
【００１７】
本発明は、例えばこの時間同期波形補間によって、ピッチプロトタイプ波形からの音声の合成を可能とする方法および装置を提供することを主な目的とするものである。
【００１８】
【課題を解決するための手段】
（発明の概要）
本発明は、符号化に最小量のビットを必要とし、高品質音声合成を生じさせる声に出される音声セグメントのための時間同期波形補間の方法に向けられる。したがって、本発明の１つの態様において、時間同期波形補間によるピッチプロトタイプ波形からの音声を合成するための方法は、信号からフレームあたり少なくとも１つのピッチプロトタイプ波形を抽出する工程と、過去に抽出されたピッチプロトタイプ波形を基準にして、前記抽出されたピッチプロトタイプ波形に対して位相シフトを適用する工程と、前記フレーム内の各サンプル点に関して前記位相シフトされたピッチプロトタイプ波形をアップサンプリングすることによって、２次元プロトタイプ展開面を構築する工程と、前記２次元プロトタイプ展開面を再サンプルして１次元合成信号フレームを生成する工程であって、前記再サンプルの再サンプル点は区分的に連続する３次元位相輪郭関数によって規定され、前記３次元位相輪郭関数は、ピッチ遅延と、前記抽出されたピッチプロトタイプ波形に付加されたアライメント位相シフトから計算される工程と、を備える。
【００１９】
本発明の別の態様において、時間同期波形補間によるピッチプロトタイプ波形からの音声を合成するための装置は、信号からフレームあたり少なくとも１つのピッチプロトタイプ波形を抽出する手段と、過去に抽出されたピッチプロトタイプ波形を基準にして、前記抽出されたピッチプロトタイプ波形に対して位相シフトを適用する手段と、前記フレーム内の各サンプル点に関して前記位相シフトされたピッチプロトタイプ波形をアップサンプリングすることによって、２次元プロトタイプ展開面を構築する手段と、前記２次元プロトタイプ展開面を再サンプルして１次元合成信号フレームを生成する手段であって、前記再サンプルの再サンプル点は区分的に連続する３次元位相輪郭関数によって規定され、前記３次元位相輪郭関数は、ピッチ遅延と、前記抽出されたピッチプロトタイプ波形に付加されたアライメント位相シフトから計算される手段と、を備える。
【００２０】
本発明の別の態様において、時間同期波形補間によるピッチプロトタイプ波形から音声を合成するための装置は、信号からフレームあたり少なくとも１つのピッチプロトタイプ波形を抽出するように構成されるモジュールと、過去に抽出されたピッチプロトタイプ波形を基準にして、前記抽出されたピッチプロトタプ波形に対して位相シフトを適用するように構成されるモジュールと、前記フレーム内の各サンプル点に関して前記位相シフトされたピッチプロトタイプ波形をアップサンプリングすることによって、２次元プロトタイプ展開面を構築するように構成されるモジュールと、前記２次元プロトタイプ展開面を再サンプルして１次元合成信号フレームを生成するように構成されるモジュールであって、前記再サンプルの再サンプル点は区分的に連続する３次元位相輪郭関数によって規定され、前記３次元位相輪郭関数は、ピッチ遅延と、前記抽出されたピッチプロトタイプ波形に付加されたアライメント位相シフトから計算されるモジュールと、を備える。
【００２１】
【発明の実施の形態】
（好適実施形態の詳細な説明）
図１においては、第１エンコーダ１０が、デジタル化された音声サンプルｓ（ｎ）を受け取り、第１でコーダ１４へ、伝送媒体１２または通信路１２での伝送のためにサンプルｓ（ｎ）を符号化する。デコーダ１４は、符号化された音声サンプルを復号し、出力音声信号Ｓ_{ＳＹＮＴＨ}（ｎ）を合成する。反対方向での伝送の場合、第２エンコーダ１６が、通信路１８で送信されるデジタル化された音声サンプルｓ（ｎ）を符号化する。第２でコーダ２０は、符号化された音声サンプルを受信、復号し、合成された出力音声信号Ｓ_{ＳＹＮＴＨ}（ｎ）を生成する。
【００２２】
音声サンプルｓ（ｎ）は、例えば、パルス符号変調（ＰＣＭ）、圧伸付きμ法則、またはＡ法則などを含む技術で既知である多様な方法のどれかに従ってデジタル化され、量子化された音声信号を表す。技術で既知であるように、音声サンプルｓ（ｎ）は、入力データのフレームに編成され、各フレームが所定数のデジタル化された音声サンプルｓ（ｎ）を備える。例示的な実施形態においては、８ｋＨｚというサンプリング速度が利用され、それぞれ２０ｍｓのフレームが１６０個のサンプルを備える。後述される実施形態においては、データ伝送の速度は、８ｋｂｐｓ（フルレート）から４ｋｂｐｓ（ハーフレート）へ、２ｋｂｐｓ（４分の１レート）へ、１ｋｂｐｓ（８分の１レート）へフレーム対フレーム単位で有利に変更されてよい。データ伝送速度を変化することは、低い方のビット伝送速度が、相対的に少ない音声情報を含むフレームのために選択的に利用されてよいため有利である。当業者により理解されるように、その他のサンプリング速度、フレームサイズおよびデータ伝送速度が使用されてよい。
【００２３】
第１エンコーダ１０および第２デコーダ２０は、ともに第１音声コーダ、つまり音声コーデックを備える。同様に第２エンコーダ１６および第１デコーダ１４は、ともに第２音声コーダを備える。音声コーダは、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、離散ゲート論理、ファームウェア、あるいは従来のプログラム可能ソフトウェアモジュールおよびマイクロプロセッサで実現されてよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、レジスタ、または任意のそれ以外の形式の書き込み可能な記憶装置媒体の中に常駐するだろう。代わりに、任意の従来のプロセッサ、制御装置、または状態機械がマイクロプロセッサに代わるだろう。特に音声コーディング用に設計されている例示的なＡＳＩＣは、本発明の譲受人に譲渡され、ここに参照して完全に組み込まれている米国特許番号第５，７２７，１２３号、および１９９４年２月１６日に出願された、「ＶＯＣＯＤＥＲ ＡＳＩＣ」と題されている、本発明の譲受人に譲渡され、ここに参照して完全に組み込まれている米国出願番号第０８／１９７，４１７号に説明されている。
【００２４】
図２では、音声コーダで使用されてよいエンコーダ１００は、モード決定モジュール１０２、ピッチ推定モジュール１０４、ＬＰ分析モジュール１０６、ＬＰ分析フィルタ１０８、ＬＰ量子化モジュール１１０、および残余量子化モジュール１１２を含む。入力音声フレームｓ（ｎ）は、モード決定モジュール１０２、ピッチ推定モジュール１０４、ＬＰ分析モジュール１０６、およびＬＰ分析フィルタ１０８に提供される。モード決定モジュール１０２は、各入力音声フレームｓ（ｎ）の周期性に基づき、モード指数Ｉ_ＭおよびモードＭを作り出す。音声フレームを周期性に従って分類する多様な方法は、本発明の譲渡人に譲渡され、参照してここに完全に組み込まれている、１９９７年３月１１日に出願された「低減速度可変速度ボコーディングのための方法および装置（ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＰＥＲＦＯＲＭＩＮＧ ＲＥＤＵＣＥＤ ＲＡＴＥ ＶＡＲＩＡＢＬＥ ＲＡＴＥ ＶＯＣＯＤＩＮＧ）」と題された米国出願番号第０８／８１５，３５４号で説明される。このような方法は、米国電気通信工業会中間規格ＴＩＡ／ＥＩＡ ＩＳ−１２７およびＴＩＡ／ＥＩＡ ＩＳ−７３３にも組み込まれている。
【００２５】
ピッチ推定モジュール１０４は、各入力音声フレームｓ（ｎ）に基づき、ピッチ指数Ｉ_Ｐおよび遅延値Ｐ_０を作り出す。ＬＰ分析モジュール１０６は、ＬＰパラメータａを生成するためにそれぞれの入力音声フレームｓ（ｎ）の上で線形予測分析を実行する。ＬＰパラメータａは、ＬＰ量子化モジュール１１０に提供される。ＬＰ量子化モジュール１１０は、モードＭも受け取る。ＬＰ量子化モジュール１１０は、ＬＰ指数Ｉ_ＬＰおよび量子化されたＬＰパラメータａ ^♯を作成する。ＬＰ分析フィルタ１０８は、入力された音声フレームｓ（ｎ）に加えて、量子化されたＬＰパラメータａ ^♯を受け取る。ＬＰ分析フィルタ１０８は、入力音声フレームｓ（ｎ）と量子化された線形予測パラメータａ ^♯の間の誤差を表す、ＬＰ残余信号Ｒ［ｎ］を生成する。ＬＰ残余Ｒ［ｎ］、モードＭおよび量子化されたＬＰパラメータａ ^♯は、残余量子化モジュール１１２に提供される。これらの値に基づき、残余量子化モジュールは、残余指数Ｉ_Ｒおよび量子化残余信号Ｒ^♯［ｎ］を作り出す。
【００２６】
【数１】

図３では、音声コーダで使用されるデコーダ２００は、ＬＰパラメータ復号モジュール２０２、残余復号化モジュール２０４、モード復号モジュール２０６、およびＬＰ合成フィルタ２０８を含む。モード復号モジュール２０６は、モードＭをそこから生成するモード指数Ｉ_Ｍを受信し、復号する。ＬＰパラメータ復号モジュール２０２はモードＭおよびＬＰ指数Ｉ_ＬＰを受け取る。ＬＰパラメータ復号モジュール２０２は、量子化されたＬＰパラメータａ ^♯を作り出すために受信された値を復号する。残余復号モジュール２０４は、残余指数Ｉ_Ｒ、ピッチ指数Ｉ_Ｐ、およびモード指数Ｉ_Ｍを受け取る。残余復号モジュール２０４は、量子化された残余信号Ｒ^♯［ｎ］を生成するために受信された値を復号する。量子化残余信号Ｒ^♯［ｎ］および量子化されたＬＰパラメータａ ^♯は、復号された出力音声信号ｓ^♯［ｎ］をそこから合成するＬＰ合成フィルタ２０８に提供される。
【００２７】
図２のエンコーダ１００、および図３のデコーダの多様なモジュールの動作および実現は、技術で既知である。例示的なエンコーダおよび例示的なデコーダは、前記に参照して完全にここに組み込まれている米国特許第５，４１４，７９６号に説明されている。
【００２８】
ある実施形態においては、音声の準周期的な、発声セグメントは、現在の音声フレームＳ_ｃｕｒからピッチプロトタイプ波形を抽出し、ピッチプロトタイプ波形からの現在の音声フレームを時間同期波形補間（ＴＳＷＩ）により合成することによってモデル化される。Ｍ個のピッチプロトタイプ波形Ｗ _ｍ （ｍ＝１，２，．．．Ｍであり、各ピッチプロトタイプ波形Ｗ _ｍ が長さＬ _ｃｕｒ を有し、Ｌ _ｃｕｒ は現在の音声フレームＳ _ｃｕｒ からの現在のピッチ期間である）だけを抽出して保持することにより、符号化されなければならない情報の量は、Ｎ個のサンプルからＭとＬ _ｃｕｒ サンプルの積に削減される。数Ｍが１という値を指定されてよいか、あるいはピッチ遅延に基づいて任意の離散値を指定されてよい。Ｍのさらに高い値は、多くの場合、再構築された発声された信号が過剰に周期的になることを防ぐためにＬ_ｃｕｒが小さい値のときに必要とされる。
【００２９】
例示的な実施形態では、ピッチ遅延が６０を上回る場合、Ｍは１に等しく設定される。それ以外の場合、Ｍは２に等しく設定される。Ｍの現在のプロトタイプ、および過去のフレームからの長さＬ_ｏを有する最終的なピッチプロトタイプ波形Ｗ_ｏは、詳細に後述されるＴＳＷＩ技法を利用することによって、現在の音声フレームのモデル表記Ｓ_{ｃｕｒ＿ｍｏｄｅｌ}を再生成するために使用される。同じ長さＬ_ｃｕｒを有する現在のプロトタイプＷ_ｍを選ぶことの代替策として、現在のプロトタイプＷ_ｍは、代わりに長さＬ_ｍを有してよく、そこではローカルピッチ期間Ｌ_ｍが、関連する離散時間ロケーションｎ_ｍで真のピッチ期間を推定することによって、あるいは現在のピッチ期間Ｌ_ｃｕｒと最後のピッチ期間Ｌ ₀ の間に任意の従来の補間技法を適用することのどちらかによって、推定することができる。使用される補間技法は、例えば、単純線形補間であってよい。
Ｌ_ｍ ＝ （１-ｎ_ｍ／Ｎ）^* Ｌ₀ ＋ （ｎ_ｍ／Ｎ）^*Ｌ_ｃｕｒ
ここでは、時間指数ｎ_ｍは、ｍ番目のセグメントの中間点であり、ｍ＝１，２，．．．，Ｍである。
【００３０】
前記関係性は、図４Ａから図４Ｃのグラフに示されている。信号振幅対離散時間指数（つまり、サンプル番号）を描く図４Ａでは、フレーム長Ｎがフレームあたりのサンプル数を表す。図示されている実施形態においては、Ｎは１６０である。値Ｌ_ｃｕｒ（フレーム内の現在のピッチ期間）およびＬ_０（先行するフレーム内での最終ピッチ期間）も示されている。その信号振幅が、所望されるように、音声信号振幅であるか、あるいは残余信号振幅のどちらかであってもよいことが指定される必要である。Ｍ＝１の場合のプロトタイプ振幅対離散時間指数を描く図４Ｂでは、値Ｗ_ｃｕｒ（現在のプロトタイプ）およびＷ_０（過去のフレームの最終プロトタイプ）が示されている。図４Ｃのグラフは、ＴＳＷＩ合成対離散時間指数の後の再構築された信号Ｓ_{ｃｕｒ＿ｍｏｄｅｌ}の振幅を示す。
【００３１】
前記補間等式中の中間点ｎ_ｍは、隣接する中間点の間の距離がほぼ同じとなるように有利に選ばれる。例えば、Ｍ＝３、Ｎ＝１６０、Ｌ_０＝４０、およびＬ_ｃｕｒ＝４２は、ｎ_０＝２０およびｎ_３＝１３９を、したがってｎ_１＝３３およびｎ２＝８６を生じさせるため、隣接するセグメントの間の距離は［１３９−（−２０）／３］つまり５３である。
【００３２】
現在のフレームの最後のプロトタイプＷ_Ｍは、現在のフレームの最後のＬ_ｃｕｒサンプルを選ぶことによって抽出される。他の中間プロトタイプは中間点ｎ_ｍのまわりの（Ｌ_ｍ）／２サンプルを取り出すことによって、抽出される。
【００３３】
プロトタイプ抽出は、さらに、範囲｛ｎ_ｍ−０．５^＊Ｌ_ｍ−Ｄ_ｍ，ｎ_ｍ＋０．５^＊Ｌ_ｍ＋Ｄ_ｍ｝の中からのあらゆるＬ_ｍサンプルをプロトタイプを構成するために選ぶことができるように、プロトタイプＷ_ｍごとにＤＭの動的シフトを可能にすることによりさらに精密にされてよい。プロトタイプ境界で高いエネルギーセグメントを回避することが望ましい。値Ｄ_ｍは、ｍに関して可変であるか、あるいはプロトタイプごとに固定することができる。
【００３４】
ゼロではない動的シフトＤ_ｍ は、抽出されたプロトタイプＷ_ｍと元の信号の間の時間同期を必ずや破壊することが指摘されなければならない。この問題に対する１つの単純な解決策とは、動的シフトが導入したオフセットを調整するために、プロトタイプＷ_ｍに円形シフトを適用することである。例えば、動的シフトがゼロに設定されると、プロトタイプ抽出は時間指数ｎ＝１００で開始する。他方、Ｄ_ｍが適用されると、プロトタイプ抽出はｎ＝９８で始まる。プロトタイプと元の信号の間の同期を維持するためには、プロトタイプは、プロトタイプ抽出後に２個のサンプル（つまり１００−９８サンプル）によって右側へ円形にシフトすることができる。
【００３５】
フレーム境界での不整合を回避するには、合成された音声の時間同期を維持することが重要である。したがって、分析−合成プロセスで合成された音声は、入力音声と十分に整合されなければならない。１つの実施形態においては、前記目標は、後述されるように位相トラックの境界値を明示的に制御することによって達成される。時間同期は、線形予測に基づいたマルチモード音声コーダにとっても重大であり、その中では１つのモードはＣＥＬＰであり、別のモードはプロトタイプに基づいた音声−合成である可能性がある。ＣＥＬＰでコーディングされているフレームの場合、時間整合または時間同期がとれていない場合に、前のフレームがプロトタイプをベースにした方法でコーディングされると、ＣＥＬＰの合成による分析の波形整合力を利用することはできない。過去の波形における時間同期の破壊により、ＣＥＬＰは、時間同期の欠如のためにメモリが元の音声と不整合になるために、予測のメモリに依存することはできないだろう。
【００３６】
図５のブロック図は、ある実施形態に従ったＴＳＷＩを備えた音声合成用の装置を示す。サイズＮ、Ｍのフレームで開始すると、長さＬ_１，Ｌ_２．．．Ｌ_４のプロトタイプＷ_１，Ｗ_２．．．Ｗ_Ｍがブロック３００で抽出される。抽出プロセスでは、動的シフトが、プロトタイプ境界での高エネルギーを回避するために抽出のたびに使用される。次に、適切な円形シフトが、抽出されたプロトタイプと対応する元の信号の対応するセグメントの間の時間同期を最大限にするために、それぞれの抽出されたプロトタイプに適用される。ｍ番目のプロトタイプＷ_ｍは、ｋのサンプル番号、つまりｋ＝１、２、…Ｌ_ｍによって指標が付けられるＬ_ｍのサンプルを有する。この指標ｋは、正規化され、０から２の範囲である新規な位相指数にマッピングし直すことができる。ブロック３０１では、ピッチ推定および補間は、ピッチ遅延を生成するために利用される。
【００３７】
プロトタイプの端点ロケーションは、ｎ_１、ｎ_２．．．ｎ_Ｍとしてラベルが付けられ、その場合＿ｎ_１＜ｎ_２＜ｎ_Ｍ＝Ｎである。プロトタイプは、ここでは、以下のようにその端点ロケーションに従って表すことができる。
Ｘ（ｎ_１，φ）＝Ｗ_１
Ｘ（ｎ_２，φ）＝Ｗ_１
：
Ｘ（ｎ_Ｍ，φ）＝Ｗ_Ｍ
ここでＸ（ｎ_０，＿）は、過去のフレームの中の最終的に抽出されたプロトタイプを表し、Ｘ（ｎ_０，＿）は、Ｌ_０ の長さを有することに注意されたい。また、｛ｎ_１，ｎ_２．．．ｎ_Ｍ｝は、現在のフレーム上で等しく間隔をあけて配置されてよい、あるいはされなくてよいことにも注意されたい。
ブロック３０２では、整合プロセスが実行され、連続するプロトタイプが最大限に整合されるように各プロトタイプＸに対して位相シフトが適用される。特に、
【数２】

この場合、ＷはＸの整合されたバージョンであり、整合シフトは以下によって計算できる。
【００３８】
【数３】

Ｚ［Ｘ，Ｗ］は、ＸとＷの間の相互相関を表す。
【００３９】
Ｍ個のプロトタイプは任意の従来の補間技法によってブロック３０３内のＮ個のプロトタイプにアップサンプリングされる。使用されている補間技法は、例えば、単純線形補間であってよい。
【００４０】
【数４】

ｉ＝１，２．．．ＮであるＮ個のプロトタイプＷ（ｎ_i）のセットは、図６Ｂの２次元（２Ｄ）プロトタイプ展開面を形成する。
【００４１】
ブロック３０４は、位相軌跡（位相トラック）の計算を実行する。波形補間では、位相軌跡［Ｎ］は、２次元プロトタイプ展開面を１次元の信号に変換するために使用される。従来では、このような位相輪郭は、以下に示すように補間された周波数を使用してサンプル単位で計算される。
【００４２】
【数５】

この場合、ｎ＝１，２．．．Ｎである。周波数輪郭Ｆ［ｎ］は、補間されたピッチ軌跡、特にＦ［ｎ］＝１／Ｌ［ｎ］を使用して計算でき、この場合Ｌ［ｎ］は、［Ｌ_１，Ｌ_２．．．Ｌ_Ｍ］の補間されたバージョンを表す。前記位相輪郭関数は、典型的には、最終値［Ｎ］でではなく、初期位相値［０］でフレームごとに一度抽出される。さらに、位相輪郭関数は、整合プロセスから生じる位相を考慮に入れない。このため、再構築された波形は、元の信号に対して時間同期しているとは保証されない。周波数輪郭が経時的に線形に展開されると仮定される場合、結果として生じる位相軌跡［ｎ］は時間指数（ｎ）の二次関数である。
【００４３】
図５の実施形態においては、位相輪郭は、初期境界位相値および最終境界位相値が整合シフト値と密に整合される区分的な様式で有利に構築される。時間同期は、現在のフレームｎ＿、ｎ＿．．．、ｎ_ｐでのｐ個の時刻で保存されることが望まれ、この場合ｎ＿＜ｎ＿＜．．．，＜ｎ_ｐ、およびα_ｉ∈｛１，２．．．，Ｍ｝、ｉ＝１，２．．．ｐである。結果として生じる＿［ｎ］（ｎ＝１，２．．．Ｎ）は、以下のように書くことができる、ｐ個の区分的連続位相関数から構成される。
【００４４】
【数６】

ｎ＿_ｐは、［ｎ］がフレーム全体に関して計算できる、つまりｎ＝１，２．．．Ｎであるように、概してｎ_Mに設定される必要がある。それぞれの区分的な位相関数の係数｛ａ，ｂ，ｃ，ｄ｝は、４つの境界条件によって計算できる。つまり、初期および最終のピッチ遅延Ｌ_α−１およびＬ_αそれぞれ、および初期および最終整合シフトψ_α−１、およびψ_αである。特に、係数は、以下によって解くことができる。
【００４５】
【数７】

ここでは、ｉ＝１，２．．．ｐである。整合シフトは、２を法として得ることができるため、係数ξは、結果として生じる位相関数が最大限に円滑となるように位相シフトをアンラップするために使用される。値ξは、以下のように計算することができる。
【００４６】
【数８】

この場合、ｉ＝１，２．．．ｐであり、関数を丸める［ｘ］はｘに最も近い整数を見つける。例えば、円［１．４］は１である。
【００４７】
アンラップされた位相軌跡は、Ｍ＝ｐ＝１およびＬ_ｏ＝４０、Ｌ_Ｍ＝４６として図７に説明される。（破線で示されている従来の２次元位相輪郭とは対照的に）３次元位相輪郭によれば、フレーム境界で音声Ｓ_ｃｕｒの元のフレームと合成された波形Ｓ_{ｃｕｒ＿ｍｏｄｅｌ} との時間同期が保証される。
【００４８】
ブロック３０５では、１次元（１−Ｄ）時間ドメイン波形が、２−Ｄ表面から形成される。ｎ＝１，２．．．Ｎである場合に、合成された波形Ｓ_{ｃｕｒ＿ｍｏｄｅｌ}［ｎ］が、以下によって形成される。
【００４９】
【数９】

図表を用いて表現すれば、前記変換は、図６Ｂに示されているように、図６Ａに描かれているラップされた位相トラックを２Ｄ（２次元）平面に重畳することと同等である。（位相軌跡が２−Ｄ平面と交差する）交差点の、位相軸に垂直な平面上への投影は、Ｓ_{ｃｕｒ＿ｍｏｄｅｌ}［ｎ］である。
【００５０】
１つの実施形態においては、プロトタイプ抽出およびＴＳＷＩに基づく分析−合成のプロセスは、音声ドメインに適用される。別の実施形態では、プロトタイプ抽出およびＴＳＷＩに基づく分析−合成のプロセスはここに述べた音声ドメイン並びにＬＰ残余ドメインに適用される。
【００５１】
１つの実施形態においては、ピッチプロトタイプ波形に基づく分析−合成モデルは、現在のフレームが「十分に周期的である」かどうかが決定される事前選択プロセスの後に適用される。隣接する抽出されたプロトタイプ、Ｗ_ｍとＷ_ｍ＋１の間の周期性ＰＦ_ｍは、以下のように計算できる。
【００５２】
【数１０】

この場合、Ｌ_ｍａｘは、「Ｌ_ｍ，Ｌ_ｍ＋１」の最大、プロトタイプＷ_ｍとＷ_ｍ＋１の長さの最大である。
【００５３】
周期性ＰＦ_ｍのＭ個のセットは、現在のフレームのプロトタイプが極めて類似しているかどうか、あるいは現在のフレームがきわめて周期性であるかどうかを決定するために閾値のセットと比較できる。周期性ＰＦ_ｍのセットの平均値が、前記結論を得るために所定閾値と有利に比較されてよい。現在のフレームが十分に周期的でない場合には、異なるさらに速い速度アルゴリズム（つまり、ピッチプロトタイプに基づかないもの）が、現在のフレームを符号化するために代わりに使用されてよい。
【００５４】
１つの実施形態では、選択後フィルタが、性能を評価するために適用されてよい。このようにして、現在のフレームをピッチプロトタイプに基づく分析−合成モードで符号化した後、性能が十分に良好かどうかに関する決定が下される。決定は、ＰＳＮＲなどの品質基準を得ることによって下され、この場合ＰＳＮＲは以下のように定義される。
【００５５】
【数１１】

この場合、ｘ［ｎ］＝ｈ［ｎ］^＊Ｒ［ｎ］、およびｅ（ｎ）＝ｈ［ｎ］^＊ｑＲ［ｎ］であり、「＊」は畳み込みまたはフィルタリング操作を示し、ｈ（ｎ）は、知覚的に加重されたＬＰフィルタであり、Ｒ［ｎ］が元の音声残余であり、ｑＲ［ｎ］はピッチプロトタイプに基づく分析−合成モードで得られる残余である。ＰＳＮＲの前記等式は、ピッチプロトタイプに基づく分析−合成符号化がＬＰ残余信号に適用される場合、有効である。他方、ピッチプロトタイプに基づく分析−合成技法がＬＰ残余の代わりに元の音声フレームに適用される場合、ＰＳＮＲは以下のとおりに定められてよい。
【００５６】
【数１２】

この場合、ｘ［ｎ］は、元の音声フレームであり、ｅ［ｎ］はピッチプロトタイプに基づく分析−合成技法によってモデル化される音声信号であり、ｗ［ｎ］は知覚上の加重係数である。どちらかのケースにおいて、ＰＳＮＲが所定閾値以下となる場合フレームは分析−合成技法に適さず、異なるおそらくさらに高いビットレートのアルゴリズムが、現在のフレームを捕捉するために、代わりに使用されてよい。当業者は、前述された例示的なＰＳＮＲ基準を含む任意の従来の性能基準は、アルゴリズム性能に関して後処理決定のために使用されてよい、ことを理解するであろう。
【００５７】
本発明の好適実施形態は、このようにして示され、説明された。しかしながら、多数の変形実施例が、本発明の要旨または範囲から逸脱することなくここに開示される実施形態に対してなされ得ることは一般の当業者には明らかであるだろう。したがって、本発明は以下の請求項によってのみ限定されるものである。
【００５８】
【発明の効果】
以上、本発明によれば、時間同期波形補間によって、ピッチプロトタイプ波形からの音声の合成を可能とする音声合成方法および音声合成装置を提供できる。
【図面の簡単な説明】
【図１】 図１は、音声コーダによって各端部で終端される通信チャネルのブロック図である。
【図２】 図２は、エンコーダのブロック図である。
【図３】 図３は、デコーダのブロック図である。
【図４】 図４Ａ〜図４Ｃは、それぞれ、信号振幅対離散時間指数、抽出済みプロトタイプ振幅対離散時間指数、およびＴＳＷＩ再構築信号振幅対離散時間指数のグラフである。
【図５】 図５は、時間同期波形補間（ＴＳＷＩ）によりピッチプロトタイプ波形から音声を合成するための装置を示す機能ブロック図である。
【図６】 図６Ａは、ラップされた３次元位相輪郭対離散時間指数のグラフであり、
図６Ｂは、再構築された音声信号振幅対図６Ａの重畳グラフの２次元平面グラフである。
【図７】 図７は、アンラップされた２次元位相輪郭および３次元位相輪郭対離散時間指数のグラフである。
【符号の説明】
１０，１６…エンコーダ、
１４，２０…デコーダ、
１０２…モード決定、
１０４…ピッチ概算、
１０６…ＬＰ分析、
１１０…ＬＰ量子化、
１０８…ＬＰ分析フィルタ、
１１２…残余量子化、
２０２…ＬＰパラメータ復号、
２０４…残余復号、
２０６…モード復号、
２０８…ＬＰ合成フィルタ、
３０１…ピッチ推定および補間、
３００…抽出、
３０４…位相輪郭構築、
３０２…整合、
３０３…プロトタイプのアップサンプリング、
３０５…２Ｄから１Ｄの変換。

Claims (24)

1. 時間同期波形補間によるピッチプロトタイプ波形からの音声を合成するための方法であって、
   信号からフレームあたり少なくとも１つのピッチプロトタイプ波形を抽出する工程と、
   過去に抽出されたピッチプロトタイプ波形を基準にして、前記抽出されたピッチプロトタイプ波形に対して位相シフトを適用する工程と、
   前記フレーム内の各サンプル点に関して前記位相シフトされたピッチプロトタイプ波形をアップサンプリングすることによって、２次元プロトタイプ展開面を構築する工程と、
   前記２次元プロトタイプ展開面を再サンプルして１次元合成信号フレームを生成する工程であって、前記再サンプルの再サンプル点は区分的に連続する３次元位相輪郭関数によって規定され、前記３次元位相輪郭関数は、ピッチ遅延と、前記抽出されたピッチプロトタイプ波形に付加されたアライメント位相シフトから計算される工程と、
   を備える方法。
2. 上記信号は音声信号を含む、請求項１に記載される方法。
3. 上記信号は残余信号を含む、請求項１に記載される方法。
4. 前記ピッチ遅延は、先行するフレームからのピッチ遅延サンプルを含む、請求項１に記載される方法。
5. 現在のフレームの周期性を計算する工程をさらに備える、請求項１に記載される方法。
6. フレーム符号化のパフォーマンスを評価するための後処理パフォーマンス基準を得る工程と、当該後処理パフォーマンス基準を所定の閾値と比較する工程と、をさらに備える、請求項１に記載される方法。
7. 上記抽出する工程が、１つのピッチプロトタイプ波形のみを抽出することを備える、請求項１に記載される方法。
8. 上記抽出する工程が、所定数のピッチプロトタイプ波形を抽出することを備え、ピッチプロトタイプの数はピッチ遅延の関数である、請求項１に記載される方法。
9. 時間同期波形補間によるピッチプロトタイプ波形からの音声を合成するための装置であって、
   信号からフレームあたり少なくとも１つのピッチプロトタイプ波形を抽出する手段と、
   過去に抽出されたピッチプロトタイプ波形を基準にして、前記抽出されたピッチプロトタイプ波形に対して位相シフトを適用する手段と、
   前記フレーム内の各サンプル点に関して前記位相シフトされたピッチプロトタイプ波形をアップサンプリングすることによって、２次元プロトタイプ展開面を構築する手段と、
   前記２次元プロトタイプ展開面を再サンプルして１次元合成信号フレームを生成する手段であって、前記再サンプルの再サンプル点は区分的に連続する３次元位相輪郭関数によって規定され、前記３次元位相輪郭関数は、ピッチ遅延と、前記抽出されたピッチプロトタイプ波形に付加されたアライメント位相シフトから計算される手段と、
   を備える装置。
10. 上記信号は音声信号を含む、請求項９に記載される装置。
11. 上記信号は残余信号を含む、請求項９に記載される装置。
12. 前記ピッチ遅延は、先行するフレームからのピッチ遅延サンプルを含む、請求項９に記載される方法。
13. 現在のフレームの周期性を計算する手段をさらに備える、請求項９に記載される装置。
14. フレーム符号化のパフォーマンスを評価するための後処理パフォーマンス基準を得る手段と、当該後処理パフォーマンス基準を所定の閾値と比較する手段と、をさらに備える、請求項９に記載される装置。
15. 上記抽出するための手段は、１つのピッチプロトタイプ波形のみを抽出するための手段を備える、請求項９に記載される装置。
16. 上記抽出するための手段は、所定数のピッチプロトタイプ波形を抽出するための手段を備え、ピッチプロトタイプの数はピッチ遅延の関数である、請求項９に記載される装置。
17. 時間同期波形補間によるピッチプロトタイプ波形から音声を合成するための装置であって、
    信号からフレームあたり少なくとも１つのピッチプロトタイプ波形を抽出するように構成されるモジュールと、
    過去に抽出されたピッチプロトタイプ波形を基準にして、前記抽出されたピッチプロトタイプ波形に対して位相シフトを適用するように構成されるモジュールと、
    前記フレーム内の各サンプル点に関して前記位相シフトされたピッチプロトタイプ波形をアップサンプリングすることによって、２次元プロトタイプ展開面を構築するように構成されるモジュールと、
    前記２次元プロトタイプ展開面を再サンプルして１次元合成信号フレームを生成するように構成されるモジュールであって、前記再サンプルの再サンプル点は区分的に連続する３次元位相輪郭関数によって規定され、前記３次元位相輪郭関数は、ピッチ遅延と、前記抽出されたピッチプロトタイプ波形に付加されたアライメント位相シフトから計算されるモジュールと、
    を備える装置。
18. 上記信号は音声信号を含む、請求項１７に記載される装置。
19. 上記信号は残余信号を含む、請求項１７に記載される装置。
20. 前記ピッチ遅延は、先行するフレームからのピッチ遅延サンプルを含む、請求項１７に記載される装置。
21. 現在のフレームの周期性を計算するように構成されるモジュールをさらに備える、請求項１７に記載される装置。
22. フレーム符号化のパフォーマンスを評価するための後処理パフォーマンス基準を得て、当該後処理パフォーマンス基準を所定の閾値と比較するように構成されるモジュールをさらに備える、請求項１７に記載される装置。
23. 上記少なくとも１つのピッチプロトタイプ波形を抽出するように構成されているモジュールは、１つのピッチプロトタイプ波形のみを抽出するように構成されている、請求項１７に記載される装置。
24. 上記少なくとも１つのプロトタイプを抽出するように構成されているモジュールは、所定数のピッチプロトタイプ波形を抽出するように構成され、ピッチプロトタイプの数はピッチ遅延の関数である、請求項１７に記載される装置。

Images