JP5361909B2 - 背景ノイズ情報を符号化する方法および手段 - Google Patents

Description

本発明は、音声信号符号化方法における背景ノイズ情報を符号化する方法および手段に関する。

電話での会話に対しては、テレコミュニケーションの初期段階からアナログ音声伝送に帯域幅制限が設けられていた。音声伝送は、３００Hz〜３４００Hzの制限された周波数領域で行われる。

このように制限された周波数領域は、現在のデジタルテレコミュニケーション用の多くの音声信号符号化方法においても設けられている。このため、符号化プロセスの前にアナログ信号の帯域幅制限が行われる。ここでは符号化および復号化のためにコーデックが使用される。上記のように帯域幅制限が３００Hz〜３４００Hzの周波数領域であることに起因して以下ではこのコーデックを狭帯域音声コーデック（Narrow Band Speech Codec）とも称する。ここでコーデックという用語は、オーディオ信号をデジタル符号化するための符号化規則のことでもあり、またオーディオ信号を再構成することを目的としてデータを復号化するための復号化規則のことでもあると理解されたい。

狭帯域音声コーデックは、例えば、ITU-T勧告G.729から公知である。そこに記載された符号化規則により、８kbit/sのデータレートで狭帯域音声信号の伝送が行われる。

さらにいわゆる広帯域音声コーデック（Wide Band Speech Codec）も公知であり、これは、聴覚的印象を改善するため、拡張された周波数領域における符号化を行うためのものである。このように拡張された周波数領域は、例えば、５０Hz〜７０００Hzの周波数にある。広帯域音声コーデックは、例えば、ITU-T勧告G.729拡張版から公知である。

ふつう広帯域音声コーデック用の符号化方法は、スケーラブルに構成される。ここでスケーラビリティという用語が意味するのは、伝送される符号化データが、種々異なって区画されたブロックを含んでおり、これらのブロックが、符号化される音声信号の狭帯域部分、広帯域部分および／または全帯域幅を含んでいることである。このようにスケーラブルな構成により、一方では受信側における下方互換性が可能になり、また他方ではこれによって、伝送チャネルにおけるデータ伝送容量が限られている場合に、伝送されるデータフレームのサイズおよびデータレートを送信側および受信側で簡単に適合できるようになる。

コーデックによってデータ伝送レートを低減するため、ふつうは伝送されるデータの圧縮を行う。圧縮は、例えば、符号化方法によって行われ、ここでは音声データを符号化するため、励起信号に対するパラメタと、フィルタパラメタとが決定される。これらのフィルタパラメタおよび上記の励起信号を特定するパラメタはつぎに受信側に伝送される。受信側では上記のコーデックを使用して、主観的な聴覚的印象が原音声信号にできるかぎり類似している合成音声信号を合成する。「合成的解析」（Analysis-by-Synthesis）とも称されるこの方法も用いることにより、求められかつデジタル化されたサンプル値（サンプル）そのものが伝送されるのではなく、この音声信号を受信側で合成できるようにする求められたパラメタが伝送されるのである。

データ伝送レートを低減する別の手段は、不連続送信（Discontinuous Transmission）を行う方法であり、この方法はこの技術分野においてＤＴＸという用語でも知られている。ＤＴＸの基本的な目的は、音声が休止した場合のデータ伝送レートを低減することである。

このために送信側において音声休止識別（Voice Activity Detection, ＶＡＤ）を使用する。これは、あらかじめ定めた信号レベルを下回った場合に音声の休止を識別する。音声休止中、受信者はふつう完全な無音状態を期待しない。これとは逆に完全な無音状態は、受信者を不満にするか、または受信者にコネクション断を推測することにさえなる。このため、いわゆるコンフォートノイズ（Comfort Noise）を形成する方法が適用されるのである。

コンフォートノイズとは、無音フェーズを充填するために受信側で合成されるノイズのことである。このコンフォートノイズは、コネクションが存続しているという主観的な印象に役立っており、その際に音声信号を伝送するためのデータ伝送レートを必要とすることはない。言い換えると、送信側でノイズを符号化するためには、音声データを符号化するよりもコストがかからないのである。受信側にとってさらに実際的であると思われるコンフォートノイズの合成は、はるかに低いデータレートでデータを伝送することである。ここで伝送されるデータは、この技術分野ではＳＩＤ（Silence Insertion Description）と称される。

目下のところ開発されているコーデックは、音声情報のスケーラブルな符号化に力を注いでいる。スケーラブルなアプローチを用いることにより、符号化プロセスの結果には種々異なるブロックが含まれることになり、これらのブロックには、原音声信号の狭帯域部分が含まれ、音声信号の広帯域部分または完全な帯域幅も含まれる。すなわち例えば５０〜７０００Hzの周波数領域も含まれるのである。

現在のスケーラブルな符号化方法では、背景ノイズ情報の符号化は、入力ノイズ信号の全帯域幅にわたるか、または入力ノイズ信号の帯域幅の一区画にわたって行われるかのいずれかである。この符号化されたノイズ信号は、ＳＩＤフレームの形でＤＴＸ方式によって伝送されて受信側で再構成される。すなわち再構成されるコンフォートノイズ、すなわち合成されるコンフォートノイズは、場合によっては、受信側で合成される音声情報とは異なる品質を有するのである。このことは、受信者の評価に不利になってしまう。

本発明の課題は、スケーラブルな音声コーデックにおいてＤＴＸ方式の実現を改善することである。

この課題は、独立請求項に記載した特徴的構成によって解決される。

本発明の基本的なアイデアは、音声情報伝送用に公知であるスケーラビリティをＳＩＤフレーム形成時にも類似に設けることである。

スケーラブルな音声信号符号化方式を適用して背景ノイズ情報を伝送するためにＳＩＤフレームを符号化する本発明の方法では、背景ノイズ情報の狭帯域の第１部分および広帯域の第２部分を符号化する。この符号化はふつう同時にまた異なる手法で行われる。しかしながら１部分の符号化を時間的にずらして行うか、またはこれを別の部分を符号化した後に行うことも当然可能である。また上記の２つの部分の符号化をオプションで同じ手法で行うことも可能である。上記の２つの部分を符号化した後、これらの第１部分および第２部分に対して別々の領域で１つのＳＩＤフレームを構成する。言い換えるとこのことが意味するのは、上記のＳＩＤフレームにおいて、第１のデータ領域には、符号化された第１部分に対するデータが収容され、これに対してこれとは別の第２のデータ領域に、符号化された第２部分に対するデータが収容されるということである。

本発明の実質的な利点は、上記の伝送されるＳＩＤフレームの広帯域部分に基づいてコンフォートノイズを形成すべきか、または狭帯域部分に基づいてこれを形成すべきかを受信側で決定できることである。このことは、音声情報フレームに対する伝送レートが低下して狭帯域の音声情報だけが伝送される状況において、受信者における音響についての評価に殊に有利である。すなわち、目下の従来技術のように狭帯域の音声情報が、広帯域ノイズと関連して合成される場合、これは受信者にとって極めて不満のもとになる。音声情報フレームに対する伝送レートの上記のような低下は、例えば、送信者と受信者との間のネットワークの稼働率（輻輳）が高いことによって発生することがある。格段に小さいＳＩＤフレームでは、このようなネットワークの隘路に襲われてしまうことはない。したがってこのようなＳＩＤフレームにとっては、データ伝送レートを低減しなければならないという拘束も、そのコンテンツを低減しなければならない拘束もないのである。

本発明の有利な実施形態は従属請求項に記載されている。

本発明の第１の有利な実施形態によれば、上記のＳＩＤフレームの定義に第３の部分が設けられる。この第３の部分には符号化された背景ノイズパラメタが含まれており、これは、この第３の部分が狭帯域のデータ（拡張された狭帯域データないしは"Enhanced Low Band"）をなお含んでいる場合であっても、高いデータレートで符号化される。この第３部分を有するＳＩＤフレームを定義することの利点は、従来の狭帯域符号化方法に比べてより高い品質でノイズ信号を再生でき、またその際に規格G.729.Bに対してなお整合性を保てることである。

本発明によるＳＩＤフレームの構造を示す図である。

以下、本発明の別の利点および実施形態を有する実施例を図面に基づいて詳しく説明する。

以下では本発明の基礎にある技術的な背景をまず図を参照せずに詳しく説明する。

現在のスケーラブルな符号化方法において不連続送信（ＤＴＸ）を行うために広帯域音声コーデックに対して実現されている方法は、背景ノイズ情報を伝送するため、目下のところ、スケーラブルな特徴をサポートしていない。ここでこの特徴は、音声情報の伝送用に設けられたものである。

目下のところの迂回的な解決手段として符号化は、入力ノイズ信号の全帯域幅にわたって行われるか、または入力ノイズ信号の帯域幅の一区画にわたって行われる。このため、さらに改善された方法に対する要求が存在するのである。

過去には主に２つの音声コーデックの２つのタイプが開発されており、１つは、例えば3GPP AMR，ITU-T G.729などの狭帯域な音声コーデックであり、別の１つは3GPP AMR-WB，ITU-T G.722などの広帯域な音声コーデックである。狭帯域な音声コーデックにより、ふつう３００Hz〜３４００Hzの周波数領域にある帯域幅を有する音声信号が８kHzのサンプリング周波数で符号化される。広帯域な音声コーデックにより、ふつう５０Hz〜７０００Hzの周波数領域にある帯域幅において１６kHzのサンプリング周波数で音声信号が符号化される。

これらのコーデックのうちのいくつかにより、ＤＴＸ方式、すなわち不連続送信方式が使用され、通信チャネルにおける全体伝送レートが低減される。ＤＴＸ方式ではＳＩＤフレームが送信される。この際にＳＩＤフレームの帯域幅は、音声信号の帯域幅に相当する。１つのＳＩＤフレームには、音声休止中の背景ノイズが書き込まれる。

目下開発されているコーデックは、スケーラブルな符号化に注力している。スケーラブルなアプローチを用いることにより、符号化プロセスの結果には種々異なるブロックが含まれ、これらのブロックには、原音声信号の狭帯域部分が含まれ、音声信号の広帯域部分または完全な帯域幅も含まれる。すなわち例えば５０〜７０００Hzの周波数領域も含まれるのである。上記の広帯域部分は、ふつう４kHzの周波数からはじまる。

現在のＤＴＸ方式は、目下のところコーデックのスケーラブルな特徴をサポートしていない。その代わりに符号化は、入力音声信号の全帯域幅にわたるか、または入力信号の帯域幅の一区画にわたって行われる。このため、さらに改善された方法が必要なのである。

わかりやすくするため、以下ではITU-T規格G.729.1による符号化方法を説明する。このコーデックG.729.1は、スケーラブルな音声コーデックであり、ここではＤＴＸ方式が全帯域幅にわたって適用されるが、現在のところスケーラブルでない。

この符号化方式は、アクティブな音声期間中（「サイレンス期間」として識別されている音声休止と区別して）つぎにように特徴付けることができる。すなわち、
音声信号は、２つの部分、すなわち狭帯域（Lowband）部分と、広帯域（Highband）部分とに分解される。２つの信号は、８kHzのサンプリング周波数でサンプリングされる。狭帯域部分および広帯域部分への分配は、専用の帯域通過フィルタにおいて行われ、このフィルタはＱＭＦ（Quadrature Mirror Filter）と称される。

上記の音声信号の狭帯域部分は、８および１２kbit/sのデータレートで符号化される。この音声信号を符号化するため、ＣＥＬＰ（Code Excited Linear Prediction）方式が適用される。１４kbit/s以上のデータレートに対し、上記の狭帯域部分はG.729.1の「変換コーデック」の節を考慮してさらに変形される。目下のフレームの広帯域部分は（ここでもこれが音声信号を含むという仮定の下で）、ＴＤＢＷＥ（Time Domain Bandwidth Extension）方式を適用して１４kbit/sのデータレートで符号化される。１４kbit/s以上のデータレートに対してはG.729.1の「変換コーデック」の節が適用される。

規格G.729.1では不連続送信のための方式が提供されていないため、音声休止ないしは"non active voice period"では、以下で説明する迂回手段を適用する。

音声信号は同様に狭帯域部分と広帯域部分に分解され、ここでは２つの部分は８kHzの周波数でサンプリングされる。この分解も同様にＱＭＦフィルタを介して行われる。

上記の狭帯域部分は、狭帯域ＳＩＤ情報を使用して符号化される。この狭帯域ＳＩＤ情報は後の時点に、規格G.729と互換性のあるＳＩＤフレームにおいて受信側に送信される。上で説明した別の手段は、狭帯域ＳＩＤ部分の改善に貢献することができる。

上記の広帯域部分は、変形ＴＤＢＷＥ方式を適用して符号化される。いわゆるハングオーバ期間（Hangover Period）中、上記の音声信号は引き続いて１４kbit/sのデータレートで符号化され、これに対して上記の音声休止中に識別した背景ノイズも同時に評価されて相応するパラメタが設定される。この背景ノイズの評価は、ノイズ信号のエネルギおよびその周波数分布について行われる。しかしながら規格G.729.1で設けられているＴＤＢＷＥ方式とは異なり、時間的な微細構造は評価されず、複数のフレームにわたるエネルギの平均だけが形成される。

以下では本発明による方法の１実施形態を図に基づいて説明する。

この図は、狭帯域の第１部分ＬＢ（"Low Band"）と、広帯域の第２部分ＨＢ（"High Band"）と、中間の第３部分ＥＬＢ（"Enhanced Low Band"）とに対して別々の領域を有するＳＩＤフレームを示している。

ここで第１部分ＬＢには、符号化された背景ノイズパラメタが含まれており、これは８kbit/sまたはそれ以下のデータレートで符号化されている。第１部分ＬＢのデータ長は、例えば１５ビットである。

第２部分ＨＢには、符号化された背景ノイズパラメタが含まれており、これは１４kbit/s〜３２kbit/sのデータレートで符号化されている。第２部分ＨＢのデータ長は、例えば１９ビットである。

第３部分ＥＬＢには、符号化された背景ノイズパラメタが含まれており、これは８kbit/sより高いデータレートで、すなわち例えば１２kbit/sのデータレートで符号化されている。第３部分ＥＬＢのデータ長は、例えば９ビットである。第３部分ＥＬＢを有するＳＩＤフレームの定義することの利点は、従来の狭帯域符号化方法に比べてより高い品質でノイズ信号を再生でき、またその際になお規格G.729.Bとの整合性を保てることである。

音声休止中には符号化器側で上記の背景ノイズの特性を取得する。これらの特性には、例えば、背景ノイズのスペクトル形状も、時間的の分布も共に含まれている。上記の取得プロセスに対してフィルタ方式を適用する。このフィルタ方式により、先行するフレームから得られる背景ノイズの時間的およびスペクトルなパラメタが考慮される。上記の背景ノイズの強さまたは特性に大きな変化が発生した場合、境界値パラメタ（閾値）に基づいて、上記の取得したパラメタを更新する必要があるか否かの判断が行われる。

上記のデコーダないしは受信側では以下の方法が実行される。「ふつうの」フレーム、すなわち音声信号を含むフレームを受信する場合、ふつうの復号化を行う。このようなふつうのフレームに対するデータレートは、ふつう８kbit/s以上である。ＳＩＤフレームが受信される場合、コンフォートノイズが合成され、ここで広帯域ＳＩＤの場合、広帯域のコンフォートノイズが合成され、また読み出された増幅係数で出力される。

以下では本発明による方法を発明の別の複数の実施形態によって説明する。

これらの実施形態は、例えばG.729.1などの広帯域コーデックにＤＴＸ方式を取り入れるためのさらなる詳細と、さらにＴＤＢＷＥ方式を変形する方法に関しており、これらは非アクティブフレーム（Non Active Frame）、すなわち音声情報のないフレーム中にコンフォートノイズの合成をサポートするものである。

１実施形態によればつぎのような手法が設けられる。
− G.729互換ないしはG.729.B互換のＳＩＤフレーム（本発明によるＳＩＤフレームの第１部分ＬＢ）を形成するための狭帯域ＳＩＤ情報の作成、
− 変形ＴＤＢＷＥ方式（本発明によるＳＩＤフレームの第２部分ＨＢ）を使用した広帯域ＳＩＤ情報の作成、
− オプションで狭帯域および／または広帯域ＳＩＤ情報について改善を行う。
− 第１ＳＩＤフレームの送信に先行するフェーズ中に上記の背景ノイズのエネルギ分布および／または周波数分布を分析ないしは「取得」する。
− 上記の背景ノイズの広帯域分部分に大きな変化が検出された場合、または狭帯域ＳＩＤ情報の更新を送信しようとする場合、ＳＩＤフレームを送信する。

この実施例はつぎの複数のフェーズにおいて実現される。すなわち、
− ＶＡＤ方式を用いて目下の音声フェーズないしは音声休止が定められる。

− このＶＡＤ方式によって音声休止に変化が示される場合、ハングオーバ期間（Hang Over Period）をスタートさせる。このハングオーバ期間中、先行するデータレートが１４kbit/sより大きな値を有していた場合、符号化器のデータレートを１４kbit/sに低減する。この符号化器の先行するデータレートがすでに約１２kbit/sを有している場合、このデータレートを８kbit/sの値に低減する。

− 上記のハングオーバ期間中、規格G.729と類似の手法ではあるがより多くのフレーム数を使用して背景ノイズの狭帯域部分を取得する。ここではオプションでフィルタ方式を適用することができ、このフィルタ方式により、先行するフレームよりも目下のフレームに高い重要度が割り当てられる。

− 上記のハングオーバ期間中、上記の背景ノイズをさらに広帯域部分において取得する。オプションでは実現を容易にするため、例えば、所要記憶スペースを低減するため、変形ＴＤＢＷＥ方式を使用する。この方式の特徴は、時間領域における符号化が容易なことである。オプションでは、時間領域における符号化が、時間領域における信号のエネルギだけに相応することにより、上記の変形ＴＤＢＷＥ方式をさらに容易にすることが可能である。別のオプションによる簡略化された符号化は、スペクトル的な平滑化方式を適用することである。それは時間領域および周波数領域におけるエネルギは、パーシバルの定理によって同じ値を提供するからである。上記の背景ノイズの広帯域部分においてもオプションで別のフィルタリング手段を適用することができる。この手段の目的は、先行するフレームよりも目下のフレームに、より大きな重要度を割り当てることである。

− 上記のハングオーバ期間が終了した後、第１ＳＩＤフレームを送信する。このフレームには上記の背景ノイズの大まかな表現が含まれている。この背景ノイズのこの大まかな表現は、上記のハングオーバ期間中に取得される。

− 上記のＶＡＤによってアクティブなフェーズ（音声）が検出されなかった場合、デコーダないしは受信側で、受信したＳＩＤフレームに基づいてコンフォートノイズを合成する。

− 上記の背景ノイズの変化は、ＳＩＤフレームの狭帯域部分において検出される。ここでは種々異なるパラメタを考慮するがG.729と類似の方式にしたがう。

− 上記の広帯域部分では、フィルタリングしたエネルギパラメタを利用して背景ノイズを表す。これには例えば、時間領域における包絡曲線tenv＿fidxおよび／または周波数領域における包絡曲線のパラメタfenv＿fidx[i]が含まれており、ここでは各インデックスidxにより、各フレームが識別され、また上記の周波数領域における包絡曲線は、背景ノイズのスペクトル的な特性を表す適当な個数の周波数値i＝{1，…，NB-SUBBANDS}によって形成される。上記のフィルタリングされたエネルギパラメタは、適当なローパスフィルタを使用することにより、G.729.1に定義されたＴＤＢＷＥ-パラメタから導出される。すなわち、

であり、
これらは周波数領域および時間領域における包絡線パラメタに相応に適用される。

− 上記のエネルギパラメタの広帯域部分における変化は、現在のノイズ信号のフィタリングされたエネルギパラメタと、これらのパラメタ比較値からなる２つの集合とを比較することにより、監視および検出される。ここで比較値の一方の集合は、インデックスidx-1を有する先行するフレームから得られるパラメタである。

またここで上記の別の集合は、インデックスlast＿txを有する最後に伝送されたフレームのパラメタからなる。上記のパラメタの差分のうちの１つ（temp＿d，spec＿d，temp＿ch，spec＿ch）が、適当に選択した境界値を上回る場合、すなわち

新たなSID-Updateフレームを送信しなければならない。

− 上記のＶＡＤによって音声期間が識別されると直ちに上記の音声信号は、必要な伝送レートで伝送され、復号器側でのコンフォートノイズの合成が終了する。したがってG.729.1のようにふつうの復号化動作が行われるのである。

Claims (14)

1. スケーラブルな音声信号符号化方法を使用して背景ノイズ情報を伝送するために少なくとも１つのＳＩＤフレーム（ＳＩＤ）を符号化する方法において、
   該方法は、
   前記背景ノイズ情報の狭帯域の第１部分（ＬＢ）と、広帯域の第２部分（ＨＢ）と、拡張された狭帯域の第３部分（ＥＬＢ）と、を符号化するステップと、
   前記第１部分（ＬＢ）と、前記第２部分（ＨＢ）と、前記第３部分（ＥＬＢ）と、に対して別々の領域を有する前記ＳＩＤフレーム（ＳＩＤ）を形成するステップと、
   を有し、
   音声情報伝送用のスケーラビリティをＳＩＤフレーム（ＳＩＤ）形成時にも類似に設けて、前記伝送されるＳＩＤフレーム（ＳＩＤ）の広帯域の第２部分（ＨＢ）に基づいてコンフォートノイズを形成すべきか、または狭帯域の第１部分（ＬＢ）に基づいてコンフォートノイズを形成すべきか、または拡張された狭帯域の第３部分（ＥＬＢ）に基づいてコンフォートノイズを形成すべきかを受信側で決定する、
   ＳＩＤフレーム（ＳＩＤ）を符号化する方法。
2. 前記背景ノイズ情報の第１部分（ＬＢ）を、それ自体公知の規格G.729.Bの符号化指針にしたがって符号化する、
   請求項１に記載の方法。
3. 音声休止中に符号化器側で背景ノイズの特性を取得する、
   請求項１または２に記載の方法。
4. 前記特性には、背景ノイズのスペクトル形状も、時間的の分布も共に含まれている、
   請求項３に記載の方法。
5. 取得プロセスに対してフィルタ方式を適用し、該フィルタ方式により、先行するフレームから得られる背景ノイズの時間的およびスペクトルなパラメタが考慮される、
   請求項４に記載の方法。
6. 前記背景ノイズの強さまたは特性に大きな変化が発生した場合、境界値パラメタ（閾値）に基づいて、前記取得したパラメタを更新する必要があるか否かの判断が行われる、
   請求項５に記載の方法。
7. 前記背景ノイズの広帯域の第２部分（ＨＢ）に大きな変化が検出された場合、または狭帯域の第１部分（ＬＢ）の更新を送信しようとする場合、ＳＩＤフレーム（ＳＩＤ）を送信する、
   請求項６に記載の方法。
8. 前記背景ノイズ情報の第２部分（ＨＢ）を変形ＴＤＢＷＥ方式にしたがって符号化する、
   請求項１から７までのいずれか１項に記載の方法。
9. 時間領域における符号化が、時間領域における信号のエネルギだけに相応することにより、前記変形ＴＤＢＷＥ方式をさらに容易にする、
   請求項８に記載の方法。
10. ハングオーバ期間中、フィルタ方式を適用して、先行するフレームよりも目下のフレームに高い重要度を割り当てる、
    請求項１から９までのいずれか１項に記載の方法。
11. 前記広帯域の第２部分（ＨＢ）では、フィルタリングしたエネルギパラメタを利用して背景ノイズを表し、
    前記エネルギパラメタには、時間領域における包絡曲線（tenv＿f _idx ）および／または周波数領域における包絡曲線のパラメタ（fenv＿f _idx [i]）が含まれ、前記エネルギパラメタは、
    

    

    で表される、
    請求項１から１０のいずれか１項に記載の方法。
12. 各インデックス（idx）により、各フレームが識別され、
    前記周波数領域における包絡曲線は、背景ノイズのスペクトル的な特性を表す適当な個数の周波数値（i＝{1，…，NB-SUBBANDS}）によって形成される、
    請求項１１に記載の方法。
13. 請求項１から１２までのいずれか１項に記載の方法を実行する手段を有することを特徴とするコーデック。
14. それ自体公知のITU-T規格G.729.1にて実現した、
    請求項１３に記載のコーデック。

Images