JP5415460B2 - 背景ノイズ情報を符号化する方法および手段 - Google Patents

Description

本発明は、音声信号符号化方法における背景ノイズ情報を符号化する方法および手段に関する。

電話での会話に対しては、テレコミュニケーションの初期段階からアナログ音声伝送に帯域幅制限が設けられていた。音声伝送は、３００Ｈｚ〜３４００Ｈｚの制限された周波数領域で行われる。

このように制限された周波数領域は、現在のデジタルテレコミュニケーション用の多くの音声信号符号化方法においても設けられている。このため、符号化プロセスの前にアナログ信号の帯域幅制限が行われる。ここでは符号化および復号化のためにコーデックが使用される。上記のように帯域幅制限が３００Ｈｚ〜３４００Ｈｚの周波数領域であることに起因して以下ではこのコーデックを狭帯域音声コーデック（Narrow Band Speech Codec）とも称する。ここでコーデックという用語は、オーディオ信号をデジタル符号化するための符号化規則のことでもあり、またオーディオ信号を再構成することを目的としてデータを復号化するための復号化規則のことでもあると理解されたい。

狭帯域音声コーデックは、例えば、ＩＴＵ−Ｔ勧告Ｇ．７２９から公知である。そこに記載された符号化規則により、８ｋｂｉｔ／ｓのデータレートで狭帯域音声信号の伝送が行われる。

さらにいわゆる広帯域音声コーデック（Wide Band Speech Codec）も公知であり、これは、聴覚的印象を改善するため、拡張された周波数領域における符号化を行うためのものである。このように拡張された周波数領域は、例えば、５０Ｈｚ〜７０００Ｈｚの周波数にある。広帯域音声コーデックは、例えば、ＩＴＵ−Ｔ勧告Ｇ.７２９.ＥＶから公知である。

ふつう広帯域音声コーデック用の符号化方法は、スケーラブルに構成される。ここでスケーラビリティという用語が意味するのは、伝送される符号化データが、種々異なって区画されたブロックを含んでおり、これらのブロックが、符号化される音声信号の狭帯域部分、広帯域部分および／または全帯域幅を含んでいることである。このようにスケーラブルな構成により、一方では受信側における下方互換性が可能になり、また他方ではこれによって、伝送チャネルにおけるデータ伝送容量が限られている場合に、伝送されるデータフレームのサイズおよびデータレートを送信側および受信側で簡単に適合できるようになる。

コーデックによってデータ伝送レートを低減するため、ふつうは伝送されるデータの圧縮を行う。圧縮は、例えば、符号化方法によって行われ、ここでは音声データを符号化するため、励起信号に対するパラメタと、フィルタパラメタとが決定される。これらのフィルタパラメタおよび上記の励起信号を特定するパラメタはつぎに受信側に伝送される。受信側では上記のコーデックを使用して、主観的な聴覚的印象が原音声信号にできるかぎり類似している合成音声信号を合成する。「合成的解析」（Analysis-by-Synthesis）とも称されるこの方法も用いることにより、求められかつデジタル化されたサンプル値（サンプル）そのものが伝送されるのではなく、この音声信号を受信側で合成できるようにする求められたパラメタが伝送されるのである。

データ伝送レートを低減する別の手段は、不連続送信（Discontinuous Transmission）を行う方法であり、この方法はこの技術分野においてＤＴＸという用語でも知られている。ＤＴＸの基本的な目的は、音声が休止した場合のデータ伝送レートを低減することである。

このために送信側において音声休止識別（Voice Activity Detection, VAD）を使用する。これは、あらかじめ定めた信号レベルを下回った場合に音声の休止を識別する。

音声休止中、受信者はふつう完全な無音状態を期待しない。これとは逆に完全な無音状態は、受信者を不快にするか、または受信者にコネクション断を推測させることにさえなる。このため、いわゆるコンフォートノイズ（Comfort Noise）を形成する方法が適用されるのである。

コンフォートノイズとは、無音フェーズを充填するために受信側で合成されるノイズのことである。このコンフォートノイズは、コネクションが存続しているという主観的な印象に役立っており、その際に音声信号を伝送するためのデータ伝送レートを必要とすることはない。言い換えると、送信側でノイズを符号化するためには、音声データを符号化するよりもコストがかからないのである。受信側にとってさらに実際的であると思われるコンフォートノイズの合成は、はるかに低いデータレートでデータを伝送することである。ここで伝送されるデータは、この技術分野ではＳＩＤ（Silence Insertion Description）とも称される。

広帯域の音声コーデックに対する現在のスケーラブルな符号化方法は、目下のところ不連続送信の方法を使用していない。

従来技術では、受信側でのコンフォートノイズ発生器（ＣＮＧ Comfort Noise Generator）に関連して不連続送信（ＤＴＸ）の適用が問題である。

目下公知である不連続送信のための方法では、インアクティブな音声期間（音声休止）中に背景ノイズのエネルギが大きく変化したことが符号器側で検出された場合にだけ、この背景ノイズを特徴付ける最新のパラメタを有するＳＩＤフレームを送信している。このことは、不連続送信のため方法をサポートしている狭帯域（５０Ｈｚ〜４ｋＨｚ）の音声コーデックにも、広帯域の音声コーデックにも当てはまる。ＳＩＤフレームを最新のパラメタで送信することを決定する際にはふつう、上記の符号化器に特有のエネルギ閾値（Energy Threshold）を使用する。これにより、定めたエネルギ閾値を上回っていない場合、ＳＩＤフレームが送信されないことになる。しかしながら受信器と送信器との間の伝送ネットワーク側では、ＳＩＤフレームの送信がこのように中断されることは、サイレント状態ないしはアイドルチャネル（"Idle Channel"）と見なされる。この場合、コネクションの維持（"Connection Alive"）を保証するため、場合によっては、コネクションを維持したいことを示すために付加的なデータを交換する必要がある。

付加的に行われる公知のデータ交換は、現在つぎのように行われる。すなわち、最後にＳＩＤフレームを送信してから経過したアイドル期間（"Idle Period"）が、相応するコネクションに対しては長すぎると見なされる場合に、伝送ネットワークのネットワーク管理における管理ポイントが、送信したノードに、すなわち送信した符号化器に要求して、最後に送信したＳＩＤフレームを新たに送信させるように行われるのである。このような新たな伝送に対して、新たに送信されるＳＩＤフレームのパラメタは更新されない。すなわち符号化器は、付加的なアクションを実行することはないのである。

本発明の課題は、スケーラブルな音声コーデックにおける不連続送信の実現を改善することである。

この課題は、独立請求項に記載した特徴的構成によって解決される。

本発明の基礎にあるアイデアは、音声コーデックの符号化器を構成して、この音声コーデックにより、前に求めたアイドル期間（"Idle Period"）の後、上記の背景ノイズについてのパラメタ、殊に平均したエネルギおよび自己相関関数が新たに求められるないしは計算されるようにすることである。このように背景ノイズパラメタを求めることは、言い換えれば、ノイズ信号を符号化することに相応する。この際に上記のネットワークにおける管理ポイントは、この伝送ネットワークに設定されたアイドル期間についての情報を符号化器に伝える。すなわち、この符号化器は、例えば伝送ネットワークの管理ポイントの要求によってこのアイドル期間を求めるのである。求めたこのアイドル期間が符号化器側に記憶される場合、上記のような要求はただ１回しか必要ない。

送信すべきＳＩＤフレームに対して時間間隔を設定することにより、伝送ネットワークの管理ポイントは、更新されたフレームの送信を符号化器に強制することができる。これにより、ＣＮＧにおいて背景ノイズをより良好に再構成するために更新を行うことも、コネクションを高い信頼性で維持することも共に保証されるのである。

本発明による方法の１つの利点は、更新された背景ノイズパラメタを、更新されたＳＩＤフレームの形で送信すべきかを否かを決定するために、背景ノイズ信号のエネルギと、エネルギ閾値との比較が必要でないことである。したがってこの方法により、公知の方法に比べて計算資源が節約されるのである。

別の利点は、２つのＳＩＤフレーム間の設定した時間の長さと、各伝送ネットワークの要求とが一致することである。

本発明の有利な発展形態および実施形態は従属請求項に記載されている。

本発明の有利な１実施形態では、ＳＩＤ構造（ＳＩＤビットストリーム構造）が設けられており、ここでは背景ノイズ情報の狭帯域成分と、背景ノイズ情報の広帯域成分とが分離している。１つのＳＩＤフレームにおける狭帯域背景ノイズ情報と、広帯域背景ノイズ情報とを別個に処理することにより、背景ノイズの狭帯域成分と広帯域成分と別個に符号化することができ、また上記の処理をわかりやすくすることができる。さらにこの実施形態の利点は、上記の伝送されるＳＩＤフレームの広帯域成分に基づいてコンフォートノイズを形成すべきか、または狭帯域成分に基づいてこれを形成すべきかを受信側で決定できることである。このことは、音声情報フレームに対する伝送レートが低下して狭帯域の音声情報だけが伝送される状況において、受信者における音響についての評価に殊に有利である。すなわち、目下の従来技術のように狭帯域の音声情報が、広帯域ノイズと関連して合成される場合、これは受信者にとって極めて不満のもとになる。音声情報フレームに対する伝送レートの上記のような低下は、例えば、送信者と受信者との間のネットワークの稼働率（輻輳）が高いことによって発生することがある。格段に小さいＳＩＤフレームでは、このようなネットワークの隘路に襲われてしまうことはない。したがってこのようなＳＩＤフレームにとっては、データ伝送レートを低減しなければならないという拘束も、そのコンテンツを低減しなければならない拘束もないのである。

本発明の有利な１実施形態では、背景ノイズの狭帯域の第１成分の背景ノイズパラメタを決定するため、背景ノイズの自己相関関数およびエネルギを求める。上記の狭帯域成分は、比較的長い時間にわたって１つの音声休止を平均化する必要があり、これは実践的には例えば１００ｍｓの時間にわたる。ここでこの実施形態にしたがって使用される計算パラメタには、エネルギ（対数エネルギではない）および自己相関関数が含まれる。

本発明の別の有利な１実施形態によれば、インアクティブないしは音声休止として分類される時間区間のはじめに付加的なハングオーバ期間（Hangover Period）が挿入される。この新たに挿入されるハングオーバ期間、以下ではＤＴＸハングオーバ期間と称されるハングオーバ期間は、従来公知のＶＡＤ（Voice Activity Detection）ハングオーバ期間と比べて、これまで知られていない別の目的に使用される。

２種類のハングオーバ期間が、複数のフレームをアクティブな音声フレームと特徴付け、ひいては音声信号の終わりに誤った分類を回避するという目的を追求しているのに対して、上記ＤＴＸハングオーバ期間は、背景ノイズについての情報を収集するという付加的な目的を有する。

本発明の有利な１実施形態では、広帯域の第２成分を減衰させる。この広帯域成分の減衰は、広帯域成分における全エネルギ成分を減衰させる際に１つの役割を果たす。このような手段は、復号化器においてコンフォートノイズを形成する（合成する）発生器は、符号化器における原背景ノイズと同じノイズ特性を形成することができないという事実に起因して必要である。

本発明の有利な１実施形態では、全背景ノイズ信号に、すなわち広帯域および狭帯域成分からなる組み合わせの背景ノイズ信号に、後置接続されたデエンファシスフィルタ（"De-emphasis Post Filter"）を適用する。この"De-Emphasis Post Filter"により、エネルギおよび高次の周波数成分のデエンファシス（De-Emphasis）が行われる。上記の平均化により、所定のようにスペクトル的な包絡線が変形されるため、この減衰は有利にも、障害となる広帯域ノイズが受信者に与える障害的な作用を低減するのに貢献することができる。

復号化器において音声として分類される入力信号から、背景ノイズとして分類される入力信号への移行を時間について示す線図である。

以下、本発明の別の利点および実施形態を有する実施例を図面に基づいて詳しく説明する。

以下では本発明の基礎にある技術的な背景をまず図を参照せずに詳しく説明する。

従来技術では、受信側でのコンフォートノイズ発生器（ＣＮＧ Comfort Noise Generator）に関連して、不連続送信（ＤＴＸ）の適用に問題がある。ＤＴＸ／ＣＮＧ処理中、つぎの考察を考慮しなければならない。

1. ＣＮＧ側では、受信側で聴いている人によってリアルであると受け取られるべきである背景ノイズないしはコンフォートノイズを適当に形成することが必要である。広帯域の音声コーデックの場合、すなわち、例えば５０Ｈｚ〜７ｋＨｚの周波数の帯域幅を有する音声コーデックの場合、広帯域ノイズの形成は、劣化と見なされる。さらに上記の背景ノイズの特性ないしは「色」は復号化器および符号化器側においてつねに同じではないため、エネルギおよびスペクトル的な包絡線の平均値形成を行う現在の解決手段により、原背景ノイズ情報が劣化する。

2. インアクティブ音声期間（音声休止）中に背景ノイズのエネルギにおける大きな変化が符号化器側で検出される場合のみ、上記のＤＴＸ方式により、更新されたＳＩＤフレームが伝送される。このことはＤＴＸ／ＣＮＧ方式をサポートする狭帯域（５０Ｈｚ〜４ｋＨｚ）の音声コーデックにも、広帯域の音声コーデックにも当てはまる。この際にはふつうエネルギ閾値（Energy Threshold）が中心的な役割を果たす。これにより、定めたエネルギ閾値を上回っていない場合、ＳＩＤフレームが送信されないことになる。しかしながら受信器と送信器との間の伝送ネットワーク側では、ＳＩＤフレームの送信がこのように中断されることは、サイレント状態ないしはアイドルチャネル（"Idle Channel"）と見なされる。この場合、コネクションが維持されること（"Connection Alive"）を保証するため、場合によってはコネクションを維持したいことを示すために付加的なデータを交換する必要がある。

目下のところ、上記の問題についてはつぎのように回避している。すなわち、
１．について：広帯域成分に関する情報は、ＳＩＤフレームにおいて符号化される。この際に平均化された対数エネルギおよび平均化されたイミタンススペクトル周波数（ＩＳF Immitance Spectral Frequency）は、例えば、音声コーデックＧ.７２２およびＡＭＲ−ＷＢにおいて広帯域の背景ノイズを表すのに使用される。ここでは広帯域の背景ノイズの下側部分および上側部分の別個の処理は行われない。狭帯域音声コードＧ.７２９は、平均化された対数エネルギおよび平均化された自己相関関数を使用する。ここで上記のエネルギに対する平均化期間および自己相関関数に対する平均化期間は一致しない。

２．について：上記のアイドル期間（"Idle Period"）が、対応するコネクションに対して長過ぎるとみされる場合、上記のネットワーク管理における管理ポイントは、最後に伝送したＳＩＤフレームを新たに伝送することを送信したノード、すなわち送信した符号化器に要求する。したがってこの新たに送信されるＳＩＤフレームおよびそこに含まれる情報は更新されない。したがって符号化器は、付加的なアクションを実行することはない。

本発明による方法では、上記の符号化器を構成して、この符号化器により、あらかじめ設定した所定の時間の後、上記の平均化したエネルギおよび自己相関関数が新たに計算されるようにする。上記のネットワークにおける管理ポイントは、必要なアイドル期間についての情報を符号化器に伝える。

以下では、ＳＩＤフレームを生成する別の実施形態を説明する。

背景ノイズ情報の狭帯域成分と、背景ノイズ情報の広帯域成分とがわかれているＳＩＤ構造（ＳＩＤビットストリーム構造）を形成する。１つのＳＩＤフレームにおいて狭帯域背景ノイズ情報と、広帯域背景ノイズ情報とを別個に処理することにより、背景ノイズの狭帯域成分と広帯域成分と別個に符号化することができ、また上記の処理をわかりやすくすることができる。

上記の狭帯域成分では、比較的長い時間にわたって１つの音声休止を平均化する必要があり、これは実践的には例えば１００ｍｓの時間にわたる。ここで、使用される計算パラメタには、エネルギ（対数エネルギではない）および自己相関関数が含まれる。上記の自己相関関数は、スペクトル的な包絡線表現に利用される。ここで全体増幅係数は、すべての増幅手法および平均化手法の組み合わせによって補償することができる。上記の自己相関関数に対する値は、加算または平均値形成によってそれぞれ正規化される（Ｅｑｕａｌｌｙ Weighted）。このことはすべてのＳＩＤフレームに当てはまる。上記の狭帯域成分を比較的長く平均化（Averaging）することによって、狭帯域エネルギおよびスペクトル的な包絡線は平滑化されるため、突然のエネルギ変化が、受信側におけるコンフォートノイズの合成に目立った影響を与えることはない。音声信号を置換した（Speak Burst）後に第１ＳＩＤフレームを形成した後、この平均化期間は、エネルギにも使用され、またスペクトル的な包絡線の平均化にも共に使用される。この手段により、音声期間から音声休止への移行中に狭帯域背景ノイズの一貫性のある推定が保証される。

以下では図を参照する。図は音声信号（Speech Burst）を示しており、この信号は、所定の時点ｔに図において破線で示した所定の信号レベル、すなわち閾値を下回る。縦軸は、上記の信号のレベルまたはエネルギ値として理解すべきである。これに加えて送信側において音声休止識別（Voice Activity Detection, VAD）を使用する。これは、上記の閾値を下回った場合に音声休止を識別する。このＶＡＤ方式では、公知のハングオーバ期間ＶＡＤ−ＨＯが設けられており、この期間ではさらにアクティブな音声フレームが送信され、ふつう２フレーム長の後はじめて、ＳＩＤフレームを生成するモードに移行する。

ここで説明する本発明の実施形態では付加的なハングオーバ期間ＤＴＸ−ＨＯが挿入される。この新たなハングオーバ期間ＤＴＸ−ＨＯは、従来公知でありかつブラックボックス（"Black Box"）として使用されるハングオーバＶＡＤ−ＨＯ期間に続いている。このハングオーバ期間ＤＴＸ−ＨＯ中、上記の符号化器において加工される信号は依然として音声信号として分類され、その一方で並行して背景ノイズパラメタの決定がすでに開始される。音声符号化のデータレートはすでに低減されている。それは、音声休止のはじめには、高品質な符号化は不要だからである。さらに上記の狭帯域成分に対してハングオーバ期間の一部分を利用して、第１ＳＩＤフレームの平均値を形成する。上記の説明は、有利にはハングオーバ期間ＤＴＸ−ＨＯ，ＶＡＤ−ＨＯ内の最後のフレームＦＲＡＭＥＳに関するものである。これに対してハングオーバ期間の第１フレームの情報は、有利には利用されない。

上記の新たに挿入されるハングオーバ期間ＤＴＸ−ＨＯは、従来音声休止識別（"Voice Activity Detection"）の要求によって動機付けされていた公知のハングオーバ期間ＶＡＤ−ＨＯとは異なり、これまで着目されていなかった別の目的に使用される。ＤＴＸ−ＨＯ，ＶＡＤ−ＨＯの２種類のハングオーバ期間が、複数のフレームをアクティブな音声フレームと特徴付け、ひいては音声信号の終わりに誤った分類を回避するという目的を追求しているのに対して、ハングオーバ期間ＤＴＸ−ＨＯは、背景ノイズについての情報を収集するという付加的な目的を有する。

音声信号の終わりに誤った分類を回避するという目的については、上記の新たなハングオーバ期間ＤＴＸ−ＨＯは付加的な保証になり、これによってハングオーバ期間ＤＴＸ−ＨＯが終了した後、復号化器の入力側に背景ノイズがあり、音声信号がないことが確定的に保証される。公知のハングオーバ期間ＶＡＤ−ＨＯを従来のように使用する場合、上記の加わっている信号が排他的に背景ノイズだけであることを推定することはできなかった。実際には公知のハングオーバ期間ＶＡＤ−ＨＯ中に音声成分（Speech Burst）がなお発生することがあった。その他に上記の新たなハングオーバ期間ＤＴＸ−ＨＯは、背景ノイズの取得だけに使用される。

これらのハングオーバ期間ＤＴＸ−ＨＯ，ＶＡＤ−ＨＯの持続時間の選択およびひいてはフレーム数ＦＲＡＭＥＳの選択については、有利な設定を、例えばつぎように選択する。すなわち、公知のハングオーバ期間ＶＡＤ−ＨＯに対する２つのフレームの持続時間（破線の軸ＦＲＡＭＥＳを参照されたい）および新たなハングオーバ期間ＤＴＸ−ＨＯに対する５つのフレームの持続時間が設けられるように選択するのである。

上記の広帯域成分ではエネルギ減衰が行われる。この広帯域成分の減衰は、広帯域成分における全エネルギ成分を減衰させる際に１つの役割を果たす。このような手段は、復号化器においてコンフォートノイズを形成する（合成する）発生器は、符号化器における原背景ノイズと同じノイズ特性を形成することができないという事実に起因して必要である。

上記の出力される広帯域音声信号、すなわち広帯域および狭帯域成分からなる組み合わせの広帯域音声信号背景には、後置接続されたデエンファシスフィルタ（"De-emphasis Post Filter"）を適用する。このフィルタリングにより、主に高次の周波数成分が減衰される。さらにこの"De-Emphasis Post Filter"により、エネルギおよび高次の周波数成分のデエンファシス（De-Emphasis）が行われる。上記の平均化により、所定のようにスペクトル的な包絡線が変形されるため、この減衰は、障害となる広帯域ノイズが受信者に与える障害的な作用を低減するのに貢献することができる。

Claims (12)

1. テレコミュニケーションにおいてオーディオ信号を送信側から受信側へ伝送する伝送ネットワークを介して背景ノイズパラメタを不連続送信するためのＳＩＤフレームを生成する方法において、
   期間単位に、狭帯域の第１成分および広帯域の第２成分の背景ノイズパラメタを求め、
   当該の求めた背景ノイズパラメタの狭帯域の第１成分および広帯域の第２成分に対して別の領域を有するＳＩＤフレームを生成および伝送し、
   伝送されたＳＩＤフレームの狭帯域の第１成分に基づいてコンフォートノイズを形成すべきか、または、広帯域の第２成分に基づいてコンフォートノイズを形成すべきか、を受信側で決定し、
   音声に分類した信号から背景ノイズに分類した信号への移行部に、付加的なハングオーバ期間（ＤＴＸ−ＨＯ）を設け、
   当該ハングオーバ期間中に背景ノイズパラメタを求め、
   ここで前記の期間は、伝送ネットワークの、伝送ネットワークにおいて調整された、求めたアイドル期間（Ｉｄｌｅ Ｐｅｒｉｏｄ）に相応することを特徴とする、
   伝送ネットワークを介して背景ノイズパラメタを不連続送信するためのＳＩＤフレームを生成する方法。
2. オーディオ信号として音声信号が使用される、
   請求項１に記載の方法。
3. 背景ノイズ信号のエネルギとエネルギ閾値との比較が省略される、
   請求項１または２に記載の方法。
4. 前記の背景ノイズの狭帯域の第１成分の背景ノイズパラメタを決定するため、背景ノイズの自己相関関数およびエネルギを求める、
   請求項１に記載の方法。
5. 前記の狭帯域の第１成分の背景ノイズパラメタを約１００ミリ秒の時間にわたって平均する、
   請求項４に記載の方法。
6. エネルギとして対数エネルギは求められない、
   請求項４または５に記載の方法。
7. 付加的なハングオーバ期間（ＤＴＸ−ＨＯ）は、公知のハングオーバ期間（ＶＡＤ−ＨＯ）に続いており、該公知のハングオーバ期間（ＶＡＤ−ＨＯ）では、さらにアクティブな音声フレームが送信される、
   請求項１記載の方法。
8. 付加的なハングオーバ期間（ＤＴＸ−ＨＯ）および公知のハングオーバ期間（ＶＡＤ−ＨＯ）はそれぞれフレーム（ＦＲＡＭＥＳ）を有しており、
   フレーム（ＦＲＡＭＥＳ）数は、公知のハングオーバ期間（ＶＡＤ−ＨＯ）に対する２つのフレームの持続時間および付加的なハングオーバ期間（ＤＴＸ−ＨＯ）に対する５つのフレームの持続時間が設けられるように選択される、
   請求項７記載の方法。
9. 前記の広帯域の第２成分を減衰させる、
   請求項１から８までのいずれか１項に記載の方法。
10. 前記の背景ノイズ信号に、後置接続されたデエンファシスフィルタリングを適用する、
    請求項１から９までのいずれか１項に記載の方法。
11. 請求項１から１０までのいずれか１項に記載の方法を実行する手段を有することを特徴とするコーデック。
12. それ自体公知のＩＴＵ−Ｔ規格Ｇ．７２９．１にて実現した、
    請求項１１に記載のコーデック。

Images