JP5143949B2 - 背景雑音生成方法および雑音処理装置 - Google Patents
背景雑音生成方法および雑音処理装置 Download PDFInfo
- Publication number
- JP5143949B2 JP5143949B2 JP2011500033A JP2011500033A JP5143949B2 JP 5143949 B2 JP5143949 B2 JP 5143949B2 JP 2011500033 A JP2011500033 A JP 2011500033A JP 2011500033 A JP2011500033 A JP 2011500033A JP 5143949 B2 JP5143949 B2 JP 5143949B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- noise
- sid
- band
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000012545 processing Methods 0.000 title claims description 40
- 238000009499 grossing Methods 0.000 claims description 79
- 230000005540 biological transmission Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 9
- DCSUBABJRXZOMT-IRLDBZIGSA-N cisapride Chemical compound C([C@@H]([C@@H](CC1)NC(=O)C=2C(=CC(N)=C(Cl)C=2)OC)OC)N1CCCOC1=CC=C(F)C=C1 DCSUBABJRXZOMT-IRLDBZIGSA-N 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/012—Comfort noise or silence coding
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【技術分野】
【０００１】
本発明は通信に関し、詳細には背景雑音生成方法および雑音処理装置に関する。
【背景技術】
【０００２】
現在のデータ伝送システムにおいて通信システムのキャパシティを増大するために、音声信号の伝送帯域幅を音声符号化技術によって圧縮することができる。音声通信のおおよそ４０％の内容だけが音声を含み、その他の伝送内容は沈黙(silence)もしくは背景雑音のみであるので、伝送帯域幅をさらに節約するためにＤＴＸ(Discontinuous Transmission System)／ＣＮＧ(Comfortable Noise Generation)技術が出現してきた。
【０００３】
従来技術のＤＴＸ／ＣＮＧにもとづく雑音生成方法は以下のステップを含む。
【０００４】
符号化側（装置）において、低サブバンド信号と高サブバンド信号とを出力するように、入力背景雑音信号をフィルタリングして２つのサブバンドに分割する。
【０００５】
狭帯域符号化パラメータおよび高帯域符号化パラメータを取得するために、２つのサブバンド信号を符号化する。２つのサブバンドの符号化パラメータによって無雑音フレーム(non-noise frame)を組み立てる。ＤＴＸの現在の判断が「送信」であれば、高帯域符号化パラメータおよび狭帯域符号化パラメータをＳＩＤ(Silence Insertion Descriptor)フレームに組み立てる。その後、復号化側（装置）にＳＩＤフレームを送信する。ＤＴＸの現在の判断が「送信」でなければ、データを付加せずにＮＯＤＡＴＡフレームを復号化側に送信する。
【０００６】
受信符号化ビットストリームが狭帯域符号化パラメータだけを含むのであれば、復号化側における復号化は７２９Ｂの復号化方法によって実行される。この場合、符号化パラメータは第１の１０ｍｓフレームのために使用され、第２の１０ｍｓフレームはＮＯＤＡＴＡフレームとして処理される。
【０００７】
受信符号化ビットストリームに広帯域符号化パラメータがあれば（広帯域は高帯域および狭帯域を含む）、復号化処理は以下のステップを含む。
【０００８】
受信フレームがＳＩＤフレームであれば、ＳＩＤフレームを復号化することによって、狭帯域符号化パラメータおよび高帯域符号化パラメータを取得する。狭帯域背景雑音および高帯域背景雑音は、狭帯域符号化パラメータおよび広帯域符号化パラメータによって生成される。
【０００９】
受信フレームがＮＯＤＡＴＡフレームならば、７２９Ｂの符号化方法によって狭帯域符号化パラメータを取得する。狭帯域背景雑音は７２９ＢのＣＮＧ方法によって取得される。高帯域符号化パラメータは前の(previous)ＳＩＤフレームの高帯域符号化パラメータと同一であり（ＰＷＢ＝ＰＷＢ＿ＰＲＥ＿ＳＩＤ）、高帯域背景雑音がしかるべく生成される。
【００１０】
しかしながら、上記技術的解決においては、ＮＯＤＡＴＡフレームを受信した場合、前のＳＩＤフレームの高帯域符号化パラメータを現在フレームの高帯域符号化パラメータとしてコピーするので、２つのＳＩＤフレームの符号化の結果は完全に同一となる。２つの隣接するＳＩＤフレームの符号化パラメータがかなり異なるのであれば、広帯域背景雑音どうしの差は大きくなるかもしれない。この場合、音声スペクトラムにおける「ブロック」効果が引き起こされ、ユーザに呼吸のような聴覚的効果をもたらすだろう。これにより、ユーザ・エクスペリエンスは悪化する。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の実施形態は、ユーザ・エクスペリエンスを向上するための背景雑音生成方法および雑音処理装置を提供する。
【課題を解決するための手段】
【００１２】
本発明の実施形態による背景雑音生成方法は、取得した信号フレームが雑音フレームであれば、該雑音フレームから高帯域雑音符号化パラメータを取得し、第２の高帯域雑音符号化パラメータを取得するために該高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行し、該第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成する。
【００１３】
本発明の実施形態による雑音処理装置は、信号フレームを取得するように構成されている信号フレーム取得ユニットと、該信号フレームから高帯域符号化パラメータを取得するように構成されているパラメータ取得ユニットであって、該信号フレームが雑音フレームである場合、該高帯域符号化パラメータが高帯域雑音符号化パラメータである、パラメータ取得ユニットと、取得した信号フレームが雑音フレームである場合、第２の高帯域雑音符号化パラメータを取得するために該高帯域雑音符号化パラメータに重み付けおよび平滑化の少なくとも一方を実行するように構成されているパラメータ処理ユニットと、該第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成するように構成されている雑音生成ユニットと、を備える。
【発明の効果】
【００１４】
上記技術的解決によれば、本発明の実施形態は以下の効果を有する。
【００１５】
本発明の実施形態では、信号フレームを取得した後、該信号フレームが雑音フレームであれば、該雑音フレームから高帯域雑音符号化パラメータを取得し、該雑音フレームによって高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行する。すなわち、高帯域雑音符号化パラメータに平滑化を実行した後、および／もしくは周波数エンベロープに重み付けを実行した後、復元背景雑音の連続性が向上し、これにより、ＳＩＤフレームどうしの間の差異が比較的小さくなる。これによれば、「ブロック」効果を効果的に除去することができ、したがって、ユーザ・エクスペリエンスを向上することができる。
【図面の簡単な説明】
【００１６】
【図１】 本発明の第１の実施形態による背景雑音生成方法のブロック図である。
【図２】 本発明の第２の実施形態による背景雑音生成方法のブロック図である。
【図３】 本発明の第３の実施形態による背景雑音生成方法のブロック図である。
【図４】 本発明の実施形態による雑音処理装置のブロック図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態は、ユーザ・エクスペリエンスを向上するために、背景雑音生成方法および雑音処理装置を提供する。
【００１８】
本発明の実施形態においては、信号フレームを取得した後、信号フレームが雑音フレームであるならば、雑音フレームから高帯域雑音符号化パラメータを取得し、雑音フレームによって重み付けおよび／もしくは平滑化を実行することによって処理する。すなわち、高帯域雑音符号化パラメータに平滑化が実行され、および／または、周波数エンベロープに重み付けが実行された後、復元背景雑音の連続性は向上し、これにより、ＳＩＤフレームどうしの間の差異が比較的小さくなる。これによれば、「ブロック」効果を効果的に除去することができ、したがって、ユーザ・エクスペリエンスを向上することができる。
【００１９】
図１には、本発明の第１の実施形態による背景雑音生成方法が示されている。該背景雑音方法は、以下を含む。
【００２０】
１０１：取得した信号フレームが雑音フレームであるならば、雑音フレームから高帯域雑音符号化パラメータを取得する。
【００２１】
実施形態において、高帯域雑音符号化パラメータは時間（時間領域）エンベロープ・パラメータおよび周波数（周波数領域）エンベロープ・パラメータを含む。
【００２２】
信号フレームは符号化側で取得されてもよいし、復号化側で取得されてもよい。詳細については、以下の実施形態で議論し、ここではこれ以上議論しない。
【００２３】
１０２：第２の広帯域雑音符号化パラメータを取得するために、重み付けおよび／もしくは平滑化を高帯域雑音符号化パラメータに実行する。
【００２４】
雑音フレームが取得された後、第２の高帯域雑音符号化パラメータを取得するために、重み付けおよび／もしくは平滑化を雑音フレームの高帯域雑音符号化パラメータに実行する。特定の応用では、高帯域雑音符号化パラメータに加えて狭帯域雑音符号化パラメータも雑音フレームに含まれる。処理の詳細については以下の実施形態で例示する。
【００２５】
実施形態において、高帯域雑音符号化パラメータに平滑化を実行してもよいし、高帯域雑音符号化パラメータに重み付けを実行してもよいし、高帯域雑音符号化パラメータに重み付けおよび平滑化の双方を実行してもよい。重み付けおよび平滑化の双方を実行することによってよりよい結果が得られるかもしれない。
【００２６】
実施形態において、雑音フレームの高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行することに加えて、音声フレームの高帯域音声符号化パラメータによって第２の高帯域雑音符号化パラメータに平滑化を実行してもよい。詳細については、以下の実施形態で議論する。
【００２７】
１０３：平滑化および／もしくは重み付けされた高帯域雑音符号化パラメータによって、高帯域背景雑音信号を生成する。
【００２８】
重み付けおよび／もしくは平滑化を符号化側で実行するならば、第２の高帯域雑音符号化パラメータおよび所定の狭帯域雑音符号化パラメータを復号化側に送信し、高帯域雑音符号化パラメータおよび狭帯域雑音符号化パラメータによって、背景雑音信号を復号化側で生成する。
【００２９】
重み付けおよび／もしくは平滑化を復号化側で実行するならば、符号化側から信号フレームを送信し復号化側で受信する。信号フレームの高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行することによって、第２の高帯域雑音符号化パラメータを取得する。高帯域背景雑音信号および狭帯域背景雑音信号は第２の高帯域雑音符号化パラメータおよび所定の狭帯域雑音符号化パラメータによって生成される。
【００３０】
理解を容易にするために、異なる側で雑音処理を実行する観点から以下で詳細に議論する。
【００３１】
図２に示す方法では、雑音処理を符号化側で実行する。本発明の第２の実施形態による背景雑音生成方法は、以下を含む。
【００３２】
２０１：信号フレームを取得する。
【００３３】
本実施形態においては、雑音処理を符号化側で実行するので、信号フレームを符号化側で取得する。
【００３４】
各信号フレームについて、符号化側における入力背景雑音信号ｓＷＢ（ｎ）をＱＭＦ（Quadrature Mirror Filterbank）（Ｈ１（ｚ），Ｈ２（ｚ））によってフィルタリングして２つのサブバンドを取得し、低サブバンド信号ｓＬＢ（ｎ）および高サブバンド信号ｓＨＢ（ｎ）を出力する。
【００３５】
まず、低サブバンド信号ｓＬＢ（ｎ）は７２９Ｂと同様の符号化方法によって符号化される。ＤＴＸの判断が「送信」であれば、７２９．１のフレーム長と適合するように、現在のスーパ・フレームの第１の１０ｍｓフレームを符号化し、狭帯域雑音符号化パラメータＰＮＢ＿ＳＩＤ＝［Ω，Ｅ］を取得する。Ωは周波数スペクトラム・パラメータであり、Ｅは励起エネルギー・パラメータである。
【００３６】
次に、ＤＴＸの判断にしたがって、ＴＤＢＷＥ（Time-Domain BandWidth Extension）符号器によって高サブバンド信号ｓＨＢ（ｎ）を符号化する。高帯域雑音符号化パラメータ、すなわち、ＰＷＢ＿ＳＩＤ＝［Ｔｅｎｖ＿ＳＩＤ（ｉ），Ｆｅｎｖ＿ＳＩＤ（ｊ）］を取得する。Ｔｅｎｖ＿ＳＩＤ（ｉ）、ｉ＝０，…，１５は時間エンベロープ・パラメータであり、Ｆｅｎｖ＿ＳＩＤ（ｊ）、ｊ＝０，…，１１は周波数エンベロープ・パラメータである。
【００３７】
２０２：取得した信号フレームが雑音フレームであるか否かを判断し、雑音フレームであれば、ステップ２０４を実行する。雑音フレームでなければ、ステップ２０３を実行する。
【００３８】
２０３：音声フレームの高帯域音声符号化パラメータによって平滑化を実行し、次に、ステップ２０６を実行する。
【００３９】
符号化側で取得された信号が音声フレームであれば、音声フレームの高帯域音声符号化パラメータによって、第２の高帯域雑音符号化パラメータに平滑化を実行する。詳細な処理は以下のとおりである。
【００４０】
音声フレームの高帯域音声符号化パラメータＰＷＢ＿ＳＰＥＥＣＨ＝［Ｔｅｎｖ＿ＳＰＥＥＣＨ（ｉ），Ｆｅｎｖ＿ＳＰＥＥＣＨ（ｊ）］を使用することにより、第２の高帯域雑音符号化パラメータに長期間平滑化(long-term smoothing)を実行するＰＷＢ＿ＬＯＮＧ＿ＳＩＤ。Ｔｅｎｖ＿ＳＩＤ（ｉ）、ｉ＝０，…，１５は時間エンベロープ・パラメータであり、Ｆｅｎｖ＿ＳＩＤ（ｊ）、ｊ＝０，…，１１は周波数エンベロープ・パラメータである。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝βＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−β）ＰＷＢ＿ＳＰＥＥＣＨ
【００４１】
βは第２の平滑化パラメータであり、その値は０．５であってよいし、実用的に必要とされる値に決定されてもよい。上記平滑化は時間エンベロープ・パラメータの各々および周波数エンベロープ・パラメータの各々について実行される。すなわち、
Ｔｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｉ）＝βＴｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｉ）＋（１−β）Ｔｅｎｖ＿ＳＰＥＥＣＨ（ｉ）
Ｆｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｊ）＝βＦｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｊ）＋（１−β）Ｆｅｎｖ＿ＳＰＥＥＣＨ（ｊ）
【００４２】
２０４：雑音フレームの周波数エンベロープ・パラメータに重み付けを実行する。
【００４３】
符号化側において取得された信号フレームが雑音フレームであるならば、雑音フレームの高帯域雑音符号化パラメータに重み付けを実行する。すなわち、重み付けは高帯域雑音符号化パラメータの周波数エンベロープ・パラメータに実行される。詳細なプロセスは以下のとおりである。
【００４４】
Ｆｅｎｖ＿ＳＩＤ（ｊ）＝Ｆｅｎｖ＿ＳＩＤ（ｊ）＊ＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）
重み付けパラメータはＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）＝０．８＋０．２＊（ｃｏｓ（ｊπ／１２）である。ｊは周波数値を示し、０〜１１までの整数である。ｊが大きくなるということは周波数値が大きくなるということであり、重み付けの狙いは高周波数部の周波数成分を弱めることである。上記重み付けパラメータは単なる例示であり、実用的なシチュエーションに応じて変更することができる。しかしながら、重み付けパラメータは周波数値に反比例する。
【００４５】
上記ｉおよびｊの値は単なる例示である。実用的な応用において、ｉおよびｊの値は変更されてもよく、特定の値に限定されるものではない。
【００４６】
２０５：雑音フレームの高帯域雑音符号化パラメータに平滑化を実行する。
【００４７】
ステップ２０４で高帯域雑音符号化パラメータの周波数エンベロープ・パラメータに重み付けを実行した後、最終的に第２の高帯域雑音符号化パラメータを取得するために、ステップ２０５で、高帯域雑音符号化パラメータの周波数エンベロープ・パラメータおよび時間エンベロープ・パラメータに平滑化を実行してもよい。詳細な処理は以下のとおりである。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝αＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−α）ＰＷＢ＿ＳＩＤ
ＰＷＢ＿ＳＩＤ＝ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ
【００４８】
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは第２の高帯域雑音符号化パラメータである。αは第１の平滑化パラメータであり、その値は０．７５である。第１の平滑化パラメータは実用的なシチュエーションにしたがって調整されてもよいが、第１の平滑化パラメータの値は第２の平滑化パラメータの値よりも大きくすべきである。上記平滑化は時間エンベロープ・パラメータの各々および周波数エンベロープ・パラメータの各々に実行される。
Ｔｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）＝αＴｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）＋（１−α）
Ｔｅｎｖ＿ＳＩＤ（ｉ）
Ｆｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）＝αＦｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）＋（１−α）
Ｆｅｎｖ＿ＳＩＤ（ｊ）
Ｔｅｎｖ＿ＳＩＤ（ｉ）＝Ｔｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）
Ｆｅｎｖ＿ＳＩＤ（ｊ）＝Ｆｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）
【００４９】
２０６：第２の高帯域雑音符号化パラメータおよび所定の狭帯域雑音符号化パラメータによって信号フレームを組み立て、ステップ２０１を繰り返し実行する。
【００５０】
第２の高帯域雑音符号化パラメータを取得した後、第２の高帯域雑音符号化パラメータおよび狭帯域雑音符号化パラメータによって無雑音フレームを組み立てる。
【００５１】
２０７：信号フレームを復号化側に送信する。
【００５２】
ＤＴＸの現在の判断が「送信」であれば、第２の高帯域雑音符号化パラメータおよび狭帯域雑音符号化パラメータによってＳＩＤフレームを組み立て、復号化側に送信する。ＤＴＸの現在の判断が「送信」でなければ、データを付加せずにＮＯＤＡＴＡフレームを復号化側に送信する。
【００５３】
２０８：復号化側において復号化を実行することによって背景雑音信号を生成する。
【００５４】
符号化側から送信された信号を復号化側で受信した後、信号フレームを復号化する。詳細な処理は以下を含む。
【００５５】
受信した符号化ビットストリームに狭帯域符号化パラメータだけがあるならば、復号化は７２９Ｂと同様の復号化方法によって実行される。符号化パラメータは第１の１０ｍｓフレームに使用され、第２の１０ｍｓフレームはＮＯＤＡＴＡフレームとして処理される。
【００５６】
受信した符号化ビットストリームに広帯域符号化パラメータがあるならば、復号化処理は以下のとおりである。
【００５７】
受信したフレームがＳＩＤフレームであれば、狭帯域雑音符号化パラメータＰＮＢ＿ＳＩＤ＝［Ω，Ｅ］と第２の高帯域雑音符号化パラメータＰＷＢ＿ＳＩＤ＝［Ｔｅｎｖ＿ＳＩＤ（ｉ），Ｆｅｎｖ＿ＳＩＤ（ｊ）］が復号化を通して取得される。７２９Ｂと同様のＣＮＧ方法を使用することにより、狭帯域雑音符号化パラメータから狭帯域背景雑音ｓＬＢ（ｎ）を取得し、７２９．１と同様のＴＤＢＷＥ復号化方法を使用することにより、第２の高帯域雑音符号化パラメータから高帯域背景雑音ｓＨＢ（ｎ）を取得する。
【００５８】
受信したフレームがＮＯＤＡＴＡフレームであれば、狭帯域雑音符号化パラメータは、７２９Ｂと同様の復号化方法を使用することにより取得され、次に、狭帯域背景雑音ｓＬＢ（ｎ）が７２９Ｂと同様のＣＮＧ方法を使用することにより取得される。前のＳＩＤフレームの高帯域雑音符号化パラメータが現在フレームの高帯域雑音符号化パラメータとして使用される。
ＰＷＢ＝ＰＷＢ＿ＰＲＥ＿ＳＩＤ
【００５９】
７２９．１のＴＤＢＷＥ復号化方法を使用することにより、高帯域雑音符号化パラメータから高サブバンド背景雑音ｓＨＢ（ｎ）を取得する。
【００６０】
最後に、最終広帯域背景雑音信号を取得するために、取得した高サブバンド信号ｓＨＢ（ｎ）および低サブバンド信号ｓＬＢ（ｎ）を７２９．１で使用されるＯＭＦによって結合する。このように、復号化側におけるＣＮＧオペレーションによって、最終広帯域背景雑音信号が取得される。
【００６１】
上記処理において、ステップ２０３は必須のステップではない。すなわち、重み付けおよび／もしくは平滑化は雑音フレームの高帯域雑音符号化パラメータだけに実行されてもよい。復元信号がより平滑でより連続性を有するようになるように、ステップ２０３を実行することにより、ＰＷＢ＿ＬＯＮＧ＿ＳＩＤに音声フレームの情報を含めてもよい。
【００６２】
さらに、ステップ２０４とステップ２０５との間に固定された実行順序はない。すなわち、ステップ２０４はステップ２０５の前に実行されてもよいし、ステップ２０５はステップ２０４の前に実行されてもよい。これらの順序は限定されるものではない。
【００６３】
上記実施形態において、符号化側で、雑音フレームの高帯域雑音符号化パラメータに平滑化を実行した後、および／もしくは、周波数エンベロープに重み付けを実行した後、第２の高帯域雑音符号化パラメータが取得される。この方法において、ＳＩＤフレームどうしの間の差異が比較的小さくなるように、復元背景雑音の連続性を向上する。これによれば、「ブロック」効果を効果的に除去することができ、したがって、ユーザ・エクスペリエンスを向上することができる。
【００６４】
次に、音声フレームの高帯域音声符号化パラメータによって、平滑化を第２の高帯域雑音符号化パラメータに実行してもよいので、音声フレームの情報が第２の高帯域雑音符号化パラメータＰＷＢ＿ＬＯＮＧ＿ＳＩＤに含まれてもよく、これによって、復元信号はより平滑でより連続的になる。
【００６５】
高帯域雑音符号化パラメータが符号化側で処理される場合について上記した。高帯域雑音符号化パラメータが復号化側で処理される場合について以下で議論する。図３に示すように、本発明の第３の実施形態による背景雑音生成方法は以下を含む。
【００６６】
３０１：信号フレームを符号化側から受信する。
【００６７】
符号化側から送信された信号フレームを復号化側で受信する。信号フレームの生成処理は以下を含む。
【００６８】
入力背景雑音信号ｓＷＢ（ｎ）を符号化側でフィルタリングし、ＱＭＦ（Ｈ１（ｚ），Ｈ２（ｚ））によって２つのサブバンドに分割し、低サブバンド信号ｓＬＢ（ｎ）および高サブバンド信号ｓＨＢ（ｎ）を出力する。
【００６９】
次に、低サブバンド信号ｓＬＢ（ｎ）を、７２９Ｂと同様の符号化方法を使用することにより符号化する。ＤＴＸの判断が「送信」であれば、７２９．１のフレーム長と適合するように、現在のスーパ・フレームの第１の１０ｍｓフレームを符号化し、狭帯域雑音符号化パラメータＰＮＢ＿ＳＩＤ＝［Ω，Ｅ］を取得する。Ωは周波数スペクトラム・パラメータであり、Ｅは励起エネルギー・パラメータである。
【００７０】
次に、ＤＴＸの判断にしたがって、高サブバンド信号ｓＨＢ（ｎ）をＴＤＢＷＥ符号器によって符号化する。高帯域雑音符号化パラメータ、すなわち、ＰＷＢ＿ＳＩＤ＝［Ｔｅｎｖ＿ＳＩＤ（ｉ），Ｆｅｎｖ＿ＳＩＤ（ｊ）］を取得する。Ｔｅｎｖ＿ＳＩＤ（ｉ）、ｉ＝０，…，１５は時間エンベロープ・パラメータであり、Ｆｅｎｖ＿ＳＩＤ（ｊ）、ｊ＝０，…，１１は周波数エンベロープ・パラメータである。ｊが大きくなるということは、対応する周波数が高くなる、ということである。
【００７１】
最後に、２つのサブバンドの符号化パラメータを無雑音フレームに結合する。ＤＴＸの現在の判断が「送信」であれば、高帯域雑音符号化パラメータおよび狭帯域雑音符号化パラメータをＳＩＤフレームに組み立て、ＳＩＤフレームを復号化側に送信する。ＤＴＸの現在の判断が「送信」でなければ、データを付加せずにＮＯＤＡＴＡフレームを復号化側に送信する。
【００７２】
３０２：取得した信号フレームが雑音フレームであるか否か判断する。雑音フレームであれば、ステップ３０４を実行する。雑音フレームでなければ、ステップ３０３を実行する。
【００７３】
３０３：音声フレームの高帯域音声符号化パラメータにしたがって平滑化を実行し、次に、ステップ３０６を実行する。
【００７４】
符号化側で取得した信号フレームが音声フレームであれば、音声フレームの高帯域音声符号化パラメータによって、第２の高帯域雑音符号化パラメータに平滑化を実行する。詳細な処理は以下のとおりである。
【００７５】
第２の高帯域雑音符号化パラメータに音声フレームの高帯域音声符号化パラメータＰＷＢ＿ＳＰＥＥＣＨ＝［Ｔｅｎｖ＿ＳＰＥＥＣＨ（ｉ），Ｆｅｎｖ＿ＳＰＥＥＣＨ（ｊ）］を使用することにより長期間平滑化(Long-term smoothing)を実行するＰＷＢ＿ＬＯＮＧ＿ＳＩＤ。Ｔｅｎｖ＿ＳＩＤ（ｉ）、ｉ＝０，…，１５は時間エンベロープ・パラメータであり、Ｆｅｎｖ＿ＳＩＤ（ｊ）、ｊ＝０，…，１１は周波数エンベロープ・パラメータである。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝βＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−β）ＰＷＢ＿ＳＰＥＥＣＨ
【００７６】
βは第２の平滑化パラメータであり、その値は０．５であってよく、もしくは、実用的に必要とされる値に決定されてもよい。上記平滑化は時間エンベロープ・パラメータの各々および周波数エンベロープ・パラメータの各々に実行される。すなわち、
Ｔｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｉ）＝βＴｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｉ）＋（１−β）Ｔｅｎｖ＿ＳＰＥＥＣＨ（ｉ）
Ｆｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｊ）＝βＦｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｊ）＋（１−β）Ｆｅｎｖ＿ＳＰＥＥＣＨ（ｊ）
【００７７】
３０４：雑音フレームの周波数エンベロープ・パラメータに重み付けを実行する。
【００７８】
復号化側で取得した信号フレームが雑音フレームであれば、雑音フレームの高帯域雑音符号化パラメータに重み付けを実行する。すなわち、高帯域雑音符号化パラメータの周波数エンベロープ・パラメータに重み付けが実行される。処理の詳細は以下のとおりである。
Ｆｅｎｖ＿ＳＩＤ（ｊ）＝Ｆｅｎｖ＿ＳＩＤ（ｊ）＊ＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）
【００７９】
重み付けパラメータはＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）＝０．８＋０．２×ｃｏｓ（ｊπ／１２）である。上記ｊは周波数値を示し、０〜１１の整数値であってよい。ｊが大きいということは、周波数値が大きいということである。重み付けの狙いは、高周波数部の周波数成分を弱めることである。上記重み付けパラメータは単なる例示であり、実用的なシチュエーションに応じて変更されてもよい。しかしながら、重み付けパラメータは周波数値に反比例する必要がある。
【００８０】
ｉおよびｊの上記値は単なる例示である。実用的な応用において、ｉおよびｊの値は変更されてもよく、特定の値に限定されない。
【００８１】
３０５：雑音フレームの高帯域雑音符号化パラメータに平滑化を実行する。
【００８２】
ステップ３０４で高帯域雑音符号化パラメータの周波数エンベロープ・パラメータに重み付けを実行した後、第２の高帯域雑音符号化パラメータを取得するために、高帯域雑音符号化パラメータの周波数エンベロープ・パラメータおよび時間エンベロープ・パラメータに平滑化を実行する必要がある。処理の詳細は以下のとおりである。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝αＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−α）ＰＷＢ＿ＳＩＤ
ＰＷＢ＿ＳＩＤ＝ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ
【００８３】
αは第１の平滑化パラメータであり、その値は０．７５である。第１の平滑化パラメータの値は実用的なシチュエーションに応じて調整されてもよい。しかしながら、第１の平滑化パラメータの値は第２の平滑化の値よりも大きくすべきである。上記平滑化は時間エンベロープの各々および周波数エンベロープの各々に実行される。すなわち、
Ｔｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）＝αＴｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）＋（１−α）
Ｔｅｎｖ＿ＳＩＤ（ｉ）
Ｆｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）＝αＦｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）＋（１−α）
Ｆｅｎｖ＿ＳＩＤ（ｊ）
Ｔｅｎｖ＿ＳＩＤ（ｉ）＝Ｔｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）
Ｆｅｎｖ＿ＳＩＤ（ｊ）＝Ｆｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）
【００８４】
３０６：第２の高帯域雑音符号化パラメータおよび所定の狭帯域雑音符号化パラメータによって信号フレームを組み立て、ステップ３０１を繰り返し実行する。
【００８５】
実施形態では、７２９Ｂと同様のＣＮＧ方法を使用することによって狭帯域雑音符号化パラメータから狭帯域背景雑音ｓＬＢ（ｎ）を取得し、７２９．１のＴＤＢＷＥ復号化方法を使用することによって第２の高帯域雑音符号化パラメータから高サブバンド背景雑音ｓＨＢ（ｎ）を取得する。
【００８６】
受信したフレームがＮＯＤＡＴＡフレームであれば、７２９Ｂと同様の復号化方法を使用することによって狭帯域雑音符号化パラメータを取得し、次に、７２９Ｂと同様のＣＮＧ方法を使用することによって狭帯域背景雑音ｓＬＢ（ｎ）を取得する。前のＳＩＤフレームの高帯域雑音符号化パラメータを、現在のフレームの高帯域雑音符号化パラメータとして使用する。
ＰＷＢ＝ＰＷＢ＿ＰＲＥ＿ＳＩＤ
【００８７】
次に、７２９．１のＴＤＢＷＥ復号化方法を使用することによって、高帯域雑音符号化パラメータから高サブバンド背景雑音ｓＨＢ（ｎ）を取得する。
【００８８】
３０７：復号化側で復号化を実行することによって背景雑音信号を生成する。
【００８９】
最終広帯域背景雑音を取得するために、取得した高サブバンド信号ｓＨＢ（ｎ）および低サブバンド信号ｓＬＢ（ｎ）を、７２９．１で使用されるＱＭＦによって結合する。このように、復号化側における上記のようなＣＮＧオペレーションによって、最終広帯域背景雑音信号は取得される。
【００９０】
上記処理において、ステップ３０３は必須のステップではない。すなわち、重み付けおよび／もしくは平滑化は、第２の高帯域雑音符号化パラメータＰＷＢ＿ＬＯＮＧ＿ＳＩＤを取得するために、雑音フレームの高帯域雑音符号化パラメータだけに実行される。復元信号がより平滑で連続的になるように、ステップ３０３を実行することによって音声フレームの情報をＰＷＢ＿ＬＯＮＧ＿ＳＩＤに含めてもよい。
【００９１】
さらに、ステップ３０４とステップ３０５との実行順序は固定していない。すなわち、ステップ３０４はステップ３０５の前に実行されてもよいし、ステップ３０５はステップ３０４の前に実行されてもよい。ステップ３０４およびステップ３０５の実行順序は限定されない。
【００９２】
上記実施形態において、復号化側で、高帯域雑音符号化パラメータに平滑化を実行し、および／もしくは、雑音フレームの周波数エンベロープに重み付けを実行した後、第２の高帯域雑音符号化パラメータが取得される。ＳＩＤフレームどうしの間の差異が比較的小さくなるように、復元背景雑音の連続性を向上する。これによれば、「ブロック」効果を効果的に除去することができ、したがって、ユーザ・エクスペリエンスを向上することができる。
【００９３】
次に、音声フレームの高帯域音声符号化パラメータによって第２の高帯域雑音符号化パラメータに平滑化を実行してもよいので、音声フレームの情報が第２の高帯域雑音符号化パラメータＰＷＢ＿ＬＯＮＧ＿ＳＩＤに含まれてもよい。これにより、復元信号をより平滑で連続的にすることができる。
【００９４】
図４に示すように、本発明の実施形態の雑音処理装置は以下を含む。
信号フレームを取得するように構成されている信号フレーム取得ユニット４０１
信号フレームから高帯域雑音符号化パラメータを取得するように構成されているパラメータ取得ユニット４０２
取得した信号フレームが雑音フレームである場合に、第２の高帯域雑音符号化パラメータを取得するように、高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行するように構成されているパラメータ処理ユニット４０３
【００９５】
実施形態において、パラメータ処理ユニット４０３は、取得した信号フレームが音声フレームである場合、音声フレームの高帯域音声符号化パラメータによって第２の高帯域雑音符号化パラメータに平滑化を実行するように、構成されている。
【００９６】
実施形態において、雑音処理装置は、さらに、以下を含んでもよい。
復号化側に第２の高帯域雑音符号化パラメータを送信するように構成されているパラメータ送信ユニット４０４
【００９７】
雑音処理装置が符号化側にあれば、雑音処理装置はパラメータ送信ユニット４０４を備える。
【００９８】
実施形態において、雑音処理装置は、さらに、以下を含んでもよい。
第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成するように構成されている雑音生成ユニット４０５
【００９９】
雑音処理装置が復号化側にあれば、雑音処理装置は雑音生成ユニット４０５を備える。
【０１００】
実施形態において、パラメータ処理ユニット４０３は以下のユニットの少なくとも一方を備える。
重み付けされた周波数パラメータを取得するために所定の重み付けパラメータと高帯域雑音符号化パラメータの周波数エンベロープ・パラメータとを乗じるように構成されている重み付けユニット４０３１
重み付けパラメータは周波数エンベロープ・パラメータの周波数値に反比例する。
第２の高帯域雑音符号化パラメータを取得するために、所定の第１の平滑化パラメータおよび高帯域雑音符号化パラメータによって計算するように構成されている平滑化ユニット４０３２
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝αＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−α）ＰＷＢ＿ＳＩＤ
ＰＷＢ＿ＳＩＤ＝ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ
【０１０１】
上記式において、ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは第２の高帯域雑音符号化パラメータであり、αは第１の平滑化パラメータであり、ＰＷＢ＿ＳＩＤは現在の高帯域雑音符号化パラメータである。上記平滑化は雑音フレームの高帯域雑音符号化パラメータについて実行される。もしくは、平滑化ユニット４０３２は、第２の高帯域雑音符号化パラメータを取得するために、所定の第２の平滑化パラメータおよび高帯域音声符号化パラメータによって計算するように構成されている。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝βＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−β）ＰＷＢ＿ＳＰＥＥＣＨ
【０１０２】
上記式において、ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは第２の高帯域雑音符号化パラメータであり、βは第２の平滑化パラメータであり、ＰＷＢ＿ＳＰＥＥＣＨは現在の高帯域音声符号化パラメータであり、第２の平滑化パラメータは第１の平滑化パラメータより小さい。
【０１０３】
上記平滑化は音声フレームに関して高帯域雑音符号化パラメータについて実行される。
【０１０４】
各ユニット間の処理の詳細は背景雑音生成方法の上記実施形態の処理と同様であり、ここでは議論しない。
【０１０５】
本発明の実施形態において、信号フレームを取得した後、信号フレームが雑音フレームであれば、高帯域雑音符号化パラメータを雑音フレームから取得し、雑音フレームによって重み付けおよび／もしくは平滑化を高帯域雑音符号化パラメータに実行する。すなわち、平滑化を高帯域雑音符号化パラメータに実行し、および／もしくは、重み付けを周波数エンベロープに実行した後、復元背景雑音の連続性は向上する。これにより、ＳＩＤフレームどうしの間の差異は比較的小さくなる。このことは効果的に「ブロック」効果を除去し、これにより、ユーザ・エクスペリエンスを向上することができる。
【０１０６】
本方法の上記実施形態のステップのすべてもしくは部分は関連するハードウェアで実行されるプログラム命令によって実施してもよい。プログラムはコンピュータ読取可能記憶媒体に記憶されてもよい。プログラムは以下のステップを実行する。
取得した信号フレームが雑音フレームであれば、高帯域雑音符号化パラメータを雑音フレームから取得する。
第２の高帯域雑音符号化パラメータを取得するために、重み付けおよび／もしくは平滑化を高帯域雑音符号化パラメータに実行する。
第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成する。
【０１０７】
上記記憶媒体はＲＯＭ(Read Only Memory)、磁気ディスク、光ディスクなどであってよい。
【０１０８】
本発明による背景雑音生成方法および雑音処理装置についての詳細な議論を上記した。本発明の原理から逸脱することなく、特定の実施形態に様々な変更を行うことができる。したがって、上記議論の内容は本発明の範囲を限定するものとして解釈されるべきではない。
【０００１】
本発明は通信に関し、詳細には背景雑音生成方法および雑音処理装置に関する。
【背景技術】
【０００２】
現在のデータ伝送システムにおいて通信システムのキャパシティを増大するために、音声信号の伝送帯域幅を音声符号化技術によって圧縮することができる。音声通信のおおよそ４０％の内容だけが音声を含み、その他の伝送内容は沈黙(silence)もしくは背景雑音のみであるので、伝送帯域幅をさらに節約するためにＤＴＸ(Discontinuous Transmission System)／ＣＮＧ(Comfortable Noise Generation)技術が出現してきた。
【０００３】
従来技術のＤＴＸ／ＣＮＧにもとづく雑音生成方法は以下のステップを含む。
【０００４】
符号化側（装置）において、低サブバンド信号と高サブバンド信号とを出力するように、入力背景雑音信号をフィルタリングして２つのサブバンドに分割する。
【０００５】
狭帯域符号化パラメータおよび高帯域符号化パラメータを取得するために、２つのサブバンド信号を符号化する。２つのサブバンドの符号化パラメータによって無雑音フレーム(non-noise frame)を組み立てる。ＤＴＸの現在の判断が「送信」であれば、高帯域符号化パラメータおよび狭帯域符号化パラメータをＳＩＤ(Silence Insertion Descriptor)フレームに組み立てる。その後、復号化側（装置）にＳＩＤフレームを送信する。ＤＴＸの現在の判断が「送信」でなければ、データを付加せずにＮＯＤＡＴＡフレームを復号化側に送信する。
【０００６】
受信符号化ビットストリームが狭帯域符号化パラメータだけを含むのであれば、復号化側における復号化は７２９Ｂの復号化方法によって実行される。この場合、符号化パラメータは第１の１０ｍｓフレームのために使用され、第２の１０ｍｓフレームはＮＯＤＡＴＡフレームとして処理される。
【０００７】
受信符号化ビットストリームに広帯域符号化パラメータがあれば（広帯域は高帯域および狭帯域を含む）、復号化処理は以下のステップを含む。
【０００８】
受信フレームがＳＩＤフレームであれば、ＳＩＤフレームを復号化することによって、狭帯域符号化パラメータおよび高帯域符号化パラメータを取得する。狭帯域背景雑音および高帯域背景雑音は、狭帯域符号化パラメータおよび広帯域符号化パラメータによって生成される。
【０００９】
受信フレームがＮＯＤＡＴＡフレームならば、７２９Ｂの符号化方法によって狭帯域符号化パラメータを取得する。狭帯域背景雑音は７２９ＢのＣＮＧ方法によって取得される。高帯域符号化パラメータは前の(previous)ＳＩＤフレームの高帯域符号化パラメータと同一であり（ＰＷＢ＝ＰＷＢ＿ＰＲＥ＿ＳＩＤ）、高帯域背景雑音がしかるべく生成される。
【００１０】
しかしながら、上記技術的解決においては、ＮＯＤＡＴＡフレームを受信した場合、前のＳＩＤフレームの高帯域符号化パラメータを現在フレームの高帯域符号化パラメータとしてコピーするので、２つのＳＩＤフレームの符号化の結果は完全に同一となる。２つの隣接するＳＩＤフレームの符号化パラメータがかなり異なるのであれば、広帯域背景雑音どうしの差は大きくなるかもしれない。この場合、音声スペクトラムにおける「ブロック」効果が引き起こされ、ユーザに呼吸のような聴覚的効果をもたらすだろう。これにより、ユーザ・エクスペリエンスは悪化する。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の実施形態は、ユーザ・エクスペリエンスを向上するための背景雑音生成方法および雑音処理装置を提供する。
【課題を解決するための手段】
【００１２】
本発明の実施形態による背景雑音生成方法は、取得した信号フレームが雑音フレームであれば、該雑音フレームから高帯域雑音符号化パラメータを取得し、第２の高帯域雑音符号化パラメータを取得するために該高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行し、該第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成する。
【００１３】
本発明の実施形態による雑音処理装置は、信号フレームを取得するように構成されている信号フレーム取得ユニットと、該信号フレームから高帯域符号化パラメータを取得するように構成されているパラメータ取得ユニットであって、該信号フレームが雑音フレームである場合、該高帯域符号化パラメータが高帯域雑音符号化パラメータである、パラメータ取得ユニットと、取得した信号フレームが雑音フレームである場合、第２の高帯域雑音符号化パラメータを取得するために該高帯域雑音符号化パラメータに重み付けおよび平滑化の少なくとも一方を実行するように構成されているパラメータ処理ユニットと、該第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成するように構成されている雑音生成ユニットと、を備える。
【発明の効果】
【００１４】
上記技術的解決によれば、本発明の実施形態は以下の効果を有する。
【００１５】
本発明の実施形態では、信号フレームを取得した後、該信号フレームが雑音フレームであれば、該雑音フレームから高帯域雑音符号化パラメータを取得し、該雑音フレームによって高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行する。すなわち、高帯域雑音符号化パラメータに平滑化を実行した後、および／もしくは周波数エンベロープに重み付けを実行した後、復元背景雑音の連続性が向上し、これにより、ＳＩＤフレームどうしの間の差異が比較的小さくなる。これによれば、「ブロック」効果を効果的に除去することができ、したがって、ユーザ・エクスペリエンスを向上することができる。
【図面の簡単な説明】
【００１６】
【図１】 本発明の第１の実施形態による背景雑音生成方法のブロック図である。
【図２】 本発明の第２の実施形態による背景雑音生成方法のブロック図である。
【図３】 本発明の第３の実施形態による背景雑音生成方法のブロック図である。
【図４】 本発明の実施形態による雑音処理装置のブロック図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態は、ユーザ・エクスペリエンスを向上するために、背景雑音生成方法および雑音処理装置を提供する。
【００１８】
本発明の実施形態においては、信号フレームを取得した後、信号フレームが雑音フレームであるならば、雑音フレームから高帯域雑音符号化パラメータを取得し、雑音フレームによって重み付けおよび／もしくは平滑化を実行することによって処理する。すなわち、高帯域雑音符号化パラメータに平滑化が実行され、および／または、周波数エンベロープに重み付けが実行された後、復元背景雑音の連続性は向上し、これにより、ＳＩＤフレームどうしの間の差異が比較的小さくなる。これによれば、「ブロック」効果を効果的に除去することができ、したがって、ユーザ・エクスペリエンスを向上することができる。
【００１９】
図１には、本発明の第１の実施形態による背景雑音生成方法が示されている。該背景雑音方法は、以下を含む。
【００２０】
１０１：取得した信号フレームが雑音フレームであるならば、雑音フレームから高帯域雑音符号化パラメータを取得する。
【００２１】
実施形態において、高帯域雑音符号化パラメータは時間（時間領域）エンベロープ・パラメータおよび周波数（周波数領域）エンベロープ・パラメータを含む。
【００２２】
信号フレームは符号化側で取得されてもよいし、復号化側で取得されてもよい。詳細については、以下の実施形態で議論し、ここではこれ以上議論しない。
【００２３】
１０２：第２の広帯域雑音符号化パラメータを取得するために、重み付けおよび／もしくは平滑化を高帯域雑音符号化パラメータに実行する。
【００２４】
雑音フレームが取得された後、第２の高帯域雑音符号化パラメータを取得するために、重み付けおよび／もしくは平滑化を雑音フレームの高帯域雑音符号化パラメータに実行する。特定の応用では、高帯域雑音符号化パラメータに加えて狭帯域雑音符号化パラメータも雑音フレームに含まれる。処理の詳細については以下の実施形態で例示する。
【００２５】
実施形態において、高帯域雑音符号化パラメータに平滑化を実行してもよいし、高帯域雑音符号化パラメータに重み付けを実行してもよいし、高帯域雑音符号化パラメータに重み付けおよび平滑化の双方を実行してもよい。重み付けおよび平滑化の双方を実行することによってよりよい結果が得られるかもしれない。
【００２６】
実施形態において、雑音フレームの高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行することに加えて、音声フレームの高帯域音声符号化パラメータによって第２の高帯域雑音符号化パラメータに平滑化を実行してもよい。詳細については、以下の実施形態で議論する。
【００２７】
１０３：平滑化および／もしくは重み付けされた高帯域雑音符号化パラメータによって、高帯域背景雑音信号を生成する。
【００２８】
重み付けおよび／もしくは平滑化を符号化側で実行するならば、第２の高帯域雑音符号化パラメータおよび所定の狭帯域雑音符号化パラメータを復号化側に送信し、高帯域雑音符号化パラメータおよび狭帯域雑音符号化パラメータによって、背景雑音信号を復号化側で生成する。
【００２９】
重み付けおよび／もしくは平滑化を復号化側で実行するならば、符号化側から信号フレームを送信し復号化側で受信する。信号フレームの高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行することによって、第２の高帯域雑音符号化パラメータを取得する。高帯域背景雑音信号および狭帯域背景雑音信号は第２の高帯域雑音符号化パラメータおよび所定の狭帯域雑音符号化パラメータによって生成される。
【００３０】
理解を容易にするために、異なる側で雑音処理を実行する観点から以下で詳細に議論する。
【００３１】
図２に示す方法では、雑音処理を符号化側で実行する。本発明の第２の実施形態による背景雑音生成方法は、以下を含む。
【００３２】
２０１：信号フレームを取得する。
【００３３】
本実施形態においては、雑音処理を符号化側で実行するので、信号フレームを符号化側で取得する。
【００３４】
各信号フレームについて、符号化側における入力背景雑音信号ｓＷＢ（ｎ）をＱＭＦ（Quadrature Mirror Filterbank）（Ｈ１（ｚ），Ｈ２（ｚ））によってフィルタリングして２つのサブバンドを取得し、低サブバンド信号ｓＬＢ（ｎ）および高サブバンド信号ｓＨＢ（ｎ）を出力する。
【００３５】
まず、低サブバンド信号ｓＬＢ（ｎ）は７２９Ｂと同様の符号化方法によって符号化される。ＤＴＸの判断が「送信」であれば、７２９．１のフレーム長と適合するように、現在のスーパ・フレームの第１の１０ｍｓフレームを符号化し、狭帯域雑音符号化パラメータＰＮＢ＿ＳＩＤ＝［Ω，Ｅ］を取得する。Ωは周波数スペクトラム・パラメータであり、Ｅは励起エネルギー・パラメータである。
【００３６】
次に、ＤＴＸの判断にしたがって、ＴＤＢＷＥ（Time-Domain BandWidth Extension）符号器によって高サブバンド信号ｓＨＢ（ｎ）を符号化する。高帯域雑音符号化パラメータ、すなわち、ＰＷＢ＿ＳＩＤ＝［Ｔｅｎｖ＿ＳＩＤ（ｉ），Ｆｅｎｖ＿ＳＩＤ（ｊ）］を取得する。Ｔｅｎｖ＿ＳＩＤ（ｉ）、ｉ＝０，…，１５は時間エンベロープ・パラメータであり、Ｆｅｎｖ＿ＳＩＤ（ｊ）、ｊ＝０，…，１１は周波数エンベロープ・パラメータである。
【００３７】
２０２：取得した信号フレームが雑音フレームであるか否かを判断し、雑音フレームであれば、ステップ２０４を実行する。雑音フレームでなければ、ステップ２０３を実行する。
【００３８】
２０３：音声フレームの高帯域音声符号化パラメータによって平滑化を実行し、次に、ステップ２０６を実行する。
【００３９】
符号化側で取得された信号が音声フレームであれば、音声フレームの高帯域音声符号化パラメータによって、第２の高帯域雑音符号化パラメータに平滑化を実行する。詳細な処理は以下のとおりである。
【００４０】
音声フレームの高帯域音声符号化パラメータＰＷＢ＿ＳＰＥＥＣＨ＝［Ｔｅｎｖ＿ＳＰＥＥＣＨ（ｉ），Ｆｅｎｖ＿ＳＰＥＥＣＨ（ｊ）］を使用することにより、第２の高帯域雑音符号化パラメータに長期間平滑化(long-term smoothing)を実行するＰＷＢ＿ＬＯＮＧ＿ＳＩＤ。Ｔｅｎｖ＿ＳＩＤ（ｉ）、ｉ＝０，…，１５は時間エンベロープ・パラメータであり、Ｆｅｎｖ＿ＳＩＤ（ｊ）、ｊ＝０，…，１１は周波数エンベロープ・パラメータである。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝βＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−β）ＰＷＢ＿ＳＰＥＥＣＨ
【００４１】
βは第２の平滑化パラメータであり、その値は０．５であってよいし、実用的に必要とされる値に決定されてもよい。上記平滑化は時間エンベロープ・パラメータの各々および周波数エンベロープ・パラメータの各々について実行される。すなわち、
Ｔｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｉ）＝βＴｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｉ）＋（１−β）Ｔｅｎｖ＿ＳＰＥＥＣＨ（ｉ）
Ｆｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｊ）＝βＦｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｊ）＋（１−β）Ｆｅｎｖ＿ＳＰＥＥＣＨ（ｊ）
【００４２】
２０４：雑音フレームの周波数エンベロープ・パラメータに重み付けを実行する。
【００４３】
符号化側において取得された信号フレームが雑音フレームであるならば、雑音フレームの高帯域雑音符号化パラメータに重み付けを実行する。すなわち、重み付けは高帯域雑音符号化パラメータの周波数エンベロープ・パラメータに実行される。詳細なプロセスは以下のとおりである。
【００４４】
Ｆｅｎｖ＿ＳＩＤ（ｊ）＝Ｆｅｎｖ＿ＳＩＤ（ｊ）＊ＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）
重み付けパラメータはＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）＝０．８＋０．２＊（ｃｏｓ（ｊπ／１２）である。ｊは周波数値を示し、０〜１１までの整数である。ｊが大きくなるということは周波数値が大きくなるということであり、重み付けの狙いは高周波数部の周波数成分を弱めることである。上記重み付けパラメータは単なる例示であり、実用的なシチュエーションに応じて変更することができる。しかしながら、重み付けパラメータは周波数値に反比例する。
【００４５】
上記ｉおよびｊの値は単なる例示である。実用的な応用において、ｉおよびｊの値は変更されてもよく、特定の値に限定されるものではない。
【００４６】
２０５：雑音フレームの高帯域雑音符号化パラメータに平滑化を実行する。
【００４７】
ステップ２０４で高帯域雑音符号化パラメータの周波数エンベロープ・パラメータに重み付けを実行した後、最終的に第２の高帯域雑音符号化パラメータを取得するために、ステップ２０５で、高帯域雑音符号化パラメータの周波数エンベロープ・パラメータおよび時間エンベロープ・パラメータに平滑化を実行してもよい。詳細な処理は以下のとおりである。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝αＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−α）ＰＷＢ＿ＳＩＤ
ＰＷＢ＿ＳＩＤ＝ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ
【００４８】
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは第２の高帯域雑音符号化パラメータである。αは第１の平滑化パラメータであり、その値は０．７５である。第１の平滑化パラメータは実用的なシチュエーションにしたがって調整されてもよいが、第１の平滑化パラメータの値は第２の平滑化パラメータの値よりも大きくすべきである。上記平滑化は時間エンベロープ・パラメータの各々および周波数エンベロープ・パラメータの各々に実行される。
Ｔｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）＝αＴｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）＋（１−α）
Ｔｅｎｖ＿ＳＩＤ（ｉ）
Ｆｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）＝αＦｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）＋（１−α）
Ｆｅｎｖ＿ＳＩＤ（ｊ）
Ｔｅｎｖ＿ＳＩＤ（ｉ）＝Ｔｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）
Ｆｅｎｖ＿ＳＩＤ（ｊ）＝Ｆｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）
【００４９】
２０６：第２の高帯域雑音符号化パラメータおよび所定の狭帯域雑音符号化パラメータによって信号フレームを組み立て、ステップ２０１を繰り返し実行する。
【００５０】
第２の高帯域雑音符号化パラメータを取得した後、第２の高帯域雑音符号化パラメータおよび狭帯域雑音符号化パラメータによって無雑音フレームを組み立てる。
【００５１】
２０７：信号フレームを復号化側に送信する。
【００５２】
ＤＴＸの現在の判断が「送信」であれば、第２の高帯域雑音符号化パラメータおよび狭帯域雑音符号化パラメータによってＳＩＤフレームを組み立て、復号化側に送信する。ＤＴＸの現在の判断が「送信」でなければ、データを付加せずにＮＯＤＡＴＡフレームを復号化側に送信する。
【００５３】
２０８：復号化側において復号化を実行することによって背景雑音信号を生成する。
【００５４】
符号化側から送信された信号を復号化側で受信した後、信号フレームを復号化する。詳細な処理は以下を含む。
【００５５】
受信した符号化ビットストリームに狭帯域符号化パラメータだけがあるならば、復号化は７２９Ｂと同様の復号化方法によって実行される。符号化パラメータは第１の１０ｍｓフレームに使用され、第２の１０ｍｓフレームはＮＯＤＡＴＡフレームとして処理される。
【００５６】
受信した符号化ビットストリームに広帯域符号化パラメータがあるならば、復号化処理は以下のとおりである。
【００５７】
受信したフレームがＳＩＤフレームであれば、狭帯域雑音符号化パラメータＰＮＢ＿ＳＩＤ＝［Ω，Ｅ］と第２の高帯域雑音符号化パラメータＰＷＢ＿ＳＩＤ＝［Ｔｅｎｖ＿ＳＩＤ（ｉ），Ｆｅｎｖ＿ＳＩＤ（ｊ）］が復号化を通して取得される。７２９Ｂと同様のＣＮＧ方法を使用することにより、狭帯域雑音符号化パラメータから狭帯域背景雑音ｓＬＢ（ｎ）を取得し、７２９．１と同様のＴＤＢＷＥ復号化方法を使用することにより、第２の高帯域雑音符号化パラメータから高帯域背景雑音ｓＨＢ（ｎ）を取得する。
【００５８】
受信したフレームがＮＯＤＡＴＡフレームであれば、狭帯域雑音符号化パラメータは、７２９Ｂと同様の復号化方法を使用することにより取得され、次に、狭帯域背景雑音ｓＬＢ（ｎ）が７２９Ｂと同様のＣＮＧ方法を使用することにより取得される。前のＳＩＤフレームの高帯域雑音符号化パラメータが現在フレームの高帯域雑音符号化パラメータとして使用される。
ＰＷＢ＝ＰＷＢ＿ＰＲＥ＿ＳＩＤ
【００５９】
７２９．１のＴＤＢＷＥ復号化方法を使用することにより、高帯域雑音符号化パラメータから高サブバンド背景雑音ｓＨＢ（ｎ）を取得する。
【００６０】
最後に、最終広帯域背景雑音信号を取得するために、取得した高サブバンド信号ｓＨＢ（ｎ）および低サブバンド信号ｓＬＢ（ｎ）を７２９．１で使用されるＯＭＦによって結合する。このように、復号化側におけるＣＮＧオペレーションによって、最終広帯域背景雑音信号が取得される。
【００６１】
上記処理において、ステップ２０３は必須のステップではない。すなわち、重み付けおよび／もしくは平滑化は雑音フレームの高帯域雑音符号化パラメータだけに実行されてもよい。復元信号がより平滑でより連続性を有するようになるように、ステップ２０３を実行することにより、ＰＷＢ＿ＬＯＮＧ＿ＳＩＤに音声フレームの情報を含めてもよい。
【００６２】
さらに、ステップ２０４とステップ２０５との間に固定された実行順序はない。すなわち、ステップ２０４はステップ２０５の前に実行されてもよいし、ステップ２０５はステップ２０４の前に実行されてもよい。これらの順序は限定されるものではない。
【００６３】
上記実施形態において、符号化側で、雑音フレームの高帯域雑音符号化パラメータに平滑化を実行した後、および／もしくは、周波数エンベロープに重み付けを実行した後、第２の高帯域雑音符号化パラメータが取得される。この方法において、ＳＩＤフレームどうしの間の差異が比較的小さくなるように、復元背景雑音の連続性を向上する。これによれば、「ブロック」効果を効果的に除去することができ、したがって、ユーザ・エクスペリエンスを向上することができる。
【００６４】
次に、音声フレームの高帯域音声符号化パラメータによって、平滑化を第２の高帯域雑音符号化パラメータに実行してもよいので、音声フレームの情報が第２の高帯域雑音符号化パラメータＰＷＢ＿ＬＯＮＧ＿ＳＩＤに含まれてもよく、これによって、復元信号はより平滑でより連続的になる。
【００６５】
高帯域雑音符号化パラメータが符号化側で処理される場合について上記した。高帯域雑音符号化パラメータが復号化側で処理される場合について以下で議論する。図３に示すように、本発明の第３の実施形態による背景雑音生成方法は以下を含む。
【００６６】
３０１：信号フレームを符号化側から受信する。
【００６７】
符号化側から送信された信号フレームを復号化側で受信する。信号フレームの生成処理は以下を含む。
【００６８】
入力背景雑音信号ｓＷＢ（ｎ）を符号化側でフィルタリングし、ＱＭＦ（Ｈ１（ｚ），Ｈ２（ｚ））によって２つのサブバンドに分割し、低サブバンド信号ｓＬＢ（ｎ）および高サブバンド信号ｓＨＢ（ｎ）を出力する。
【００６９】
次に、低サブバンド信号ｓＬＢ（ｎ）を、７２９Ｂと同様の符号化方法を使用することにより符号化する。ＤＴＸの判断が「送信」であれば、７２９．１のフレーム長と適合するように、現在のスーパ・フレームの第１の１０ｍｓフレームを符号化し、狭帯域雑音符号化パラメータＰＮＢ＿ＳＩＤ＝［Ω，Ｅ］を取得する。Ωは周波数スペクトラム・パラメータであり、Ｅは励起エネルギー・パラメータである。
【００７０】
次に、ＤＴＸの判断にしたがって、高サブバンド信号ｓＨＢ（ｎ）をＴＤＢＷＥ符号器によって符号化する。高帯域雑音符号化パラメータ、すなわち、ＰＷＢ＿ＳＩＤ＝［Ｔｅｎｖ＿ＳＩＤ（ｉ），Ｆｅｎｖ＿ＳＩＤ（ｊ）］を取得する。Ｔｅｎｖ＿ＳＩＤ（ｉ）、ｉ＝０，…，１５は時間エンベロープ・パラメータであり、Ｆｅｎｖ＿ＳＩＤ（ｊ）、ｊ＝０，…，１１は周波数エンベロープ・パラメータである。ｊが大きくなるということは、対応する周波数が高くなる、ということである。
【００７１】
最後に、２つのサブバンドの符号化パラメータを無雑音フレームに結合する。ＤＴＸの現在の判断が「送信」であれば、高帯域雑音符号化パラメータおよび狭帯域雑音符号化パラメータをＳＩＤフレームに組み立て、ＳＩＤフレームを復号化側に送信する。ＤＴＸの現在の判断が「送信」でなければ、データを付加せずにＮＯＤＡＴＡフレームを復号化側に送信する。
【００７２】
３０２：取得した信号フレームが雑音フレームであるか否か判断する。雑音フレームであれば、ステップ３０４を実行する。雑音フレームでなければ、ステップ３０３を実行する。
【００７３】
３０３：音声フレームの高帯域音声符号化パラメータにしたがって平滑化を実行し、次に、ステップ３０６を実行する。
【００７４】
符号化側で取得した信号フレームが音声フレームであれば、音声フレームの高帯域音声符号化パラメータによって、第２の高帯域雑音符号化パラメータに平滑化を実行する。詳細な処理は以下のとおりである。
【００７５】
第２の高帯域雑音符号化パラメータに音声フレームの高帯域音声符号化パラメータＰＷＢ＿ＳＰＥＥＣＨ＝［Ｔｅｎｖ＿ＳＰＥＥＣＨ（ｉ），Ｆｅｎｖ＿ＳＰＥＥＣＨ（ｊ）］を使用することにより長期間平滑化(Long-term smoothing)を実行するＰＷＢ＿ＬＯＮＧ＿ＳＩＤ。Ｔｅｎｖ＿ＳＩＤ（ｉ）、ｉ＝０，…，１５は時間エンベロープ・パラメータであり、Ｆｅｎｖ＿ＳＩＤ（ｊ）、ｊ＝０，…，１１は周波数エンベロープ・パラメータである。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝βＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−β）ＰＷＢ＿ＳＰＥＥＣＨ
【００７６】
βは第２の平滑化パラメータであり、その値は０．５であってよく、もしくは、実用的に必要とされる値に決定されてもよい。上記平滑化は時間エンベロープ・パラメータの各々および周波数エンベロープ・パラメータの各々に実行される。すなわち、
Ｔｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｉ）＝βＴｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｉ）＋（１−β）Ｔｅｎｖ＿ＳＰＥＥＣＨ（ｉ）
Ｆｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｊ）＝βＦｅｎｖ＿ＬＯＮＧ_ＳＩＤ（ｊ）＋（１−β）Ｆｅｎｖ＿ＳＰＥＥＣＨ（ｊ）
【００７７】
３０４：雑音フレームの周波数エンベロープ・パラメータに重み付けを実行する。
【００７８】
復号化側で取得した信号フレームが雑音フレームであれば、雑音フレームの高帯域雑音符号化パラメータに重み付けを実行する。すなわち、高帯域雑音符号化パラメータの周波数エンベロープ・パラメータに重み付けが実行される。処理の詳細は以下のとおりである。
Ｆｅｎｖ＿ＳＩＤ（ｊ）＝Ｆｅｎｖ＿ＳＩＤ（ｊ）＊ＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）
【００７９】
重み付けパラメータはＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）＝０．８＋０．２×ｃｏｓ（ｊπ／１２）である。上記ｊは周波数値を示し、０〜１１の整数値であってよい。ｊが大きいということは、周波数値が大きいということである。重み付けの狙いは、高周波数部の周波数成分を弱めることである。上記重み付けパラメータは単なる例示であり、実用的なシチュエーションに応じて変更されてもよい。しかしながら、重み付けパラメータは周波数値に反比例する必要がある。
【００８０】
ｉおよびｊの上記値は単なる例示である。実用的な応用において、ｉおよびｊの値は変更されてもよく、特定の値に限定されない。
【００８１】
３０５：雑音フレームの高帯域雑音符号化パラメータに平滑化を実行する。
【００８２】
ステップ３０４で高帯域雑音符号化パラメータの周波数エンベロープ・パラメータに重み付けを実行した後、第２の高帯域雑音符号化パラメータを取得するために、高帯域雑音符号化パラメータの周波数エンベロープ・パラメータおよび時間エンベロープ・パラメータに平滑化を実行する必要がある。処理の詳細は以下のとおりである。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝αＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−α）ＰＷＢ＿ＳＩＤ
ＰＷＢ＿ＳＩＤ＝ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ
【００８３】
αは第１の平滑化パラメータであり、その値は０．７５である。第１の平滑化パラメータの値は実用的なシチュエーションに応じて調整されてもよい。しかしながら、第１の平滑化パラメータの値は第２の平滑化の値よりも大きくすべきである。上記平滑化は時間エンベロープの各々および周波数エンベロープの各々に実行される。すなわち、
Ｔｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）＝αＴｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）＋（１−α）
Ｔｅｎｖ＿ＳＩＤ（ｉ）
Ｆｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）＝αＦｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）＋（１−α）
Ｆｅｎｖ＿ＳＩＤ（ｊ）
Ｔｅｎｖ＿ＳＩＤ（ｉ）＝Ｔｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｉ）
Ｆｅｎｖ＿ＳＩＤ（ｊ）＝Ｆｅｎｖ＿ＬＯＮＧ＿ＳＩＤ（ｊ）
【００８４】
３０６：第２の高帯域雑音符号化パラメータおよび所定の狭帯域雑音符号化パラメータによって信号フレームを組み立て、ステップ３０１を繰り返し実行する。
【００８５】
実施形態では、７２９Ｂと同様のＣＮＧ方法を使用することによって狭帯域雑音符号化パラメータから狭帯域背景雑音ｓＬＢ（ｎ）を取得し、７２９．１のＴＤＢＷＥ復号化方法を使用することによって第２の高帯域雑音符号化パラメータから高サブバンド背景雑音ｓＨＢ（ｎ）を取得する。
【００８６】
受信したフレームがＮＯＤＡＴＡフレームであれば、７２９Ｂと同様の復号化方法を使用することによって狭帯域雑音符号化パラメータを取得し、次に、７２９Ｂと同様のＣＮＧ方法を使用することによって狭帯域背景雑音ｓＬＢ（ｎ）を取得する。前のＳＩＤフレームの高帯域雑音符号化パラメータを、現在のフレームの高帯域雑音符号化パラメータとして使用する。
ＰＷＢ＝ＰＷＢ＿ＰＲＥ＿ＳＩＤ
【００８７】
次に、７２９．１のＴＤＢＷＥ復号化方法を使用することによって、高帯域雑音符号化パラメータから高サブバンド背景雑音ｓＨＢ（ｎ）を取得する。
【００８８】
３０７：復号化側で復号化を実行することによって背景雑音信号を生成する。
【００８９】
最終広帯域背景雑音を取得するために、取得した高サブバンド信号ｓＨＢ（ｎ）および低サブバンド信号ｓＬＢ（ｎ）を、７２９．１で使用されるＱＭＦによって結合する。このように、復号化側における上記のようなＣＮＧオペレーションによって、最終広帯域背景雑音信号は取得される。
【００９０】
上記処理において、ステップ３０３は必須のステップではない。すなわち、重み付けおよび／もしくは平滑化は、第２の高帯域雑音符号化パラメータＰＷＢ＿ＬＯＮＧ＿ＳＩＤを取得するために、雑音フレームの高帯域雑音符号化パラメータだけに実行される。復元信号がより平滑で連続的になるように、ステップ３０３を実行することによって音声フレームの情報をＰＷＢ＿ＬＯＮＧ＿ＳＩＤに含めてもよい。
【００９１】
さらに、ステップ３０４とステップ３０５との実行順序は固定していない。すなわち、ステップ３０４はステップ３０５の前に実行されてもよいし、ステップ３０５はステップ３０４の前に実行されてもよい。ステップ３０４およびステップ３０５の実行順序は限定されない。
【００９２】
上記実施形態において、復号化側で、高帯域雑音符号化パラメータに平滑化を実行し、および／もしくは、雑音フレームの周波数エンベロープに重み付けを実行した後、第２の高帯域雑音符号化パラメータが取得される。ＳＩＤフレームどうしの間の差異が比較的小さくなるように、復元背景雑音の連続性を向上する。これによれば、「ブロック」効果を効果的に除去することができ、したがって、ユーザ・エクスペリエンスを向上することができる。
【００９３】
次に、音声フレームの高帯域音声符号化パラメータによって第２の高帯域雑音符号化パラメータに平滑化を実行してもよいので、音声フレームの情報が第２の高帯域雑音符号化パラメータＰＷＢ＿ＬＯＮＧ＿ＳＩＤに含まれてもよい。これにより、復元信号をより平滑で連続的にすることができる。
【００９４】
図４に示すように、本発明の実施形態の雑音処理装置は以下を含む。
信号フレームを取得するように構成されている信号フレーム取得ユニット４０１
信号フレームから高帯域雑音符号化パラメータを取得するように構成されているパラメータ取得ユニット４０２
取得した信号フレームが雑音フレームである場合に、第２の高帯域雑音符号化パラメータを取得するように、高帯域雑音符号化パラメータに重み付けおよび／もしくは平滑化を実行するように構成されているパラメータ処理ユニット４０３
【００９５】
実施形態において、パラメータ処理ユニット４０３は、取得した信号フレームが音声フレームである場合、音声フレームの高帯域音声符号化パラメータによって第２の高帯域雑音符号化パラメータに平滑化を実行するように、構成されている。
【００９６】
実施形態において、雑音処理装置は、さらに、以下を含んでもよい。
復号化側に第２の高帯域雑音符号化パラメータを送信するように構成されているパラメータ送信ユニット４０４
【００９７】
雑音処理装置が符号化側にあれば、雑音処理装置はパラメータ送信ユニット４０４を備える。
【００９８】
実施形態において、雑音処理装置は、さらに、以下を含んでもよい。
第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成するように構成されている雑音生成ユニット４０５
【００９９】
雑音処理装置が復号化側にあれば、雑音処理装置は雑音生成ユニット４０５を備える。
【０１００】
実施形態において、パラメータ処理ユニット４０３は以下のユニットの少なくとも一方を備える。
重み付けされた周波数パラメータを取得するために所定の重み付けパラメータと高帯域雑音符号化パラメータの周波数エンベロープ・パラメータとを乗じるように構成されている重み付けユニット４０３１
重み付けパラメータは周波数エンベロープ・パラメータの周波数値に反比例する。
第２の高帯域雑音符号化パラメータを取得するために、所定の第１の平滑化パラメータおよび高帯域雑音符号化パラメータによって計算するように構成されている平滑化ユニット４０３２
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝αＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−α）ＰＷＢ＿ＳＩＤ
ＰＷＢ＿ＳＩＤ＝ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ
【０１０１】
上記式において、ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは第２の高帯域雑音符号化パラメータであり、αは第１の平滑化パラメータであり、ＰＷＢ＿ＳＩＤは現在の高帯域雑音符号化パラメータである。上記平滑化は雑音フレームの高帯域雑音符号化パラメータについて実行される。もしくは、平滑化ユニット４０３２は、第２の高帯域雑音符号化パラメータを取得するために、所定の第２の平滑化パラメータおよび高帯域音声符号化パラメータによって計算するように構成されている。
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝βＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−β）ＰＷＢ＿ＳＰＥＥＣＨ
【０１０２】
上記式において、ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは第２の高帯域雑音符号化パラメータであり、βは第２の平滑化パラメータであり、ＰＷＢ＿ＳＰＥＥＣＨは現在の高帯域音声符号化パラメータであり、第２の平滑化パラメータは第１の平滑化パラメータより小さい。
【０１０３】
上記平滑化は音声フレームに関して高帯域雑音符号化パラメータについて実行される。
【０１０４】
各ユニット間の処理の詳細は背景雑音生成方法の上記実施形態の処理と同様であり、ここでは議論しない。
【０１０５】
本発明の実施形態において、信号フレームを取得した後、信号フレームが雑音フレームであれば、高帯域雑音符号化パラメータを雑音フレームから取得し、雑音フレームによって重み付けおよび／もしくは平滑化を高帯域雑音符号化パラメータに実行する。すなわち、平滑化を高帯域雑音符号化パラメータに実行し、および／もしくは、重み付けを周波数エンベロープに実行した後、復元背景雑音の連続性は向上する。これにより、ＳＩＤフレームどうしの間の差異は比較的小さくなる。このことは効果的に「ブロック」効果を除去し、これにより、ユーザ・エクスペリエンスを向上することができる。
【０１０６】
本方法の上記実施形態のステップのすべてもしくは部分は関連するハードウェアで実行されるプログラム命令によって実施してもよい。プログラムはコンピュータ読取可能記憶媒体に記憶されてもよい。プログラムは以下のステップを実行する。
取得した信号フレームが雑音フレームであれば、高帯域雑音符号化パラメータを雑音フレームから取得する。
第２の高帯域雑音符号化パラメータを取得するために、重み付けおよび／もしくは平滑化を高帯域雑音符号化パラメータに実行する。
第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成する。
【０１０７】
上記記憶媒体はＲＯＭ(Read Only Memory)、磁気ディスク、光ディスクなどであってよい。
【０１０８】
本発明による背景雑音生成方法および雑音処理装置についての詳細な議論を上記した。本発明の原理から逸脱することなく、特定の実施形態に様々な変更を行うことができる。したがって、上記議論の内容は本発明の範囲を限定するものとして解釈されるべきではない。
Claims (10)
- 取得された信号フレームが雑音フレームである場合、高帯域雑音符号化パラメータを該雑音フレームから取得し、
第２の高帯域雑音符号化パラメータを取得するために前記高帯域雑音符号化パラメータに重み付けおよび平滑化の少なくとも一方を実行し、
前記第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成する、
背景雑音生成方法。 - 取得された信号フレームが音声フレームである場合、該音声フレームから高帯域音声符号化パラメータを取得し、
前記音声フレームの高帯域音声符号化パラメータによって前記第２の高帯域雑音符号化パラメータに平滑化を実行する、
請求項１に記載の方法。 - 前記高帯域雑音符号化パラメータは時間エンベロープ・パラメータおよび周波数エンベロープ・パラメータを含み、
前記第２の高帯域雑音符号化パラメータを取得するために前記高帯域雑音符号化パラメータに重み付けを実行することは、
重み付けされた周波数エンベロープ・パラメータを取得するために前記周波数エンベロープ・パラメータと所定の重み付けパラメータとを乗じ、
前記重み付けパラメータは前記周波数エンベロープ・パラメータの周波数値に反比例し、
前記第２の高帯域雑音符号化パラメータとして前記重み付けされた周波数エンベロープ・パラメータを含む高帯域雑音符号化パラメータを使用する、
ことをさらに含み、
前記第２の高帯域雑音符号化パラメータを取得するために前記高帯域雑音符号化パラメータに平滑化を実行することは、
前記第２の高帯域雑音符号化パラメータを取得するために、ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝αＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−α）ＰＷＢ＿ＳＩＤによって所定の第１の平滑化パラメータおよび高帯域雑音符号化パラメータを用いて計算する、
ことをさらに含み、
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは前記第２の高帯域雑音符号化パラメータであり、
αは前記第１の平滑化パラメータであり、
ＰＷＢ＿ＳＩＤは現在の高帯域雑音符号化パラメータである、
請求項２に記載の方法。 - 前記重み付けされた周波数エンベロープ・パラメータを取得するために前記周波数エンベロープ・パラメータと所定の重み付けパラメータとを乗じることは、
Ｆｅｎｖ＿ＳＩＤ（ｊ）＝Ｆｅｎｖ＿ＳＩＤ（ｊ）×ＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）によって、前記周波数エンベロープ・パラメータと重み付けパラメータとを用いて計算することをさらに含み、
ＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）＝０．８＋０．２×ｃｏｓ（ｊπ／１２）であり、
Ｆｅｎｖ＿ＳＩＤ（ｊ）は前記周波数エンベロープ・パラメータであり、
ＳｍｏｏｔｈＷｉｎｄｏｗ（ｊ）は前記重み付けパラメータであり、
ｊの値は０〜１１のいずれかの整数値であり、ｊは周波数値に比例する、
請求項３に記載の方法。 - 前記音声フレームの高帯域音声符号化パラメータによって第２の高帯域雑音符号化パラメータに平滑化を実行することは、
前記第２の高帯域雑音符号化パラメータを取得するために、ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝βＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−β）ＰＷＢ＿ＳＰＥＥＣＨによって所定の第２の平滑化パラメータと高帯域音声符号化パラメータとを用いて計算することをさらに含み、
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは前記第２の高帯域雑音符号化パラメータであり、
βは前記第２の平滑化パラメータであり、
ＰＷＢ＿ＳＰＥＥＣＨは現在の高帯域音声符号化パラメータであり、
前記第２の平滑化パラメータは前記第１の平滑化パラメータよりも小さい、
請求項３または４に記載の方法。 - 前記信号フレームは符号化側もしくは復号化側で取得され、
前記信号フレームが前記符号化側で取得される場合、前記第２の高帯域雑音符号化パラメータを取得するために高帯域雑音符号化パラメータに重み付けおよび平滑化の少なくとも一方を実行した後、
前記第２の高帯域雑音符号化パラメータを含む信号フレームを前記復号化側に送信する、ことをさらに含む、請求項３または４に記載の方法。 - 信号フレームを取得するために構成されている信号フレーム取得ユニットと、
前記信号フレームから高帯域符号化パラメータを取得するために構成されているパラメータ取得ユニットであって、該信号フレームが雑音フレームである場合、該高帯域符号化パラメータは高帯域雑音符号化パラメータである、パラメータ取得ユニットと、
取得された前記信号フレームが雑音フレームである場合、第２の高帯域雑音符号化パラメータを取得するために前記高帯域雑音符号化パラメータに重み付けおよび平滑化の少なくとも一方を実行するように構成されているパラメータ処理ユニットと、
前記第２の高帯域雑音符号化パラメータによって高帯域背景雑音信号を生成するように構成されている雑音生成ユニットと、
を備える雑音処理装置。 - 前記パラメータ取得ユニットによって取得される高帯域符号化パラメータは、前記信号フレームが音声フレームである場合、高帯域音声符号化パラメータであり、
前記パラメータ処理ユニットは、取得された前記信号フレームが音声フレームである場合、該音声フレームの高帯域音声符号化パラメータによって前記第２の高帯域雑音符号化パラメータに平滑化を実行するように、さらに、構成されている、
請求項７に記載の雑音処理装置。 - 復号化側に前記第２の高帯域雑音符号化パラメータを送信するように構成されている請求項７または８に記載の雑音処理装置。
- 前記パラメータ処理ユニットは、重み付けユニットと平滑化ユニットとの少なくとも一方を備え、
前記重み付けユニットは、重み付けされた周波数エンベロープ・パラメータを取得するために、前記高帯域雑音符号化パラメータの周波数エンベロープ・パラメータと所定の重み付けパラメータとを乗じるように構成されており、
前記重み付けパラメータは前記周波数エンベロープ・パラメータの周波数値に反比例し、前記平滑化ユニットは、第２の高帯域雑音符号化パラメータを取得するために、
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝αＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−α）ＰＷＢ＿ＳＩＤ
によって所定の第１の平滑化パラメータと高帯域雑音符号化パラメータとを用いて計算するように構成されており、
ＰＷＢ＿ＳＩＤ＝ＰＷＢ＿ＬＯＮＧ＿ＳＩＤであり、
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは前記第２の高帯域雑音符号化パラメータであり、
αは前記第１の平滑化パラメータであり、
ＰＷＢ＿ＳＩＤは現在の高帯域雑音符号化パラメータであるか、もしくは、
前記平滑化ユニットは、第２の高帯域雑音符号化パラメータを取得するために、
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＝βＰＷＢ＿ＬＯＮＧ＿ＳＩＤ＋（１−β）ＰＷＢ＿ＳＰＥＥＣＨ
によって所定の第２の平滑化パラメータと高帯域音声符号化パラメータとを用いて計算するように構成されており、
ＰＷＢ＿ＬＯＮＧ＿ＳＩＤは前記第２の高帯域雑音符号化パラメータであり、
βは前記第２の平滑化パラメータであり、
ＰＷＢ＿ＳＰＥＥＣＨは現在の高帯域音声符号化パラメータであり、
前記第２の平滑化パラメータは前記第１の平滑化パラメータよりも小さい、
請求項７または８に記載の雑音処理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008100851770A CN101483495B (zh) | 2008-03-20 | 2008-03-20 | 一种背景噪声生成方法以及噪声处理装置 |
| CN200810085177.0 | 2008-03-20 | ||
| PCT/CN2009/070840 WO2009115036A1 (zh) | 2008-03-20 | 2009-03-17 | 一种背景噪声生成方法以及噪声处理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011514561A JP2011514561A (ja) | 2011-05-06 |
| JP5143949B2 true JP5143949B2 (ja) | 2013-02-13 |
Family
ID=40880445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011500033A Active JP5143949B2 (ja) | 2008-03-20 | 2009-03-17 | 背景雑音生成方法および雑音処理装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8494846B2 (ja) |
| EP (1) | EP2254111B1 (ja) |
| JP (1) | JP5143949B2 (ja) |
| KR (1) | KR101248535B1 (ja) |
| CN (1) | CN101483495B (ja) |
| ES (1) | ES2557898T3 (ja) |
| WO (1) | WO2009115036A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DK3407352T3 (da) * | 2011-02-18 | 2022-06-07 | Ntt Docomo Inc | Taleafkoder, talekoder, taleafkodningsfremgangsmåde, talekodningsfremgangsmåde, taleafkodningsprogram og talekodningsprogram |
| US20140006019A1 (en) * | 2011-03-18 | 2014-01-02 | Nokia Corporation | Apparatus for audio signal processing |
| CN103187065B (zh) * | 2011-12-30 | 2015-12-16 | 华为技术有限公司 | 音频数据的处理方法、装置和*** |
| PT2936486T (pt) * | 2012-12-21 | 2018-10-19 | Fraunhofer Ges Forschung | Adição de ruído de conforto para modelagem do ruído de fundo em baixas taxas de bits |
| EP2980790A1 (en) * | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for comfort noise generation mode selection |
| CN105721656B (zh) * | 2016-03-17 | 2018-10-12 | 北京小米移动软件有限公司 | 背景噪声生成方法及装置 |
| CN112767959B (zh) * | 2020-12-31 | 2023-10-17 | 恒安嘉新（北京）科技股份公司 | 语音增强方法、装置、设备及介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0946233A (ja) * | 1995-07-31 | 1997-02-14 | Kokusai Electric Co Ltd | 音声符号化方法とその装置、音声復号方法とその装置 |
| CN1149534C (zh) * | 1998-12-07 | 2004-05-12 | 三菱电机株式会社 | 声音解码装置和声音解码方法 |
| US6324505B1 (en) * | 1999-07-19 | 2001-11-27 | Qualcomm Incorporated | Amplitude quantization scheme for low-bit-rate speech coders |
| DE60043601D1 (de) * | 1999-08-23 | 2010-02-04 | Panasonic Corp | Sprachenkodierer |
| US6615169B1 (en) * | 2000-10-18 | 2003-09-02 | Nokia Corporation | High frequency enhancement layer coding in wideband speech codec |
| JP3404016B2 (ja) * | 2000-12-26 | 2003-05-06 | 三菱電機株式会社 | 音声符号化装置及び音声符号化方法 |
| US7512535B2 (en) * | 2001-10-03 | 2009-03-31 | Broadcom Corporation | Adaptive postfiltering methods and systems for decoding speech |
| JP4089347B2 (ja) * | 2002-08-21 | 2008-05-28 | 沖電気工業株式会社 | 音声復号装置 |
| US7379866B2 (en) * | 2003-03-15 | 2008-05-27 | Mindspeed Technologies, Inc. | Simple noise suppression model |
| EP1768106B8 (en) * | 2004-07-23 | 2017-07-19 | III Holdings 12, LLC | Audio encoding device and audio encoding method |
| CN101087319B (zh) * | 2006-06-05 | 2012-01-04 | 华为技术有限公司 | 一种发送和接收背景噪声的方法和装置及静音压缩*** |
| US7725764B2 (en) * | 2006-08-04 | 2010-05-25 | Tsx Inc. | Failover system and method |
| US8239191B2 (en) * | 2006-09-15 | 2012-08-07 | Panasonic Corporation | Speech encoding apparatus and speech encoding method |
| US8032359B2 (en) * | 2007-02-14 | 2011-10-04 | Mindspeed Technologies, Inc. | Embedded silence and background noise compression |
| PL2118889T3 (pl) * | 2007-03-05 | 2013-03-29 | Ericsson Telefon Ab L M | Sposób i sterownik do wygładzania stacjonarnego szumu tła |
| DE102008009719A1 (de) * | 2008-02-19 | 2009-08-20 | Siemens Enterprise Communications Gmbh & Co. Kg | Verfahren und Mittel zur Enkodierung von Hintergrundrauschinformationen |
-
2008
- 2008-03-20 CN CN2008100851770A patent/CN101483495B/zh active Active
-
2009
- 2009-03-17 ES ES09721909.1T patent/ES2557898T3/es active Active
- 2009-03-17 KR KR1020107023132A patent/KR101248535B1/ko active IP Right Grant
- 2009-03-17 JP JP2011500033A patent/JP5143949B2/ja active Active
- 2009-03-17 EP EP09721909.1A patent/EP2254111B1/en active Active
- 2009-03-17 WO PCT/CN2009/070840 patent/WO2009115036A1/zh active Application Filing
-
2010
- 2010-09-20 US US12/886,159 patent/US8494846B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009115036A1 (zh) | 2009-09-24 |
| EP2254111A4 (en) | 2011-04-06 |
| US20110010167A1 (en) | 2011-01-13 |
| EP2254111B1 (en) | 2015-10-28 |
| CN101483495A (zh) | 2009-07-15 |
| KR20100133437A (ko) | 2010-12-21 |
| CN101483495B (zh) | 2012-02-15 |
| ES2557898T3 (es) | 2016-01-29 |
| JP2011514561A (ja) | 2011-05-06 |
| EP2254111A1 (en) | 2010-11-24 |
| US8494846B2 (en) | 2013-07-23 |
| KR101248535B1 (ko) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5143949B2 (ja) | 背景雑音生成方法および雑音処理装置 | |
| JP5547081B2 (ja) | 音声復号化方法及び装置 | |
| KR101981548B1 (ko) | 시간 도메인 여기 신호를 기초로 하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법 | |
| CN107492385B (zh) | 用于在音频信号解码器中进行频带扩展的优化缩放因子 | |
| EP2791937B1 (en) | Generation of a high band extension of a bandwidth extended audio signal | |
| JP6775065B2 (ja) | オーディオ信号復号器における改善された周波数帯域拡張 | |
| KR101770237B1 (ko) | 오디오 데이터 처리 방법, 장치 및 시스템 | |
| US20110125507A1 (en) | Method and System for Frequency Domain Postfiltering of Encoded Audio Data in a Decoder | |
| JP6301368B2 (ja) | 増強信号の整形を用いて周波数増強信号を生成する装置および方法 | |
| RU2642894C2 (ru) | Аудиодекодер, имеющий модуль расширения полосы частот с модулем регулирования энергии | |
| JP2012503214A (ja) | デジタルオーディオ信号におけるプリエコーの減衰 | |
| CN108364657A (zh) | 处理丢失帧的方法和解码器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120822 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120924 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5143949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |