JP2023098967A - スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 - Google Patents
スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 Download PDFInfo
- Publication number
- JP2023098967A JP2023098967A JP2023062397A JP2023062397A JP2023098967A JP 2023098967 A JP2023098967 A JP 2023098967A JP 2023062397 A JP2023062397 A JP 2023062397A JP 2023062397 A JP2023062397 A JP 2023062397A JP 2023098967 A JP2023098967 A JP 2023098967A
- Authority
- JP
- Japan
- Prior art keywords
- spectral
- context
- spectral envelope
- current sample
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 268
- 230000002123 temporal effect Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims description 38
- 230000005236 sound signal Effects 0.000 claims description 29
- 238000013139 quantization Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 9
- 238000009795 derivation Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 6
- 238000007493 shaping process Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 230000008929 regeneration Effects 0.000 claims 1
- 238000011069 regeneration method Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000001228 spectrum Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000005309 stochastic process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
- G10L19/038—Vector quantisation, e.g. TwinVQ audio
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
【課題】パラメトリック復号化器のスペクトルエンベロープ符号化サンプル値の改良された概念を提供する。【解決手段】概念は、一方ではスペクトル時間予測、および、他方では残差のコンテキストベースエントロピー符号化を結合することにより得られ、その一方で、現在のサンプル値のスペクトル時間近傍のスペクトルエンベロープのすでに符号化/復号化されたサンプル値のペアの間の偏差の量に依存する現在のサンプル値のためのコンテキストを特に決定する。一方ではスペクトル時間予測および他方では偏差量に依存するコンテキストを選択することに関する予測残差のコンテキストベースエントロピー符号化の組合せは、スペクトルエンベロープの性質と調和する。【選択図】図4
Description
本願発明は、スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化および音声符号化/圧縮におけるその使用に関する。
例えば、〔1〕および〔2〕に記載されているように、多くの現代の最高水準の技術である非可逆音声符号化器は、MDCT変換に基づいて、かつ無関係性削減および冗長性削減を使用して、既定の知覚品質のための必要なビットレートを最小化する。無関係性削減は、概して、表示精度を減らすかまたは知覚的に関連しない周波数情報を削減するために、人間の聴覚システムの知覚的制限を利用する。冗長性削減は、概してエントロピー符号化と関連した統計モデルを用いて、残りのデータの最小コンパクト表現を達成するために統計的構造または相関を利用するために適用される。
特に、パラメトリック符号化概念は、音声コンテンツを効率的に符号化するために使用される。パラメトリック符号化を使用して、音声信号の部分、例えばそのスペクトログラムの部分は、実際の時間領域音声サンプル等を使用するよりはむしろ、パラメータを使用して記述されている。例えば、音声信号のスペクトログラムの部分は、合成されたスペクトログラムの部分を送信されたスペクトルエンベロープに適合させるために、単に例えばスペクトルエンベロープなどのパラメータおよびオプションで合成を制御するさらなるパラメータから成るデータストリームを有する復号化器側で合成され得る。この種の新規な技術は、核となるコーデックが音声信号の低周波成分を符号化して、送信するために用いるスペクトル帯域複製(SBR)であるが、伝送されたスペクトルエンベロープは、復号化側で、音声信号の高周波帯成分を合成するために音声信号の低周波帯成分の再生のスペクトル複製をスペクトル的に整形/形成するために復号化側で用いられる。
上記の概略のように、符号化技術のフレームワークの範囲内のスペクトルエンベロープは、若干の適切なスペクトル時間分解能で、データストリームの中で伝送される。スペクトルエンベロープのサンプル値の伝送と類似した方法において、MDCT係数のようなスペクトル線係数または周波数領域係数をスケーリングするためのスケーリング係数は、元のスペクトル線解像度より粗くて、スペクトルの意味における実施例のためにより粗い若干の適切なスペクトル時間分解能において、同様に伝送される。
固定されたハフマン符号化テーブルは、スペクトルエンベロープまたはスケーリング係数または周波数領域係数を記述しているサンプルに関する情報を伝達するために使用され得る。改良された方法は、例えば、〔2〕および〔3〕に記載された、コンテキスト符号化を使用することであり、ここで、値を符号化するための確率分布を選択するために使用されるコンテキストは、時間および周波数両方の全体にわたる。MDCT係数値のような個々のスペクトル線は、複合スペクトル線の実際の投射であり、そして、複合スペクトル線の大きさが時間全体で一定のときでも、それは事実上幾分ランダムに見え得る、しかし、位相は、1つのフレームから次まで変化する。これは、〔3〕に記載されたように、良い結果のためのコンテキスト選択、量子化およびマッピングの極めて複雑な方式を必要とする。
画像符号化において、使用するコンテキストは、例えば〔4〕に記載されたように、画像のxおよびy軸にわたって通常は二次元である。画像符号化において、値は、例えばガンマ調整の使用による線形領域またはべき乗領域において存在する。加えて、単一の固定された線形予測が、平面近似および基本的なエッジ検出メカニズムとして各コンテキストにおいて使用され得る、そして、予測エラーは符号化され得る。パラメートリックゴロムまたはゴロム-ライス符号化が、予測エラーを符号化するために使用され得る。ランレングス符号化が、例えばビットベース符号化器を使用して、1サンプルにつき1ビット以下で、超低エントロピー信号を直接符号化することの困難さを補償するために、加えて使用される。
しかしながら、スケーリング係数および/またはスペクトルエンベロープの符号化と関連した改良にもかかわらず、スペクトルエンベロープのサンプル値を符号化するための改良された概念が、依然必要である。従って、本願発明の目的は、スペクトルエンベロープの符号化スペクトル値の概念を提供することである。
この目的は、係属中の独立クレームの主題によって達成される。
本願明細書において記載されている実施例は、スペクトルエンベロープの符号化サンプル値のための改良された概念が、一方ではスペクトル時間予測および、他方では、残差のコンテキストベースエントロピー符号化を結合することによって得られ得る、との発見に基づき、その一方で、現在のサンプル値のスペクトル時間近傍のスペクトルエンベロープのすでに符号化/復号化されたサンプル値のペアの間の偏差のための量に依存している現在のサンプル値のためのコンテキストを特に決定する。一方のスペクトル時間予測および他方の偏差量に依存してコンテキストを選択することを伴う予測残差のコンテキストベースエントロピー符号化との組合せは、スペクトルエンベロープの性質と調和する。スペクトル時間相互相関が予測の後、ほぼ完全に除去されて、かつ予測結果のエントロピー符号化に関してコンテキスト選択において無視され得るように、スペクトルエンベロープの平滑性が、コンパクトな予測残差分布において生じる。これは、次に、コンテキストを管理するためのオーバーヘッドを低下させる。現在のサンプル値のスペクトル時間近傍におけるすでに符号化/復号化されたサンプル値の間の偏差量の使用は、しかしながら、このことにより引き起こされる付加的なオーバーヘッドを正当化する態様におけるエントロピー符号化効率を改善するコンテキスト適応性の提供を、依然可能にする。
以下に記載されている実施例によれば、線形予測は、偏差量としての差分値の使用と結合され、それにより、符号化のためのオーバーヘッドを低く保つ。
実施例により、コンテキストを選択/決定するために最後に使用される差分値を決定するために使用されるすでに符号化/復号化されたサンプル値の位置は、それらが互いに、スペクトル的に、または、時間的に、現在のサンプル値と一列に並ぶ態様で、隣接し、すなわち、それらが時間あるいはスペクトル軸と平行して1本の線に沿って存在し、そして、コンテキストを決定/選択するときに、差分値の符号がさらに考慮されるように、選択される。この測定により、予測残差における一種の「傾向」は、単にコンテキストを管理しているオーバーヘッドを相当に増加させるだけであると共に、現在のサンプル値のためのコンテキストを決定/選択するときに、考慮され得る。
本出願の好ましい実施例は、図面に関して以下に述べられる:
以下で本願明細書において概説される実施例の一種の動機付けとして、それは通常、スペクトルエンベロープの符号化に適用でき、以下で概説される有利な実施例につながる若干の考えは、例証として、インテリジェントギャップ充填(IGF)を使用して現在提示される。IGFは、超低ビットレートでさえ符号化信号の品質を大幅に向上させる新規な方法である。参考文献は、詳細については、以下の説明を参照されたい。いずれにせよ、IGFは、高周波領域のスペクトルの重要な部分が典型的に不充分なビット配分のためにゼロに量子化されるという事実に対処する。可能な限り保存するために、低周波領域におけるIGF情報において、より高周波領域の微細構造は、大部分がゼロに量子化された高周波領域における目的領域を適応的に置換えるためのソースとして使用される。良好な知覚的品質を達成するための重要な要求は、オリジナル信号のそれを有するスペクトル係数の復号化されたエネルギーエンベロープの整合である。これを達成するために、平均的スペクトルエネルギーは、一つ以上の連続的なAACスケーリング係数帯から、スペクトル係数を元に算出される。スケーリング係数帯により定義された境界を使用している平均エネルギーを計算することは、重要な帯域の一部までそれらの境界のすでに存在する細心の調整によって動機付けされ、それは人間の聴覚に特徴的である。平均エネルギーは、AACスケーリング係数のための一つと類似した公式を使用しているdBスケール表現に変換されて、その後、一様に量子化される。IGFにおいて、異なる量子化精度が、要求された全ビットレートに応じて任意に使用され得る。平均エネルギーは、IGFによって発生された情報の重要な部分を構成するので、その効率的な表現は、IGFの全体のパフォーマンスのために重要性が高い。
従って、IGFにおいて、スケーリング係数エネルギーは、スペクトルエンベロープを記述する。スケーリング係数エネルギー(Scale Factor Energies;SFE)は、スペクトル値がスペクトルエンベロープを記述していることを表す。同上を復号化するときに、SFEの特別な性質を利用し得る。特に、〔2〕および〔3〕とは対照的に、SFEがMDCTスペクトル線の平均値を表し、そして、従って、それらの値は、ずっと「滑らか」で、対応する複合スペクトル線の平均的大きさに線形に相関があると理解された。この状況を利用して、以下の実施例は、一方ではスペクトルエンベロープサンプル値予測および他方ではスペクトルエンベロープの隣接したすでに符号化/復号化されたサンプル値のペアの偏差の量に応じたコンテキストを使用する予測残差のコンテキストベースエントロピー符号化の組合せを使用する。この組合せの使用は、符号化されるべきこの種のデータ、すなわちスペクトルエンベロープ、に特に適している。
更に以下で概説される実施例の理解を容易にするために、図1は、特定のスペクトル時間分解能で音声信号のスペクトルエンベロープ10のサンプルをとるサンプル値12からのスペクトルエンベロープ10およびその成分を示す。図1において、サンプル値12は、時間軸14およびスペクトル軸16に沿って例示的に配置される。各サンプル値12は、音声信号のスペクトログラムの空間時間領域の、例えば、特定の長方形をカバーしている対応する空間時間タイル内で、スペクトルエンベロープ10の高さを記述あるいは定義する。サンプル値は、このように、その関連するスペクトル時間タイル上のスペクトログラムを集積することによって得られた統合的な値である。サンプル値12は、エネルギーまたはいくつかの他の物理的な量に関してスペクトルエンベロープ10の高さまたは強さを測定し得て、非対数あるいは線形領域において、または、対数領域において定義され得て、対数領域はさらに、それぞれ、軸14および16に沿ってサンプル値を付加的に平滑化するその特徴のために付加的な効果を提供し得る。
以下の説明に関する限り、サンプル値12がスペクトル的に、かつ、時間的に規則的に配置されることのみが、すなわちサンプル値12に対応する対応空間時間タイルが、音声信号のスペクトログラムから、定期的に周波数帯18をカバーすることが、この種の規則性は、義務的でないことが、説明の便宜上仮定される点に留意する必要がある。むしろ、サンプル値12によるスペクトルエンベロープ10の不規則なサンプリングも使用され得る。そして、各サンプル値12が、その対応する空間時間タイル内でスペクトルエンベロープ10の高さの平均を表す。更に以下で概説される近傍定義は、それにもかかわらずスペクトルエンベロープ10の不規則なサンプリングのこの種の別の実施例に転送され得る。この種の可能性に関する短い陳述が、以下で提供される。
以前には、しかしながら、上述したスペクトルエンベロープが、さまざまな理由のために、符号化器から復号化器までの伝送のための符号化および復号化の対象になり得ることに注意されたい。例えば、スペクトルエンベロープが、音声信号の低周波帯のコア符号化を拡張するために、すなわち低周波帯をより高い周波数、すなわちスペクトルエンベロープに関する高周波帯、に向かって延長するために、スケーラビリティ目的のために使用され得る。その場合、例えば、後述するコンテキストベースエントロピー復号化器/符号化器は、例えば、SBR復号化器/符号化器の一部であり得た。あるいは、同上は、既に上述したように、IGFを使用している音声符号化器/復号化器の一部であり得た。IGFにおいて、音声信号スペクトログラムの高周波部分は、スペクトルエンベロープを使用している高周波部分の範囲内でスペクトログラムのゼロ量子化された領域を満たし得るためにスペクトログラムの高周波部分のスペクトルエンベロープを記述しているスペクトル値を使用して付加的に記述されている。この点に関する詳細は、更に以下で記述されている。
図2は、本出願の実施例による音声信号のスペクトルエンベロープ10のサンプル値12を符号化するためのコンテキストベースエントロピー符号化器を示す。
図2のコンテキストベースエントロピー符号化器は、通常、参照符号20を用いて示されて、予測器22、コンテキスト決定器24、エントロピー符号化器26および残差決定器28を含む。コンテキスト決定器24および予測器22は、同上がスペクトルエンベロープ(図1)のサンプル値12にアクセスする入力を有する。エントロピー符号化器26は、コンテキスト決定器24の出力に接続された制御入力を有し、かつ、残差決定器28の出力に接続されたデータ入力を有する。残差決定器28は、2つの入力を有し、その一つは予測器22の出力に接続され、かつ、他の一つは、残差決定器28にスペクトルエンベロープ10のサンプル値12へのアクセスを提供する。特に、残差決定器28は、その入力で現在符号化されるべきサンプル値xを受信し、その一方で、コンテキスト決定器24および予測器22は、それらの入力で、すでに符号化されていて、現在のサンプル値xのスペクトル時間近傍内に存在しているサンプル値12を受信する。
すでに上記で概説されるように、サンプル値12は、時間およびスペクトル軸14および16に沿って規則正しく配置されると仮定されるにもかかわらず、この規則性は、義務的でなく、かつ、近傍の定義および隣接したサンプル値の識別は、この種の不規則なケースにまで拡張され得る。例えば、隣接サンプル値"a"は、左上角に時間的に先行している時間軸に沿って現在のサンプルのスペクトル時間タイルの左上角に隣接するものとして定義され得る。同様の定義は、他の隣接、例えばeに対する隣接b、を定義するために使用され得る。
以下でより詳細に概説されるように、予測器22は、現在のサンプル値xのスペクトル時間位置に応じて、スペクトル時間近傍、すなわち{a、b、c、d、e}のサブセットの中で、すべてのサンプル値の異なるサブセットを使用し得る。どのサブセットが、実際に使用されるかは、例えば、セット{a、b、c、d、e}により定義されたスペクトル時間近傍内の隣接したサンプル値の入手可能性に依存し得る。隣接するサンプル値a,dおよびcは、ランダムなアクセスポイント、すなわち、スペクトルエンベロープ10の以前の部分への依存が禁制/禁止されるように、復号化器が復号化を開始することを可能にする時点、に直接続いている現在のサンプル値xのために例えば利用し得ない。あるいは、それぞれの隣接するサンプル値の位置が、外側の区間18に収まるように、隣接したサンプル値b、cおよびeは、区間18の低周波端を表す現在のサンプル値xのために利用し得ない。いずれにせよ、予測器22は、スペクトル近傍内ですでに符号化されたサンプル値を線形結合することにより、現在のサンプル値xをスペクトル時間的に予測し得る。
中間の注釈として、スペクトル時間近傍の定義が、コンテキストベースエントロピー符号化器20がサンプル値12を順次符号化する符号化/復号化順序に適合し得ることが述べられなければならない。図1に示すように、例えば、コンテキストベースエントロピー符号化器は、最低周波数から最高周波数まで進む、各時刻において、時刻ごとに、サンプル値12を横断する復号化順序30を使用しているサンプル値12を順次符号化するように構成され得る。以下に、「時刻」は「フレーム」として示される、しかし、時刻は、あるいは、タイムスロット、タイムユニット等と呼ばれ得る。いずれにせよ、時間的フィードフォワードの前にこの種のスペクトル横断を使用するときに、先行する時間に、そして、低周波の方へ伸びるスペクトル時間近傍の定義は、対応するサンプル値がすでに符号化/復号化されかつ利用され得るという最も大きな実現可能性を提供する。この場合、それらが存在する場合、近傍内の値は、常にすでに符号化/復号化されている、しかし、これは、他の近傍および復号化順序ペアのために異なり得る。当然、復号化器は、同じ復号化順序30を使用する。
サンプル値12は、すでに上記に示されたように、対数領域のスペクトルエンベロープ10を表し得る。特に、スペクトル値12は、対数関数的量子化関数を使用している整数値まで、すでに量子化され得た。従って、量子化のため、コンテキスト決定器24で決定された偏差量は、本質的にすでに整数でもよい。これは、例えば偏差量として差分を使用するときの場合である。コンテキスト決定器24で測定された偏差量の固有の整数の性質にかかわりなく、コンテキスト決定器24は、偏差量を量子化に従属させ得て、量子化された量を使用しているコンテキストを決定し得る。特に、以下で概説されるように、コンテキスト決定器24によって使用される量子化関数は、例えば、所定の区間、ゼロを含む所定の区間、の外側で偏差量の値のために一定であり得る。
図3は、非量子化偏差量を、この例では、ちょうど言及された所定区間34が-2.5から2.5まで伸びる量子化された偏差量にマップするこの種の量子化関数32を、例示的に示し、区間より大きい非量子化偏差量値は、常に量子化偏差量値3にマップされ、かつ区間34より小さい非量子化偏差量値は、常に量子化偏差量値-3にマップされる。従って、単に7つのコンテキストが、区別されて、コンテキストベースエントロピー符号化器でサポートされるべきである。以下で概説される実施例において、ちょうど例示されるように、区間34の長さは、5であり、スペクトルエンベロープのサンプル値の可能な値のセットの基数は、2n(例えば=128)、すなわち区間の長さの16倍より大きい。以後で説明するように、使用されているエスケープ符号化の場合には、スペクトルエンベロープのサンプル値の可能な値の範囲は、[0;2n[に定義され得る。但し、nは、2n+1が、後述する特定の実施例によれば、311である予測残差値の符号化可能な値の基数より小さいように選択された整数である。
完全性のために、図2は、すでに例えば、非量子化サンプル値xに適用された対数量子化関数を用いて、量子化器36が、例えば上記で概説されるように、現在のサンプル値xが現在のサンプル値xを得るために到来する残差決定器28の入力の前に接続され得ることを示す。
図4は、実施例によるコンテキストベースエントロピー復号化器を示し、それは図2のコンテキストベースエントロピー符号化器に適合する。
エントロピー復号化器46は、エントロピー符号化器26によって実行されたエントロピー符号化を逆変換させる。すなわち、エントロピー復号化器も多くのコンテキストを管理し、かつ、現在のサンプル値xのために、コンテキスト決定器44によって選択されたコンテキストを使用し、各コンテキストは、エントロピー符号化器26のためにコンテキスト決定器24により選択されたものと同じ特定の確率rの各可能な値に割り当てる関連付けされた対応する確率分布を有する。
算術符号化を使用するときに、エントロピー復号化器46は、例えば、エントロピー符号化器26の区間再分割シーケンスを逆転させる。エントロピー復号化器46の内部状態は、例えば、現在の区間の確率間隔幅により定義され、かつ、オフセット値は、現在の確率間隔内で、現在のサンプル値xのrの実際の値が対応する同上からの部分区間を示す。エントロピー復号化器46は、エントロピー符号化器26によって出力された到着する算術符号化ビットストリームを使用して、例えば再正規化プロセスにより、確率間隔およびオフセット値を更新し、かつ、オフセット値を検査して、同上が該当する部分区間を確認することによって、rの実際値を得る。
すでに前述した様に、予測残差rの可能な値のいくつかの小さい部分区間上へ残差値のエントロピー符号化を制限することは、有益であり得る。図5は、これを実現するために、図2のコンテキストベースエントロピー符号化器の変形例を示す。図2に示される要素に加えて、図5のコンテキストエントロピー符号化器は、制御60を介して制御されるエスケープ符号化ハンドラ62と同様に、残差決定器28およびエントロピー符号化器26、すなわち、制御60、の間に接続される制御から成る。
区間68内に存在する初期の予測残差rの場合には、制御60は、エントロピー符号化器26に、直接この初期の予測残差rをエントロピー符号化させる。特別な措置は、とられないことになっている。しかしながら、残差決定器28により提供されたように、rが区間68の外側に存在する場合、エスケープ符号化手続は、制御60により初期化される。特に、区間68の区間境界70および72に直接隣接している直接隣接値は、一実施例により、エントロピー符号化器26のシンボルアルファベットに属し得て、エスケープ符号自身として機能する。すなわち、中かっこ74で示されるように、エントロピー符号化器26のシンボルアルファベットは、区間68のすべての値およびその区間68以下のおよび以上の直接隣接した値を含み、かつ、区間68の下限70より小さい初期の予測残差のrの場合、制御60は、区間68の上限72より大きい残差値rの場合、区間68の上限72に直接隣接している最大のアルファベット値76にいたるまでエントロピー符号化されるべき値を単に減少し、初期予測残差rが区間68の下限より小さい場合、エントロピー符号化器26に、区間68の下限70に直接隣接している、最小のアルファベット値78を送る。
明らかに、エスケープ符号化は、区間68内に存在している通常の予測残差の符号化より複雑ではない。コンテキスト適応は、例えば、使用されない。むしろ、エスケープの場合において符号化された値の符号化は、単に、直接、バイナリ表現を、|r|さらにxのような値のためのバイナリ表現を単に記述することによって実行され得る。しかしながら、エスケープ手順が統計的にほとんど発生せず、単にサンプル値xの統計上の「異常値」を表すだけであるように、区間68は、好ましくは選択される。
図7は、図4のコンテキストベースエントロピー復号化器の変形例を示し、図5のエントロピー符号化器に対応、または、適合する。図5のエントロピー符号化器と同様に、制御71が一方ではエントロピー復号化器46および他方では結合器48の間に接続されるという点で、図7のコンテキストベースエントロピー復号化器は、図4に示されるものと異なり、図7のエントロピー復号化器は、さらに、エスケープ符号ハンドラ73を含む。図5と同様に、制御71は、エントロピー復号化器46により出力されたエントロピー復号化値rが、区間68の中に存在するか、あるいは若干のエスケープ符号に対応するかのチェック74を実行する。後者の状況が当てはまる場合、エスケープ符号ハンドラ73は、エントロピー復号化器46によってエントロピー復号化されたエントロピー符号化データストリームを運搬もするデータストリームから抽出するために、制御71によってトリガされ、前述の符号は、例えば、エントロピー復号化値rにより示されたエスケープ符号から独立した自己充足的な態様におけるまたはエントロピー復号化値rが図6と関連して既に説明されたように仮定する現実のエスケープ符号に従属した態様における現実の予測残差rを示し得る充分なビット長のバイナリ表現を、エスケープ符号ハンドラ62により挿入される。例えば、エスケープ符号ハンドラ73は、データストリームからの値のバイナリ表現を読み込むと、エスケープ符号の絶対値、すなわち上限または下限の絶対値、に同上をそれぞれ付け加え、そして、それぞれの境界の符号、すなわち上限のためのプラス符号、下限のためのマイナス符号、を読まれた値の符号として使用する。条件つき符号化が、使用され得る。すなわち、エントロピー復号化器46によるエントロピー復号化値r出力が、区間68の外側に位置する場合、エスケープ符号ハンドラ73は、最初に、例えば、データストリームからp-ビット絶対値を読み込み得て、同上が、2p-1であるかに関して照合し得る。そうでなければ、エントロピー復号化値rは、エスケープ符号が上限72である場合、p-ビット絶対値をエントロピー復号化値rに加えることによって、かつ、エスケープ符号が下限70である場合、p-ビット絶対値をエントロピー復号化値rから減算することによって、更新される。しかしながら、p-ビット絶対値が、2p-1である場合、他のq-ビット絶対値は、ビットストリームから読込まれ、かつ、エスケープ符号が、上限72である場合、エントロピー復号化値rはq-ビット絶対値+2p-1をエントロピー復号化値rに加えることにより更新され、そして、エスケープ符号が下限70である場合、エントロピー復号化値rからp-ビット絶対値+2p-1を引くことにより更新される。
しかしながら、図7は、また、他の変形例を示す。この変形例によれば、エスケープ符号の場合において、推定値が必要以上であるように、エスケープ符号ハンドラ62および72によって実現されるエスケープ符号手続は、直接完全なサンプル値xを符号化する。例えば、2nビット表現は、その場合十分であり得て、xの値を示し得る。
予防措置のみとして、エスケープ符号化を実現する他の方法がスペクトル値のために何かをエントロピー復号化しないことによりこれらの別の実施例によって同様に可能であることに注意されたい。そして、その予測残差は、区間68を超えるかあるいは外側に存在する。例えば、構文要素ごとに、フラグは、同上がエントロピー符号化を使用して符号化されるか、または、エスケープ符号化が使用されるかを示して送信され得る。その場合、各サンプル値ごとに、フラグは、符号化の選択された方法を示す。
以下に、前記実施例を実現するための具体的な実施例が、記載されている。特に、以下に提示された明確な実施例は、スペクトル時間近傍における特定の以前に符号化/復号化されたサンプル値の上述した入手困難性を取扱う方法を例証する。更に、具体例は、可能な値の範囲66、区間68、量子化機能32、範囲34その他を設定するために示される。後ほど、具体的な実施例が、IGFと関連して使用され得ることが、記載されている。しかしながら、以下に提示される説明は、スペクトルエンベロープのサンプル値が配置される時間的格子が、例えば、QMFスロットのグループのようなフレームより他の時間単位によって定義される他のケースへ容易に移され得ることに注意されたい、そして、スペクトル解像度は、スペクトル時間タイルへのサブバンドのサブグループ化によって同様に定義される。
時間全体のフレーム番号をt(時間)によって、かつ、スケール係数(またはスケール係数群)全体のスペクトルエンベロープのそれぞれのサンプル値の位置をf(周波数)によって示すものとする。サンプル値は、以下でSFE値と呼ばれている。我々は、位置(t-1)(t-2),…,ですでに復号化されたフレームから、そして周波数(f-1),(f-2),…で、位置(t)で現行フレームから、既に利用可能な情報を使用して、xの値を符号化したい。その状況は、再び図8において、表される。
独立フレームのために、我々は、t=0をセットした。独立フレームは、復号化実体のためのランダムアクセスポイントとして適するフレームである。それは、このように、復号化へのランダムアクセスが復号化側で可能である時刻を表す。スペクトル軸16に関する限り、最低周波数と関連した第1のSFE12は、f=0を有する。図8において、コンテキストを計算するために使われる時間および周波数における近隣は(符号化器および復号化器の双方で利用できる)、図1におけるa、b、c、dおよびeの場合のようである。
以下の図に関して、さまざまな可能性が、上述したコンテキストベースエントロピー符号化器/復号化器が、どのようにそれぞれのオーディオ復号化器/符号化器に組込まれ得るかに関して記述されている。図9は、例えば、上記概説された実施例のいずれかによるコンテキストベースエントロピー復号化器40が有利に組み込み得るパラメトリック復号化器80を示す。パラメトリック復号化器80は、コンテキストベースエントロピー復号化器40の他に、微細構造決定器82およびスペクトル整形器84から成る。任意には、パラメトリック復号化器80は、逆変換器86から成る。コンテキストベースエントロピー復号化器40は、上記で概説されるように、コンテキストベースエントロピー符号化器の上記で概説された実施例のいずれかにより符号化されたエントロピー符号化データストリーム88を受信する。データストリーム88は、従って、そこに符号化されるスペクトルエンベロープを有する。コンテキストベースエントロピー復号化器40は、上記で概説される方法で、パラメトリック復号化器80が再生しようとする音声信号のスペクトルエンベロープのサンプル値を復号化する。微細構造決定器82は、この音声信号のスペクトログラムの微細構造を決定するように構成される。この目的で、微細構造決定器82は、外部、例えばまた、データストリーム88からも成っているデータストリームの他の部分、から、情報を受取り得る。更なる変形例が、以下で説明される。しかしながら、他の変形例において、微細構造決定器82は、確率あるいは疑似確率過程を使用して、単独で微細構造を決定し得る。コンテキストベースエントロピー復号化器40によって復号化されるスペクトル値によって定義されるように、スペクトル整形器84は、次に、スペクトルエンベロープにより微細構造を整形するように構成される。換言すれば、それぞれ、一方では、スペクトル整形器84の入力は、同上からスペクトルエンベロープを受信するために、他方では音声信号のスペクトログラムの微細構造を受信するために、それぞれ、コンテキストベースエントロピー復号化器40および微細構造決定器82の出力に接続され、かつスペクトル整形器84は、その出力で、スペクトルエンベロープにより整形されたスペクトログラムの微細構造を出力する。逆変換器86は、その出力で音声信号の再構成を出力するために整形された微細構造上に逆変換を実行し得る。
特に、微細決定器82は、スペクトル予測および/またはスペクトルエントロピーコンテキスト導出を使用する人工ランダムノイズ生成、スペクトル再生およびスペクトル線毎の復号化の少なくとも1つを使用するスペクトログラムの微細構造を決定するように構成され得る。最初の2つの可能性は、図10に関して記載されている。図10は、コンテキストベースエントロピー復号化器40により復号化されたスペクトルエンベロープ10が、低周波区間90のより高周波拡張を形成する周波数区間18、すなわち、区間18は、より低周波区間90をより高周波に拡張し、すなわち、区間18は後者のより高周波側で区間19に接する、に関連するという可能性を説明する。従って、図10は、実際にパラメトリック復号化器80によって再生されるべき音声信号が、区間18が単に全体の周波数区間92の高周波部分を表す周波数区間92をカバーするという可能性を示す。図9に示すように、パラメトリック復号化器80は、例えば、その出力で音声信号の低周波帯バージョンを得るためにデータストリーム88を伴っている低周波データストリーム96を復号化するように構成される低周波復号化器94を付加的に含み得る。この低周波バージョンのスペクトログラムは、図10において参照符号98を使用して表される。まとめると、音声信号のこの周波数バージョン98および区間18内に整形された微細構造は、完全な周波数区間92の、すなわち完全な周波数区間92全体のそのスペクトログラムの、音声信号再生を生じる。図9の点線によって示されるように、逆変換器86は、完全な区間92上へ逆変換を実行し得る。このフレームワークにおいて、微細構造決定器82は、時間領域または周波数領域における復号化器94から、低周波バージョン98を受取り得る。第1のケースにおいて、微細構造決定器82は、スペクトログラム98を得るために、かつ、矢印100を用いて図示されたように、スペクトル再生を使用しているコンテキストベースエントロピー復号化器40により提供されたスペクトルエンベロープによりスペクトル整形器84によって整形されるべき微細構造を得るために、受信された低周波バージョンをスペクトル領域への変換を行わせ得る。しかしながら、すでに上記で概説されたように、微細構造決定器82は、LF復号化器94から音声信号の低周波バージョンを受け取ることさえできず、単に確率あるいは疑似確率過程を使用しているだけの微細構造を生成することさえできない。
図9および10によるパラメトリック復号化器に適合している対応するパラメトリック符号化器は、図11において表される。図11のパラメトリック符号化器は、符号化されるべき音声信号112を受信している周波数クロスオーバー110と、高周波帯符号化器114と、低周波帯符号化器116とを含む。周波数クロスオーバー110は、インバウンド音声信号112を2つの成分、すなわちインバウンド音声信号112のハイパスフィルタ処理バージョンに対応する第1の信号118、および、インバウンド音声信号112のローパスフィルタ処理バージョンに対応する低周波信号120、に分解し、高周波信号118および低周波信号120によりカバーされた周波数帯は、いくつかのクロスオーバー周波数で互いに隣接する(図10の122と比較されたい)。低周波帯符号化器116は、低周波信号120を受信して、同上を低周波データストリーム、すなわち、96に符号化する、そして、高周波帯符号化器114は、高周波区間18内で高周波信号118のスペクトルエンベロープを記載しているサンプル値を計算する。高周波帯符号化器114も、スペクトルエンベロープのこれらのサンプル値を符号化するための上述のコンテキストベースエントロピー符号化器が具備されている。低周波帯符号化器116は、例えば変換符号化器でもよく、かつ、低周波帯符号化器116が、低周波信号120の変換またはスペクトログラムを符号化するスペクトル時間分解能は、サンプル値12が高周波信号118のスペクトルエンベロープを分解するスペクトル時間分解能より大きくてもよい。従って、高周波帯符号化器114は、特に、データストリーム88を出力する。図11の点線124で示されたように、低周波帯符号化器116は、例えばスペクトルエンベロープを記述しているサンプル値のこの生成に関して高周波帯符号化器114を制御するために、または、少なくともサンプル値がスペクトルエンベロープのサンプルをとるスペクトル時間分解能の選択に関して、高周波帯符号化器114に、情報を出力し得る。
図12は、図9のパラメトリック復号化器80および特に微細構造決定器82を実現する他の可能性を示す。特に、図12の実施例によれば、微細構造決定器82そのものは、データストリームを受信して、その上に基づいて、スペクトル予測および/またはスペクトルエントロピー-コンテキスト導出を使用しているスペクトル線毎の復号化を使用している音声信号スペクトログラムの微細構造を決定する。すなわち、微細構造決定器82そのものは、データストリームから、例えば、重複変換のスペクトラムの時間シーケンスから成るスペクトログラムの形の微細構造を回復する。しかしながら、図12の場合、このように微細構造82により決定された微細構造は、第1の周波数間隔130に関連し、かつ、音声信号、すなわち92の完全な周波数間隔と一致する。
図12の実施例において、スペクトルエンベロープ10が関連する周波数区間18は、区間130と完全に重複する。特に、区間18は、区間130の高周波部分を形成する。例えば、スペクトログラム132の範囲内のスペクトル線の多くは、微細構造決定器82によって回復され、かつ、周波数区間130をカバーすることは、特に高周波部分18の範囲内で、ゼロに量子化される。それにもかかわらず、高品質で音声信号を再生するために、手ごろなビットレートで、高周波部分18の範囲内でさえ、パラメトリック復号化器80は、スペクトルエンベロープ10を活用する。スペクトルエンベロープ10のスペクトル値12は、微細構造決定器82により復号化されたスペクトログラム132のスペクトル時間分解能より粗いスペクトル時間分解能で、高周波部分18の範囲内で音声信号のスペクトルエンベロープを記述する。例えば、スペクトルエンベロープ10のスペクトル時間分解能は、スペクトル項においてより粗い、すなわち、そのスペクトル分解能は、微細構造132のスペクトル線精度より粗い。上述の通り、スペクトル的に、スペクトルエンベロープ10のサンプル値12は、スペクトルエンベロープ10を、例えば、スペクトログラム132のスペクトル線がスペクトル線係数のスケーリング係数バンド方向スケーリングのために分類された周波数帯134に記述し得る。
スペクトル整形器84は、それから、サンプル値12を使用して、スペクトル再生または人工ノイズ生成のような機構を使用しているそれぞれのサンプル値12に対応するスペクトル線群またはスペクトル時間タイルの範囲内でスペクトル線を充填し得て、スペクトルエンベロープを記述している対応するサンプル値に従ってそれぞれのスペクトル時間タイル/スケーリング係数群内で生じる微細構造レベルまたはエネルギーを調整する。例えば図13を参照されたい。図13は、1つのフレームまたはその時刻、例えば図12の時刻136、に対応するスペクトログラム132からスペクトルを例示する。スペクトルは、参照符号140を使用して、例示される。図13にて図示したように、そのいくつかの部分142は、ゼロに量子化される。図13は、高周波部分18、および、中かっこによって示されたスケーリング係数帯へのスペクトル140のスペクトル線の再分割、を示す。"x"および"b"および"e"を使用して、図13は、3つのサンプル値12が時刻136- 各スケーリング係数帯のための1つ- の高周波部分18の範囲内でスペクトルエンベロープを記述することを例示する。これらのサンプル値e、bおよびxに対応する各スケーリング係数帯の範囲内で、微細構造決定器82は、ハッチングを付された領域144で示されたように、スペクトル140の少なくともゼロ量子化部分142の範囲内で、例えば完全な周波数区間130のより低周波部分146からのスペクトル再生により、微細構造を生成し、かつ、サンプル値e、bおよびxに応じたまたはサンプル値e、bおよびxを使用することによる人工微細構造144をスケーリングすることによるスペクトルにより生じるエネルギーを調整する。興味深いことに、中間的な、または、高周波部分18のスケーリング係数帯の範囲内のスペクトル140の非ゼロ量子化された部分148がある、そして、したがって、図12によるインテリジェントギャップ充填を用いて、それはスペクトル線分解能でかつ任意のスペクトル線位置で完全な周波数区間130の高周波部分18においてさえスペクトル140の範囲内でピークを配置することが可能である、そして、それにもかかわらず、これらゼロ量子化された部分142の範囲内で挿入された微細構造を整形するためのサンプル値x,bおよびeを用いるゼロ量子化された部分142を満たすための機会がある。
最後に、図12および13の説明により実施されるときに、図14は、図9のパラメトリック復号化器を給電するための可能なパラメトリック符号化器を示す。特に、その場合、パラメトリック符号化器は、インバウンド音声信号152を完全な周波数間隔130をカバーしている完全なスペクトログラムにスペクトル的に分解するように構成される変換器150を含み得る。可変変換長を有する重複変換が、使用され得る。スペクトル線符号化器154は、スペクトル線分解能で、このスペクトログラムを符号化する。この目的を達成するために、スペクトル線符号化器154は、変換器150からの高周波部分18および残りの低周波部分を、両部分が隙間なくかつ重複することなく、完全な周波数区間130をカバーするようにともに受信する。パラメトリック高周波符号化器156は、単に変換器150からスペクトログラム132の高周波部分18を受け取って、少なくとも、データストリーム88、すなわち高周波部分18の範囲内でスペクトルエンベロープを記述しているサンプル値を生成する。
すなわち、図12~図14の実施例によれば、音声信号のスペクトログラム132は、スペクトル線符号化器154によってデータストリーム158に符号化される。従って、スペクトル線符号化器154は、時刻またはフレーム136につき、完全な区間130のスペクトル線につき1つのスペクトル線値を符号化し得る。図12の小さい箱160は、これらのスペクトル線値を示す。スペクトル軸16に沿って、スペクトル線は、スケーリング係数帯に分類され得る。換言すれば、周波数区間16は、スペクトル線のグループから成るスケーリング係数帯に再分割され得る。スペクトル線符号化器154は、データストリーム158を介して符号化される量子化されたスペクトル線値160をスケーリングするために、各時刻の中で各スケーリング係数帯毎にスケーリング係数を選択し得る。スペクトル線値160が規則的に配置される時刻およびスペクトル線により定義されたスペクトル時間格子より少なくとも粗く、かつスケール係数分解能により定義されたラスターと一致し得るスペクトル時間分解能で、パラメトリック高周波符号化器156は、高周波部分18の範囲内でスペクトルエンベロープを記述する。興味深いことに、非ゼロ量子化されたスペクトル線値160は、それらが陥るスケーリング係数帯のスケーリング係数によりスケーリングされ、スペクトル線解像度で、高周波部分18の範囲内でいかなる位置でも散在し得る、そして、従って、微細構造決定器82およびスペクトル整形器84が、例えば、スペクトログラム132の高周波部分18の範囲内でそれらの微細構造合成および整形を、ゼロ量子化された部分142に例えば制限するように、それらは高周波部分の範囲内でスペクトルエンベロープを記述しているサンプル値を使用しているスペクトル整形器84の範囲内で、復号化側で高周波合成を生じる。結局、一方では費やされるビットレートおよび他方では入手できる品質の間の非常に効果的な妥協が生じる。
164で示された、図14中の破線の矢によって示されるように、スペクトル線符号化器154は、データストリーム158から再構成可能として、例えば、スペクトログラム132の再構成可能なバージョンに関してパラメトリック高周波符号化器156に通知し得て、パラメトリック高周波符号化器156は、例えば、サンプル値12および/またはスペクトルエンベロープ10の表現のスペクトル時間解像度をサンプル値12の生成を制御するために、この情報を使用する。
上記を要約すれば、上記実施例は、スペクトルエンベロープのサンプル値の特別な特性を利用する。ここで、〔2〕および〔3〕とは対照的に、この種のサンプル値は、スペクトル線の平均値を表す。上記で概説されるすべての実施例において、変換は、MDCTを使用し得る、そして、従って、逆MDCTがすべての逆変換のために使用され得る。いずれにせよ、スペクトルエンベロープのこの種のサンプル値は、ずっと「滑らかで」、対応する複合スペクトル線の平均値に、線形に関連する。加えて、少なくとも前記実施例のいくつかによれば、以下でSFE値と呼ばれる、スペクトルエンベロープのサンプル値は、実際dB領域またはより一般的に対数関数的領域であり、それは、対数関数的表現である。これは、スペクトル線のための線形領域またはべき乗領域の値と比較して更に「平滑性」を改善する。例えば、AACで、べき乗指数は、0.75である。〔4〕とは対照的に、少なくとも若干の実施例において、スペクトルエンベロープサンプル値は、対数関数的領域中に存在し、特性および符号化分布の構造は、著しく異なる(その大きさに応じて、1つの対数関数的領域値は、概して、線形領域値の指数的に増加している数にマッピングする)。従って、少なくとも、上記した実施例のいくつかは、コンテキスト(コンテキストのより少ない数が、一般的に存在する)の量子化におけるおよび各コンテキスト(各分布の裾は、より広い)における分布の裾を符号化する際における対数関数的表現を利用する。〔2〕とは対照的に、量子化されたコンテキストを計算する際に使用されたように、同一データに基づいて、前記実施例のいくつかは、各コンテキストにおいて固定されたあるいは適応的な線形予測をさらに使用する。依然、最適パフォーマンスを得る間に、この方法は、コンテキストの数を大幅に削減することに役立つ。例えば〔4〕とは対照的に、実施例の少なくともいくつかの中で、対数関数的領域における線形予測は、著しく異なる使用および重要性を有する。例えば、恒常的なエネルギースペクトル領域、更には信号のフェードインおよびフェードアウトスペクトル領域の両方を完全に予測することは、可能である。〔4〕とは対照的に、上記した実施例のいくつかは、任意の分布の最適符号化が代表的なトレーニングデータセットから抽出された情報を使用するのを可能にする算術符号化を使用する。同様に算術符号化を使用する〔2〕とは対照的に、前記実施例によれば、オリジナル値よりむしろ、予測誤差値が、符号化される。さらに、前記実施例で、ビットプレーン符号化は、使用される必要はない。ビットプレーン符号化は、しかしながら、整数値ごとにいくつかの算術符号化ステップを必要とする。それに比べて、前記実施例によれば、スペクトルエンベロープの各サンプル値は、上述のように、全サンプル値分布の中央より外側の値をエスケープ符号化する選択的使用を含む1ステップを含む範囲内で符号化/復号化され得て、それは非常に高速である。
図9、図12および図13に関して上述されたように、再びIGFをサポートするパラメータ復号化器の実施例を手短に要約すれば、この実施例によれば、微細構造決定器82は、第1の周波数区間130、すなわち完全な周波数区間内の音声信号のスペクトログラムの微細構造132を導出するためにスペクトル予測および/またはスペクトルエントロピーコンテキスト導出を使用したスペクトル線毎の復号化を使用するように構成される。周波数-線毎の復号化は、微細構造決定器82が、スペクトル的に、スペクトル行ピッチで配置されるデータストリームからスペクトル線値160を受け取るという事実を示し、それによって、それぞれの時間部分に対応する時刻ごとにスペクトル136を形成する。スペクトル予測の使用は、例えば、スペクトル軸16に沿ったこれらのスペクトル線値の差動符号化を含み得る、すなわち、単に直ちにスペクトル的に先行するスペクトル線値に対する差分だけは、データストリームから復号化されて、この先行値に加えられる。スペクトルエントロピー-コンテキスト導出は、それぞれのスペクトル線値160をエントロピー復号化するためのコンテキストが、現在復号化されたスペクトル線値160の、スペクトル時間近傍において、または少なくともスペクトル近傍で、既に復号化されたスペクトル線値に依存し得る、すなわち、既に復号化されたスペクトル線値に基づいて加算的に選択され得るという事実を意味し得る。微細構造のゼロ量子化された部分142を充填するために、微細構造決定器82は、人工ランダムノイズ生成および/またはスペクトル再生を使用し得る。微細構造決定器82は、例えば、全体の周波数区間130の高周波部分に制限され得る第2の周波数区間18の中で、単にこれを実行する。スペクトル的に再生された部分は、例えば、残りの周波数部分146から取得され得る。スペクトル整形器は、それから、このように、ゼロ量子化された部分でサンプル値12によって記述されているスペクトルエンベロープに従って得られる微細構造の整形を実行する。特に、区間18内の微細構造の非ゼロ量子化部分の整形後の微細構造の結果への寄与は、実際のスペクトルエンベロープ10から独立している。これは、以下を意味する:すなわち、最終的な微細構造スペクトルにおいて、単に部分142は、人工ランダムノイズ生成および/またはスペクトルエンベロープ整形を使用するスペクトル再生により充填され、それらが残っている非ゼロ寄与148は、部分142間に散在するように、人工ランダムノイズ生成および/またはスペクトル再生すなわち充填は、完全にゼロ量子化部分142に制限されるか、あるいは、全ての人工ランダムノイズ生成および/またはスペクトル生成は、交互に生じる、すなわち、スペクトルエンベロープ10により合成された微細構造を生じることを形成することによって、それぞれ合成された微細構造は、付加的な態様において、部分148上に置かれるか、を意味する。しかしながら、その場合でさえ、元の復号化された微細構造の非ゼロ量子化された部分148としての貢献は、維持される。
図12~14の実施例に関して、これらの図に関して記載されているIGF(インテリジェントギャップ充填)手順または概念が、超低ビットレートでさえ符号化信号の品質を大幅に向上させる点に最終的に注意すべきであり、高周波領域18におけるスペクトルの重要な部分は、典型的に不十分なビット割当てのためにゼロに量子化される。より高周波領域18、IGF情報、の微細構造を可能な限り保存するために、低周波領域が、大部分はゼロ、まで量子化された高周波領域、すなわち領域142の目的領域を適応的に置き換えるソースとして使われる。良好な知覚的品質を成し遂げるために重要な要件は、オリジナルの信号のそれを有するスペクトル係数の復号化エネルギーエンベロープのマッチングである。これを達成するために、平均スペクトルエネルギーは、一つ以上の連続的なAACスケーリング係数帯から、スペクトル係数上に算出される。結果の値は、スペクトルエンベロープを記述しているサンプル値12である。スケーリング係数帯によって定義された境界を使用している平均を計算することは、臨界帯域の一部までそれらの境界の既存の慎重なチューニングによって動機づけされ、それは人間の聴覚に特徴的である。上記の通り、平均エネルギーは、例えば、すでにAACスケーリング係数で知られていて、一様に量子化されるものと類似し得る式を使用して、対数関数的な、例えば、dBスケール表現に変換され得る。IGFにおいて、異なる量子化精度が、要求された総ビットレートに応じて任意に使用され得る。平均エネルギーが、IGFによって発生する情報の重要な部分を構成し、それで、データストリーム88内のその効率的な表現は、IGF概念の全体のパフォーマンスにとって、極めて重要である。
いくつかの態様が、装置の文脈において記載されていたにもかかわらず、これらの態様は、対応する方法の説明を表すことも明らかであり、ここで、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈にも記載されている態様は、対応する装置の対応するブロックまたは項目または特徴の説明を表す。方法ステップのいくつかまたは全ては、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のような、ハードウェア装置により(またはハードウェア装置を使用することで)実行され得る。いくつかの実施例では、最も重要な方法ステップの一つ以上は、この種の装置によって実行され得る。
特定の実施要件に応じて、本願発明の実施例は、ハードウェアにおいて、または、ソフトウェアにおいて実施され得る。実施例は、その上に格納される電子的に読込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、ハードディスク、DVD、Blu-Ray(登録商標)、CD、ROM、PROM、EPROM、EEPROMまたはFLASHメモリ、を使用して実行され得る。そして、それぞれの方法が実行されるように、それはプログラム可能なコンピュータシステムと協働する(または協働され得る)。従って、デジタル記憶媒体は、計算機可読でもよい。
本願発明によるいくつかの実施例は、本願明細書において記載されている方法のうちの1つを実行するような、プログラム可能なコンピュータシステムと協働し得る、電子的に読み込み可能な制御信号を有するデータキャリアを含む。
通常、本願発明の実施例は、プログラムコードを有するコンピュータプログラム製品として実施され得て、コンピュータプログラム製品がコンピュータ上で動くときに、プログラムコードが方法の1つを実行するために作動する。プログラムコードは、例えば機械可読キャリアに格納され得る。
他の実施例は、本願明細書において記載され、機械可読キャリアに格納された方法の1つを実行するためのコンピュータプログラムを含む。
換言すれば、本願発明の方法の実施例は、従って、コンピュータプログラムがコンピュータで実行されるとき、本願明細書において記載されている方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
本願発明の方法の更なる実施例は、従って、その上に記録されて、本願明細書において記載されている方法のうちの1つを実行するためのコンピュータプログラムを含むデータ担体(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データ担体、デジタル記憶媒体または記録媒体は、典型的に有形でおよび/または、非遷移である。
本願発明の方法の更なる実施例は、従って、本願明細書において記載されている方法の1つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連のシーケンスは、データ通信接続、例えばインターネットを介して転送されるように例えば構成され得る。
更なる実施例は、本願明細書において記載されている方法の1つを実行するように構成され、あるいは適合された処理手段、例えば、コンピュータまたはプログラム可能な論理装置、を含む。
更なる実施例は、その上に、本願明細書において記載されている方法の1つを実行するためのコンピュータプログラムがその上にインストールされたコンピュータを含む。
本願発明による更なる実施例は、レシーバに、本願明細書に記載された方法の1つを実行するためのコンピュータプログラムを転送する(例えば、電子的に、または、光学的に)ように構成された装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリデバイス等でもよい。装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを含み得る。
いくつかの実施例では、プログラム可能な論理装置(例えば、フィールドプログラマブルゲートアレイ)は、本願明細書において記載されている方法の機能のいくつかまたは全てを実行するために使用され得る。いくつかの実施例では、フィールドプログラマブルゲートアレイは、本願明細書において記載されている方法のうちの1つを実行するために、マイクロプロセッサと協働され得る。通常、方法は、任意のハードウェア装置によって好ましくは実行される。
上記した実施例は、本願発明の原理のために、単に例示するだけである。装置の修正変更および本願明細書において記載された詳細は、当業者にとって明らかであるものと理解される。従って、差し迫った特許請求の範囲のみによって制限され、そして、明細書および実施例の説明により示される具体的な詳細のみで制限されないことが、意図される。
参考文献
[1] International Standard ISO/IEC 14496-3:2005, Information technology - Coding of audio-visual objects - Part 3: Audio, 2005.
[2] International Standard ISO/IEC 23003-3:2012, Information technology - MPEG audio technologies - Part 3: Unified Speech and Audio Coding, 2012.
[3] B. Edler and N. Meine: Improved Quantization and Lossless Coding for Subband Audio Coding, AES 118th Convention, May 2005.
[4] M.J. Weinberger and G. Seroussi: The LOCO-I Lossless Image Compression Algorithm: Principles and Standardization into JPEG-LS, 1999. Available online at http://www.hpl.hp.com/research/info_theory/loco/HPL-98-193R1.pdf
[1] International Standard ISO/IEC 14496-3:2005, Information technology - Coding of audio-visual objects - Part 3: Audio, 2005.
[2] International Standard ISO/IEC 23003-3:2012, Information technology - MPEG audio technologies - Part 3: Unified Speech and Audio Coding, 2012.
[3] B. Edler and N. Meine: Improved Quantization and Lossless Coding for Subband Audio Coding, AES 118th Convention, May 2005.
[4] M.J. Weinberger and G. Seroussi: The LOCO-I Lossless Image Compression Algorithm: Principles and Standardization into JPEG-LS, 1999. Available online at http://www.hpl.hp.com/research/info_theory/loco/HPL-98-193R1.pdf
Claims (23)
- 音声信号のスペクトルエンベロープ(10)の復号化サンプル値(12)のためのコンテキストベースエントロピー復号化器であって、
前記スペクトルエンベロープの現在のサンプル値を、スペクトル時間的に予測して(42)前記現在のサンプル値の推定値を得て;
前記現在のサンプル値のスペクトル時間的近傍における前記スペクトルエンベロープのすでに復号化されたサンプル値のペアの間に、偏差のための量に依存している前記現在のサンプル値のためのコンテキストを決定し(44);
決定された前記コンテキストを使用している前記現在のサンプル値の予測残差値をエントロピー復号化し(46);
前記推定値および前記予測残差値を結合して(48)、前記現在のサンプル値を得るように構成された、コンテキストベースエントロピー復号化器。 - 線形予測により前記スペクトル時間的予測を実行するように更に構成された、請求項1に記載のコンテキストベースエントロピー復号化器。
- 前記偏差を測定するために前記現在のサンプル値の前記スペクトル時間的近傍における前記スペクトルエンベロープのすでに復号化されたサンプル値の前記ペア間の符号付き差分を使用するように更に構成された、請求項1又は2に記載のコンテキストベースエントロピー復号化器。
- 前記現在のサンプル値の前記スペクトル時間的近傍における前記スペクトルエンベロープのすでに復号化されたサンプル値の第1のペア間の偏差のための第1の量および前記現在のサンプル値の前記スペクトル時間的近傍における前記スペクトルエンベロープのすでに復号化されたサンプル値の第2のペア間の偏差のための第2の量、但し、前記第1のペアは互いにスペクトル的に隣接し、前記第2のペアは互いに時間的に隣接している、に依存している前記現在のサンプル値のための前記コンテキストを決定するように更に構成された、以前の請求項のいずれかに記載のコンテキストベースエントロピー復号化器。
- 前記第1および第2のペアの前記すでに復号化されたサンプル値を線形結合することにより、前記スペクトルエンベロープの前記現在のサンプル値をスペクトル時間的に予測するように更に構成された、請求項4に記載のコンテキストベースエントロピー復号化器。
- 前記音声信号が所定の閾値より大きい前記ビットレートで符号化される場合には、前記係数は異なるコンテキストに対し同じであるように、かつ、前記ビットレートが前記所定の閾値より小さい場合には、前記係数が前記異なるコンテキストに対し独立に設定されるように、前記線型結合係数が設定されるように更に構成された、請求項5に記載のコンテキストベースエントロピー復号化器。
- 前記スペクトルエンベロープの前記サンプル値を復号化する際に、各時刻において最低周波数から最高周波数に通じる各時刻において、各時刻ごとに前記サンプル値を横切る復号化順序(30)を使用して前記サンプル値を順次復号化するようにさらに構成された、以前の請求項のいずれかに記載のコンテキストベースエントロピー復号化器。
- 前記コンテキストを決定する際に、前記偏差のための前記量を量子化し、前記量子化された量を使用している前記コンテキストを決定するようにさらに構成された、以前の請求項のいずれかに記載のコンテキストベースエントロピー復号化器。
- 所定区間(34)の外側で前記偏差のための前記量のために一定であり、前記所定区間はゼロを含む前記偏差のための前記量の前記量子化における量子化関数(32)を使用するようにさらに構成された、請求項8に記載のコンテキストベースエントロピー復号化器。
- 前記スペクトルエンベロープの値は、整数個として表示され、かつ、前記所定区間(34)の長さは、前記スペクトルエンベロープの値の整数表現の表現可能な状態の数の1/16より小さいか、等しい、請求項9に記載のコンテキストベースエントロピー復号化器。
- 前記現在のサンプル値を、組合せにより導出されるように対数関数的領域から線形領域まで転送する(50)ように更に構成される、以前の請求項のいずれかに記載のコンテキストベースエントロピー復号化器。
- 前記残差値をエントロピー復号化する際に、復号化順序に沿って前記サンプル値を順次復号化し、かつスペクトルエンベロープの前記サンプル値を順次復号化する間は一定である、コンテキスト別の確率分布のセットを使用するようにさらに構成された、以前の請求項のいずれかに記載のコンテキスト適合エントロピー復号化器。
- 前記残差値をエントロピー復号化する際に、前記残差値が所定値の範囲(68)の外側にある場合にエスケープ符号化機構を使用するようにさらに構成された、以前の請求項のいずれかに記載のコンテキストベースエントロピー復号化器。
- 前記スペクトルエンベロープの前記サンプル値が整数として表わされ、かつ前記予測残差が整数として表わされ、かつ、前記所定値の範囲の区間境界(70、72)の絶対値は、前記予測残差値の表示可能状態の数の1/8より小さいか等しい、請求項13に記載のコンテキストベースエントロピー復号化器。
- パラメトリック復号化器は、:
以前の請求項のいずれかによる音声信号のスペクトルエンベロープのサンプル値を復号化するためのコンテキストベースエントロピー復号化器(40)と;
前記音声信号のスペクトログラムの微細構造を決定するように構成された微細構造決定器(82)と;
前記スペクトルエンベロープに従って前記微細構造を成形するように構成されたスペクトル成形器(84)とを含むパラメトリック復号化器。 - 前記微細構造決定器は、人工ランダムノイズ生成、スペクトル再生、およびスペクトル予測および/またはスペクトルエントロピー―コンテキスト導出を使用しているスペクトル線方向復号化の少なくとも一つを使用している前記スペクトログラムの前記微細構造を決定するように構成される、請求項15に記載のパラメトリック復号化器。
- 前記音声信号のスペクトログラムのより低い周波数区間(98)を復号化するように構成された低周波区間復号化器(94)をさらに含み、前記コンテキストベースエントロピー符号化器、前記微細構造決定器および前記スペクトル成形器は、前記スペクトルエンベロープによる前記微細構造の前記成形が、前記より低周波区間のスペクトル高周波拡張(18)内で実行されるように構成されている、請求項15または16に記載のパラメトリック復号化器。
- 前記低周波区間復号化器(94)は、スペクトル予測および/またはスペクトルエントロピー-コンテキスト導出を使用するスペクトル線方向復号化を使用してまたは復号化された時間領域低周波帯音声信号のスペクトル分解を使用して前記スペクトログラムの微細構造を決定するように構成される、請求項17に記載のパラメトリック復号化器。
- 前記微細構造決定器は、第1の周波数区間(130)内で前記音声信号の前記スペクトログラムの前記微細構造を導出し、前記第1の周波数区間と重複する第2の周波数区間(18)内で前記微細構造のゼロ量子化された部分(142)を設置し、かつ前記ゼロ量子化された部分(142)上へ人工ランダムノイズ生成および/またはスペクトル再生を適用するために、スペクトル予測および/またはスペクトルエントロピー-コンテキスト導出を使用するスペクトル線方向復号化を使用するよう構成され、前記スペクトル成形器(84)は、前記ゼロ量子化された部分(142)で前記スペクトルエンベロープに従って前記微細構造の前記成形を実行するように構成される、請求項15または16に記載のパラメトリック復号化器。
- 音声信号のスペクトルエンベロープのサンプル値を符号化するためのコンテキストベースエントロピー符号化器は、
前記スペクトルエンベロープの現在のサンプル値をスペクトル時間的に予測して、前記現在のサンプル値の推定値を得て;
前記現在のサンプル値のスペクトル時間近傍の前記スペクトルエンベロープのすでに復号化されたサンプル値のペアの間に、偏差のための量に依存している前記現在のサンプル値のためのコンテキストを決定し;
前記推定値および前記現在のサンプル値の間に偏差に基づいて予測残差値を決定し;
前記決定されたコンテキストを使用している前記現在のサンプル値の前記予測残差値をエントロピー符号化するように構成されたコンテキストベースエントロピー符号化器。 - 音声信号のスペクトルエンベロープのサンプル値を復号化する、コンテキストベースエントロピー復号化を使用する方法であって、
前記スペクトルエンベロープの現在のサンプル値を、スペクトル時間的に予測して、前記現在のサンプル値の推定値を得て;
前記現在のサンプル値のスペクトル時間近傍の前記スペクトルエンベロープのすでに復号化されたサンプル値のペア間に、偏差のための量に依存している前記現在のサンプル値のためのコンテキストを決定し;
決定された前記コンテキストを使用している前記現在のサンプル値の予測残差値をエントロピー復号化し;
前記推定値および前記予測残差値を結合して、前記現在のサンプル値を得ること、を含む方法。 - コンテキストベースエントロピー符号化を使用して、音声信号のスペクトルエンベロープのサンプル値を符号化するための方法であって、
前記スペクトルエンベロープの現在のサンプル値をスペクトル時間的に予測して、前記現在のサンプル値の推定値を得て;
前記現在のサンプル値のスペクトル時間近傍の前記スペクトルエンベロープのすでに復号化されたサンプル値のペアの間に、偏差のための量に依存している前記現在のサンプル値のためのコンテキストを決定し;
前記推定値および前記現在のサンプル値の間の偏差に基づいて予測残差値を決定し;
決定された前記コンテキストを使用している前記現在のサンプル値の前記予測残差値をエントロピー符号化する方法。 - コンピュータ上で動くときに、請求項21または22による方法を実行するためのプログラムコードを有するコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13177351 | 2013-07-22 | ||
EP13177351.7 | 2013-07-22 | ||
EP13189336.4A EP2830055A1 (en) | 2013-07-22 | 2013-10-18 | Context-based entropy coding of sample values of a spectral envelope |
EP13189336.4 | 2013-10-18 | ||
JP2020129052A JP7260509B2 (ja) | 2013-07-22 | 2020-07-30 | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020129052A Division JP7260509B2 (ja) | 2013-07-22 | 2020-07-30 | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023098967A true JP2023098967A (ja) | 2023-07-11 |
Family
ID=48808217
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016528422A Active JP6374501B2 (ja) | 2013-07-22 | 2014-07-15 | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 |
JP2018135773A Active JP6744363B2 (ja) | 2013-07-22 | 2018-07-19 | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー復号化器、パラメトリック復号化器、コンテキストベースエントロピー符号化器、復号化方法、符号化方法およびコンピュータプログラム |
JP2020129052A Active JP7260509B2 (ja) | 2013-07-22 | 2020-07-30 | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 |
JP2023062397A Pending JP2023098967A (ja) | 2013-07-22 | 2023-04-06 | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016528422A Active JP6374501B2 (ja) | 2013-07-22 | 2014-07-15 | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 |
JP2018135773A Active JP6744363B2 (ja) | 2013-07-22 | 2018-07-19 | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー復号化器、パラメトリック復号化器、コンテキストベースエントロピー符号化器、復号化方法、符号化方法およびコンピュータプログラム |
JP2020129052A Active JP7260509B2 (ja) | 2013-07-22 | 2020-07-30 | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 |
Country Status (20)
Country | Link |
---|---|
US (5) | US9947330B2 (ja) |
EP (4) | EP2830055A1 (ja) |
JP (4) | JP6374501B2 (ja) |
KR (1) | KR101797407B1 (ja) |
CN (2) | CN105556599B (ja) |
AR (1) | AR096986A1 (ja) |
AU (1) | AU2014295314B2 (ja) |
BR (1) | BR112016001142B1 (ja) |
CA (1) | CA2918851C (ja) |
ES (2) | ES2665646T3 (ja) |
MX (1) | MX357136B (ja) |
MY (1) | MY192658A (ja) |
PL (2) | PL3025338T3 (ja) |
PT (2) | PT3333849T (ja) |
RU (1) | RU2663363C2 (ja) |
SG (1) | SG11201600492QA (ja) |
TR (1) | TR201807486T4 (ja) |
TW (1) | TWI557725B (ja) |
WO (1) | WO2015010966A1 (ja) |
ZA (1) | ZA201601009B (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106941003B (zh) * | 2011-10-21 | 2021-01-26 | 三星电子株式会社 | 能量无损编码方法和设备以及能量无损解码方法和设备 |
EP2830064A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection |
EP2830055A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Context-based entropy coding of sample values of a spectral envelope |
US10553228B2 (en) * | 2015-04-07 | 2020-02-04 | Dolby International Ab | Audio coding with range extension |
TW201711475A (zh) * | 2015-09-02 | 2017-03-16 | 矽創電子股份有限公司 | 哥倫布-萊斯編碼電路與解碼電路 |
EP3483879A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Analysis/synthesis windowing function for modulated lapped transformation |
WO2019091576A1 (en) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits |
EP3483886A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Selecting pitch lag |
EP3483880A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Temporal noise shaping |
EP3483878A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder supporting a set of different loss concealment tools |
EP3483884A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal filtering |
EP3483882A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Controlling bandwidth in encoders and/or decoders |
WO2019091573A1 (en) * | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters |
EP3483883A1 (en) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding and decoding with selective postfiltering |
US11589360B2 (en) * | 2020-09-22 | 2023-02-21 | The United States Of America As Represented By The Secretary Of The Army | Distributed adaptive beamforming and nullforming for secure wireless communications |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2313525B (en) | 1996-05-24 | 2000-06-07 | Motorola Ltd | Filter for multicarrier communication system and method for peak power control therein |
US6778965B1 (en) * | 1996-10-10 | 2004-08-17 | Koninklijke Philips Electronics N.V. | Data compression and expansion of an audio signal |
SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
SE9903553D0 (sv) | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
US6978236B1 (en) * | 1999-10-01 | 2005-12-20 | Coding Technologies Ab | Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching |
SE0202159D0 (sv) * | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
US7447631B2 (en) * | 2002-06-17 | 2008-11-04 | Dolby Laboratories Licensing Corporation | Audio coding system using spectral hole filling |
WO2005001814A1 (en) * | 2003-06-30 | 2005-01-06 | Koninklijke Philips Electronics N.V. | Improving quality of decoded audio by adding noise |
US7460990B2 (en) | 2004-01-23 | 2008-12-02 | Microsoft Corporation | Efficient coding of digital media spectral data using wide-sense perceptual similarity |
JP2006047561A (ja) * | 2004-08-03 | 2006-02-16 | Matsushita Electric Ind Co Ltd | オーディオ信号符号化装置およびオーディオ信号復号化装置 |
UA91853C2 (ru) * | 2005-04-01 | 2010-09-10 | Квелкомм Инкорпорейтед | Способ и устройство для векторного квантования спектрального представления огибающей |
EP1952392B1 (en) | 2005-10-20 | 2016-07-20 | LG Electronics Inc. | Method, apparatus and computer-readable recording medium for decoding a multi-channel audio signal |
US7720677B2 (en) * | 2005-11-03 | 2010-05-18 | Coding Technologies Ab | Time warped modified transform coding of audio signals |
US8392176B2 (en) * | 2006-04-10 | 2013-03-05 | Qualcomm Incorporated | Processing of excitation in audio coding and decoding |
EP1852849A1 (en) * | 2006-05-05 | 2007-11-07 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream |
US8260609B2 (en) * | 2006-07-31 | 2012-09-04 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband encoding and decoding of inactive frames |
TR201906713T4 (tr) | 2007-01-10 | 2019-05-21 | Koninklijke Philips Nv | Audio kod çözücü. |
US8548815B2 (en) * | 2007-09-19 | 2013-10-01 | Qualcomm Incorporated | Efficient design of MDCT / IMDCT filterbanks for speech and audio coding applications |
US20090099844A1 (en) * | 2007-10-16 | 2009-04-16 | Qualcomm Incorporated | Efficient implementation of analysis and synthesis filterbanks for mpeg aac and mpeg aac eld encoders/decoders |
JP5018557B2 (ja) | 2008-02-29 | 2012-09-05 | カシオ計算機株式会社 | 符号化装置、復号化装置、符号化方法、復号化方法及びプログラム |
EP2346029B1 (en) | 2008-07-11 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, method for encoding an audio signal and corresponding computer program |
WO2010003563A1 (en) * | 2008-07-11 | 2010-01-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder for encoding and decoding audio samples |
RU2589309C2 (ru) * | 2008-07-11 | 2016-07-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Передатчик сигнала активации с деформацией по времени, кодер звукового сигнала, способ преобразования сигнала активации с деформацией по времени, способ кодирования звукового сигнала и компьютерные программы |
EP4376307A3 (en) * | 2008-07-11 | 2024-07-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and audio decoder |
PT2146344T (pt) * | 2008-07-17 | 2016-10-13 | Fraunhofer Ges Forschung | Esquema de codificação/descodificação de áudio com uma derivação comutável |
KR20100136890A (ko) * | 2009-06-19 | 2010-12-29 | 삼성전자주식회사 | 컨텍스트 기반의 산술 부호화 장치 및 방법과 산술 복호화 장치 및 방법 |
MX2012004569A (es) | 2009-10-20 | 2012-06-08 | Fraunhofer Ges Forschung | Codificador de audio, decodificador de audio, metodo para codificar informacion de audio, metodo para decodificar informacion de audio y programa de computacion que usa la deteccion de un grupo de valores espectrales previamente decodificados. |
EP4404561A2 (en) | 2010-04-13 | 2024-07-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoding method for processing stereo audio signals using a variable prediction direction |
US9047875B2 (en) * | 2010-07-19 | 2015-06-02 | Futurewei Technologies, Inc. | Spectrum flatness control for bandwidth extension |
US8532985B2 (en) * | 2010-12-03 | 2013-09-10 | Microsoft Coporation | Warped spectral and fine estimate audio encoding |
EP2830055A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Context-based entropy coding of sample values of a spectral envelope |
-
2013
- 2013-10-18 EP EP13189336.4A patent/EP2830055A1/en not_active Withdrawn
-
2014
- 2014-07-14 TW TW103124173A patent/TWI557725B/zh active
- 2014-07-15 SG SG11201600492QA patent/SG11201600492QA/en unknown
- 2014-07-15 PL PL14738866T patent/PL3025338T3/pl unknown
- 2014-07-15 AU AU2014295314A patent/AU2014295314B2/en active Active
- 2014-07-15 PT PT172106528T patent/PT3333849T/pt unknown
- 2014-07-15 MY MYPI2016000068A patent/MY192658A/en unknown
- 2014-07-15 ES ES14738866.4T patent/ES2665646T3/es active Active
- 2014-07-15 WO PCT/EP2014/065173 patent/WO2015010966A1/en active Application Filing
- 2014-07-15 PL PL17210652T patent/PL3333849T3/pl unknown
- 2014-07-15 RU RU2016105764A patent/RU2663363C2/ru active
- 2014-07-15 EP EP17210652.8A patent/EP3333849B1/en active Active
- 2014-07-15 PT PT147388664T patent/PT3025338T/pt unknown
- 2014-07-15 CN CN201480041809.7A patent/CN105556599B/zh active Active
- 2014-07-15 BR BR112016001142-2A patent/BR112016001142B1/pt active IP Right Grant
- 2014-07-15 EP EP14738866.4A patent/EP3025338B1/en active Active
- 2014-07-15 CN CN201911105761.2A patent/CN110895945B/zh active Active
- 2014-07-15 TR TR2018/07486T patent/TR201807486T4/tr unknown
- 2014-07-15 CA CA2918851A patent/CA2918851C/en active Active
- 2014-07-15 MX MX2016000509A patent/MX357136B/es active IP Right Grant
- 2014-07-15 JP JP2016528422A patent/JP6374501B2/ja active Active
- 2014-07-15 EP EP21212614.8A patent/EP3996091A1/en active Pending
- 2014-07-15 KR KR1020167003229A patent/KR101797407B1/ko active IP Right Grant
- 2014-07-15 ES ES17210652T patent/ES2905692T3/es active Active
- 2014-07-21 AR ARP140102688A patent/AR096986A1/es active IP Right Grant
-
2016
- 2016-01-19 US US15/000,844 patent/US9947330B2/en active Active
- 2016-02-15 ZA ZA2016/01009A patent/ZA201601009B/en unknown
-
2018
- 2018-03-16 US US15/923,643 patent/US10726854B2/en active Active
- 2018-07-19 JP JP2018135773A patent/JP6744363B2/ja active Active
-
2020
- 2020-07-01 US US16/918,835 patent/US11250866B2/en active Active
- 2020-07-30 JP JP2020129052A patent/JP7260509B2/ja active Active
-
2022
- 2022-01-07 US US17/571,237 patent/US11790927B2/en active Active
-
2023
- 2023-04-06 JP JP2023062397A patent/JP2023098967A/ja active Pending
- 2023-09-11 US US18/464,986 patent/US20240079020A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7260509B2 (ja) | スペクトルエンベロープのサンプル値のコンテキストベースエントロピー符号化 | |
US7774205B2 (en) | Coding of sparse digital media spectral data | |
US7761290B2 (en) | Flexible frequency and time partitioning in perceptual transform coding of audio | |
JP6385433B2 (ja) | オーディオ信号のスペクトルのスペクトル係数のコード化 | |
EP1960999B1 (en) | Method and apparatus encoding an audio signal | |
KR102546098B1 (ko) | 블록 기반의 오디오 부호화/복호화 장치 및 그 방법 | |
KR20100114484A (ko) | 오디오 신호 처리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230508 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |