JP7126328B2 - 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ - Google Patents
符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ Download PDFInfo
- Publication number
- JP7126328B2 JP7126328B2 JP2020114013A JP2020114013A JP7126328B2 JP 7126328 B2 JP7126328 B2 JP 7126328B2 JP 2020114013 A JP2020114013 A JP 2020114013A JP 2020114013 A JP2020114013 A JP 2020114013A JP 7126328 B2 JP7126328 B2 JP 7126328B2
- Authority
- JP
- Japan
- Prior art keywords
- transform
- signal
- mdct
- channel
- kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims description 70
- 238000000034 method Methods 0.000 claims description 71
- 230000003595 spectral effect Effects 0.000 claims description 65
- 230000003044 adaptive effect Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 48
- 238000001228 spectrum Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 18
- 239000002131 composite material Substances 0.000 claims description 15
- 238000013139 quantization Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 2
- 230000008649 adaptation response Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 20
- 230000010363 phase shift Effects 0.000 description 18
- 230000002441 reversible effect Effects 0.000 description 15
- 238000005457 optimization Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
窓掛け処理の後、時間出力xi,n はオーバーラップ・アンド・アッド(OLA)プロセスによって前の時間出力xi-1,n と組み合わされる。Cは、0より大きいか又は1以下の定数パラメータであってもよく、例えば、2/Nとなる。
例えば、
・各高調波が複数のMDCTビンによって表されるように、MDCTを介してサンプリン グされた特定の基本周波数を有する高調波信号である。これは、スペクトル領域におい て準最適エネルギー圧縮、すなわち低い符号化利得を導く。
・従来のM/Sステレオベースのジョイントチャネルコーディングでは利用できない、チ ャネルのMDCTビン間で約90度の位相シフトを持つステレオ信号を生成する。チャ ネル間位相差(IPD)の符号化を含むより高度なステレオ符号化は、例えば、HE- AACのパラメトリックステレオまたはMPEGサラウンドを使用しているが、このよ うなツールは別のフィルタバンクドメインで動作し、複雑さが増している。
・MDCT-IVは、その左側で奇数対称性を示し、その右側で偶数対称性を示す。合成された信号は、この変換の信号の逆畳み込みの間、その左側で反転される。
・MDST-IVは、その左側で偶数対称性を示し、その右側で偶数対象性を示す。合成された信号は、この変換の信号の逆畳み込みの間、その右側で反転される。
・MDCT-IIは、その左側で偶数対称性を示し、その右側で奇数対称性を示す。合成された信号は、この変換の信号の逆折畳みの間のいずれの側でも反転されない。
・MDST-IIは、その左側で奇数対称を示し、その右側で偶数対称性を示す。合成された信号は、この変換の信号の逆畳み込みの間、両側で反転される。
DCTを参照することによって例示されているが、他のエイリアシング導入変換も同様の類似の方法で処理することができる。重複変換として、MDCTは、(同じ数ではなく)入力の半分の出力を持つ点で、他のフーリエ関連変換に比べて少し珍しい。特に、それは線形関数F:R2N → RN である(Rは実数の集合を表している)。2N個の実数x0,...,x2N-1は、次の式に従ってN個の実数X0,...,XN-1に変換される。
および
IMDCT(MDCT(a,b,c,d))=(a-bR,b-aR,c+dR,d+cR)/2
となる。
IMDCT(MDCT(A,B))=(A-AR,B+BR)/2
で書くことができる。
WR・(WRB+(WRB)R)=WR・(WRB+WBR)=WR 2B+WWRBR
W・(WB-WRBR)=W2B-WWRBR
したがって、
・(逆の)MDCT-IVの後には、逆MDCT-IVまたは逆MDST-IIを続ける。
・(逆の)MDST-IVの後には、逆MDST-IVまたは逆MDCT-IIを続ける。
・(逆の)MDCT-IIの後には、逆MDCT-IVまたは逆MDST-IIを続ける。
・(逆の)MDST-IIの後には、逆MDST-IVまたは逆MDCT-IIを続ける。
次いで、サイド信号は、ミッド/サイドエンコーディングに関して図12Cに示すように、例えば和差分処理を行うコンバイナ1162に入力される。具体的には、ブロック1162は、左チャネルの周波数領域表現および右チャネルの周波数領域表現を得るために、(逆の)ミッド/サイド復号を実行する。次に、周波数領域表現は、対応する周波数/時間変換器52および53によって時間領域表現に変換される。
方法1500は、スペクトル値の連続するブロックを時間値の重なり合う連続ブロックに変換するステップ1505と、復号されたオーディオ値を得るために時間値の連続するブロックを重ね合わせて加算するステップ1510と、制御情報を受信し且つ制御情報に応じて、カーネルの両側に異なる対称性を有する1つ以上の変換カーネルを含む変換カーネルの第1のグループと、カーネルの両側に同じ対称性を有する1つ以上の変換カーネルを含む変換カーネルの第2のグループとの間で、切り替えるステップ1515と、を含む。
[1] H. S. Malvar, Signal Processing with Lapped Transforms, Norwood: Artech House, 1992.
[2] J. P. Princen and A. B. Bradley, "Analysis/Synthesis Filter Bank Design Based on Time
Domain Aliasing Cancellation," IEEE Trans. Acoustics, Speech, and Signal Proc., 1986.
[3] J. P. Princen, A. W. Johnson, and A. B. Bradley, "Subband/transform coding using filter
bank design based on time domain aliasing cancellation," in IEEE ICASSP, vol. 12, 1987.
[4] H. S. Malvar, "Lapped Transforms for Efficient Transform/Subband Coding," IEEE Trans. Acoustics, Speech, and Signal Proc., 1990.
[5] http://en.wikipedia.org/wiki/Modified_discrete_cosine_transform
Claims (30)
- 符号化されたオーディオ信号(4)を復号するためのデコーダ(2)であって、
前記デコーダは、
連続するスペクトル値(4'、4'')のブロックを連続する時間値(10)のブロックに変換する適応型スペクトル-時間変換器(6)、および
前記時間値(10)の連続するブロックを重畳加算して、復号化されたオーディオ値(14)を得るための重畳加算プロセッサ(8)を含み、
前記適応型スペクトル-時間変換器(6)は、制御情報(12)を受信し、前記制御情報(12)に応じて、カーネルの両側で異なる対称性を有する1つ以上の変換カーネルを含む第1変換カーネルグループと、変換カーネルの両側で同じ対称性を有する1つ以上の変換カーネルを含む第2変換カーネルグループとの間で、信号適応的に切り替えるように構成される、デコーダ。 - 前記第1変換カーネルグループは、前記カーネルの左側で奇対称性を有し、右側で偶対称性を有する、またはその逆である1つ以上の変換カーネルを有する、あるいは前記第2変換カーネルグループは、前記カーネルの両側で偶対称性または奇対称性を有する1つ以上の変換カーネルを有する、請求項1に記載のデコーダ(2)。
- 前記第1変換カーネルグループは、逆MDCT-IV変換カーネルまたは逆MDST-IV変換カーネルを含む、あるいは前記第2変換カーネルグループは、逆MDCT-II変換カーネルまたは逆MDST-II変換カーネルを含む、請求項1に記載のデコーダ(2)。
- 前記第1グループおよび前記第2グループの前記変換カーネルは、以下の式に基づいていて、
前記第1グループの前記少なくとも1つの変換カーネルは、パラメータ
cs( )=cos( )且つk0=0.5
または
cs( )=sin( )且つk0=0.5
に基づいている、
または
前記第2グループの少なくとも1つの変換カーネルは、パラメータ
cs( )=cos( )且つk0=0
または
cs( )=sin( )且つk0=1
に基づいており、
ここで、xi,nは時間領域出力であり、Cは定数パラメータであり、Nは時間窓長であり、specはブロックのためのM個の値を有するスペクトル値であり、MはN/2に等しく、iは時間ブロックインデックスであり、kはスペクトル値を示すスペクトルインデックスであり、nはブロックiにおける時間値を示す時間インデックスであり、n0は整数またはゼロである定数パラメータである、請求項1に記載のデコーダ(2)。 - 前記制御情報(12)は、現在のフレームについての現在の対称性を示す現在のビットを含み、
前記適応型スペクトル-時間変換器(6)は、前記現在のビットが前のフレームで使用されたのと同じ対称性を示すとき、前記第1グループから前記第2グループに切り替わらないように構成され、
前記適応型スペクトル-時間変換器(6)は、前記現在のビットが前記前のフレームで使用されたものとは異なる対称性を示すとき、前記第1グループから前記第2グループに信号適応的に切り替えるように構成される、請求項1に記載のデコーダ(2)。 - 前記適応型スペクトル-時間変換器(6)は、現在のフレームの現在の対称性を示す現在のビットが前のフレームで使用されたものと同じ対称性を示すとき、前記第2グループを前記第1グループに信号適応的に切り替えるように構成され、
前記適応型スペクトル-時間変換器(6)は、前記現在のビットが、前記現在のフレームの現在の対称性が前記前のフレームで使用されていたものとは異なる対称性を有することを示すとき、前記第2グループから前記第1グループに切り替わらないように構成される、請求項1に記載のデコーダ(2)。 - 前記適応型スペクトル-時間変換器(6)は、前のフレームについての前記制御情報(12)を符号化されたオーディオ信号(4)から、および前記前のフレームに続く現在のフレームについての制御情報(12)を前記現在のフレームの制御データセクション内の前記符号化されたオーディオ信号(4)から読み出すように構成される、あるいは
前記適応型スペクトル-時間変換器(6)は、前記現在のフレームの前記制御データセクションから前記制御情報(12)を読み出し、前記前のフレームの制御データセクションから、または前記前のフレームに適用されたデコーダ設定から、前記前のフレームについての前記制御情報(12)を取り出すように構成されている、請求項1に記載のデコーダ(2)。 - 第1および2のマルチチャネルを表すスペクトル値のブロックを受信し、ジョイントマルチチャネル処理技術に従って前記受信したブロックを処理して前記第1のマルチチャネルおよび前記第2のマルチチャネルについてのスペクトル値の処理されたブロックを得るためのマルチチャネルプロセッサ(40)をさらに含み、前記適応型スペクトル-時間変換器(6)は、前記第1のマルチチャネルのための制御情報(12)を使用して前記第1のマルチチャネルのための前記処理されたブロックを、および前記第2のマルチチャネルのための制御情報(12)を使用して前記第2のマルチチャネルのための前記処理されたブロックを処理するように構成される、請求項1に記載のデコーダ(2)。
- 前記マルチチャネルプロセッサ(40)は、前記第1および前記第2のマルチチャネルを表す前記スペクトル値のブロックに関連する複素予測制御情報を使用して複素予測を適用するように構成される、請求項9に記載のデコーダ(2)。
- 前記マルチチャネルプロセッサ(40)は、前記ジョイントマルチチャネル処理技術に従って前記受信したブロックを処理するように構成され、前記受信されたブロックは、前記第1のマルチチャネルの表現と前記第2のマルチチャネルの表現の符号化された残差信号を含み、前記マルチチャネルプロセッサ(40)は、前記符号化された残差信号およびさらなる符号化された信号を使用して、前記第1のマルチチャネルのための処理済みの前記スペクトル値の前記ブロックと、前記第2のマルチチャネルのための処理済みの前記スペクトル値のブロックを計算するように構成される、請求項9に記載のデコーダ(2)。
- 前記第1変換カーネルグループは、逆MDCT-IV変換カーネルまたは逆MDST-IV変換カーネルを含む、あるいは前記第2変換カーネルグループは、逆MDCT-II変換カーネルまたは逆MDST-II変換カーネルを含み、
MDCT-IVは、左側で奇対称性を有し、右側で偶対称性を有し、合成信号がこの変換の信号畳み込みの間に、左側で反転され、
MDST-IVは、左側で奇対称性を有し、右側で偶対称性を有し、合成信号がこの変換の信号畳み込みの間に、右側で反転され、
MDCT-IIは、左側で偶対称性を有し、右側で奇対称性を有し、合成信号がこの変換の信号畳み込みの間に、いずれの側でも反転されず、
MDST-IIは、左側で偶対称性を有し、右側で奇対称性を有し、合成信号がこの変換の信号畳み込みの間に、両側で反転される、請求項1に記載のデコーダ(2)。 - 前記マルチチャネルプロセッサ(40)は、前記ジョイントマルチチャネル処理技術として、ジョイントステレオ処理または3つ以上のチャネルのジョイント処理を実行するように構成され、マルチチャネル信号は2つ以上のチャネルを備える、請求項9に記載のデコーダ(2)。
- 前記適応型スペクトル-時間変換器(6)は、変換の周波数分解能の整数倍と少なくともほぼ等しいピッチを有する高調波信号を表す前記符号化された信号について、第2変換カーネルグループの変換カーネルを使用するように構成される、または、
前記適応型スペクトル-時間変換器(6)は、前記符号化された信号によって表される2つのチャネルのうちの1つのチャネルについてはMDST-IVベースの変換カーネルを使用し、前記2つのチャネルのうちの2番目のチャネルについてはMDCT-IVベースの変換カーネルを使用するように構成される、請求項1に記載のデコーダ(2)。 - オーディオ信号(24)を符号化するためのエンコーダ(22)であって、
前記エンコーダは、
重複する時間値(30)のブロックを連続するスペクトル値(4'、4'')のブロックに変換するための適応型時間-スペクトル変換器(26)、および
第1変換カーネルグループの変換カーネルと、第2変換カーネルグループの変換カーネルとを信号適応的に切り替えるために、前記適応型時間-スペクトル変換器(26)を制御するコントローラ(28)を含み、
前記適応型時間-スペクトル変換器(26)は、制御情報(12)を受信して、前記制御情報(12)に応じて、カーネルの両側で異なる対称性を有する1つ以上の変換カーネルを含む第1変換カーネルグループの変換カーネルと、変換カーネルの両側で同じ対称性を有する1つ以上の変換カーネルを含む第2変換カーネルグループの変換カーネルとの間で、信号適応的に切り替えるように構成される、エンコーダ(22)。 - 現在のフレームについて、前記現在のフレームを生成するために使用される前記変換カーネルの対称性を示す制御情報(12)を有する符号化されたオーディオ信号(4)を生成するための出力インタフェース(32)をさらに含む、請求項15に記載のエンコーダ(22)。
- 前記出力インターフェース(32)は、前記現在のフレームが独立フレームである場合、前記現在のフレームの制御データセクションに、前記現在のフレームおよび前のフレームの対称性情報を含める、あるいは
前記現在のフレームが従属フレームである場合、前記現在のフレームの前記制御データセクションに、前記現在のフレームのための対称性情報のみを含め、前記前のフレームの対称性情報を含めないように構成される、請求項16に記載のエンコーダ(22)。 - 前記第1変換カーネルグループは、左側で奇対称性を有し、且つ、右側で偶対称性を有する、あるいはその逆である1つ以上の変換カーネルを有する、あるいは前記第2変換カーネルグループは、両側で偶対称性または奇対称性を有する1つ以上の変換カーネルを有する、請求項15に記載のエンコーダ(22)。
- 前記第1変換カーネルグループはMDCT-IV変換カーネルまたはMDST-IV変換カーネルを含む、あるいは、前記第2変換カーネルグループはMDCT-II変換カーネルまたはMDST-II変換カーネルを含む、請求項15に記載のエンコーダ(22)。
- 前記コントローラ(28)は、MDCT-IVの後にMDCT-IVまたはMDST-IIが続くように構成される、あるいは、MDST-IVの後にはMDST-IVまたはMDCT-IIが続く、あるいは、前記MDCT-IIの後にはMDCT-IVまたはMDST-IIが続く、あるいは、前記MDST-IIの後にはMDST-IVまたはMDCT-IIが続く、請求項15に記載のエンコーダ(22)。
- 前記コントローラ(28)は、第1のチャネルおよび第2のチャネルを有する前記重複する時間値(30)のブロックを解析して前記第1のチャネルのフレームと、前記第2のチャネルの対応するフレームのための前記変換カーネルを決定するように構成される、請求項15に記載のエンコーダ(22)。
- 前記適応型時間-スペクトル変換器(26)は、マルチチャネル信号の第1のチャネルおよび第2のチャネルを処理するように構成され、前記エンコーダ(22)は、ジョイントマルチチャネル処理技術を用いて、前記第1のチャネルおよび前記第2のチャネルの前記連続するスペクトル値のブロックを処理して処理済みのスペクトル値のブロックを得るためのマルチチャネルプロセッサ(40)と、前記処理済みのスペクトル値のブロックを処理して符号化されたチャネルを得るための符号化プロセッサ(46)とをさらに含む、請求項15に記載のエンコーダ(22)。
- 第1の処理済みのスペクトル値のブロックは前記ジョイントマルチチャネル処理技術の第1の符号化表現を表し、第2の処理済みのスペクトル値のブロックは前記ジョイントマルチチャネル処理技術の第2の符号化表現を表し、前記符号化プロセッサ(46)は、量子化およびエントロピー符号化を使用して前記第1の処理済みのブロックを処理して第1の符号化された表現を形成するように構成され、前記符号化プロセッサ(46)は量子化およびエントロピー符号化を使用して前記第2の処理済みのブロックを処理して第2の符号化された表現を形成するように構成され、また前記符号化プロセッサ(46)は、前記第1の符号化された表現および前記第2の符号化された表現を使用して、符号化されたオーディオ信号(4)のビットストリームを形成するように構成される、請求項22に記載のエンコーダ(22)。
- 前記第1変換カーネルグループはMDCT-IV変換カーネルまたはMDST-IV変換カーネルを含む、または前記第2変換カーネルグループはMDCT-II変換カーネルまたはMDST-II変換カーネルを含み、
前記コントローラ(28)は前記MDCT-IV変換カーネルの後にMDCT-II変換カーネルが続くように構成される、あるいは前記MDST-IV変換カーネルの後には前記MDCT-II変換カーネルが続く、あるいは前記MDCT-II変換カーネルの後には前記MDCT-IV変換カーネルが続く、あるいは前記MDST-II変換カーネルの後には前記MDST-IV変換カーネルが続く、請求項15に記載のエンコーダ(22)。 - 前記MDCT-IVは左側で奇対称性を有し右側で偶対称性を有し、合成信号がこの変換の信号畳み込み中に左側で反転される、または
前記MDST-IVは左側で偶対称性を有し右側で奇対称性を有し、合成信号がこの変換の信号畳み込み中に右側で反転される、または
前記MDCT-IIは左側で偶対称性を有し右側でも偶対称性を有し、合成信号はこの変換の信号畳み込み中にいずれの側でも反転されない、または
前記MDST-IIは左側で奇対称性を有し右側でも奇対称性を有し、合成信号がこの変換の信号畳み込み中に両側で反転される、請求項24に記載のエンコーダ(22)。 - 前記マルチチャネルプロセッサ(40)は、前記ジョイントマルチチャネル処理技術として、ジョイントステレオ処理または3つ以上のチャネルのジョイント処理を実行するように構成され、マルチチャネル信号は2つ以上のチャネルを備える、請求項22に記載のエンコーダ(22)。
- 前記適応型時間-スペクトル変換器(26)は、変換の周波数分解能の整数倍に少なくともほぼ等しいピッチを有する高調波信号を表すオーディオ信号(24)について、第2変換カーネルグループの変換カーネルを使用するように構成される、または、
前記適応型時間-スペクトル変換器(26は、前記オーディオ信号(24)が表す2つのチャネルのうちの1つのチャネルについてMDST-IVベースの変換カーネルを使用し、前記2つのチャネルのうちの2番目のチャネルについてはMDCT-IVベースの変換カーネルを使用するように構成される、請求項15に記載のエンコーダ(22)。 - 符号化されたオーディオ信号(4)を復号する方法(1500)であって、
連続するスペクトル値のブロックを連続する時間値(10)のブロックに変換するステップと、
連続する時間値(10)のブロックを重畳加算して復号されたオーディオ値(14)を得るステップと、
制御情報(12)を受信して、前記制御情報に信号適応的に応じて、時間-スペクトル変換において、カーネルの両側で異なる対称性を有する1つ以上の変換カーネルを含む第1変換カーネルグループの変換カーネルと、変換カーネルの両側で同じ対称性を有する1つ以上の変換カーネルを含む第2の変換カーネルグループの変換カーネルとの間で信号適応的に切り替えるステップを含む、方法。 - オーディオ信号(24)を符号化する方法(1600)であって、
重畳する時間値のブロックを連続するスペクトル値のブロックに時間-スペクトル変換するステップと、
第1変換カーネルグループの変換カーネルと第2変換カーネルグループの変換カーネルとを信号適応的に切り替えるために、前記時間-スペクトル変換するステップを制御するステップと、
制御情報(12)を受信して、前記制御情報に信号適応的に応じて、前記時間-スペクトル変換するステップにおいて、カーネルの両側で異なる対称性を有する1つ以上の変換カーネルを含む第1変換カーネルグループの変換カーネルと、変換カーネルの両側で同じ対称性を有する1つ以上の変換カーネルを含む第2変換カーネルグループの変換カーネルとの間で、信号適応的に切り替えるステップを含む、方法。 - コンピュータまたはプロセッサ上で動作する時に、請求項28または請求項29のいずれかに記載の方法を実行するためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022128735A JP7513669B2 (ja) | 2015-03-09 | 2022-08-12 | 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15158236 | 2015-03-09 | ||
EP15158236.8 | 2015-03-09 | ||
EP15172542.1A EP3067889A1 (en) | 2015-03-09 | 2015-06-17 | Method and apparatus for signal-adaptive transform kernel switching in audio coding |
EP15172542.1 | 2015-06-17 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017548011A Division JP6728209B2 (ja) | 2015-03-09 | 2016-03-08 | 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022128735A Division JP7513669B2 (ja) | 2015-03-09 | 2022-08-12 | 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020184083A JP2020184083A (ja) | 2020-11-12 |
JP7126328B2 true JP7126328B2 (ja) | 2022-08-26 |
Family
ID=52692422
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017548011A Active JP6728209B2 (ja) | 2015-03-09 | 2016-03-08 | 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ |
JP2020114013A Active JP7126328B2 (ja) | 2015-03-09 | 2020-07-01 | 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ |
JP2022128735A Active JP7513669B2 (ja) | 2015-03-09 | 2022-08-12 | 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017548011A Active JP6728209B2 (ja) | 2015-03-09 | 2016-03-08 | 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022128735A Active JP7513669B2 (ja) | 2015-03-09 | 2022-08-12 | 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ |
Country Status (15)
Country | Link |
---|---|
US (5) | US10236008B2 (ja) |
EP (3) | EP3067889A1 (ja) |
JP (3) | JP6728209B2 (ja) |
KR (1) | KR102101266B1 (ja) |
CN (2) | CN107592938B (ja) |
AR (1) | AR103859A1 (ja) |
AU (1) | AU2016231239B2 (ja) |
CA (1) | CA2978821C (ja) |
ES (1) | ES2950286T3 (ja) |
MX (1) | MX2017011185A (ja) |
PL (1) | PL3268962T3 (ja) |
RU (1) | RU2691231C2 (ja) |
SG (1) | SG11201707347PA (ja) |
TW (1) | TWI590233B (ja) |
WO (1) | WO2016142376A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2938244T3 (es) * | 2016-11-08 | 2023-04-05 | Fraunhofer Ges Forschung | Aparato y procedimiento para codificar o decodificar una señal multicanal usando una ganancia lateral y una ganancia residual |
US10224045B2 (en) * | 2017-05-11 | 2019-03-05 | Qualcomm Incorporated | Stereo parameters for stereo decoding |
US10535357B2 (en) * | 2017-10-05 | 2020-01-14 | Qualcomm Incorporated | Encoding or decoding of audio signals |
US10839814B2 (en) * | 2017-10-05 | 2020-11-17 | Qualcomm Incorporated | Encoding or decoding of audio signals |
EP3588495A1 (en) | 2018-06-22 | 2020-01-01 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Multichannel audio coding |
KR20200000649A (ko) * | 2018-06-25 | 2020-01-03 | 네이버 주식회사 | 오디오 병렬 트랜스코딩을 위한 방법 및 시스템 |
CN115132214A (zh) * | 2018-06-29 | 2022-09-30 | 华为技术有限公司 | 立体声信号的编码、解码方法、编码装置和解码装置 |
EP4336497A3 (en) * | 2018-07-04 | 2024-03-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multisignal encoder, multisignal decoder, and related methods using signal whitening or signal post processing |
TWI681384B (zh) * | 2018-08-01 | 2020-01-01 | 瑞昱半導體股份有限公司 | 音訊處理方法與音訊等化器 |
CN110830884B (zh) * | 2018-08-08 | 2021-06-25 | 瑞昱半导体股份有限公司 | 音频处理方法与音频均衡器 |
JP7354275B2 (ja) * | 2019-03-14 | 2023-10-02 | ブームクラウド 360 インコーポレイテッド | 優先度を持つ空間認識マルチバンド圧縮システム |
US11432069B2 (en) * | 2019-10-10 | 2022-08-30 | Boomcloud 360, Inc. | Spectrally orthogonal audio component processing |
CN110855673B (zh) * | 2019-11-15 | 2021-08-24 | 成都威爱新经济技术研究院有限公司 | 一种复杂多媒体数据传输及处理方法 |
KR20220018271A (ko) * | 2020-08-06 | 2022-02-15 | 라인플러스 주식회사 | 딥러닝을 이용한 시간 및 주파수 분석 기반의 노이즈 제거 방법 및 장치 |
WO2022177481A1 (en) * | 2021-02-18 | 2022-08-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoding and decoding complex data |
CN113314130B (zh) * | 2021-05-07 | 2022-05-13 | 武汉大学 | 一种基于频谱搬移的音频对象编解码方法 |
CN116032901A (zh) * | 2022-12-30 | 2023-04-28 | 北京天兵科技有限公司 | 多路音频数据信号采编方法、装置、***、介质和设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013528822A (ja) | 2010-04-09 | 2013-07-11 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | オーディオエンコーダ、オーディオデコーダ、及び複素数予測を使用したマルチチャンネルオーディオ信号処理方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1062963C (zh) * | 1990-04-12 | 2001-03-07 | 多尔拜实验特许公司 | 用于产生高质量声音信号的解码器和编码器 |
FR2680924B1 (fr) | 1991-09-03 | 1997-06-06 | France Telecom | Procede de filtrage adapte d'un signal transforme en sous-bandes, et dispositif de filtrage correspondant. |
JP2642546B2 (ja) * | 1991-10-15 | 1997-08-20 | 沖電気工業株式会社 | 視覚特性の算出方法 |
US5890106A (en) | 1996-03-19 | 1999-03-30 | Dolby Laboratories Licensing Corporation | Analysis-/synthesis-filtering system with efficient oddly-stacked singleband filter bank using time-domain aliasing cancellation |
US6199039B1 (en) * | 1998-08-03 | 2001-03-06 | National Science Council | Synthesis subband filter in MPEG-II audio decoding |
SE9903553D0 (sv) * | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
US6496795B1 (en) | 1999-05-05 | 2002-12-17 | Microsoft Corporation | Modulated complex lapped transform for integrated signal enhancement and coding |
SE0004818D0 (sv) | 2000-12-22 | 2000-12-22 | Coding Technologies Sweden Ab | Enhancing source coding systems by adaptive transposition |
US6963842B2 (en) * | 2001-09-05 | 2005-11-08 | Creative Technology Ltd. | Efficient system and method for converting between different transform-domain signal representations |
US7006699B2 (en) * | 2002-03-27 | 2006-02-28 | Microsoft Corporation | System and method for progressively transforming and coding digital data |
US20030187528A1 (en) | 2002-04-02 | 2003-10-02 | Ke-Chiang Chu | Efficient implementation of audio special effects |
DE10234130B3 (de) | 2002-07-26 | 2004-02-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer komplexen Spektraldarstellung eines zeitdiskreten Signals |
EP1543307B1 (en) | 2002-09-19 | 2006-02-22 | Matsushita Electric Industrial Co., Ltd. | Audio decoding apparatus and method |
KR101106026B1 (ko) * | 2003-10-30 | 2012-01-17 | 돌비 인터네셔널 에이비 | 오디오 신호 인코딩 또는 디코딩 |
US6980933B2 (en) | 2004-01-27 | 2005-12-27 | Dolby Laboratories Licensing Corporation | Coding techniques using estimated spectral magnitude and phase derived from MDCT coefficients |
US20050265445A1 (en) * | 2004-06-01 | 2005-12-01 | Jun Xin | Transcoding videos based on different transformation kernels |
CN101025919B (zh) * | 2006-02-22 | 2011-04-20 | 上海奇码数字信息有限公司 | 音频解码中的合成子带滤波方法和合成子带滤波器 |
DE102006047197B3 (de) | 2006-07-31 | 2008-01-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten |
EP2015293A1 (en) | 2007-06-14 | 2009-01-14 | Deutsche Thomson OHG | Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain |
RU2451998C2 (ru) * | 2007-09-19 | 2012-05-27 | Квэлкомм Инкорпорейтед | Эффективный способ проектирования набора фильтров для mdct/imdct в приложениях для кодирования речи и аудиосигналов |
US20110060433A1 (en) * | 2008-02-01 | 2011-03-10 | Lehigh University | Bilinear algorithms and vlsi implementations of forward and inverse mdct with applications to mp3 audio |
MX2011000375A (es) * | 2008-07-11 | 2011-05-19 | Fraunhofer Ges Forschung | Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada. |
CA2871498C (en) | 2008-07-11 | 2017-10-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder and decoder for encoding and decoding audio samples |
ES2683077T3 (es) * | 2008-07-11 | 2018-09-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada |
CN101751926B (zh) * | 2008-12-10 | 2012-07-04 | 华为技术有限公司 | 信号编码、解码方法及装置、编解码*** |
JP5597968B2 (ja) | 2009-07-01 | 2014-10-01 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
RU2559899C2 (ru) * | 2010-04-09 | 2015-08-20 | Долби Интернешнл Аб | Стереофоническое кодирование на основе mdct с комплексным предсказанием |
BR112012026324B1 (pt) * | 2010-04-13 | 2021-08-17 | Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E. V | Codificador de aúdio ou vídeo, decodificador de aúdio ou vídeo e métodos relacionados para o processamento do sinal de aúdio ou vídeo de múltiplos canais usando uma direção de previsão variável |
US20130166307A1 (en) * | 2010-09-22 | 2013-06-27 | Dolby Laboratories Licensing Corporation | Efficient Implementation of Phase Shift Filtering for Decorrelation and Other Applications in an Audio Coding System |
CN103493130B (zh) | 2012-01-20 | 2016-05-18 | 弗劳恩霍夫应用研究促进协会 | 用以利用正弦代换进行音频编码及译码的装置和方法 |
GB2509055B (en) | 2012-12-11 | 2016-03-23 | Gurulogic Microsystems Oy | Encoder and method |
JP6089878B2 (ja) * | 2013-03-28 | 2017-03-08 | 富士通株式会社 | 直交変換装置、直交変換方法及び直交変換用コンピュータプログラムならびにオーディオ復号装置 |
-
2015
- 2015-06-17 EP EP15172542.1A patent/EP3067889A1/en not_active Withdrawn
-
2016
- 2016-02-24 TW TW105105525A patent/TWI590233B/zh active
- 2016-03-04 AR ARP160100580A patent/AR103859A1/es active IP Right Grant
- 2016-03-08 ES ES16709345T patent/ES2950286T3/es active Active
- 2016-03-08 JP JP2017548011A patent/JP6728209B2/ja active Active
- 2016-03-08 PL PL16709345.9T patent/PL3268962T3/pl unknown
- 2016-03-08 MX MX2017011185A patent/MX2017011185A/es active IP Right Grant
- 2016-03-08 CN CN201680026851.0A patent/CN107592938B/zh active Active
- 2016-03-08 RU RU2017134619A patent/RU2691231C2/ru active
- 2016-03-08 KR KR1020177028552A patent/KR102101266B1/ko active IP Right Grant
- 2016-03-08 CN CN202110100367.0A patent/CN112786061B/zh active Active
- 2016-03-08 WO PCT/EP2016/054902 patent/WO2016142376A1/en active Application Filing
- 2016-03-08 EP EP23178648.4A patent/EP4235656A3/en active Pending
- 2016-03-08 AU AU2016231239A patent/AU2016231239B2/en active Active
- 2016-03-08 CA CA2978821A patent/CA2978821C/en active Active
- 2016-03-08 SG SG11201707347PA patent/SG11201707347PA/en unknown
- 2016-03-08 EP EP16709345.9A patent/EP3268962B1/en active Active
-
2017
- 2017-09-06 US US15/696,934 patent/US10236008B2/en active Active
-
2019
- 2019-02-08 US US16/271,380 patent/US10706864B2/en active Active
-
2020
- 2020-06-11 US US16/899,406 patent/US11335354B2/en active Active
- 2020-07-01 JP JP2020114013A patent/JP7126328B2/ja active Active
-
2022
- 2022-04-15 US US17/722,027 patent/US11854559B2/en active Active
- 2022-08-12 JP JP2022128735A patent/JP7513669B2/ja active Active
-
2023
- 2023-11-16 US US18/511,741 patent/US20240096336A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013528822A (ja) | 2010-04-09 | 2013-07-11 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | オーディオエンコーダ、オーディオデコーダ、及び複素数予測を使用したマルチチャンネルオーディオ信号処理方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7126328B2 (ja) | 符号化されたオーディオ信号を復号するためのデコーダおよびオーディオ信号を符号化するためのエンコーダ | |
US20230319301A1 (en) | Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction | |
AU2011238010B2 (en) | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction | |
JP6196324B2 (ja) | 過渡位置依存のオーバーラップを使用してオーディオ信号を符号化又は復号化する装置及び方法 | |
BR112017019179B1 (pt) | Decodificador para decodificar um sinal de áudio codificado e codificador para codificar um sinal de áudio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200731 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210817 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7126328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |