CN106463123B - 对压缩的高阶高保真立体声(hoa)表示进行解码的方法及装置 - Google Patents

对压缩的高阶高保真立体声(hoa)表示进行解码的方法及装置 Download PDF

Info

Publication number
CN106463123B
CN106463123B CN201580014972.9A CN201580014972A CN106463123B CN 106463123 B CN106463123 B CN 106463123B CN 201580014972 A CN201580014972 A CN 201580014972A CN 106463123 B CN106463123 B CN 106463123B
Authority
CN
China
Prior art keywords
hoa
signal
component
ambient
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580014972.9A
Other languages
English (en)
Other versions
CN106463123A (zh
Inventor
S·科尔多恩
A·克鲁格
O·伍埃博尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Priority to CN202010011894.XA priority Critical patent/CN111182442B/zh
Priority to CN202010011881.2A priority patent/CN111179948A/zh
Priority to CN202010011901.6A priority patent/CN111145766B/zh
Priority to CN202010011895.4A priority patent/CN111179949B/zh
Publication of CN106463123A publication Critical patent/CN106463123A/zh
Application granted granted Critical
Publication of CN106463123B publication Critical patent/CN106463123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于压缩HOA信号的方法包括输入时间帧的空间HOA编码以及随后的感知编码和源编码,该HOA信号是具有HOA系数序列的输入时间帧(C(k))的输入HOA表示。将每个输入时间帧分解(802)为主导声音信号(XPS(k‑1))的帧和环境HOA分量(CAMB(k‑1))的帧。环境HOA分量(CAMB(k‑1))在分层模式下包括在较低位置的输入HOA表示(cn(k‑1))的第一HOA系数序列以及在其余的较高的位置的第二HOA系数序列(cAMB,n(k‑1))。第二HOA系数序列是输入HOA表示和主导声音信号的HOA表示之间的残差的HOA表示的一部分。

Description

对压缩的高阶高保真立体声(HOA)表示进行解码的方法及 装置
技术领域
本发明涉及一种用于压缩高阶高保真立体声(HOA)信号的方法、用于解压缩压缩的HOA信号的方法、用于压缩HOA信号的装置以及用于解压缩压缩的HOA信号的装置。
背景技术
高阶高保真立体声(HOA)提供了表示三维声音的可能性。其他已知的技术是波场合成(WFS)或基于通道的方法(比如22.2)。然而,与基于通道的方法相反,HOA表示提供了独立于特定扩音器设置的优点。然而,该灵活性是以HOA表示在特定扩音器设置上的回放需要解码处理为代价的。与所需扩音器的数量通常非常大的WFS方法相比,HOA也可以被渲染到仅由少量扩音器组成的设置。HOA的进一步的优点是,相同的表示也可以被没有任何修正地用于对于耳机的双耳渲染。
HOA是基于通过截断球谐函数(SH)展开得出的复谐波平面波振幅的所谓空间密度的表示。每个展开系数是角频率的函数,其可以等同地用时域函数表示。因此,不失一般性地,整个HOA声场表示实际上可以被假定为由O个时域函数组成,其中,O表示展开系数的数量。在下面,这些时域函数将被等同地称为HOA系数序列或HOA 通道。通常,使用球坐标系,在球坐标系中,x轴指向前向的位置,y轴指向左边,z轴指向顶部。空间x=(r,θ,φ)T中的位置用半径r>0(即,到坐标原点的距离)、从极轴z测量的倾角θ∈[0,π]、以及在x-y平面中从x轴逆时针测量的方位角φ∈[0,2π[表示。此外,(·)T表示转置。
下面提供HOA编码的更详细的描述。
Figure BDA0001116769610000021
表示的声压相对于时间的傅立叶变换(即,其中,ω表示角频率,i指示虚数单位)可以根据被展开为球谐函数的级数。
这里,cs表示声音的速度,k表示通过
Figure BDA0001116769610000024
与角频率ω相关的角波数,jn(·)表示第一种球贝塞尔函数,
Figure BDA0001116769610000025
表示阶次n和度数m的实数值球谐函数。展开系数
Figure BDA0001116769610000026
仅取决于角波数k。注意到,已经隐含地假定声压在空间上是带限的。因此,级数关于阶次索引n在上限N处被截断,阶次索引n被称为HOA表示的阶次。如果声场用不同角频率ω的并且从角度元组(θ,φ)指定的所有可能的方向到达的无限个谐波平面波的叠加来表示,则相应的平面波复振幅函数C(ω,θ,φ)可以用以下球谐函数展开来表达:
Figure BDA0001116769610000027
其中,展开系数通过
Figure BDA0001116769610000029
与展开系数
Figure BDA00011167696100000210
相关。
假定各个系数
Figure BDA00011167696100000211
是角频率ω的函数,那么逆傅立叶变换(用
Figure BDA00011167696100000212
表示)的应用对于每个阶次n和度数m提供时域函数:
Figure BDA00011167696100000213
这些时域函数可以通过
Figure BDA00011167696100000214
聚集在单个矢量c(t)中。时域函数
Figure BDA00011167696100000215
在矢量c(t)内的位置索引由n(n+1)+1+m给出。矢量c(t)中的元素的总数由O=(N+1)2给出。函数
Figure BDA00011167696100000216
的离散时间版本被称为高保真立体声系数序列。基于帧的HOA表示通过将所有这些序列划分为如下的长度为B、索引为k的帧C(k)而获得:
C(k):=[c((kB+1)TS) c((kB+2)TS)...c((kB+B)TS)],
其中,TS表示采样周期。帧C(k)本身于是可以如下地表示为其各个行ci(k), i=1,...,O的复合:
Figure BDA0001116769610000031
其中,ci(k)表示高保真立体声系数序列的位置索引为i的帧。HOA表示的空间分辨率随着展开的最大阶次N增长而改进。不幸的是,展开系数的数量O随着阶次N二次方地增长,具体为O=(N+1)2.。例如,典型的使用阶次N=4的HOA表示需要O=25个HOA(展开)系数。根据这些考虑,给定期望的单通道采样速率fs和每个采样的位数Nb,用于传输 HOA表示的总位速率由O·fs·Nb确定。因此,每个采样利用Nb=16个位、以fs=48kHz的采样速率传输阶次N=4的HOA表示导致19.2MBits/s的位速率,该位速率对于许多实际的应用(例如流传输)是非常高的。因此, HOA表示的压缩是非常希望的。
以前,HOA声场表示的压缩在欧洲专利申请EP2743922A、 EP2665208A和EP2800401A中被提出过。这些方法的共同之处是,它们执行声场分析,并且将给定的HOA表示分解为方向分量和残差环境分量。
最终的压缩的表示被假定为一方面,包括若干个由方向信号的感知编码得到的量化信号以及环境HOA分量的相关系数序列。另一方面,它被假定为包括与量化信号相关的附加副信息,该副信息对于从 HOA表示的压缩版本重构HOA表示是必需的。
此外,类似的方法在ISO/IEC JTC1/SC29/WG11 N14264 (Working draft 1-HOAtext of MPEG-H 3D audio,2014年1月,San Jose)中有描述,其中,方向分量扩展为所谓的主导声音分量。作为方向分量,主导声音分量被假定为部分地用方向信号(即,具有对应方向的单耳信号,这些单耳信号被假定为从该方向传到收听者)、连同用于从方向信号预测原始HOA表示的各部分的一些预测参数来表示。
另外,主导声音分量被假设为用所谓的基于矢量的信号来表示,基于矢量的信号意指具有对应矢量的单耳信号,该矢量限定基于矢量的信号的方向分布。已知的压缩的HOA表示由I个量化的单耳信号和某些附加的副信息构成,其中,这些I个量化的单耳信号中的固定数量OMIN个单耳信号表示环境HOA分量CAMB(k-2).的前OMIN个系数序列的空间变换版本。其余的I-OMIN个信号的类型在连续的帧之间可以有所变化,并且可以是方向的、基于矢量的、空的、或者表示环境HOA 分量CAMB(k-2)的附加系数序列。
用于压缩具有HOA系数序列的输入时间帧(C(k))的HOA信号表示的已知方法包括对输入时间帧进行空间HOA编码、随后进行感知编码和源编码。如图1a)所示的空间HOA编码包括在方向和矢量估计模块101中执行HOA信号的方向和矢量估计处理,其中,包括关于方向信号的第一元组集合
Figure BDA0001116769610000041
和关于基于矢量的信号的第二元组集合
Figure BDA0001116769610000042
的数据被获得。第一元组集合中的每个包括方向信号的索引和相应的量化方向,第二元组集合中的每个包括基于矢量的信号的索引和限定信号的方向分布的矢量。下一个步骤是将HOA系数序列的每个输入时间帧分解103为多个主导声音信号XPS(k-1)的帧和环境 HOA分量CAMB(k-1)的帧,其中,主导声音信号XPS(k-1)包括所述方向声音信号和所述基于矢量的声音信号。分解进一步提供预测参数ξ(k-1)和目标分配矢量vA,T(k-1)。预测参数ξ(k-1)描述如何从主导声音信号XPS(k-1)内的方向信号预测HOA信号表示的各部分以便丰富主导声音HOA分量,目标分配矢量vA,T(k-1)包含关于如何将主导声音信号分配给给定数量I 个通道的信息。根据目标分配矢量vA,T(k-1)提供的信息修正104环境 HOA分量CAMB(k-1),其中,确定环境HOA分量的哪些系数序列将在给定数量I个通道中传输,这取决于有多少个通道被主导声音信号占据。修正的环境HOA分量CM,A(k-2)和时间预测的修正的环境HOA分量CP,M,A(k-1)被获得。此外,最终的分配矢量vA(k-2)从目标分配矢量 vA,T(k-1)中的信息获得。使用最终的分配矢量vA(k-2)提供的信息将通过分解获得的主导声音信号XPS(k-1)以及所确定的修正的环境HOA分量 CM,A(k-2)和时间预测的修正的环境HOA分量CP,M,A(k-1)的系数序列分配到给定数量的通道,其中,输送信号yi(k-2),i=1,...,I和预测的输送信号 yP,i(k-2),i=1,...,I被获得。然后,对输送信号yi(k-2)和预测的输送信号 yP,i(k-2)执行增益控制(或规范化),其中,增益修正的输送信号zi(k-2)、指数ei(k-2)和异常标志βi(k-2)被获得。
如图1b)所示,感知编码和源编码包括:对增益修正的输送信号 zi(k-2)进行感知编码,其中,感知编码的输送信号
Figure BDA0001116769610000051
被获得;对副信息进行编码,副信息包括所述指数ei(k-2)和异常标志βi(k-2)、第一元组集合和第二元组集合预测参数ξ(k-1)和最终的分配矢量vA(k-2),并且编码的副信息
Figure BDA0001116769610000054
被获得。最后,感知编码的输送信号
Figure BDA0001116769610000055
和编码的副信息被复用到位流中。
发明内容
提议的HOA压缩方法的一个缺点是它提供整体式的(即,不可缩放的)压缩的HOA表示。然而,对于某些应用,比如广播或互联网流传输,可取的是能够将压缩的表示划分为低质量基本层(BL)和高质量增强层(EL)。基本层被假设为提供HOA表示的低质量压缩版本,该版本可以被独立于增强层进行解码。这样的BL对传输误差通常应是高度鲁棒的,并且应被以低数据速率传输以便即使在不良传输状况下也保证解压缩的HOA表示的某个最低质量。EL包含改进解压缩的HOA表示的质量的附加信息。
本发明提供一种用于修改现有的HOA压缩方法以便能够提供包括(低质量)基本层和(高质量)增强层的压缩表示的解决方案。此外,本发明提供一种用于修改现有的HOA解压缩方法以便能够对根据本发明压缩的至少包括低质量基本层的压缩表示进行解码的解决方案。
一个改进涉及获得自含的(低质量)基本层。根据本发明,被假设为包含环境HOA分量CAMB(k-2)的(不失一般性的)前OMIN个系数序列的空间变换版本的OMIN个通道被用作基本层。选择前OMIN个通道形成基本层的优点是它们的时不变类型。然而,照惯例,各个信号缺少声音场景必需的任何主导声音分量。这从环境HOA分量CAMB(k-1)的常规计算也是清楚的,环境HOA分量CAMB(k-1)的常规计算是通过根据下式从原始HOA表示C(k-1)减去主导声音HOA表示CPS(k-1)来进行的:
CAMB(k-1)=C(k-1)-CPS(k-1) (1)
因此,本发明的一个改进涉及这样的主导声音分量的添加。根据本发明,该问题的解决方案是将低空间分辨率的主导声音分量包括到基本层中。为了这个目的,通过根据本发明的空间HOA编码器中的 HOA分解处理输出的环境HOA分量CAMB(k-1)被其修正版本取代。修正的环境HOA分量将原始HOA分量的系数序列包括在被假设总是以空间变换形式传输的前OMIN个系数序列中。HOA分解处理的这个改进可以被看作使HOA压缩在分层模式(例如双层模式)下工作的初始操作。该模式提供例如两个位流、或者可以被划分为基本层和增强层的单个位流。使用或者不使用该模式是由总位流的访问单元中的模式指示位(例如,单个位)来信号告知的。
在一个实施例中,基本层位流仅包括感知编码的信号
Figure BDA0001116769610000062
以及对应的编码的增益控制副信息,该副信息由指数 ei(k-2)和异常标志βi(k-2),i=1,...,OMIN构成。其余的感知编码的信号 i=OMIN+1,...,O和编码的其余的副信息被包括到增强层位流中。在一个实施例中,代替前述总位流
Figure BDA0001116769610000064
基本层位流和增强层位流
Figure BDA0001116769610000066
然后被联合传输。
用于压缩具有高阶高保真立体声(HOA)系数序列的时间帧的 HOA信号表示的方法在权利要求1中公开。用于压缩具有高阶高保真立体声(HOA)系数序列的时间帧的HOA信号表示的装置在权利要求10中公开。
用于解压缩具有高阶高保真立体声(HOA)系数序列的时间帧的 HOA信号表示的方法在权利要求8中公开。用于解压缩具有高阶高保真立体声(HOA)系数序列的时间帧的HOA信号表示的装置在权利要求18中公开。
具有使计算机执行用于压缩具有高阶高保真立体声(HOA)系数序列的时间帧的HOA信号表示的方法的可执行指令的非暂时性计算机可读存储介质在权利要求20中公开。
具有使计算机执行用于解压缩具有高阶高保真立体声(HOA)系数序列的时间帧的HOA信号表示的方法的可执行指令的非暂时性计算机可读存储介质在权利要求21中公开。
本发明的有利的实施例在从属权利要求、下面的描述和附图中公开。
附图说明
参照附图描述本发明的示例性实施例,附图在以下图中示出了:
图1HOA压缩器的常规架构的结构;
图2HOA解压缩器的常规架构的结构;
图3根据本发明的一个实施例的HOA压缩器的空间HOA编码和感知编码部分的架构的结构;
图4根据本发明的一个实施例的HOA压缩器的源编码器部分的架构的结构;
图5根据本发明的一个实施例的HOA解压缩器的感知解码和源解码部分的架构的结构;
图6根据本发明的一个实施例的HOA解压缩器的空间HOA 解码部分的架构的结构;
图7从环境HOA信号到修正的环境HOA信号的帧变换;
图8用于压缩HOA信号的方法的流程图;
图9用于解压缩压缩的HOA信号的方法的流程图;以及
图10根据本发明的一个实施例的HOA解压缩器的空间HOA 解码部分的架构的各部分的细节。
具体实施方式
为了更易于理解,下面概括了图1和图2中的现有技术的解决方案。
图1示出了HOA压缩器的常规架构的结构。在[4]中描述的方法中,方向分量扩展为所谓的主导声音分量。作为方向分量,主导声音分量被假定为部分地用方向信号(指的是具有对应方向的单耳信号,这些单耳信号被假定为从该方向传到收听者)、连同用于从方向信号预测原始HOA表示的各部分的一些预测参数来表示。另外,主导声音分量被假设为用所谓的基于矢量的信号来表示,基于矢量的信号意指具有对应矢量的单耳信号,该矢量限定了基于矢量的信号的方向分布。[4]中提议的HOA压缩器的总体架构在图1中示出。它可以被再分为图1a中描绘的空间HOA编码部分与图1b中描绘的感知和源编码部分。空间HOA编码器提供第一压缩HOA表示,该第一压缩HOA 表示由I个信号连同描述如何创建其HOA表示的副信息构成。在感知和副信息源编码器中,对所提及的I个信号进行感知编码,并且对副信息进行源编码,之后对该两个编码的表示进行复用。
照惯例,空间编码如下工作。
在第一步中,原始HOA表示的第k帧C(k)输入到方向和矢量估计处理模块,该模块提供元组集合
Figure BDA0001116769610000081
Figure BDA0001116769610000082
元组集合
Figure BDA0001116769610000083
由其第一元素表示方向信号的索引、其第二元素表示相应的量化方向的元组构成。元组集合
Figure BDA0001116769610000084
由其第一元素指示基于矢量的信号的索引、其第二元素表示限定信号的方向分布的矢量(即,基于矢量的信号的HOA 表示如何被计算)的元组构成。
通过使用这两个元组集合
Figure BDA0001116769610000085
Figure BDA0001116769610000086
初始HOA帧C(k)在HOA 分解中被分解为所有主导声音信号(即,方向信号和基于矢量的信号) 的帧XPS(k-1)、和环境HOA分量的帧CAMB(k-1)。注意到分别有一个帧的延迟,该延迟是由于为了避免成块效应的重叠相加处理而导致的。此外,HOA分解被假定输出一些预测参数ζ(k-1),这些预测参数描述如何从方向信号预测原始HOA表示的各部分以便丰富主导声音HOA分量。另外,目标分配矢量vA,T(k-1)被提供,该目标分配矢量vA,T(k-1)包含关于在HOA分解处理模块中确定的主导声音信号对于I个可用通道的分配的信息。受到影响的通道可以被假定被占据,这意味着它们不可用于在相应时间帧中输送环境HOA分量的任何系数序列。
在环境分量修正处理模块中,根据目标分配矢量vA,T(k-1)提供的信息修正环境HOA分量的帧CAMB(k-1)。特别地,确定环境HOA分量的哪些系数序列将在给定的I个通道中传输,这尤其取决于关于哪些通道是可用的、但尚未被主导声音信号占据的信息(该信息包含在目标分配矢量vA,T(k-1)中)。另外,如果被选系数序列的索引在连续的帧之间变化,则系数序列的淡入或淡出被执行。
此外,假定环境HOA分量CAMB(k-2)的前OMIN个系数序列总是被选择被进行感知编码并且被传输,其中,OMIN=(NMIN+1)2,NMIN≤N通常是比原始HOA表示的阶次小的阶次。为了使这些HOA系数序列去相关,提出了将它们变换为从一些预定义方向ΩMIN,d,d=1,...,OMIN传来的方向信号(即,一般平面波函数)。连同修正的环境HOA分量CM,A(k-1)一起,时间预测的修正的环境HOA分量CP,M,A(k-1)被计算以供以后用在增益控制处理模块中以便允许有合理的前瞻。
关于环境OHA分量的修正的信息与所有可能的类型的信号对于可用通道的分配直接相关。关于分配的最终信息包含在最终的分配矢量vA(k-2)中。为了计算该矢量,利用目标分配矢量vA,T(k-1)中所包含的信息。
通道分配使用分配矢量vA(k-2)提供的信息将XPS(k-2)中所包含的和 CM,A(k-2)中所包含的适当信号分配给I个可用通道,得到信号yi(k-2), i=1,...,I。此外,XPS(k-1)中所包含的和CP,AMB(k-1)中所包含的适当信号也被分配给I个可用通道,得到预测信号yP,i(k-2),i=1,...,I。信号yi(k-2), i=1,...,I中的每个最后均被增益控制进行处理,其中,信号增益被平滑地修正以实现适合于感知编码器的值范围。预测信号帧yP,i(k-2), i=1,...,I允许有一种前瞻以便避免连续的块之间的严重的增益变化。增益修正被假定在空间解码器中通过增益控制副信息被恢复,增益控制副信息由指数ei(k-2)和异常标志βi(k-2),i=1,...,I构成。
图2示出了如[4]中提出的HOA解压缩器的常规架构的结构。照惯例,HOA解压缩由HOA压缩器组件的对应物构成,这些对应物显然按相反次序布置。它可以被再分为图2a)中描绘的感知和源解码部分与图2b)中描绘的空间HOA解码部分。
在感知和副信息源解码器中,位流首先被解复用为I个信号的感知编码的表示以及编码的副信息,该副信息描述如何创建其HOA表示。相继地,执行所述I个信号的感知解码和副信息的解码。然后,空间HOA解码器从所述I个信号和副信息创建重构的HOA表示。
照惯例,空间HOA解码如下工作。
在空间HOA解码器中,感知解码的信号中的每个首先连同相关联的增益校正指数ei(k)和增益校正异常标志βi(k)一起输入到逆增益控制处理模块。第i逆增益控制处理提供增益校正的信号帧
Figure BDA0001116769610000102
所有的I个增益校正的信号帧连同分配矢量 vAMB,ASSIGN(k)以及元组集合
Figure BDA0001116769610000104
一起被传递到通道再分配。元组集合
Figure BDA0001116769610000106
Figure BDA0001116769610000107
在上文被定义(针对空间HOA编码),分配矢量vAMB,ASSIGN(k)由I个分量构成,这些分量对于每个传输通道指示它是否包含环境HOA分量的系数序列以及它包含环境HOA分量的哪个系数序列。在通道再分配中,增益校正的信号帧
Figure BDA0001116769610000108
被重新分布以重构所有的主导声音信号(即,所有的方向信号和基于矢量的信号) 的帧以及环境HOA分量的中间表示的帧CI,AMB(k)。另外,环境HOA 分量的在第k帧中起作用的系数序列的索引集合
Figure BDA0001116769610000109
以及环境HOA分量的在第(k-1)帧中必须被启用、被禁用以及保持起作用的系数索引集合
Figure BDA00011167696100001011
被提供。
在主导声音合成中,使用元组集合
Figure BDA00011167696100001012
和预测参数集合ζ(k+1)、元组集合
Figure BDA00011167696100001013
和集合
Figure BDA00011167696100001014
Figure BDA00011167696100001015
从所有主导声音信号的帧
Figure BDA00011167696100001017
计算主导声音分量
Figure BDA00011167696100001016
的HOA表示。
在环境合成中,使用环境HOA分量的在第k帧中起作用的系数序列的索引集合
Figure BDA00011167696100001018
从环境HOA分量的中间表示的帧CI,AMB(k)创建环境HOA分量帧
Figure BDA00011167696100001019
注意到有一帧的延迟,该延迟是由于与主导声音HOA分量的同步而引入的。最后,在HOA复合中,环境HOA 分量帧
Figure BDA00011167696100001020
和主导声音HOA分量的帧被叠加以提供解码的HOA帧
Figure BDA00011167696100001022
从以上HOA压缩和解压缩方法的粗略描述已经变得清楚的是,压缩的表示由I个量化的单耳信号和某些附加的副信息构成。这些I 个量化的单耳信号中的固定数量OMIN个单耳信号表示环境HOA分量 CAMB(k-2)的前OMIN个系数序列的空间变换版本。其余的I-OMIN个信号的类型可在连续的帧之间变化,是方向的、基于矢量的、空的、或者表示环境HOA分量CAMB(k-2)的附加系数序列。照其原样来看,压缩的HOA 表示意在于是整体式的。具体地说,一个问题是如何将所描述的表示划分为低质量基本层和增强层。
根据公开的本发明,低质量基本层的候选是包含环境HOA分量 CAMB(k-2)的前OMIN个系数序列的空间变换版本的OMIN个通道。使这些(不失一般性地,前)OMIN个通道成为形成低质量基本层的良好选择的是它们的时不变类型。然而,相应的信号缺少声音场景必需的任何主导声音分量。这从环境HOA分量CAMB(k-1)的常规计算也可以看出,环境 HOA分量CAMB(k-1)的常规计算是通过根据下式从原始HOA表示C(k-1) 减去主导声音HOA表示CPS(k-1)来进行的:
CAMB(k-1)=C(k-1)-CPS(k-1) (1)
该问题的解决方案是将低空间分辨率的主导声音分量包括到基本层中。
下面描述提出的对于HOA压缩的修改。
图3示出了根据本发明的一个实施例的HOA压缩器的空间HOA 编码和感知编码部分的架构的结构。为了还将低空间分辨率的主导声音分量包括基本层中,通过空间HOA编码器(参见图1a)中的HOA 分解处理输出的环境HOA分量CAMB(k-1)被修正版本取代:
Figure BDA0001116769610000111
该修正版本的元素由下式给出:
换句话说,被假设总是被以空间变换形式传输的环境HOA分量的前OMIN个系数序列被原始HOA分量的系数序列取代。空间HOA编码器的其他处理模块可以保持不变。
重要的是注意到,HOA分解处理的这个变化可以被看作使HOA 压缩在所谓的“双层”或“两层”模式下工作的初始操作。该模式提供了可以被划分为低质量基本层和增强层的位流。使用或者不使用该模式是由总位流的访问单元中的单个位以信号告知的。
提供用于基本层和增强层的位流的位流复用的可能的随后的修正在下面进一步描述的图3和4中示出。
基本层位流仅包括感知编码的信号
Figure BDA0001116769610000122
以及对应的编码的增益控制副信息,该副信息由指数ei(k-2)和异常标志βi(k-2),i=1,...,OMIN构成。其余的感知编码的信号
Figure BDA0001116769610000123
和编码的其余的副信息被包括到增强层位流中。代替前述总位流
Figure BDA0001116769610000124
基本层位流
Figure BDA0001116769610000126
和增强层位流
Figure BDA0001116769610000125
然后被联合传输。
在图3和图4中,示出了用于压缩HOA信号的装置,所述HOA 信号是具有HOA系数序列的输入时间帧(C(k))的输入HOA表示。所述装置包括用于输入时间帧的空间HOA编码以及随后的感知编码的空间HOA编码和感知编码部分(该部分在图3中示出)以及用于源编码的源编码器部分(该部分在图4中示出)。空间HOA编码和感知编码部分包括方向和矢量估计模块301、HOA分解模块303、环境分量修正模块304、通道分配模块305以及多个增益控制模块306。
方向和矢量估计模块301适于执行HOA信号的方向和矢量估计处理,其中,包括关于方向信号的第一元组集合
Figure BDA0001116769610000127
和关于基于矢量的信号的第二元组集合
Figure BDA0001116769610000128
的数据被获得,第一元组集合
Figure BDA0001116769610000129
中的每个包括方向信号的索引和相应的量化方向,第二元组集合
Figure BDA00011167696100001210
中的每个包括基于矢量的信号的索引和限定信号的方向分布的矢量。
HOA分解模块303适于将HOA系数序列的每个输入时间帧分解为多个主导声音信号XPS(k-1)的帧和环境HOA分量
Figure BDA00011167696100001211
的帧,其中,主导声音信号XPS(k-1)包括所述方向声音信号和所述基于矢量的声音信号,并且其中,环境HOA分量
Figure BDA00011167696100001212
包括表示输入HOA表示和主导声音信号的HOA表示之间的残差的HOA系数序列,并且其中,分解进一步提供预测参数ξ(k-1)和目标分配矢量vA,T(k-1)。预测参数ξ(k-1)描述如何从主导声音信号XPS(k-1)内的方向信号预测HOA信号表示的各部分以便丰富主导声音HOA分量,目标分配矢量vA,T(k-1)包含关于如何将主导声音信号分配给给定数量I个通道的信息。
环境分量修正模块304适于根据目标分配矢量vA,T(k-1)提供的信息修正环境HOA分量CAMB(k-1),其中,确定环境HOA分量CAMB(k-1)的哪些系数序列将在给定数量I个通道中传输,这取决于有多少个通道被主导声音信号占据,并且其中,修正的环境HOA分量CM,A(k-2)和时间预测的修正的环境HOA分量CP,M,A(k-1)被获得,并且其中,最终的分配矢量vA(k-2)从目标分配矢量vA,T(k-1)中的信息获得。
通道分配模块305适于使用最终的分配矢量vA(k-2)提供的信息将从分解获得的主导声音信号XPS(k-1)、所确定的修正的环境HOA分量 CM,A(k-2)和时间预测的修正的环境HOA分量CP,M,A(k-1)的系数序列分配给给定数量I个通道,其中,输送信号yi(k-2),i=1,...,I和预测的输送信号yP,i(k-2),i=1,...,I被获得。
所述多个增益控制模块306适于对输送信号yi(k-2)和预测的输送信号yP,i(k-2)执行增益控制(805),其中,增益修正的输送信号zi(k-2)、指数ei(k-2)和异常标志βi(k-2)被获得。
图4示出了根据本发明的一个实施例的HOA压缩器的源编码器部分的架构的结构。如图4所示的源编码器部分包括感知编码器310、具有两个编码器320、330(即,基本层副信息源编码器320和增强层副信息编码器330)的副信息源编码器模块、以及两个复用器340、350 (即,基本层位流复用器340和增强层位流复用器350)。副信息源编码器可以在单个副信息源编码器模块中。
感知编码器310适于对所述增益修正的输送信号zi(k-2)进行感知编码806,其中,感知编码的输送信号
Figure BDA0001116769610000131
被获得。
副信息源编码器320、330适于对副信息进行编码,副信息包括所述指数ei(k-2)和异常标志βi(k-2)、所述第一元组集合
Figure BDA0001116769610000132
和第二元组集合
Figure BDA0001116769610000133
所述预测参数ξ(k-1)和所述最终的分配矢量vA(k-2),其中,编码的副信息
Figure BDA0001116769610000141
被获得。
复用器340、350适于将感知编码的输送信号和编码的副信息
Figure BDA0001116769610000144
复用为复用的数据流
Figure BDA0001116769610000143
其中,在分解中获得的环境HOA 分量
Figure BDA0001116769610000145
包括输入HOA表示cn(k-1)的在OMIN个最低位置(具有最低索引的那些位置)的第一HOA系数序列、以及在其余的较高位置上的第二HOA系数序列cAMB,n(k-1)。如下面关于式(4)-(6)说明的,第二HOA系数序列是输入HOA表示和主导声音信号的HOA表示之间的残差的HOA表示的一部分。此外,前OMIN个指数ei(k-2),i=1,...,OMIN和异常标志βi(k-2),i=1,...,OMIN在基本层副信息源编码器320中被编码,其中,编码的基本层副信息被获得,并且其中,OMIN=(NMIN+1)2, O=(N+1)2,NMIN≤N并且OMIN≤I,NMIN是预定义整数值。前OMIN个感知编码的输送信号
Figure BDA0001116769610000147
和编码的基本层副信息
Figure BDA0001116769610000148
在基本层位流复用器340(其是所述复用器之一)中被复用,其中,基本层位流
Figure BDA0001116769610000149
被获得。基本层副信息源编码器320是副信息源编码器之一,或者它在副信息源编码器模块内。其余的I-OMIN个指数 ei(k-2),i=OMIN+1,...,I和异常标志βi(k-2),i=OMIN+1,...,I、所述第一元组集合
Figure BDA00011167696100001410
和第二元组集合所述预测参数ξ(k-1)以及所述最终的分配矢量vA(k-2)在增强层副信息编码器330中被编码,其中,编码的增强层副信息
Figure BDA00011167696100001412
被获得。增强层副信息源编码器330是副信息源编码器之一,或者在副信息源编码器模块内。
其余的I-OMIN个感知编码的输送信号和编码的增强层副信息
Figure BDA00011167696100001414
在增强层位流复用器350(其也是所述复用器之一)中被复用,其中,增强层位流
Figure BDA00011167696100001415
被获得。此外,模式指示LMFE被添加在复用器或指示***模块中。模式指示LMFE以信号告知分层模式的使用,分层模式用于压缩的信号的正确的解压缩。
在一个实施例中,用于编码的装置进一步包括适于选择模式的模式选择器,模式由模式指示LMFE指示,是分层模式和非分层模式之一。在非分层模式下,环境HOA分量
Figure BDA00011167696100001416
仅包括表示输入HOA 表示和主导声音信号的HOA表示之间的残差的HOA系数序列(即,不包括输入HOA表示的系数序列)。
下面描述提出的HOA解压缩的修改。
在分层模式下,在HOA解压缩处通过适当地修正HOA复合来考虑HOA压缩中的环境HOA分量CAMB(k-1)的修正。
在HOA解压缩器中,根据图5执行基本层位流和增强层位流的解复用和解码。基本层位流
Figure BDA0001116769610000154
被解复用为基本层副信息的编码表示和感知编码的信号。随后,基本层副信息的编码表示和感知编码的信号被解码以一方面提供指数ei(k)和异常标志、另一方面提供感知解码的信号。类似地,增强层位流被解复用并且被解码以提供感知解码的信号和其余的副信息(参见图5)。就该分层模式而言,空间HOA 解码部分也必须被修正以考虑空间HOA编码中的环境HOA分量CAMB (k-1)的修正。修正在HOA复合中实现。
具体地说,重构的HOA表示
被其修正版本取代:
Figure BDA0001116769610000152
修正版本的元素由下式给出:
Figure BDA0001116769610000153
这意味着主导声音HOA分量没有被添加到前OMIN个系数序列的环境HOA分量,因为它已经被包括在其中。HOA空间解码器的所有的其他的处理模块保持不变。
在下面,简要地考虑仅存在低质量基本层位流
Figure BDA0001116769610000155
时的HOA解压缩。
该位流首先被解复用并且被解码以提供重构的信号
Figure BDA0001116769610000156
和对应的增益控制副信息,该副信息由指数ei(k)和异常标志βi(k),i=1,...,OMIN构成。注意到,在不存在增强层时,感知编码的信号是不可用的。解决这种情况的可能的方式是将信号
Figure BDA0001116769610000161
设置为零,这自动地使重构的主导声音分量CPS(k-1)为零。
在下一个步骤中,在空间HOA解码器中,前OMIN个逆增益控制处理模块提供增益校正的信号帧
Figure BDA0001116769610000162
这些信号帧被用于通过通道再分配来构造环境HOA分量的中间表示的帧CI,AMB(k)。注意到,环境HOA分量的在第k帧中起作用的系数序列的索引集合
Figure BDA0001116769610000163
仅包含索引1,2,...,OMIN。在环境合成中,前OMIN个系数序列的空间变换被恢复以提供环境HOA分量帧CAMB(k-1)。最后,根据式(6)计算重构的HOA 表示。
图5和图6示出了根据本发明的一个实施例的HOA解压缩器的架构的结构。所述装置包括如图5所示的感知解码和源解码部分、如图6所示的空间HOA解码部分、以及适于检测分层模式指示LMFD的模式检测器,分层模式指示LMFD指示压缩的HOA信号包括压缩的基本层位流
Figure BDA0001116769610000164
和压缩的增强层位流。
图5示出了根据本发明的一个实施例的HOA解压缩器的感知解码和源解码部分的架构的结构。感知解码和源解码部分包括第一解复用器510、第二解复用器520、基本层感知解码器540和增强层感知解码器550、基本层副信息源解码器530和增强层副信息源解码器560。
第一解复用器510适于对压缩的基本层位流
Figure BDA0001116769610000165
进行解复用,其中,第一感知编码的输送信号
Figure BDA0001116769610000166
和第一编码的副信息被获得。第二解复用器520适于对压缩的增强层位流
Figure BDA0001116769610000168
进行解复用,其中,第二感知编码的输送信号
Figure BDA0001116769610000169
和第二编码的副信息
Figure BDA00011167696100001610
被获得。
基本层感知解码器540和增强层感知解码器550适于对感知编码的输送信号
Figure BDA00011167696100001611
进行感知解码904,其中,感知解码的输送信号
Figure BDA00011167696100001612
被获得,并且其中,在基本层感知解码器540中,基本层的所述第一感知编码的输送信号
Figure BDA00011167696100001613
被解码,并且第一感知解码的输送信号
Figure BDA00011167696100001614
被获得。在增强层感知解码器550中,增强层的所述第二感知编码的输送信号
Figure BDA00011167696100001615
被解码,并且第二感知解码的输送信号
Figure BDA0001116769610000171
被获得。
基本层副信息源解码器530适于对第一编码的副信息
Figure BDA0001116769610000172
进行解码905,其中,第一指数ei(k),i=1,...,OMIN和第一异常标志βi(k),i=1,...,OMIN被获得。
增强层副信息源解码器560适于对第二编码的副信息
Figure BDA0001116769610000173
进行解码906,其中,第二指数ei(k),i=OMIN+1,...,I和第二异常标志βi(k),i=OMIN+1,...,I被获得,并且其中,进一步的数据被获得。进一步的数据包括关于方向信号的第一元组集合
Figure BDA0001116769610000174
和关于基于矢量的信号的第二元组集合第一元组集合
Figure BDA0001116769610000175
的每个元组包括方向信号的索引和相应的量化方向,第二元组集合
Figure BDA0001116769610000177
的每个元组包括基于矢量的信号的索引和限定基于矢量的信号的方向分布的矢量。此外,预测参数ξ(k+1)和环境分配矢量vAMB,ASSIGN(k)被获得,其中,环境分配矢量vAMB,ASSIGN(k)包括对于每个传输通道指示它是否包含环境 HOA分量的系数序列以及它包含环境HOA分量的哪个系数序列的分量。
图6示出了根据本发明的一个实施例的HOA解压器的空间HOA 解码部分的架构的结构。空间HOA解码部分包括多个逆增益控制单元604、通道再分配模块605、主导声音合成模块606、环境合成模块 607、HOA复合模块608。
多个逆增益控制单元604适于执行逆增益控制,其中,所述第一感知解码的输送信号
Figure BDA0001116769610000178
根据第一指数ei(k),i=1,...,OMIN和第一异常标志βi(k),i=1,...,OMIN被变换为第一增益校正的信号帧
Figure BDA0001116769610000179
Figure BDA00011167696100001710
并且其中,第二感知解码的输送信号
Figure BDA00011167696100001711
根据第二指数ei(k),i=OMIN+1,...,I和第二异常标志βi(k),i=OMIN+1,...,I被变换为第二增益校正的信号帧
通道再分配模块605适于将第一和第二增益校正的信号帧
Figure BDA00011167696100001713
Figure BDA00011167696100001714
重新分布911给I个通道,其中,主导声音信号
Figure BDA00011167696100001715
的帧被重构,主导声音信号包括方向信号和基于矢量的信号,并且其中,修正的环境HOA分量
Figure BDA00011167696100001716
被获得,并且其中,分配是根据所述环境分配矢量vAMB,ASSIGN(k)以及所述第一和第二元组集合进行的。
此外,通道再分配模块605适于产生修正的环境HOA分量的在第k帧中起作用的系数序列的第一索引集合
Figure BDA0001116769610000182
以及修正的环境 HOA分量的在第(k-1)帧中必须被启用、被禁用以及保持起作用的系数序列的第二索引集合
Figure BDA0001116769610000183
主导声音合成模块606适于从所述主导声音信号
Figure BDA0001116769610000184
合成912主导HOA声音分量的HOA表示,其中,第一元组集合
Figure BDA0001116769610000186
第二元组集合
Figure BDA0001116769610000187
预测参数ξ(k+1)以及第二索引集合
Figure BDA0001116769610000188
Figure BDA0001116769610000189
被使用。
环境合成模块607适于从修正的环境HOA分量
Figure BDA00011167696100001810
合成913 环境HOA分量其中,对前OMIN个通道的逆空间变换被执行,并且其中,第一索引集合
Figure BDA00011167696100001812
被使用,第一索引集合是环境 HOA分量的在第k帧中起作用的系数序列的索引。
如果分层模式指示LMFD指示具有至少两个层的分层模式,则环境HOA分量在其OMIN个最低位置(即,具有最低索引的那些位置)包括解压缩的HOA分量
Figure BDA00011167696100001813
的HOA系数序列、以及在其余的较高位置包括作为残差的HOA表示的一部分的系数序列。该残差是解压缩的HOA信号
Figure BDA00011167696100001814
和主导HOA声音分量
Figure BDA00011167696100001815
的HOA表示之间的残差。
另一方面,如果分层模式指示LMFD指示单层模式,则不包括解压缩的HOA信号
Figure BDA00011167696100001816
的HOA系数序列,并且环境HOA分量是解压缩的HOA信号
Figure BDA00011167696100001817
和主导声音分量
Figure BDA00011167696100001818
的HOA表示之间的残差。
HOA复合模块608适于将主导声音分量的HOA表示与环境HOA 分量
Figure BDA00011167696100001819
相加,其中,主导声音信号的HOA表示的系数和环境HOA分量的对应系数相加,并且其中,解压缩的HOA信号
Figure BDA00011167696100001820
被获得,并且其中,
如果分层模式指示LMFD指示具有至少两个层的分层模式,则只有最高的I-OMIN个系数通道通过主导HOA声音分量和环境 HOA分量
Figure BDA0001116769610000192
的相加获得,解压缩的HOA信号
Figure BDA0001116769610000193
的最低的 OMIN个系数通道是从环境HOA分量复制的。另一方面,如果分层模式指示LMFD指示单层模式,则解压缩的HOA信号
Figure BDA0001116769610000195
的所有的系数通道通过主导HOA声音分量
Figure BDA0001116769610000196
和环境HOA分量
Figure BDA0001116769610000197
的相加获得。
图7示出了从环境HOA信号到修正的环境HOA信号的帧变换。
图8示出了用于压缩HOA信号的方法的流程图。
用于压缩高阶高保真立体声(HOA)信号(该信号是具有HOA 系数序列的输入时间帧C(k)的、阶次为N的输入HOA表示)的方法 800包括输入时间帧的空间HOA编码以及随后的感知编码和源编码。
空间HOA编码包括以下步骤:
在方向和矢量估计模块301中执行HOA信号的方向和矢量估计处理801,其中,包括关于方向信号的第一元组集合和关于基于矢量的信号的第二元组集合
Figure BDA0001116769610000199
的数据被获得,第一元组集合
Figure BDA00011167696100001910
中的每个包括方向信号的索引和相应的量化方向,第二元组集合中
Figure BDA00011167696100001911
的每个包括基于矢量的信号的索引和限定信号的方向分布的矢量;
在HOA分解模块303中将HOA系数序列的每个输入时间帧分解 802为多个主导声音信号XPS(k-1)的帧和环境HOA分量CAMB(k-1)的帧,其中,主导声音信号XPS(k-1)包括所述方向声音信号和所述基于矢量的声音信号,并且其中,环境HOA分量包括表示输入HOA表示和主导声音信号的HOA表示之间的残差的HOA系数序列,并且其中,分解702进一步提供预测参数ξ(k-1)和目标分配矢量vA,T(k-1),预测参数ξ(k-1)描述了如何从主导声音信号XPS(k-1)内的方向信号预测HOA信号表示的各部分以便丰富主导声音HOA分量,目标分配矢量vA,T(k-1)包含关于如何将主导声音信号分配给给定数量I个通道的信息;
在环境分量修正模块304中根据目标分配矢量vA,T(k-1)提供的信息修正802环境HOA分量CAMB(k-1),其中,确定环境HOA分量CAMB(k-1) 的哪些系数序列将在给定数量I个通道中传输,这取决于有多少个通道被主导声音信号占据,并且其中,修正的环境HOA分量CM,A(k-2)和时间预测的修正的环境HOA分量CP,M,A(k-1)被获得,并且其中,最终的分配矢量vA(k-2)从目标分配矢量vA,T(k-1)中的信息获得;
在通道分配模块105中使用最终的分配矢量vA(k-2)提供的信息将从分解获得的主导声音信号XPS(k-1)以及修正的环境HOA分量CM,A(k-2) 和时间预测的修正的环境HOA分量CP,M,A(k-1)的确定的系数序列分配给804给定数量I个通道,其中,输送信号yi(k-2),i=1,...,I和预测的输送信号yP,i(k-2),i=1,...,I被获得;
以及在多个增益控制模块306中对输送信号yi(k-2)和预测的输送信号yP,i(k-2)执行增益控制805,其中,增益修正的输送信号zi(k-2)、指数ei(k-2)和异常标志βi(k-2)被获得。
感知编码和源编码包括以下步骤:
在感知编码器310中对所述增益修正的输送信号zi(k-2)进行感知编码806,其中,感知编码的输送信号
Figure BDA0001116769610000201
被获得;
在一个或多个副信息源编码器320、330中对副信息进行编码807,副信息包括所述指数ei(k-2)和异常标志βi(k-2)、所述第一元组集合和第二元组集合
Figure BDA0001116769610000203
所述预测参数ξ(k-1)和所述最终的分配矢量vA(k-2),其中,编码的副信息
Figure BDA0001116769610000204
被获得;以及
对感知编码的输送信号
Figure BDA0001116769610000205
和编码的副信息
Figure BDA0001116769610000206
进行复用 808,其中,复用的数据流
Figure BDA0001116769610000207
被获得。
在分解步骤802中获得的环境HOA分量包括输入HOA 表示cn(k-1)的在OMIN个最低位置(即,具有最低索引的那些位置)的第一HOA系数序列以及在其余的较高位置的第二HOA系数序列 cAMB,n(k-1)。第二系数序列是输入HOA表示和主导声音信号的HOA表示之间的残差的HOA表示的一部分。
前OMIN个指数ei(k-2),i=1,...,OMIN和异常标志βi(k-2),i=1,...,OMIN在基本层副信息源编码器320中被编码,其中,编码的基本层副信息
Figure BDA0001116769610000211
被获得,并且其中,OMIN=(NMIN+1)2,O=(N+1)2,NMIN≤N并且OMIN≤I,NMIN是预定义整数值。
前OMIN个感知编码的输送信号
Figure BDA0001116769610000212
和编码的基本层副信息
Figure BDA0001116769610000213
在基本层位流复用器340中被复用809,其中,基本层位流
Figure BDA0001116769610000214
被获得。
其余的I-OMIN个指数ei(k-2),i=OMIN+1,...,I和异常标志βi(k-2),i=OMIN+1,...,I、所述第一元组集合
Figure BDA0001116769610000215
和第二元组集合所述预测参数ξ(k-1)以及所述最终的分配矢量vA(k-2)(在图中也被示为vAMB,ASSIGN(k))在增强层副信息编码器330中被编码,其中,编码的增强层副信息
Figure BDA0001116769610000217
被获得。
其余的I-OMIN个感知编码的输送信号
Figure BDA0001116769610000218
和编码的增强层副信息
Figure BDA0001116769610000219
在增强层位流复用器350中被复用810,其中,增强层位流被获得。
如上所述,信号告知分层模式的使用的模式指示被添加811。该模式指示由指示***模块或复用器添加。
在一个实施例中,所述方法进一步包括将基本层位流
Figure BDA00011167696100002111
增强层位流
Figure BDA00011167696100002112
和模式指示复用到单个位流中的最终步骤。
在一个实施例中,所述主导方向估计取决于能量占主导的HOA 分量的方向功率分布。
在一个实施例中,在修正环境HOA分量中,如果被选HOA系数序列的HOA序列索引在连续的帧之间变化,则系数序列的淡入和淡出被执行。
在一个实施例中,在修正环境HOA分量中,环境HOA分量 CAMB(k-1)的部分去相关被执行。
在一个实施例中,第一元组集合
Figure BDA00011167696100002113
中所包括的量化方向是主导方向。
图9示出了用于解压缩压缩的HOA信号的方法的流程图。在本发明的这个实施例中,用于解压缩压缩的HOA信号的方法900包括获得HOA系数序列的输出时间帧
Figure BDA0001116769610000221
的感知解码和源解码以及随后的空间HOA解码,并且所述方法包括检测901分层模式指示LMFD的步骤,分层模式指示LMFD指示压缩的高阶高保真立体声(HOA) 信号包括压缩的基本层位流
Figure BDA0001116769610000222
和压缩的增强层位流
Figure BDA0001116769610000223
感知解码和源解码包括以下步骤:
对压缩的基本层位流
Figure BDA0001116769610000224
进行解复用902,其中,第一感知编码的输送信号
Figure BDA0001116769610000225
和第一编码的副信息
Figure BDA0001116769610000226
被获得;
对压缩的增强层位流进行解复用903,其中,第二感知编码的输送信号
Figure BDA0001116769610000228
和第二编码的副信息
Figure BDA0001116769610000229
被获得;
对感知编码的输送信号
Figure BDA00011167696100002210
进行感知解码904,其中,感知解码的输送信号
Figure BDA00011167696100002211
被获得,并且其中,在基本层感知解码器540中,基本层的所述第一感知编码的输送信号被解码,并且第一感知解码的输送信号
Figure BDA00011167696100002213
被获得,并且其中,在增强层感知解码器550中,增强层的所述第二感知编码的输送信号
Figure BDA00011167696100002214
被解码,并且第二感知解码的输送信号
Figure BDA00011167696100002215
被获得;
在基本层副信息源解码器530中对第一编码的副信息进行解码905,其中,第一指数ei(k),i=1,...,OMIN和第一异常标志βi(k),i=1,...,OMIN被获得;以及
在增强层副信息源解码器560中对第二编码的副信息
Figure BDA00011167696100002217
进行解码906,其中,第二指数ei(k),i=OMIN+1,...,I和第二异常标志βi(k),i=OMIN+1,...,I被获得,并且其中,进一步的数据被获得,进一步的数据包括关于方向信号的第一元组集合
Figure BDA00011167696100002218
和关于基于矢量的信号的第二元组集合
Figure BDA00011167696100002219
第一元组集合
Figure BDA00011167696100002220
的每个元组包括方向信号的索引和相应的量化方向,第二元组集合
Figure BDA00011167696100002221
的每个元组包括基于矢量的信号的索引和限定基于矢量的信号的方向分布的矢量,并且进一步其中,预测参数ξ(k+1)和环境分配矢量vAMB,ASSIGN(k)被获得。环境分配矢量vAMB,ASSIGN(k)包括对于每个传输通道指示它是否包含环境 HOA分量的系数序列以及它包含环境HOA分量的哪个系数序列的分量。
空间HOA解码包括以下步骤:
执行910逆增益控制,其中,所述第一感知解码的输送信号
Figure BDA0001116769610000231
根据所述第一指数ei(k),i=1,...,OMIN和所述第一异常标志βi(k),i=1,...,OMIN被变换为第一增益校正的信号帧
Figure BDA0001116769610000232
并且其中,所述第二感知解码的输送信号
Figure BDA0001116769610000233
根据所述第二指数 ei(k),i=OMIN+1,...,I和所述第二异常标志βi(k),i=OMIN+1,...,I被变换为第二增益校正的信号帧
Figure BDA0001116769610000234
在通道再分配模块605中将第一和第二增益校正的信号帧
Figure BDA0001116769610000235
Figure BDA0001116769610000236
重新分布911给I个通道,其中,主导声音信号
Figure BDA0001116769610000237
的帧被重构,主导声音信号包括方向信号和基于矢量的信号,并且其中,修正的环境HOA分量
Figure BDA0001116769610000238
被获得,并且其中,分配是根据所述环境分配矢量vAMB,ASSIGN(k)以及所述第一和第二元组集合
Figure BDA0001116769610000239
进行的;
在通道再分配模块605中产生修正的环境HOA分量的在第k帧中起作用的系数序列的第一索引集合
Figure BDA00011167696100002310
以及修正的环境HOA分量的在第(k-1)帧中必须被启用、被禁用以及保持起作用的系数序列的第二索引集合
Figure BDA00011167696100002311
在主导声音合成模块606中,从所述主导声音信号
Figure BDA00011167696100002312
合成912 主导HOA声音分量
Figure BDA00011167696100002313
的HOA表示,其中,第一元组集合第二元组集合
Figure BDA00011167696100002315
预测参数ξ(k+1)以及第二索引集合
Figure BDA00011167696100002316
被使用;
在环境合成模块607中,从修正的环境HOA分量
Figure BDA00011167696100002317
合成913 环境HOA分量
Figure BDA00011167696100002318
其中,对前OMIN个通道的逆空间变换被执行,并且其中,第一索引集合
Figure BDA00011167696100002319
被使用,第一索引集合是环境 HOA分量的在第k帧中起作用的系数序列的索引,其中,环境HOA 分量具有至少两种不同配置之一,这取决于分层模式指示LMFD;以及
在HOA复合模块608中将主导HOA声音分量的HOA 表示与环境HOA分量
Figure BDA0001116769610000241
相加914,其中,主导声音信号的HOA 表示的系数和环境HOA分量的对应系数被相加,并且其中,解压缩的HOA信号
Figure BDA0001116769610000242
被获得,并且其中,以下条件适用:
如果分层模式指示LMFD指示具有至少两个层的分层模式,则只有最高的I-OMIN个系数通道通过主导HOA声音分量
Figure BDA0001116769610000243
和环境 HOA分量
Figure BDA0001116769610000244
的相加获得,解压缩的HOA信号的最低的 OMIN个系数通道是从环境HOA分量
Figure BDA0001116769610000246
复制的。否则,如果分层模式指示LMFD指示单层模式,则解压缩的HOA信号
Figure BDA0001116769610000247
的所有的系数通道通过主导HOA声音分量
Figure BDA0001116769610000248
和环境HOA分量
Figure BDA0001116769610000249
的相加获得。
环境HOA分量的取决于分层模式指示LMFD的配置如下:
如果分层模式指示LMFD指示具有至少两个层的分层模式,则环境HOA分量在其OMIN个最低位置包括解压缩的HOA信号
Figure BDA00011167696100002410
的 HOA系数序列以及在其余的较高位置包括如下的系数序列,该系数序列是主导HOA声音分量
Figure BDA00011167696100002411
的HOA表示和解压缩的HOA信号
Figure BDA00011167696100002412
之间的残差的HOA表示的一部分。
另一方面,如果分层模式指示LMFD指示单层模式,则环境HOA 分量是主导声音分量
Figure BDA00011167696100002413
的HOA表示和解压缩的HOA信号
Figure BDA00011167696100002414
之间的残差。
在一个实施例中,压缩的HOA信号表示在复用的位流中,用于解压缩压缩的HOA信号的方法进一步包括对压缩的HOA信号表示进行解复用的初始步骤,其中,所述压缩的基本层位流
Figure BDA00011167696100002415
所述压缩的增强层位流
Figure BDA00011167696100002416
以及所述分层模式指示LMFD被获得。
图10示出了根据本发明的一个实施例的HOA解压器的空间 HOA解码部分的架构的各部分的细节。
有利地,例如,如果没有EL被接收到,或者如果BL质量足够,则可以仅对BL进行解码。对于这种情况下,EL的信号在解码器处可以被设置为零。于是,在通道再分配模块605中将第一和第二增益校正的信号帧
Figure BDA0001116769610000251
重新分布911给I个通道是非常简单的,因为主导声音信号
Figure BDA0001116769610000252
的帧是空的。修正的环境HOA分量的在第(k-1)帧中必须被启用、被禁用以及保持起作用的系数序列的第二索引集合
Figure BDA0001116769610000253
被设置为零。在主导声音合成模块606中从主导声音信号
Figure BDA0001116769610000254
合成912主导HOA声音分量
Figure BDA0001116769610000255
的HOA表示因此可以被跳过,并且在环境合成模块607中从修正的环境HOA分量
Figure BDA0001116769610000256
合成913环境HOA分量
Figure BDA0001116769610000257
对应于常规的HOA合成。
用于HOA压缩的原始(即,整体式的、不可缩放的、非分层的) 模式对于不需要低质量基本层位流的应用、例如对于基于文件的压缩可能仍然是有用的。对环境HOA分量CAMB(其是原始HOA表示和方向HOA表示之间的差值)的空间变换的前OMIN个系数序列、而不是原始HOA分量C的空间变换的系数序列进行感知编码的主要优点是,在前一种情况下,将被感知编码的所有信号之间的互相关性降低。信号zi, i=1,...,I之间的任何互相关性可以引起空间解码处理期间感知编码噪声的建设性叠加,同时无噪声的HOA系数序列在叠加时被取消。这种现象被称为感知噪声揭露。
在分层模式下,在信号zi,i=1,...,OMIN中的每个之间、还有在信号zi, i=1,...,OMIN和zi,i=OMIN+1,...,I之间存在高互相关性,因为环境HOA分量
Figure BDA0001116769610000258
的修正的系数序列包括方向HOA分量的信号(参见式3)。相反,对于原始的非分层模式来说情况并非如此。因此可以推断由分层模式引入的传输鲁棒性可能是以压缩质量为代价的。然而,压缩质量的降低与传输鲁棒性的提高相比低。以上已经表明,提出的分层模式至少在上述情况下是有利的。
虽然已经示出、描述并指出了应用于本发明的优选实施例的、本发明的基本的新颖的特征,但是将理解的是,在不脱离本发明的精神的情况下,本领域技术人员可以在所描述的装置和方法中、在所公开的设备的形式和细节上以及在它们的操作中做出各种省略、替换和改变。明确的意图是,以基本上相同的方式执行基本上相同的功能以实现相同结果的那些元件的所有组合都在本发明的范围内。从所描述的一个实施例对于另一个描述的实施例的元件的替换也被充分预期和设想。
将理解的是,已经纯粹以举例的方式描述了本发明,并且在不脱离本发明的范围的情况下,可以进行细节的修改。
在描述以及(在适当的情况下)权利要求和附图中公开的每个特征可以独立地提供或者按任何适当的组合提供。特征在适当的情况下可以用硬件、软件或两者的组合来实现。连接可以在适用的情况下可以实现为无线连接或有线(不一定是直接的或专用的)连接。
在权利要求中出现的标号仅仅是例示说明,不应当限制权利要求的范围。
引用的参考文献
[1]EP12306569.0
[2]EP12305537.8(作为EP2665208A发布)
[3]EP133005558.2
[4]ISO/IEC JTC1/SC29/WG11N14264.Working draft 1-HOA text of MPEG-H 3Daudio,2014年1月

Claims (17)

1.一种对声音或声场的压缩的高阶高保真立体声(HOA)表示进行解码的方法,所述方法包括:
接收包含压缩的HOA表示的位流,包括压缩的基本层位流和压缩的增强层位流;
确定是否存在与压缩的HOA表示有关的多个层;
基于确定存在多个层从所述位流解码压缩的HOA表示,以获得解码的HOA表示的序列,
其中,该解码包括:
对压缩的基本层位流进行解复用,以获得第一感知编码的输送信号和第一编码的副信息;
对压缩的增强层位流进行解复用,以获得第二感知编码的输送信号和第二编码的副信息;
对所述第一感知编码的输送信号进行感知解码以获得第一感知解码的输送信号,并且对所述第二感知编码的输送信号进行感知解码以获得第二感知解码的输送信号;
对所述第一编码的副信息进行解码以获得第一指数和第一异常标志,并且对第二编码的副信息进行解码以获得第二指数和第二异常标志,其中关于方向信号的第一元组集合和关于基于矢量的信号的第二元组集合被获得,所述第一元组集合的每个元组包括方向信号的索引和相应的量化方向,所述第二元组集合的每个元组包括基于矢量的信号的索引和限定所述基于矢量的信号的方向分布的矢量,其中,预测参数和环境分配矢量被获得,其中所述环境分配矢量包括对于每个传输通道指示它是否包含环境HOA分量的系数序列以及它包含环境HOA分量的哪个系数序列的分量;
根据所述第一指数和所述第一异常标志将所述第一感知解码的输送信号变换为第一增益校正的信号帧,并且其中,根据所述第二指数和所述第二异常标志将所述第二感知解码的输送信号变换为第二增益校正的信号帧;
根据所述环境分配矢量以及所述第一元组集合和所述第二元组集合将所述第一增益校正的信号帧和所述第二增益校正的信号帧重新分布给I个通道,其中,主导声音信号的帧被重构,所述主导声音信号包括方向信号和基于矢量的信号,并且其中,修正的环境HOA分量被获得;
产生修正的环境HOA分量的在第k帧中起作用的系数序列的第一索引集合、以及修正的环境HOA分量的在第(k-1)帧中必须被启用、被禁用以及保持起作用的系数序列的第二索引集合,其中所述第一索引集合基于OMIN个通道,所述第二索引集合基于所述多个层中的至少一个被确定;
从所述主导声音信号合成主导HOA声音分量的HOA表示,其中,所述第一和第二元组集合、所述预测参数以及所述第二索引集合被使用;
从所述修正的环境HOA分量合成环境HOA分量;其中,
如果确定具有至少两个层,则所述环境HOA分量在其OMIN个最低位置包括所述解压缩的HOA信号的HOA系数序列,以及在其余的较高位置包括作为所述主导HOA声音分量的HOA表示和所述解压缩的HOA信号之间的残差的HOA表示的一部分的系数序列,并且
只有最高的I-OMIN个系数通道通过所述主导HOA声音分量和所述环境HOA分量的相加获得,所述解压缩的HOA信号的最低的OMIN个系数通道是从所述环境HOA分量复制的。
2.根据权利要求1所述的方法,其中,所述第一索引集合基于1≤n≤OMIN被确定,并且所述第二索引集合基于OMIN+1≤n≤0被确定,其中,O指示通道的总数,并且OMIN指示1和0之间的数。
3.根据权利要求1所述的方法,其中,对于索引n和帧k,当n是在所述第一索引集合中时,所述第一子集基于对应的环境声音分量
Figure FDA0002233474710000031
被确定,并且当n在所述第二索引集合中时,所述第二子集基于对应的主导声音分量和对应的环境声音分量
Figure FDA0002233474710000033
的相加而被确定,并且其中,解码的HOA表示至少部分地由下式表示:
Figure FDA0002233474710000034
4.根据权利要求1所述的方法,其中,OMIN=(NMIN+1)2且NMIN≤N,其中N是编码的HOA表示的输入帧的阶次。
5.根据权利要求1所述的方法,其中,多个层的指示在所述位流中以信号告知。
6.根据权利要求1所述的方法,其中,所述多个层包括基本层和至少一个增强层。
7.根据权利要求1所述的方法,进一步基于不存在多个层的确定而确定存在单个层,并且基于单个层的确定,对于帧k基于对应的主导HOA声音分量
Figure FDA0002233474710000035
和对应的环境HOA分量
Figure FDA0002233474710000036
的相加来确定单层解码的HOA表示。
8.一种对声音或声场的压缩的高阶高保真立体声(HOA)表示进行解码的装置,所述装置包括:
接收器,用于接收包含压缩的HOA表示的位流,包括压缩的基本层位流和压缩的增强层位流;
音频解码器,用于基于存在多个层的确定从所述位流解码压缩的HOA表示,以获得解码的HOA表示的序列,
其中,所述音频解码器被配置为通过以下进行解码:
对压缩的基本层位流进行解复用,以获得第一感知编码的输送信号和第一编码的副信息;
对压缩的增强层位流进行解复用,以获得第二感知编码的输送信号和第二编码的副信息;
对所述第一感知编码的输送信号进行感知解码以获得第一感知解码的输送信号,并且对所述第二感知编码的输送信号进行感知解码以获得第二感知解码的输送信号;
对所述第一编码的副信息进行解码以获得第一指数和第一异常标志,并且对第二编码的副信息进行解码以获得第二指数和第二异常标志,其中关于方向信号的第一元组集合和关于基于矢量的信号的第二元组集合被获得,所述第一元组集合的每个元组包括方向信号的索引和相应的量化方向,所述第二元组集合的每个元组包括基于矢量的信号的索引和限定所述基于矢量的信号的方向分布的矢量,其中,预测参数和环境分配矢量被获得,其中所述环境分配矢量包括对于每个传输通道指示它是否包含环境HOA分量的系数序列以及它包含环境HOA分量的哪个系数序列的分量;
根据所述第一指数和所述第一异常标志将所述第一感知解码的输送信号变换为第一增益校正的信号帧,并且其中,根据所述第二指数和所述第二异常标志将所述第二感知解码的输送信号变换为第二增益校正的信号帧;
根据所述环境分配矢量以及所述第一元组集合和所述第二元组集合将所述第一增益校正的信号帧和所述第二增益校正的信号帧重新分布给I个通道,其中,主导声音信号的帧被重构,所述主导声音信号包括方向信号和基于矢量的信号,并且其中,修正的环境HOA分量被获得;
产生修正的环境HOA分量的在第k帧中起作用的系数序列的第一索引集合、以及修正的环境HOA分量的在第(k一1)帧中必须被启用、被禁用以及保持起作用的系数序列的第二索引集合,其中所述第一索引集合基于OMIN个通道,所述第二索引集合基于所述多个层中的至少一个被确定;
从所述主导声音信号合成主导HOA声音分量的HOA表示,其中,所述第一和第二元组集合、所述预测参数以及所述第二索引集合被使用;
从所述修正的环境HOA分量合成环境HOA分量;其中,
如果确定具有至少两个层,则所述环境HOA分量在其OMIN个最低位置包括所述解压缩的HOA信号的HOA系数序列,以及在其余的较高位置包括作为所述主导HOA声音分量的HOA表示和所述解压缩的HOA信号之间的残差的HOA表示的一部分的系数序列,并且
只有最高的I-OMIN个系数通道通过所述主导HOA声音分量和所述环境HOA分量的相加获得,所述解压缩的HOA信号的最低的OMIN个系数通道是从所述环境HOA分量复制的。
9.根据权利要求8所述的装置,其中,所述第一索引集合基于1≤n≤OMIN被确定,并且所述第二索引集合基于OMIN+1≤n≤O被确定,其中,O指示通道的总数,并且OMIN指示1和O之间的数。
10.根据权利要求8所述的装置,其中,对于索引n和帧k,当n是在所述第一索引集合中时,所述第一子集基于对应的环境声音分量
Figure FDA0002233474710000051
被确定,并且当n在所述第二索引集合中时,所述第二子集基于对应的主导声音分量和对应的环境声音分量
Figure FDA0002233474710000053
的相加而被确定,并且其中,解码的HOA表示至少部分地由下式表示:
Figure FDA0002233474710000054
11.根据权利要求8所述的装置,其中,OMIN=(NMIN+1)2且NMIN≤N,其中N是编码的HOA表示的输入帧的阶次。
12.根据权利要求8所述的装置,其中,多个层的指示在所述位流中以信号告知。
13.根据权利要求8所述的装置,其中,所述多个层包括基本层和至少一个增强层。
14.根据权利要求8所述的装置,其中,所述音频解码器进一步被配置为基于不存在多个层的确定而确定存在单个层,并且基于单个层的确定,基于对应的主导HOA声音分量
Figure FDA0002233474710000061
和对应的环境HOA声音分量的相加来确定单层解码的HOA表示。
15.一种设备,所述设备包括:
一个或多个处理器;和
存储有指令的一个或多个存储介质,所述指令在由所述一个或多个处理器执行时使得执行根据权利要求1-7中任一项所述的方法。
16.一种包括用于执行根据权利要求1-7中任一项所述的方法的部件的装置。
17.一种存储有指令的非暂时性计算机可读存储介质,所述指令在被一个或多个处理器执行时使得执行根据权利要求1-7中任一项所述的方法。
CN201580014972.9A 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法及装置 Active CN106463123B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010011894.XA CN111182442B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011881.2A CN111179948A (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011901.6A CN111145766B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011895.4A CN111179949B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305411.2 2014-03-21
EP14305411.2A EP2922057A1 (en) 2014-03-21 2014-03-21 Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
PCT/EP2015/055914 WO2015140291A1 (en) 2014-03-21 2015-03-20 Method for compressing a higher order ambisonics (hoa) signal, method for decompressing a compressed hoa signal, apparatus for compressing a hoa signal, and apparatus for decompressing a compressed hoa signal

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN202010011901.6A Division CN111145766B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011894.XA Division CN111182442B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011881.2A Division CN111179948A (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011895.4A Division CN111179949B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质

Publications (2)

Publication Number Publication Date
CN106463123A CN106463123A (zh) 2017-02-22
CN106463123B true CN106463123B (zh) 2020-03-03

Family

ID=50439305

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201580014972.9A Active CN106463123B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法及装置
CN202010011895.4A Active CN111179949B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011894.XA Active CN111182442B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011901.6A Active CN111145766B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011881.2A Pending CN111179948A (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN202010011895.4A Active CN111179949B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011894.XA Active CN111182442B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011901.6A Active CN111145766B (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质
CN202010011881.2A Pending CN111179948A (zh) 2014-03-21 2015-03-20 对压缩的高阶高保真立体声(hoa)表示进行解码的方法和装置以及介质

Country Status (7)

Country Link
US (7) US9930464B2 (zh)
EP (4) EP2922057A1 (zh)
JP (6) JP6220082B2 (zh)
KR (7) KR102428815B1 (zh)
CN (5) CN106463123B (zh)
TW (4) TWI648729B (zh)
WO (1) WO2015140291A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127914B2 (en) 2014-03-21 2018-11-13 Dolby Laboratories Licensing Corporation Method for compressing a higher order ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
EP2922057A1 (en) 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
US9984693B2 (en) 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
US10140996B2 (en) 2014-10-10 2018-11-27 Qualcomm Incorporated Signaling layers for scalable coding of higher order ambisonic audio data
CN108140392B (zh) 2015-10-08 2023-04-18 杜比国际公司 用于压缩声音或声场表示的分层编解码
EP3360134B1 (en) * 2015-10-08 2021-12-01 Dolby International AB Layered coding and data structure for compressed higher-order ambisonics sound or sound field representations
ME03762B (me) * 2015-10-08 2021-04-20 Dolby Int Ab Slojevito kodiranje za prezentacije komprimovanog zvuka ilizvučnog polja
EP3360135B1 (en) * 2015-10-08 2020-03-11 Dolby International AB Layered coding for compressed sound or sound field representations
EA038833B1 (ru) * 2016-07-13 2021-10-26 Долби Интернэшнл Аб Многоуровневое кодирование сжатых представлений звука или звукового поля
US10332530B2 (en) * 2017-01-27 2019-06-25 Google Llc Coding of a soundfield representation
CN108550369B (zh) * 2018-04-14 2020-08-11 全景声科技南京有限公司 一种可变长度的全景声信号编解码方法
US10999693B2 (en) * 2018-06-25 2021-05-04 Qualcomm Incorporated Rendering different portions of audio data using different renderers
ES2941268T3 (es) * 2018-12-07 2023-05-19 Fraunhofer Ges Forschung Aparato, método y programa informático para codificación, decodificación, procesamiento de escenas y otros procedimientos relacionados con codificación de audio espacial basada en dirac que utiliza compensación difusa
CN113393849B (zh) * 2019-01-29 2022-07-12 桂林理工大学南宁分校 一种双模块数据处理的对讲机***
US11430451B2 (en) 2019-09-26 2022-08-30 Apple Inc. Layered coding of audio with discrete objects
US20210409888A1 (en) * 2020-06-29 2021-12-30 Qualcomm Incorporated Sound field adjustment

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57107277A (en) 1980-12-24 1982-07-03 Babcock Hitachi Kk Brush removing type bolt cleaner
JPS6351748A (ja) 1986-08-21 1988-03-04 Nec Corp 交換回線接続方法
JPH0453956Y2 (zh) 1986-09-22 1992-12-18
JP3881943B2 (ja) * 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
US7937272B2 (en) * 2005-01-11 2011-05-03 Koninklijke Philips Electronics N.V. Scalable encoding/decoding of audio signals
US8345899B2 (en) * 2006-05-17 2013-01-01 Creative Technology Ltd Phase-amplitude matrixed surround decoder
ES2425814T3 (es) 2008-08-13 2013-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato para determinar una señal de audio espacial convertida
EP2306456A1 (en) * 2009-09-04 2011-04-06 Thomson Licensing Method for decoding an audio signal that has a base layer and an enhancement layer
BR122020001822B1 (pt) * 2010-03-26 2021-05-04 Dolby International Ab Método e dispositivo para decodificar uma representação para campo de som de áudio para reprodução de áudio e meio legível por computador
EP2395505A1 (en) * 2010-06-11 2011-12-14 Thomson Licensing Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer
EP2450880A1 (en) 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
US9530421B2 (en) * 2011-03-16 2016-12-27 Dts, Inc. Encoding and reproduction of three dimensional audio soundtracks
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
RU2617553C2 (ru) 2011-07-01 2017-04-25 Долби Лабораторис Лайсэнзин Корпорейшн Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала
EP2592845A1 (en) 2011-11-11 2013-05-15 Thomson Licensing Method and Apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an Ambisonics representation of the sound field
EP2637427A1 (en) 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
EP2688066A1 (en) 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
EP2688065A1 (en) 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for avoiding unmasking of coding noise when mixing perceptually coded multi-channel audio signals
EP2875511B1 (en) * 2012-07-19 2018-02-21 Dolby International AB Audio coding for improving the rendering of multi-channel audio signals
US9479886B2 (en) 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
EP2743922A1 (en) * 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
EP2800401A1 (en) 2013-04-29 2014-11-05 Thomson Licensing Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation
US10499176B2 (en) * 2013-05-29 2019-12-03 Qualcomm Incorporated Identifying codebooks to use when coding spatial components of a sound field
JP6377730B2 (ja) * 2013-06-05 2018-08-22 ドルビー・インターナショナル・アーベー オーディオ信号を符号化する方法及び装置並びにオーディオ信号を復号する方法及び装置
US9502045B2 (en) * 2014-01-30 2016-11-22 Qualcomm Incorporated Coding independent frames of ambient higher-order ambisonic coefficients
US20150243292A1 (en) * 2014-02-25 2015-08-27 Qualcomm Incorporated Order format signaling for higher-order ambisonic audio data
EP2922057A1 (en) * 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
US10127914B2 (en) 2014-03-21 2018-11-13 Dolby Laboratories Licensing Corporation Method for compressing a higher order ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
CN109410962B (zh) * 2014-03-21 2023-06-06 杜比国际公司 用于对压缩的hoa信号进行解码的方法、装置和存储介质
US9847087B2 (en) * 2014-05-16 2017-12-19 Qualcomm Incorporated Higher order ambisonics signal compression
US9984693B2 (en) * 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
EP3360135B1 (en) 2015-10-08 2020-03-11 Dolby International AB Layered coding for compressed sound or sound field representations
CN108140392B (zh) 2015-10-08 2023-04-18 杜比国际公司 用于压缩声音或声场表示的分层编解码

Also Published As

Publication number Publication date
CN111179949B (zh) 2022-03-25
KR20210040193A (ko) 2021-04-12
CN106463123A (zh) 2017-02-22
US20220377481A1 (en) 2022-11-24
CN111179948A (zh) 2020-05-19
JP2023001241A (ja) 2023-01-04
US12069465B2 (en) 2024-08-20
TWI648729B (zh) 2019-01-21
JP2021152681A (ja) 2021-09-30
US11722830B2 (en) 2023-08-08
US20190342686A1 (en) 2019-11-07
JP7174810B2 (ja) 2022-11-17
US10779104B2 (en) 2020-09-15
KR102428815B1 (ko) 2022-08-04
JP6707604B2 (ja) 2020-06-10
TW202113805A (zh) 2021-04-01
EP3120350B1 (en) 2020-02-19
KR20180026568A (ko) 2018-03-12
US9930464B2 (en) 2018-03-27
KR20230156453A (ko) 2023-11-14
CN111145766A (zh) 2020-05-12
TWI697893B (zh) 2020-07-01
CN111182442B (zh) 2021-08-27
KR102238609B1 (ko) 2021-04-09
KR20200097813A (ko) 2020-08-19
TWI836503B (zh) 2024-03-21
KR20220113838A (ko) 2022-08-16
KR102144389B1 (ko) 2020-08-13
US11395084B2 (en) 2022-07-19
TW202309877A (zh) 2023-03-01
TW201537562A (zh) 2015-10-01
CN111179949A (zh) 2020-05-19
TWI770522B (zh) 2022-07-11
JP6416352B2 (ja) 2018-10-31
EP2922057A1 (en) 2015-09-23
JP6907383B2 (ja) 2021-07-21
TW201933333A (zh) 2019-08-16
KR20180086512A (ko) 2018-07-31
US10542364B2 (en) 2020-01-21
JP7174810B6 (ja) 2022-12-20
KR101838056B1 (ko) 2018-03-14
JP6220082B2 (ja) 2017-10-25
EP4387276A2 (en) 2024-06-19
CN111145766B (zh) 2022-06-24
KR101882654B1 (ko) 2018-07-26
WO2015140291A1 (en) 2015-09-24
KR20160124422A (ko) 2016-10-27
KR102600284B1 (ko) 2023-11-10
US20180234785A1 (en) 2018-08-16
US10334382B2 (en) 2019-06-25
JP2017227930A (ja) 2017-12-28
US20210058729A1 (en) 2021-02-25
EP3686887A1 (en) 2020-07-29
US20170180902A1 (en) 2017-06-22
JP2017514160A (ja) 2017-06-01
US20240007813A1 (en) 2024-01-04
EP3120350A1 (en) 2017-01-25
EP3686887B1 (en) 2024-02-28
CN111182442A (zh) 2020-05-19
US20200120436A1 (en) 2020-04-16
JP2020160454A (ja) 2020-10-01
JP2018205783A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
CN106463123B (zh) 对压缩的高阶高保真立体声(hoa)表示进行解码的方法及装置
CN106104681B (zh) 对压缩的高阶高保真立体声(hoa)表示进行解码的方法及装置
JP7374969B2 (ja) 高次アンビソニックス(hoa)信号を圧縮する方法、圧縮されたhoa信号を圧縮解除する方法、hoa信号を圧縮する装置および圧縮されたhoa信号を圧縮解除する装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1229946

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant