CN113744744B - 一种音频编码方法、装置、电子设备及存储介质 - Google Patents
一种音频编码方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113744744B CN113744744B CN202110890333.6A CN202110890333A CN113744744B CN 113744744 B CN113744744 B CN 113744744B CN 202110890333 A CN202110890333 A CN 202110890333A CN 113744744 B CN113744744 B CN 113744744B
- Authority
- CN
- China
- Prior art keywords
- audio frame
- redundancy
- frame
- target audio
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000007906 compression Methods 0.000 claims abstract description 14
- 230000006835 compression Effects 0.000 claims abstract description 14
- 230000004044 response Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000013144 data compression Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本公开公开一种音频编码方法、装置、电子设备及存储介质，该方法包括：获取目标音频帧和至少包括第一冗余指示信息的编码冗余信息，对目标音频帧进行第一编码处理，得到目标音频帧的常规码流数据，响应于第一音频帧是目标音频帧的冗余帧的第一冗余指示信息，对目标音频帧的常规码流数据和第一音频帧的冗余码流数据进行信源冗余处理，得到目标音频帧的编码数据并输出，其中，第一音频帧已经过编码且与目标音频帧间隔至少一个音频帧，第一音频帧的冗余码流数据是对第一音频帧进行第二编码处理得到的，第二编码处理对应的音频压缩程度高于第一编码处理对应的音频压缩程度。这样，目标音频帧的冗余帧的选择比较灵活，利于提升音频编码的灵活性。
Description
技术领域
本公开涉及音频处理技术领域，尤其涉及一种音频编码方法、装置、电子设备及存储介质。
背景技术
WebRTC是一个实时音视频开源框架，包含多种音频编解码器，Opus便是其中一种常用的音频编解码器。
Opus具有动态码率覆盖范围广、可变编码帧长、可变复杂度、良好抗网络丢包特性、覆盖窄带到全频带所有频率范围、适用讲话speech和音乐music场景等诸多优点。但Opus的编码灵活性还有待提升。
发明内容
本公开实施例提供一种音频编码方法、装置、电子设备及存储介质，用以提升音频编码的灵活性。
第一方面，本公开实施例提供一种音频编码方法，包括：
获取目标音频帧和编码冗余信息，所述编码冗余信息至少包括第一冗余指示信息，所述第一冗余指示信息用于指示第一音频帧是否是所述目标音频帧的冗余帧，所述第一音频帧已经过编码且与所述目标音频帧间隔至少一个音频帧；
对所述目标音频帧进行第一编码处理，得到所述目标音频帧的常规码流数据；
响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息，对所述目标音频帧的常规码流数据和所述第一音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据，所述第一音频帧的冗余码流数据是对所述第一音频帧进行第二编码处理得到的，所述第二编码处理对应的音频压缩程度高于所述第一编码处理对应的音频压缩程度；
输出所述目标音频帧的编码数据。
在一些可能的实施方式中，所述第一音频帧与所述目标音频帧间隔一个音频帧。
在一些可能的实施方式中，所述编码冗余信息还包括第二冗余指示信息，所述第二冗余指示信息用于指示第二音频帧是否是所述目标音频帧的冗余帧，所述第二音频帧位于所述第一音频帧和所述目标音频帧之间，还包括：
响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息和所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，对所述目标音频帧的常规码流数据、所述第一音频帧的冗余码流数据和所述第二音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据，所述第二音频帧的冗余码流数据是对所述第二音频帧进行第二编码处理得到的。
在一些可能的实施方式中，对所述目标音频帧的常规码流数据、所述第一音频帧的冗余码流数据和所述第二音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据，包括：
采用距离编码算法，对所述目标音频帧的常规码流数据、所述第一音频帧的冗余码流数据和所述第二音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据。
在一些可能的实施方式中，还包括：
响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息或所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，对所述目标音频帧进行第二编码处理，得到所述目标音频帧的冗余码流数据；
存储所述目标音频帧的冗余码流数据。
第二方面，本公开实施例提供一种音频编码装置，包括：
获取模块，用于获取目标音频帧和编码冗余信息，所述编码冗余信息至少包括第一冗余指示信息，所述第一冗余指示信息用于指示第一音频帧是否是所述目标音频帧的冗余帧，所述第一音频帧已经过编码且与所述目标音频帧间隔至少一个音频帧；
编码模块，用于对所述目标音频帧进行第一编码处理，得到所述目标音频帧的常规码流数据；
冗余处理模块，用于响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息，对所述目标音频帧的常规码流数据和所述第一音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据，所述第一音频帧的冗余码流数据是对所述第一音频帧进行第二编码处理得到的，所述第二编码处理对应的音频压缩程度高于所述第一编码处理对应的音频压缩程度；
输出模块，用于输出所述目标音频帧的编码数据。
在一些可能的实施方式中，所述第一音频帧与所述目标音频帧间隔一个音频帧。
在一些可能的实施方式中，所述编码冗余信息还包括第二冗余指示信息，所述第二冗余指示信息用于指示第二音频帧是否是所述目标音频帧的冗余帧，所述第二音频帧位于所述第一音频帧和所述目标音频帧之间，所述冗余处理模块还用于：
响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息和所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，对所述目标音频帧的常规码流数据、所述第一音频帧的冗余码流数据和所述第二音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据，所述第二音频帧的冗余码流数据是对所述第二音频帧进行第二编码处理得到的。
在一些可能的实施方式中，所述冗余处理模块具体用于：
采用距离编码算法，对所述目标音频帧的常规码流数据、所述第一音频帧的冗余码流数据和所述第二音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据。
在一些可能的实施方式中，还包括存储模块：
所述编码模块，还用于响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息或所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，对所述目标音频帧进行第二编码处理，得到所述目标音频帧的冗余码流数据；
所述存储模块，用于存储所述目标音频帧的冗余码流数据。
第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
存储器存储有可被至少一个处理器执行的指令，该指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述音频编码方法。
第四方面，本公开实施例提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述音频编码方法。
本公开实施例中，获取目标音频帧和至少包括第一冗余指示信息的编码冗余信息，对目标音频帧进行第一编码处理，得到目标音频帧的常规码流数据，响应于第一音频帧是目标音频帧的冗余帧的第一冗余指示信息，对目标音频帧的常规码流数据和第一音频帧的冗余码流数据进行信源冗余处理，得到目标音频帧的编码数据并输出，其中，第一音频帧已经过编码且与目标音频帧间隔至少一个音频帧，第一音频帧的冗余码流数据是对第一音频帧进行第二编码处理得到的，第二编码处理对应的音频压缩程度高于第一编码处理对应的音频压缩程度。这样，在对目标音频帧进行编码时，可将与目标音频帧间隔至少一个音频帧且已编码的第一音频帧作为目标音频帧的冗余帧，冗余帧的选择比较灵活，利于提升音频编码的灵活性，并且，进行信源冗余处理的第一音频帧的冗余码流数据比目标音频帧的常规码流数据的压缩程度大，也利于节省码率。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1为本公开实施例提供的一种音频编码方法的流程图；
图2为本公开实施例提供的又一种音频编码方法的流程图；
图3为本公开实施例提供的一种一帧Opus码流的SILK层组织结构的示意图；
图4是本公开实施例提供的一种音频编码的过程示意图；
图5是本公开实施例提供的一种各音频帧的相关码流数据的压缩结果示意图；
图6为本公开实施例提供的一种音频编码装置的结构示意图；
图7为本公开实施例提供的一种用于实现音频编码方法的电子设备的硬件结构示意图。
具体实施方式
为了提升音频编码的灵活性，本公开实施例提供了一种音频编码方法、装置、电子设备及存储介质。
以下结合说明书附图对本公开的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本公开，并不用于限定本公开，并且在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
为了便于理解本公开，本公开涉及的技术术语中：
Opus，一种有损声音编码格式，由Xiph.Org基金会开发，后由互联网工程任务组(Internet Engineering Task Force，IETF)进行标准化，标准格式定义于RFC 6716协议。
SILK，一种被应用于Opus的音频编解码器。
距离编码(Range encoding)算法，一种熵编码方法，可有效提升数据压缩率。
图1为本公开实施例提供的一种音频编码方法的流程图，该方法包括以下步骤。
在步骤S101中，获取目标音频帧和编码冗余信息，该编码冗余信息至少包括第一冗余指示信息。
其中，第一冗余指示信息用于指示第一音频帧是否是目标音频帧的冗余帧，第一音频帧已经过编码且与目标音频帧间隔至少一个音频帧。
具体实施时，第一冗余指示信息可以是一个标志位A。以标志位A的取值为0和1为例，当标志位A的取值为0时，表示第一音频帧不是目标音频帧的冗余帧；当标志位A的取值为1时，表示第一音频帧是目标音频帧的冗余帧。以标志位A的取值为FALSE和TRUE为例，当标志位A的取值为FALSE时，表示第一音频帧不是目标音频帧的冗余帧；当标志位A的取值为TRUE时，表示第一音频帧是目标音频帧的冗余帧。
假设目标音频帧是音频帧序列中的第T个音频帧，则第一音频帧可以是第T-2个音频帧、第T-3个音频帧、第T-4个音频帧等。
另外，考虑到音频帧与目标音频帧相隔越远时对音频帧的冗余越不必要，第一音频帧与目标音频帧可以间隔一个音频帧，即当目标音频帧是音频帧序列中的第T个音频帧时，第一音频帧可以是第T-2个音频帧。这样，既可灵活地对目标音频帧进行编码又可最大限度地发挥冗余帧的作用。
在步骤S102中，对目标音频帧进行第一编码处理，得到目标音频帧的常规码流数据。
在步骤S103中，响应于第一音频帧是目标音频帧的冗余帧的第一冗余指示信息，对目标音频帧的常规码流数据和第一音频帧的冗余码流数据进行信源冗余处理，得到目标音频帧的编码数据。
其中，第一音频帧的冗余码流数据是对第一音频帧进行第二编码处理得到的，第二编码处理对应的音频压缩程度高于第一编码处理对应的音频压缩程度。
沿用上例，第一音频帧是目标音频帧的冗余帧的第一冗余指示信息即是指标志位A的取值为TRUE或1。
另外，需要说明的是，对同一音频帧而言，这个音频帧的常规码流数据是对音频帧进行第一编码处理得到的，这个音频帧的冗余码流数据是对音频帧进行第二编码处理得到的，其中，第二编码处理对应的音频压缩程度高于第一编码处理对应的音频压缩程度，即音频帧的常规码流数据的数据量大于音频帧的冗余码流数据的数据量，音频帧的冗余码流数据相当于是音频帧的常规码流数据的低配版本。
在步骤S104中，输出目标音频帧的编码数据。
本公开实施例中，在对目标音频帧进行编码时，可将与目标音频帧间隔至少一个音频帧且已编码的第一音频帧作为目标音频帧的冗余帧，冗余帧的选择比较灵活，利于提升音频编码的灵活性，并且，进行信源冗余处理的第一音频帧的冗余码流数据比目标音频帧的常规码流数据的压缩程度大，也利于节省码率。
图2为本公开实施例提供的又一种音频编码方法的流程图，该方法包括以下步骤。
在步骤S201中，获取目标音频帧和编码冗余信息，该编码冗余信息包括第一冗余指示信息和第二冗余指示信息。
其中，第一冗余指示信息用于指示第一音频帧是否是目标音频帧的冗余帧，第一音频帧已经过编码且与目标音频帧间隔至少一个音频帧；第二冗余指示信息用于指示第二音频帧是否是目标音频帧的冗余帧，第二音频帧位于第一音频帧和目标音频帧之间。
第一冗余指示信息的表示方式同步骤S101中的介绍，在此不再赘述。类似地，第二冗余指示信息可以是一个标志位B。以标志位B的取值为0和1为例，当标志位B的取值为0时，表示第二音频帧不是目标音频帧的冗余帧；当标志位B的取值为1时，表示第二音频帧是目标音频帧的冗余帧。以标志位B的取值为FALSE和TRUE为例，当标志位B的取值为FALSE时，表示第二音频帧不是目标音频帧的冗余帧；当标志位B的取值为TRUE时，表示第二音频帧是目标音频帧的冗余帧。
具体实施时，当第一音频帧与目标音频帧间隔不止一个音频帧时，第二音频帧可以是位于第一音频帧和目标音频帧之间的任一音频帧；当第一音频帧与目标音频帧间隔一个音频帧时，第二音频帧即是位于第一音频帧和目标音频帧之间的音频帧。
在步骤S202中，对目标音频帧进行第一编码处理，得到目标音频帧的常规码流数据。
在步骤S203中，响应于第一音频帧是目标音频帧的冗余帧的第一冗余指示信息和第二音频帧是目标音频帧的冗余帧的第二冗余指示信息，对目标音频帧的常规码流数据、第一音频帧的冗余码流数据和第二音频帧的冗余码流数据进行信源冗余处理，得到目标音频帧的编码数据。
其中，第一音频帧的冗余码流数据是对第一音频帧进行第二编码处理得到的，第二音频帧的冗余码流数据是对第二音频帧进行第二编码处理得到的，第二编码处理对应的音频压缩程度高于第一编码处理对应的音频压缩程度。
沿用上例，第一音频帧是目标音频帧的冗余帧的第一冗余指示信息即是指标志位A的取值为TRUE或1，第二音频帧是目标音频帧的冗余帧的第二冗余指示信息即是指标志位B的取值为TRUE或1。
具体实施时，可采用Range encoding算法，对目标音频帧的常规码流数据、第一音频帧的冗余码流数据和第二音频帧的冗余码流数据进行信源冗余处理，得到目标音频帧的编码数据。由于距离编码算法的数据压缩性能好，所以可提升数据压缩率、提升音频编码效率。
在步骤S204中，输出目标音频帧的编码数据。
本公开实施例中，在对目标音频帧进行编码时，可以对与目标音频帧间隔至少一个音频帧且已编码的第一音频帧、以及位于目标音频帧和第一音频帧之间的第二音频帧同时进行信源冗余处理，并且，可采用Range encoding算法对这三个音频帧的相应码流数据进行信源冗余处理，不但编码灵活性较好，而且数据压缩性能也比较好。
另外，在上述任一实施例中，还可响应于第一音频帧是目标音频帧的冗余帧的第一冗余指示信息或第二音频帧是目标音频帧的冗余帧的第二冗余指示信息，对目标音频帧进行第二编码处理，得到目标音频帧的冗余码流数据，存储目标音频帧的冗余码流数据。这样，当目标音频帧作为其他音频帧的冗余帧时，可以直接获取到目标音频帧的冗余码流数据，并与对应音频帧的常规码流数据进行信源冗余处理，以尽可能地提升编码速度。
下面以Opus为例对本公开实施例的方案进行说明。
以单声道编码为例，图3为本公开实施例提供的一帧Opus码流的SILK层组织结构的示意图，包括：VAD flags、LBRR(T-1)flag、LBRR(T-2)flag、LBRR(T-1)Frame、LBRR(T-2)Frame和Regular SILK Frame，其中，VAD flags用于指示目标音频帧是否是音频帧序列的边界，LBRR(T-1)flag，对应上述标志位B，用于指示第T-1个音频帧(即第二音频帧)是否是第T个音频帧(即目标音频帧)的冗余帧，LBRR(T-2)flag，对应上述标志位A，用于指示第T-2个音频帧(即第一音频帧)是否是第T个音频帧的冗余帧，LBRR(T-1)Frame、LBRR(T-2)Frame和Regular SILK Frame的编码帧长可以是20ms。
图4是本公开实施例提供的一种音频编码的过程示意图，对一段待发送给客户端的音频帧序列，可按照图4所示的流程进行音频编码，该流程包括以下步骤：
在步骤S401中，获取音频帧序列。
在步骤S402中，判断LBRR(T-2)flag是否为TRUE，若否，则进入步骤S403；若是，则进入步骤S409。
其中，当LBRR(T-2)flag为TRUE时，说明第T-2个音频帧是第T个音频帧的冗余帧；当LBRR(T-2)flag不为TRUE即为FALSE时，说明第T-2个音频帧不是第T个音频帧的冗余帧。
在步骤S403中，判断LBRR(T-1)flag是否为TRUE，若否，则进入步骤S404；若是，则进入步骤S406。
其中，当LBRR(T-1)flag为TRUE时，说明第T-1个音频帧是第T个音频帧的冗余帧；当LBRR(T-1)flag不为TRUE即为FALSE时，说明第T-1个音频帧不是第T个音频帧的冗余帧。
在步骤S404中，编码第T个音频帧的常规码流数据。
在步骤S405中，将第T个音频帧的常规码流数据作为第T个音频帧的编码数据。
在步骤S406中，编码第T个音频帧的冗余码流数据和常规码流数据。
在步骤S407中，判断第T个音频帧是否是第一个音频帧，若是，则进入步骤S405；若否，则进入步骤S408。
在步骤S408中，对第T个音频帧的常规码流数据和第T-1个音频帧的冗余码流数据进行信源冗余处理，得到第T个音频帧的编码数据。
在步骤S409中，判断LBRR(T-1)flag是否为TRUE，若是，则进入步骤S410；若是，则进入步骤S415。
在步骤S410中，编码第T个音频帧的冗余码流数据和常规码流数据。
在步骤S411中，判断第T个音频帧是否是第一个音频帧，若是，则进入步骤S405；若否，则进入步骤S412。
在步骤S412中，判断第T个音频帧是否是第二个音频帧，若是，则进入步骤S413；若否，则进入步骤S414。
在步骤S413中，对T个音频帧的常规码流数据和第T-1个音频帧的冗余码流数据进行信源冗余处理，得到第T个音频帧的编码数据。
在步骤S414中，对T个音频帧的常规码流数据、第T-1个音频帧的冗余码流数据和第T-2个音频帧的冗余码流数据进行信源冗余处理，得到第T个音频帧的编码数据。
具体实施时，可利用Range Encoding算法对第T个音频帧的常规码流数据、第T-1个音频帧的冗余码流数据和第T-2个音频帧的冗余码流数据进行信源冗余处理，图5是本公开实施例提供的一种各音频帧的相关码流数据的压缩结果示意图，其中，100表示第T个音频帧的常规码流数据，99(T-1)表示第T-1个音频帧的冗余码流数据，98(T-2)表示第T-2个音频帧的冗余码流数据。
在步骤S415中，编码第T个音频帧的冗余码流数据和常规码流数据。
在步骤S416中，判断第T个音频帧是否是第一个音频帧或第二个音频帧，若是，则进入步骤S405；若否，则进入步骤S417。
在步骤S417中，对T个音频帧的常规码流数据和第T-2个音频帧的冗余码流数据进行信源冗余处理，得到第T个音频帧的编码数据。
在步骤S418中，输出第T个音频帧的编码数据。
本公开实施例中，在编码第T个音频帧时，可以在带内前向纠错冗余中实现对第T-1个音频帧和第T-2个音频帧的灵活保护，提供了一种更加灵活且能力更强的Opus带内前向纠错冗余策略。并且，可在保持抗丢包水平不变的前提下，利用Opus内部高效的Rangeencoding技术降低信源信道联合优化的码率消耗，达到节省码率的目的。
基于相同的技术构思，本公开实施例还提供一种音频编码装置，音频编码装置解决问题的原理与上述音频编码方法相似，因此音频编码装置的实施可参见音频编码方法的实施，重复之处不再赘述。图6为本公开实施例提供的一种音频编码装置的结构示意图，包括获取模块601、编码模块602、冗余处理模块603、输出模块604。
获取模块601，用于获取目标音频帧和编码冗余信息，所述编码冗余信息至少包括第一冗余指示信息，所述第一冗余指示信息用于指示第一音频帧是否是所述目标音频帧的冗余帧，所述第一音频帧已经过编码且与所述目标音频帧间隔至少一个音频帧；
编码模块602，用于对所述目标音频帧进行第一编码处理，得到所述目标音频帧的常规码流数据；
冗余处理模块603，用于响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息，对所述目标音频帧的常规码流数据和所述第一音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据，所述第一音频帧的冗余码流数据是对所述第一音频帧进行第二编码处理得到的，所述第二编码处理对应的音频压缩程度高于所述第一编码处理对应的音频压缩程度；
输出模块604，用于输出所述目标音频帧的编码数据。
在一些可能的实施方式中，所述第一音频帧与所述目标音频帧间隔一个音频帧。
在一些可能的实施方式中，所述编码冗余信息还包括第二冗余指示信息，所述第二冗余指示信息用于指示第二音频帧是否是所述目标音频帧的冗余帧，所述第二音频帧位于所述第一音频帧和所述目标音频帧之间，所述冗余处理模块603还用于：
响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息和所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，对所述目标音频帧的常规码流数据、所述第一音频帧的冗余码流数据和所述第二音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据，所述第二音频帧的冗余码流数据是对所述第二音频帧进行第二编码处理得到的。
在一些可能的实施方式中，所述冗余处理模块603具体用于：
采用距离编码算法，对所述目标音频帧的常规码流数据、所述第一音频帧的冗余码流数据和所述第二音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据。
在一些可能的实施方式中，还包括存储模块605：
所述编码模块602，还用于响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息或所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，对所述目标音频帧进行第二编码处理，得到所述目标音频帧的冗余码流数据；
所述存储模块605，用于存储所述目标音频帧的冗余码流数据。
本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本公开各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
图7为本公开实施例提供的一种电子设备的结构示意图，该电子设备包括收发器701以及处理器702等物理器件，其中，处理器702可以是一个中央处理单元(CentralProcessing Unit，CPU)、微处理器、专用集成电路、可编程逻辑电路、大规模集成电路、或者为数字处理单元等等。收发器701用于电子设备和其他设备进行数据收发。
该电子设备还可以包括存储器703用于存储处理器702执行的软件指令，当然还可以存储电子设备需要的一些其他数据，如电子设备的标识信息、电子设备的加密信息、用户数据等。存储器703可以是易失性存储器(Volatile Memory)，例如随机存取存储器(Random-Access Memory，RAM)；存储器703也可以是非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(Flash Memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)、或者存储器703是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器703可以是上述存储器的组合。
本公开实施例中不限定上述处理器702、存储器703以及收发器701之间的具体连接介质。本公开实施例在图7中仅以存储器703、处理器702以及收发器701之间通过总线704连接为例进行说明，总线在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器702可以是专用硬件或运行软件的处理器，当处理器702可以运行软件时，处理器702读取存储器703存储的软件指令，并在所述软件指令的驱动下，执行前述实施例中涉及的音频编码方法。
本公开实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行前述实施例中涉及的音频编码方法。
在一些可能的实施方式中，本公开提供的音频编码方法的各个方面还可以实现为一种程序产品的形式，所述程序产品中包括有程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行前述实施例中涉及的音频编码方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、光盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开实施例中用于音频编码的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(Local AreaNetwork，LAN)或广域网(Wide Area Network，WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、装置(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。
Claims (8)
1.一种音频编码方法，其特征在于，包括：
获取目标音频帧和编码冗余信息，所述编码冗余信息包括第一冗余指示信息和第二冗余指示信息，所述第一冗余指示信息用于指示第一音频帧是否是所述目标音频帧的冗余帧，所述第一音频帧已经过编码且与所述目标音频帧间隔至少一个音频帧，所述第二冗余指示信息用于指示第二音频帧是否是所述目标音频帧的冗余帧，所述第二音频帧位于所述第一音频帧和所述目标音频帧之间；
对所述目标音频帧进行第一编码处理，得到所述目标音频帧的常规码流数据；
响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息和所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，采用距离编码方法，对所述目标音频帧的常规码流数据、所述第一音频帧的冗余码流数据和所述第二音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据，所述第一音频帧的冗余码流数据是对所述第一音频帧进行第二编码处理得到的，所述第二音频帧的冗余码流数据是对所述第二音频帧进行第二编码处理得到的，所述第二编码处理对应的音频压缩程度高于所述第一编码处理对应的音频压缩程度；
输出所述目标音频帧的编码数据。
2.如权利要求1所述的方法，其特征在于，所述第一音频帧与所述目标音频帧间隔一个音频帧。
3.如权利要求1所述的方法，其特征在于，还包括：
响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息或所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，对所述目标音频帧进行第二编码处理，得到所述目标音频帧的冗余码流数据；
存储所述目标音频帧的冗余码流数据。
4.一种音频编码装置，其特征在于，包括：
获取模块，用于获取目标音频帧和编码冗余信息，所述编码冗余信息包括第一冗余指示信息和第二冗余指示信息，所述第一冗余指示信息用于指示第一音频帧是否是所述目标音频帧的冗余帧，所述第一音频帧已经过编码且与所述目标音频帧间隔至少一个音频帧，所述第二冗余指示信息用于指示第二音频帧是否是所述目标音频帧的冗余帧，所述第二音频帧位于所述第一音频帧和所述目标音频帧之间；
编码模块，用于对所述目标音频帧进行第一编码处理，得到所述目标音频帧的常规码流数据；
冗余处理模块，用于响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息和所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，采用距离编码方法，对所述目标音频帧的常规码流数据和所述第一音频帧的冗余码流数据进行信源冗余处理，得到所述目标音频帧的编码数据，所述第一音频帧的冗余码流数据是对所述第一音频帧进行第二编码处理得到的，所述第二音频帧的冗余码流数据是对所述第二音频帧进行第二编码处理得到的，所述第二编码处理对应的音频压缩程度高于所述第一编码处理对应的音频压缩程度；
输出模块，用于输出所述目标音频帧的编码数据。
5.如权利要求4所述的装置，其特征在于，所述第一音频帧与所述目标音频帧间隔一个音频帧。
6.如权利要求4所述的装置，其特征在于，还包括存储模块：
所述编码模块，还用于响应于所述第一音频帧是所述目标音频帧的冗余帧的第一冗余指示信息或所述第二音频帧是所述目标音频帧的冗余帧的第二冗余指示信息，对所述目标音频帧进行第二编码处理，得到所述目标音频帧的冗余码流数据；
所述存储模块，用于存储所述目标音频帧的冗余码流数据。
7.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-3任一所述的方法。
8.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-3任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110890333.6A CN113744744B (zh) | 2021-08-04 | 2021-08-04 | 一种音频编码方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110890333.6A CN113744744B (zh) | 2021-08-04 | 2021-08-04 | 一种音频编码方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113744744A CN113744744A (zh) | 2021-12-03 |
| CN113744744B true CN113744744B (zh) | 2023-10-03 |
Family
ID=78730152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110890333.6A Active CN113744744B (zh) | 2021-08-04 | 2021-08-04 | 一种音频编码方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744744B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118230743A (zh) * | 2022-12-20 | 2024-06-21 | 北京字跳网络技术有限公司 | 音频处理方法、装置及设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109524015A (zh) * | 2017-09-18 | 2019-03-26 | 杭州海康威视数字技术股份有限公司 | 音频编码方法、解码方法、装置及音频编解码*** |
-
2021
- 2021-08-04 CN CN202110890333.6A patent/CN113744744B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109524015A (zh) * | 2017-09-18 | 2019-03-26 | 杭州海康威视数字技术股份有限公司 | 音频编码方法、解码方法、装置及音频编解码*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113744744A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9311049B2 (en) | System to improve numereical conversions and associated methods | |
| CN110427359A (zh) | 一种图数据处理方法和装置 | |
| CN108777606B (zh) | 解码方法、设备及可读存储介质 | |
| CN111078930A (zh) | 音频文件数据处理方法及装置 | |
| JP7470800B2 (ja) | オーディオ・エンコードおよびデコード方法ならびにオーディオ・エンコードおよびデコード装置 | |
| CN107205041A (zh) | 音频设备的升级方法、音频设备及智能音箱 | |
| CN113744744B (zh) | 一种音频编码方法、装置、电子设备及存储介质 | |
| CN114333862A (zh) | 音频编码方法、解码方法、装置、设备、存储介质及产品 | |
| US20230108008A1 (en) | Method and apparatus for decoding a bitstream including encoded higher order ambisonics representations | |
| CN110085241A (zh) | 数据编码方法、装置、计算机存储介质及数据编码设备 | |
| CN103237259A (zh) | 一种视频声道处理装置及方法 | |
| CN110602338B (zh) | 音频处理方法、装置、***、存储介质以及设备 | |
| US10601441B2 (en) | Efficient software closing of hardware-generated encoding context | |
| CN110944197B (zh) | 一种图像、音频编码的方法和装置 | |
| CN110933436A (zh) | 图像编码方法、装置、计算机设备及存储介质 | |
| CN110970039A (zh) | 一种音频传输方法、装置、电子设备和存储介质 | |
| CN109413492B (zh) | 一种直播过程中音频数据混响处理方法及*** | |
| CN114039919A (zh) | 流量调度方法、介质、装置和计算设备 | |
| EP2981081B1 (en) | Methods and devices for coding and decoding depth information, and video processing and playing device | |
| CN104732979A (zh) | 一种音频数据的处理方法及装置 | |
| CN114070470A (zh) | 编解码方法及装置 | |
| CN109375892B (zh) | 用于播放音频的方法和装置 | |
| CN111028848B (zh) | 压缩语音处理方法、装置及电子设备 | |
| WO2024131847A1 (zh) | 音频处理方法、装置、电子设备及计算机可读存储介质 | |
| EP4398242A1 (en) | Encoding and decoding methods and apparatus, device, storage medium, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |