CN109361494B - 一种音频数据的处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种音频数据的处理方法、装置、设备和存储介质，所述方法包括：获取网络带宽值和网络容量值；根据所述网络带宽值将所述音频数据打包为数据包；根据所述网络容量值确定所述数据包的发送模式；采用所述发送模式将所述数据包发送至音频接收设备。本发明实施例根据网络的网络带宽值将音频数据打包为数据包，可以选择较佳的编码码率对音频数据进行打包，并根据网络容量值确定数据包的发送模式，按照发送模式发送数据包到音频接收设备，既提高了语音通话的质量，又保证了通话的低延时。

Description

一种音频数据的处理方法、装置、设备和存储介质

技术领域

本发明涉及通信技术领域，尤其涉及一种音频数据的处理方法、装置、设备和存储介质。

背景技术

随着互联网技术的日益发展，基于互联网进行语音通话的应用程序也越来越受到人们的关注。

在语音通话中，音频发送设备需要将采集到的音频数据进行编码后，通过网络发送至音频接设备，通话质量的优劣与音频数据的编码码率和网络延时相关，编码码率高并且网络延时小能够获得较好的通话质量，然而，为了避免网络的不稳定性，现有技术对网络延时和丢包率设定多个阈值，每个阈值对应不同的编码码率，通过监测网络延时和丢包率，实时调整音频数据的编码码率以提高通话质量。

对于随机丢包和网络延时较大的网络，由于监测到网络延时和随机丢包的丢包率较大，导致音频发送设备采用较小的编码码率进行编码，使得编码码率无法上升；而对于网络延时较低的小带宽网络，由于监测到网络延时低，导致音频发送设备采用较高的编码码率进行编码，同时由于带宽小造成网络拥塞，如果监测到的网络延时没有处于相应的阈值范围内，使得音频发送端无法下调编码码率，造成了网络的高延时，因此目前设置多个阈值来调整音频编码码率的方法，无法有效地提高语音通话的通话质量。

发明内容

本发明实施例提供一种音频数据的处理方法、装置、设备和存储介质，以解决在语音通话中，音频数据的处理方法无法有效地提高通话质量的问题。

第一方面，本发明实施例提供了一种音频数据的处理方法，应用于音频发送设备，包括：

获取网络带宽值和网络容量值；

根据所述网络带宽值将所述音频数据打包为数据包；

根据所述网络容量值确定所述数据包的发送模式；

采用所述发送模式将所述数据包发送至音频接收设备。

第二方面，本发明实施例提供了一种音频数据的处理装置，应用于音频发送设备，包括：

带宽值和容量值获取模块，用于获取网络带宽值和网络容量值；

音频数据打包模块，用于根据所述网络带宽值将所述音频数据打包为数据包；

发送模式确定模块，用于根据所述网络容量值确定所述数据包的发送模式；

数据包发送模块，用于采用所述发送模式将所述数据包发送至音频接收设备。

第三方面，本发明实施例提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的音频数据的处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的音频数据的处理方法。

本发明实施例提供的音频数据的处理方法，通过获取网络带宽值和网络容量值，并根据网络带宽值将音频数据打包为数据包，以及，根据网络容量值确定数据包的发送模式，采用发送模式将数据包发送至音频接收设备。本发明实施例根据网络的网络带宽值将音频数据打包为数据包，可以选择较佳的编码码率对音频数据进行打包，并根据网络容量值确定数据包的发送模式，按照发送模式发送数据包到音频接收设备，既提高了语音通话的质量，又保证了通话的低延时。

附图说明

图1是本发明实施例提供的一种音频数据的处理方法的示意图；

图2是本发明另一实施例提供的一种音频数据的处理方法的示意图；

图3是本发明实施例提供的一种音频数据的处理装置的结构示意图；

图4是本发明实施例提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的一种音频数据的处理方法的流程图，本发明实施例可适用于语音通话中音频发送设备发送音频数据的情况，该方法可以由音频数据的处理装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，具体地，如图1所示，该方法可以包括如下步骤：

S101、获取网络带宽值和网络容量值。

在本发明实施例中，音频发送设备可以响应于用户在网络通话APP的语音通话操作，采集音频数据并对音频数据编码后通过网络发送至与音频接收设备，在发送音频数据的过程中，音频发送设备可以实时计算网络的网络带宽值和网络容量值，其中，网络带宽值可以是指在音频数据的传输链路上固定的时间内可传输的数据量，网络容量值可以是指音频发送设备可在音频数据的传输链路上可传输的最大数据量。

具体地，音频发送设备可以根据网络状态对网络带宽值和网络容量值进行估算，其中，网络状态可以用网络质量参数表示，例如可以包括但不限于网络的发送速率、接收速率、网络延时和丢包率等，音频发送设备可以实时对网络质量参数进行监测，以根据网络质量参数对网络带宽值和网络容量值进行估算。

S102、根据所述网络带宽值将所述音频数据打包为数据包。

其中，音频数据的打包可以是按照一定的编码码率对音频数据进行编码，得到多个数据包的过程，为了使得编码码率与网络带宽值相适应以获得良好的通话质量，可以根据原始编码码率和网络带宽值确定目标编码码率，例如可以在网络带宽值较大时提高原始编码码率以获得良好的通话质量，在网络带宽值较小时降低原始编码码率以降低网络延时。

S103、根据所述网络容量值确定所述数据包的发送模式。

具体地，数据包可以包括音频包、数据包发送失败后的重传包、冗余包和占位包等，可以根据网络容量值确定数据包的发送模式，该发送模式可以是选择发送的数据包以及选择发送的数据包的优先级，比如，根据网络容量值，可以选择优先发送音频包，然后发送重传包作为数据包的发送模式，或者是只发送音频包，或者是发送音频包和占位包等等。在实施本发明实施例时，本领技术人员可以根据实际需要设置其他的发送模式，本发明实施例对此不加以限制。

S104、采用所述发送模式将所述数据包发送至音频接收设备。

在确定数据包的发送模式后，音频发送设备可以按照数据包的发送模式，将数据包发送至音频接收设备，以在音频接收设备接收到数据包后进行解码和播放音频数据，从而实现音频发送设备和音频接收设备的语音通话。

本发明实施例通过获取网络带宽值和网络容量值，并根据网络带宽值将音频数据打包为数据包，以及，根据网络容量值确定数据包的发送模式，采用发送模式将数据包发送至音频接收设备。本发明实施例根据网络的网络带宽值将音频数据打包为数据包，可以选择较佳的编码码率对音频数据进行打包，并根据网络容量值确定数据包的发送模式，按照发送模式发送数据包到音频接收设备，既提高了语音通话的质量，又保证了通话的低延时。

图2为本发明另一实施例提供的一种音频数据的处理方法的流程图，本实施例是在上述实施例的基础上进行优化。具体地，如图2所示，本发明实施例提供的方法可以包括如下步骤：

S201、获取网络带宽值和网络容量值。

在本发明实施例中，可以通过发送速率和接收速率计算网络带宽值，具体地，可以按照预设速率计算周期，获取音频发送设备发送音频数据的发送速率和接收音频数据的接收速率，并基于发送速率和接收速率，确定预设速率计算周期的参考传输速率，并获取预设带宽值计算周期内的多个参考传输速率，以在多个参考传输速率中确定出网络带宽值。

其中，发送速率为预设速率计算周期内发送总字节数和发送时间间隔的比值，接收速率为接收总字节数和接收间隔时间的比值，例如，预设速率计算周期可以为一个RTT(Round-Trip Time，往返延时)，往返延时为从音频发送设备发送数据包开始，到接收到音频接收设备反馈的确认信息总共经历的时间。具体地，音频发送设备记录每个数据包的发送时间和接收时间，发送时间和接收时间的差值即为往返延时，其中，接收时间为音频发送设备接收到音频接收设备反馈的确认信息的时间。在一个RTT内，音频发送设备可以发送多个数据包和接收到多个数据包，则可以计算一个RTT内发送的数据包的总字节数与RTT的比值，得到发送速率，以及，通过接收到的数据包的总字节数与RTT的比值，得到接收速率，在可选实施例中，可以将预设速率计算周期内的发送速率和接收速率较小的一个作为参考传输速率。

本发明实施例中，可以按照预设带宽值计算周期计算网络带宽值，可选地，可以以多个RTT(例如10个RTT)为一个预设带宽值计算周期，在每个RTT内确定参考传输速率，将多个RTT计算得到的参考传输速率中的最大值作为网络带宽值。

在计算得到网络带宽值后，可以获取预设带宽值计算周期内的多个网络延时，根据网络延时和网络带宽值计算网络容量值，可选地，可以从多个网络延时中选择最小网络延时，通过最小网络延时和网络带宽值的乘积计算网络容量值。

本发明实施例根据多个预设速率计算周期的参考传输速率确定网络带宽值，可以提高计算得到的网络带宽值和网络容量值的准确度。

S202、确定所述音频数据当前设置的原始编码码率。

本发明实施例中，可以对音频数据编码进行PCM编码、WMA编码、MP3编码、AAC编码等，在编码时，音频发送设备将音频数据发送至音频接收设备时，先按照一定的编码码率对音频数据进行编码，则可以将当前的编码码率作为原始编码码率。

S203、根据所述原始编码码率确定发送所述音频数据的需求网络带宽值。

具体地，音频数据的发送会占用一定的网络带宽，该网络带宽与原始编码码率相关，可以获取被占用的网络带宽的值作为需求网络带宽值，例如可以通过发送速率和原始编码码率计算得到需求网络带宽值。

S204、如果在预设时长内所述网络带宽值均大于或小于所述需求网络带宽值时，则根据预设带宽系数和所述网络带宽值对所述原始编码码率进行调整，得到目标编码码率。

在实际应用中，如果网络带宽值大于需求网络带宽值，则可以提高原始编码码率以提高语音通话的清晰度，如果网络带宽值小于需求网络带宽值，则可以降低原始编码码率以避免网络拥塞造成网络延时。

优选地，如果在预设时长内网络带宽值均大于或小于需求网络带宽值时，基于网络带宽值，按照预设带宽系数和网络带宽值对原始编码码率进行调整，具体地，网络带宽值按照预设带宽计算周期进行计算，如果在预设时长内，按照预设带宽计算周期计算得到的连续的多个网络带宽值均大于需求网络带宽值时，可以从预设带宽-码率关联列表中选择高于原始编码码率的编码码率作为目标编码码率，可以避免每次网络带宽值大于或小于就需要对原始编码码率进行调整造成码率调整过于频繁，降低了码率调整的负担，同时也提高了码率调整的有效性，进一步地，根据预设带宽系数和网络带宽值对原始编码码率进行调整，可以保证在低网络延时的情况下提高编码码率，进一步提高了语音通话的质量。

S205、采用所述目标编码码率将所述音频数据打包为数据包。

具体地，音频发送设备采用目标编码码率，按照预设编码格式对音频数据进行编码，得到多个数据包，可选地，数据包可以包括音频包、重传包、冗余包和占位包中的至少一种，其中，重传包可以是数据包发送失败需要重传的数据包，冗余包可以是为了保证音频数据在音频接收设备能够正常播放，需要对发送的音频包出错进行恢复而在发送的音频数据中增加的数据包，占位包可以是发送音频数据时数据量不足，用于补足发送数据量的数据包。

S206、在发送所述数据包的过程中，统计指定时长内已发送但未收到反馈的数据包的未反馈数据量。

在实际应用中，由于网络存在网络延时，音频发送设备发送数据包之后并不会立即接收到音频接收设备反馈的确认信息，则可以统计已发送的数据包中未接收到反馈的数据包的总字节数作为未反馈数据量，未反馈数据量反映了数据包在当前网络的发送情况，如果未反馈数据量较大，说明网络拥塞，可以减少发送数据包的数量，如果未反馈数据量较小，说明网络顺畅，可以增加发送数据包的数量。其中，指定时长可以是指一个RTT，即可以统计一个RTT内未收到反馈的数据包的未反馈数据量，当然，本领域技术人员还可以根据实际情况设置其他的指定时长，本发明对指定时长的值不加以限制。

S207、按照预设容量系数确定所述网络容量值的容量阈值。

具体地，预设容量系数与网络容量值的乘积即为容量阈值，比如，预设容量系数可以大于1，在未反馈数据量大于容量阈值时，网络有可能处于拥塞状态，在未反馈数据量小于容量阈值时，网络有可能处于顺畅状态，在实施本发明实施例时，本领域技术人员可以根据实际情况设置预设容量系数，本发明实施例对预设容量系数的值不加以限制。

S208、如果所述未反馈数据量大于所述容量阈值，则确定所述数据包的发送模式为第一限流发送模式，执行S211。

在本发明实施例中，在未反馈数据量大于容量阈值时，确定数据包的发送模式为第一限流发送模式，可选地，第一限流发送模式为发送音频包、重传包和冗余包，以减少需要发送的数据量，降低网络的负担和网络延时。

S209、如果所述未反馈数据量小于所述容量阈值，则确定所述数据包的发送模式为第一发送模式，执行S212。

在本发明实施例中，在未反馈数据量小于容量阈值时，确定数据包的发送模式为第一发送模式，可选地，第一发送模式为发送音频包、重传包、冗余包和占位包，即按照正常状态发送所有的数据包。

S210、如果在连续多个所述指定时长内，所述未反馈数据量均大于所述容量阈值，则确定所述数据包的发送模式为第二限流发送模式，执行S213。

具体地，音频发送设备在进入第一限流模式后，统计多个指定时长的未反馈数据量，如果多个连续指定时长的未反馈数据量均大于容量阈值，比如，在一个RTT内，未反馈数据量均大于容量阈值，在接下来连续的两个RTT内，未反馈数据量均大于容量阈值，则说明通过第一限流模式后网络拥塞情况未得到改善，则确定数据包的发送模式为第二限流模式，可选地，第二限流模式为发送音频包和重传包，以进一步减少需要发送的数据量，降低网络的负担和网络延时。

S211、从所述数据包中筛选出音频包、重传包和冗余包，并将所述音频包、重传包和冗余包发送至音频接收设备。

具体地，如果数据包的发送模式为第一限流发送模式，即发送音频包、重传包和冗余包，则可以从数据包中筛选出音频包、重传包和冗余包，将音频包、重传包和冗余包发送至音频接收设备，由于没有发送占位包，减少了发送的数据包的数量，可以改善网络的拥塞情况，降低数据包的堆积，减小网络延时。

S212、将所述音频包、所述重传包、所述冗余包和所述占位包发送至音频接收设备。

具体地，如果数据包的发送模式为第一发送模式，即发送音频包、重传包、冗余包和占位包，将音频包、重传包、冗余包和占位包发送至音频接收设备，由于第一发送模式为不限流模式，可以按照正常模式发送所有数据包，可以提高语音通话的质量。

S213、从所述数据包中筛选出音频包和重传包，以及将所述音频包和所述重传包发送至音频接收设备。

本发明实施例中，如果数据包的发送模式为第二限流发送模式，即发送音频包和重传包，则可以从数据包中筛选出音频包和重传包，将音频包和重传包发送至音频接收设备，由于无需发送占位包和冗余包，进一步减少了发送数据包的数量，可以改善网络的拥塞情况，降低数据包的堆积，减小网络延时。

在本发明的可选实施例中，音频发送设备在发送数据包时，可以获取实时发送速率，如果实时发送速率小于预设速率计算周期计算得到的发送速率，确定数据包的发送模式为第二发送模式，则从数据包中筛选出音频包和占位包，将音频包和占位包发送至音频接收设备。

具体地，音频发送设备在按照第一限流发送模式、第二限流发送模式和第一发送模式中的一种模式发送数据包的过程中，如果实时发送速率小于预设速率计算周期计算得到的发送速率，则可以将当前数据包的发送模式转为第二发送模式，即发送音频包和占位包，可以解决编码码率调整到最高编码码率后数据包不足的问题，通过增加占位包来保证发送足够的数据包，从而提高音频接收设备解码得到的音频数据的准确性。

在本发明实施例中，音频发送设备在发送数据包时，如果检测到连续的多个音频包为静音包，则确定数据包的发送模式为第三发送模式，从所述数据包中筛选出音频包，并将音频包发送至音频接收设备。

在实际应用中，音频数据可以包括静音段和非静音段，静音段由于为无效的语音信息，相应地，编码后可以得到静音包和非静音包，在检测到连续的多个静音包时，可以只发送静音包而不发送其他数据包，可以释放音频发送设备发送数据包占用的带宽。

需要说明的是，虽然本发明实施例说明了数据包的发送模式包括以上的多种模式，以及发送模式下相应发送的数据包，在实施本发明实施例中，本领域技术人员还可以根据实际需要设置其他的发送模式，以及相应发送模式下发送的数据包。

本发明实施例提供的音频数据的处理方法，通过获取网络带宽值和网络容量值，并根据网络带宽值将音频数据打包为数据包，以及，根据网络容量值确定数据包的发送模式，采用发送模式将数据包发送至音频接收设备。本发明实施例根据网络的网络带宽值将音频数据打包为数据包，可以选择较佳的编码码率对音频数据进行打包，并根据网络容量值确定数据包的发送模式，按照发送模式发送数据包到音频接收设备，既提高了语音通话的质量，又保证了通话的低延时。

图3为本发明实施例的一种音频数据的处理装置的结构示意图，如图3所示，该装置具体包括：

带宽值和容量值获取模块301，用于获取网络带宽值和网络容量值；

音频数据打包模块302，用于根据所述网络带宽值将所述音频数据打包为数据包；

发送模式确定模块303，用于根据所述网络容量值确定所述数据包的发送模式；

数据包发送模块304，用于采用所述发送模式将所述数据包发送至音频接收设备。

可选地，所述带宽值和容量值获取模块301，包括：

发送速率和接收速率获取子模块，用于按照预设速率计算周期，获取所述音频发送设备发送所述音频数据的发送速率和接收速率；

参考传输速率确定子模块，用于基于所述发送速率和所述接收速率，确定所述预设速率计算周期的参考传输速率；

参考传输速率获取子模块，用于在预设带宽值计算周期内，获取多个参考传输速率；

网络带宽值确定子模块，用于采用所述多个参考传输速率确定所述预设带宽值计算周期的网络带宽值；

网络容量值计算子模块，用于采用所述网络带宽值计算网络容量值。

可选地，所述网络容量值计算子模块包括：

网络延时获取单元模块，用于获取所述网络的网络延时；

网络容量值计算单元，用于采用所述网络延时和所述网络带宽值计算网络容量值。

可选地，所述音频数据打包模块302包括：

原始编码码率确定子模块，用于确定所述音频数据当前设置的原始编码码率；

需求网络带宽值确定子模块，用于根据所述原始编码码率确定发送所述音频数据的需求网络带宽值；

编码码率调整子模块，用于如果在预设时长内所述网络带宽值均大于或小于所述需求网络带宽值时，则根据预设带宽系数和所述网络带宽值对所述原始编码码率进行调整，得到目标编码码率；

音频数据打包子模块，用于采用所述目标编码码率将所述音频数据打包为数据包

可选地，所述发送模式确定模块303包括：

容量预设确定子模块，用于按照预设容量系数确定所述网络容量值的容量阈值；

第一限流发送模式确定子模块，用于如果所述未反馈数据量大于所述容量阈值，则确定所述数据包的发送模式为第一限流发送模式；

第一发送模式确定子模块，用于如果所述未反馈数据量小于所述容量阈值，则确定所述数据包的发送模式为第一发送模式。

可选地，所述数据包包括音频包、重传包、冗余包和占位包，所述数据包发送模块304包括：

第一发送子模块，用于如果所述发送模式为第一限流发送模式，则从所述数据包中筛选出音频包、重传包和冗余包，并将所述音频包、重传包和冗余包发送至音频接收设备

第二发送子模块，用于如果所述发送模式为第一发送模式，将所述音频包、所述重传包、所述冗余包和所述占位包发送至音频接收设备。

可选地，所述发送模式确定模块303还包括：

第二限流模式确定子模块，用于如果在连续多个所述指定时长内，所述未反馈数据量大于所述容量阈值，则确定所述数据包的发送模式为第二限流发送模式，

所述数据包发送模块304包括：

用于从所述数据包中筛选出音频包和重传包；

第三发送子模块，用于从所述数据包中筛选出音频包和重传包，以及将所述音频包和所述重传包发送至音频接收设备。

可选地，所述发送模式确定模块303包括：

实时发送速率获取子模块，用于发送所述数据包的过程中，获取实时发送速率；

第二发送模式确定子模块，用于如果所述实时发送速率小于所述预设速率计算周期计算得到的发送速率，确定所述数据包的发送模式为第二发送模式；

所述数据包发送模块304包括：

第四发送子模块，用于从所述数据包中筛选出音频包和占位包，并所述音频包和所述占位包发送至音频接收设备。

可选地，所述发送模式确定模块303包括：

第三发送模式确定子模块，用于如果检测到连续的多个音频包为静音包，则确定所述数据包的发送模式为第三发送模式；

所述数据包发送模块304包括：

第五发送子模块，用于从所述数据包中筛选出音频包并将所述音频包发送至音频接收设备。

本发明实施例所提供的音频数据的处理装置可执行本发明任意实施例所提供的音频数据的处理方法，具备执行方法相应的功能模块和有益效果。

参照图4，示出了本发明一个示例中的一种设备的结构示意图。如图4所示，该设备具体可以包括：处理器40、存储器41、具有触摸功能的显示屏42、输入装置43、输出装置44以及通信装置45。该设备中处理器40的数量可以是一个或者多个，图4中以一个处理器40为例。该设备中存储器41的数量可以是一个或者多个，图4中以一个存储器41为例。该设备的处理器40、存储器41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的音频数据的处理方法对应的程序指令/模块(例如，上述音频数据的处理装置中的带宽值和容量值获取模块301、音频数据打包模块302、发送模式确定模块303和数据包发送模块304等)。存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示屏42为具有触摸功能的显示屏42，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。可选的，当显示屏42为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏42的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器40或者其他设备。

通信装置45，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。

输入装置43可用于接收输入的数字或者字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置44可以包括扬声器等音频设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定。

处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述音频数据的处理方法。

具体地，实施例中，处理器40执行存储器41中存储的一个或多个程序时，具体实现如下操作：获取网络带宽值和网络容量值；根据所述网络带宽值将所述音频数据打包为数据包；根据所述网络容量值确定所述数据包的发送模式；采用所述发送模式将所述数据包发送至音频接收设备。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得设备能够执行如上述方法实施例所述的音频数据的处理方法。示例性的，该音频数据的处理方法包括：获取网络带宽值和网络容量值；根据所述网络带宽值将所述音频数据打包为数据包；根据所述网络容量值确定所述数据包的发送模式；采用所述发送模式将所述数据包发送至音频接收设备。

需要说明的是，对于装置、设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的音频数据的处理方法。

值得注意的是，上述音频数据的处理装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种音频数据的处理方法，其特征在于，应用于音频发送设备，包括：

获取网络带宽值和网络容量值；

根据所述网络带宽值将所述音频数据打包为数据包，所述数据包包括音频包、重传包、冗余包和占位包；

根据所述网络容量值确定所述数据包的发送模式，所述发送模式包括选择发送的数据包以及选择发送的数据包的优先级；

采用所述发送模式将所述数据包发送至音频接收设备。

2.如权利要求1所述的方法，其特征在于，所述获取网络带宽值和网络容量值，包括：

按照预设速率计算周期，获取所述音频发送设备发送所述音频数据的发送速率和接收速率；

基于所述发送速率和所述接收速率，确定所述预设速率计算周期的参考传输速率；

在预设带宽值计算周期内，获取多个参考传输速率；

采用所述多个参考传输速率确定所述预设带宽值计算周期的网络带宽值；

采用所述网络带宽值计算网络容量值。

3.如权利要求2所述的方法，其特征在于，所述采用所述网络带宽值计算网络容量值，包括：

获取所述网络的网络延时；

采用所述网络延时和所述网络带宽值计算网络容量值。

4.如权利要求1或2或3所述的方法，其特征在于，所述根据所述网络带宽值将所述音频数据打包为数据包，包括：

确定所述音频数据当前设置的原始编码码率；

根据所述原始编码码率确定发送所述音频数据的需求网络带宽值；

如果在预设时长内所述网络带宽值均大于或小于所述需求网络带宽值时，则根据预设带宽系数和所述网络带宽值对所述原始编码码率进行调整，得到目标编码码率；

采用所述目标编码码率将所述音频数据打包为数据包。

5.如权利要求1或2或3所述的方法，其特征在于，所述根据所述网络容量值确定所述数据包的发送模式，包括：

在发送所述数据包的过程中，统计指定时长内未收到反馈的数据包的未反馈数据量；

按照预设容量系数确定所述网络容量值的容量阈值；

如果所述未反馈数据量大于所述容量阈值，则确定所述数据包的发送模式为第一限流发送模式；

如果所述未反馈数据量小于所述容量阈值，则确定所述数据包的发送模式为第一发送模式。

6.如权利要求5所述的方法，其特征在于，所述采用所述发送模式将所述数据包发送至所述音频接收设备，包括：

如果所述发送模式为第一限流发送模式，则从所述数据包中筛选出音频包、重传包和冗余包，并将所述音频包、重传包和冗余包发送至音频接收设备；

如果所述发送模式为第一发送模式，将所述音频包、所述重传包、所述冗余包和所述占位包发送至音频接收设备。

7.如权利要求6所述的方法，其特征在于，在确定所述音频包的发送模式为第一限流发送模式之后，还包括：

如果在连续多个所述指定时长内，所述未反馈数据量大于所述容量阈值，则确定所述数据包的发送模式为第二限流发送模式；

所述采用所述发送模式将所述数据包发送至所述音频接收设备，包括：

从所述数据包中筛选出音频包和重传包，以及将所述音频包和所述重传包发送至音频接收设备。

8.如权利要求2或3所述的方法，其特征在于，所述根据所述网络容量值确定所述数据包的发送模式，包括：

在发送所述数据包的过程中，获取实时发送速率；

如果所述实时发送速率小于所述预设速率计算周期计算得到的发送速率，确定所述数据包的发送模式为第二发送模式；

所述采用所述发送模式将所述数据包发送至所述音频接收设备，包括：

从所述数据包中筛选出音频包和占位包，并所述音频包和所述占位包发送至音频接收设备。

9.如权利要求7所述的方法，其特征在于，所述根据所述网络容量值确定所述数据包的发送模式，包括：

如果检测到连续的多个音频包为静音包，则确定所述数据包的发送模式为第三发送模式；

所述采用所述发送模式将所述数据包发送至所述音频接收设备，包括：

从所述数据包中筛选出音频包并将所述音频包发送至音频接收设备。

10.一种音频数据的处理装置，其特征在于，应用于音频发送设备，包括：

带宽值和容量值获取模块，用于获取网络带宽值和网络容量值；

音频数据打包模块，用于根据所述网络带宽值将所述音频数据打包为数据包，所述数据包包括音频包、重传包、冗余包和占位包；

发送模式确定模块，用于根据所述网络容量值确定所述数据包的发送模式，所述发送模式包括选择发送的数据包以及选择发送的数据包的优先级；

数据包发送模块，用于采用所述发送模式将所述数据包发送至音频接收设备。

11.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的音频数据的处理方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的音频数据的处理方法。

Images