CN100550821C - 用于消除ip语音数据抖动的自适应抖动缓存实现方法 - Google Patents

Abstract

本发明涉及一种用于消除IP语音数据抖动的自适应抖动缓存实现方法，其中采用具有两级指针队列的抖动缓存，先实时检测每一帧IP分组语音数据的时间抖动数值，对于正常接收的IP分组语音数据帧，直接送入第二队列；如果时间抖动过大或有丢包，则将该IP分组语音数据帧的指针送入第一队列，然后在第一队列中进行顺序调整、增加队列长度、或丢包补偿等处理，然后再将第一队列中的IP分组语音数据帧指针一次性传送到第二队列；如果实际时间抖动在一段时间内一直小于当前处理时延，则每次将第一队列的长度减小一个IP分组语音数据帧指针的长度；并根据第二队列中缓存的IP分组语音数据帧指针，将相应的IP分组语音数据帧匀速输出到下一接口。通过上述步骤，可根据时间抖动的变化对抖动缓存的处理时延进行动态的调整，从而减小时间抖动的不利影响，并可根据丢包情况进行动态调整。

Description

用于消除IP语音数据抖动的自适应抖动缓存实现方法

技术领域

本发明涉及IP技术，更具体地说，涉及一种用于消除'语音数据抖动的自适应抖动缓存实现方法。

背景技术

由于IP网络的传输特性，会对分组语音数据造成一定程度的时间抖动。延时是直接影响到IP语音质量的重要因素，也是产生抖动的根本原因，在IP网络中的延时主要包括传播延时和处理延时。传播延时是指电流或者光子在网络中以某一速度传送一段距离时所引起的延时；处理延时则是由语音传输过程中各种处理语音的设备所引起的，例如在因特网中使用的路由器、LAN(局域网)交换机、WAN(广域网)交换机等。变化的延时就会产生抖动，即由于各种延时的变化将导致IP分组语音数据帧经过网络到达接收端的速率发生变化。抖动带来的不利影响是可能导致语音质量的严重失真。

因此，在数据接收端必须执行数据缓存操作以消除时间抖动，通过在语音处理设备的接收端加入缓冲区，用于保存足够长的时间的数据，使最慢的数据包也能在语音还原处理之前及时的到达，从而消除抖动的不利影响。缓存的数据数量越多，接收端可以承受的数据抖动程度就越大，接收数据的丢包率就越小。丢包率是指分组语音数据包在IP网络的传输过程中丢失的数据包所占总的数据包的比率。分组语音数据包通常是采用UDP(用户数据报文协议)协议进行传输，由于UDP是一种非可靠的、无连接的数据报服务，它本身不保证服务质量，而且因特网的带宽等资源随用户数和业务量的变化而波动较大，例如拥塞和网络故障这些都是产生丢包的因素。丢包会影响语音复原的质量，当丢包率超过一定程度以后，会导致语音无法复原。

但是对数据进行缓存会产生延时，缓存的数据数量越多，数据的延时也就越大。由于语音数据的延时也同样会影响语音数据回放时的质量，所以数据的延时和丢包率是不可能同时达到最理想指标的。抖动缓存通常称为JitterBuffer，图1是在特定的网络资源情况下，JitterBuffer处理时延与对应的丢包率之间的关系示意图。

从图1中可以看出，处理时延较小时，丢包率很大；丢包率较小时，则处理时延又很大。为了兼顾处理时延和丢包率，最好能针对实际接收数据的时间抖动情况，对JitterBuffer进行实时的动态的调整。然而现有技术中还没有对JitterBuffer进行动态调整的方案，一直未能解决上述问题。

发明内容

针对现有技术的上述缺陷，本发明要对抖动缓存的处理时延进行动态、实时的调整，在维持语音质量的前提下，实现语音延时的最小化。

本发明解决其技术问题所采用的技术方案是：提供一种用于消除IP分组语音数据抖动的自适应抖动缓存实现方法，采用具有两级指针队列的抖动缓存，每次从IP网络中接收一帧IP分组语音数据，并按以下步骤进行动态调整：

(1)从IP网络中接收一帧IP分组语音数据，根据该帧IP分组语音数据所携带的参数，实时检测并保存当前的时间抖动数值，再检测当前第一队列中是否有IP分组语音数据帧指针；

(2)如果当前第一队列中没有IP分组语音数据帧指针，则再判断当前IP分组语音数据帧与上一IP分组语音数据帧是否连续；

(2-1)如果不连续，则将当前IP分组语音数据帧指针送入第一队列，并在第一队列中为应该收到而暂时未收到的IP分组语音数据帧的指针预留出IP分组语音数据帧指针空间；

(2-2)如果连续，则直接将当前IP分组语音数据帧指针送入第二队列，并在第一队列中为该IP分组语音数据帧的指针预留出IP分组语音数据帧指针空间；

(3)如果当前第一队列中有IP分组语音数据帧指针，则再根据第一队列中已有的IP分组语音数据帧指针以及预留的IP分组语音数据帧指针空间来检测其是否已满，

(3-1)如果第一队列未满，则直接转到步骤(3-3)；

(3-2)如果第一队列已满，则检测抖动缓存的当前处理时延是否已达到最大值；

(3-2-1)如果未达到最大值，则将第一和第二队列的长度分别增加一个IP分组语音数据帧指针的长度，再将一个补偿IP分组语音数据帧的指针***步骤(2-1)中预留出的第一队列中的IP分组语音数据帧指针空间中，并将所述补偿IP分组语音数据帧的指针发送到第二队列的最新位置，进入步骤(3-3)；

(3-2-2)如果已达到最大值，则***适当数量的补偿IP分组语音数据帧使第一队列中的IP分组语音数据帧指针对应的IP分组语音数据帧连续，并将所***补偿IP分组语音数据帧的指针发送到在第一队列中为应该收到而暂时未收到的IP分组语音数据帧预留的指针空间的位置，然后将第一队列中的所有IP分组语音数据帧指针一次性传送到第二队列，再将当前IP分组语音数据帧指针送入第二队列，然后跳过步骤(3-3)，执行后续步骤；

(3-3)将当前IP分组语音数据帧指针送入第一队列，再判断第一队列中的IP分组语音数据帧指针所对应的IP分组语音数据帧是否与第二队列中的IP分组语音数据帧指针所对应的IP分组语音数据帧连续，如果是，则将第一队列中的IP分组语音数据帧指针一次性传送到第二队列，否则等待下一个IP分组语音数据帧；

(4)对每一帧IP分组语音数据执行上述所有步骤，并根据第二队列中缓存的IP分组语音数据帧指针，将相应的IP分组语音数据帧匀速输出到下一接口。

在本发明所述的方法中，在所述步骤(4)之前，还包括以下步骤：

(A)将所测得的当前的时间抖动数值与抖动缓存的当前处理时延进行比较，判断当前的时间抖动数值是否在一段预定长的时间内一直小于抖动缓存的当前处理时延；

(B)如果是，则从第二队列中删除一个IP分组语音数据帧指针，并将第一队列减小一个IP分组语音数据帧指针的长度。

在本发明所述的方法中，在所述步骤(B)中，对第二队列中的IP分组语音数据帧指针进行删除的操作仅在静音期间内对非传输IP分组语音数据帧的指针进行。

在本发明所述的方法中，在所述步骤(B)中，先要检测抖动缓存的当前处理时延是否已达到最小值，只有在未达最小值时，才从第二队列中删除一个IP分组语音数据帧指针，并将第一队列的长度减小一个IP分组语音数据帧指针的长度。

在本发明所述的方法中，所述预定长的时间为100个IP分组语音数据帧的总时间长度。

在本发明所述的方法中，在所述步骤(3-2-2)中，所***的补偿IP分组语音数据帧用于代替其中不连续位置处被漏收的IP分组语音数据帧，每一个补偿IP分组语音数据帧是根据其前一帧IP分组语音数据进行线性预测所得的结果。

在本发明所述的方法中，在所述步骤(3-2-2)中，如果需要***的补偿IP分组语音数据帧的总时间长度大于60ms，则先***总时间长度为60ms的补偿IP分组语音数据帧，剩余部分***舒适噪音。

在本发明所述的方法中，所述抖动缓存的处理时延初始值为3个IP分组语音数据帧的时间长度。

通过上述方案，可根据每一IP分组语音数据帧的时间抖动的变化或丢包情况的发生，对抖动缓存的处理时延进行动态的自适应调整，将抖动缓存的处理延时合理化，从而减小IP网络语音数据的抖动对语音数据回放质量的不利影响。另外，丢包的检测和处理操作都被嵌入到了抖动缓存的处理过程中，可进一步提高语音数据的回放质量。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是在特定的网络资源情况下，抖动缓存的处理时延与对应的丢包率之间的关系示意图；

图2是本发明中用两级指针队列来调整抖动缓存的处理时延的工作流程图；

图3是本发明中IP分组语音数据帧指针正常传送时的示意图；

图4是本发明中在第一队列内调整IP分组语音数据帧顺序的示意图；

图5是本发明中增大第一、第二队列的长度时的示意图。

具体实施方式

一、JitterBuffer的数据结构

本发明中，JitterBuffer的数据结构采用两级队列实现。队列的结构为指针队列，每一级队列中缓存有IP分组语音数据的当前地址指针，采用指针队列的目的是在数据搬运的过程中只需传送指针而不是每一步都传送IP分组语音数据，从而可避免数据的拷贝。采用两级队列的目的是为了简化JitterBuffer操作控制的复杂度，将数据的输出与输入操作进行分开管理。其中的第一队列负责数据的输入操作，可实现对接收数据的顺序调整、丢包补偿；第二队列负责数据的输出操作，是JitterBuffer处理的对外数据输出接口，可实现数据包之间的时间间隔调整，保证数据的匀速输出。第一队列与第二队列的最大长度也就是JitterBuffer的最大处理时延。

二、JitterBuffer处理时延的动态调整

本发明方法中，对处理时延进行动态调整的基本流程如图2所示。其中JitterBuffer的初始处理时延可设置为3个IP分组语音数据帧的时间长度，以G.729编码数据为例，则其初始处理时延为30ms；

本发明的抖动缓存在接收IP分组语音数据帧时，将实时检测并保存其接收到的每一个IP分组语音数据帧的时间抖动。

1、正常接收处理

从图2中可以看出，正常接收时的流程为步骤1、2、3、4、5、17、以及步骤21，其中：

由步骤3到步骤4，此时第一队列中没有IP分组语音数据帧指针，表示前面的接收一直正常；

由步骤4到步骤5，当前IP分组语音数据帧与上一IP分组语音数据帧连续，表示没有丢包；

由步骤17到步骤21，说明实际时间抖动在一段预定长的时间内为正常，没有一直小于抖动缓存的当前处理时延，不需要减小队列的长度。

如图3所示，正常接收时，所有的IP分组语音数据帧指针会跳过第一队列，直接送到第二队列，再由第二队列匀速输出到下一接口。

2、实际抖动较大或有丢包

从图2中可以看出，由步骤4到步骤6，说明由于抖动较大或丢包的原因，收到了与前一IP分组语音数据帧不连续的IP分组语音数据帧，漏收了其前面的一个或多个IP分组语音数据帧，此时将该IP分组语音数据帧指针送入第一队列，当收到下一帧数据时，第一队列不再为空，将由步骤3跳到步骤7。如图4、5的最左边所示，第1个IP分组语音数据帧为正常接收，其指针放到第二队列中，如图4、5的最左边第二列所示的“1”，同时在第一队列中为该IP分组语音数据帧预留出IP分组语音数据帧指针空间，如图4、5的最左边第一列所示的“1’”；之后本应收到第2个IP分组语音数据帧，却收到了第3个IP分组语音数据帧，所以将第3个IP分组语音数据帧指针放到第一队列中，如图4、5的最左边第一列所示的“3”，同时为应该收到而暂时未收到的IP分组语音数据帧(第2个IP分组语音数据帧)预留出IP分组语音数据帧指针空间，如图4、5的最左边第一列所示的“2’”。

3、第一队列未满但不需要增加队列长度

从图2中可以看出，此时的流程是由步骤7、11、12到步骤13。

由步骤7到步骤11，表示由于前面的抖动较大或丢包的原因，至少有一个与前面不连续的IP分组语音数据帧的指针已被放到第一队列中，且第一队列未满，此时将当前IP分组语音数据帧指针也放入第一队列。如图4、5的第二排所示，当收到第4个IP分组语音数据帧时，其指针也放到第一队列中，如图4、5的第二排第一列所示的“4”。

由步骤12到步骤13，表示当前放入第一队列的IP分组语音数据帧指针正好对应前面漏收的IP分组语音数据帧，使第一队列中的各个IP分组语音数据帧指针成为连续状态，此时将第一队列中的所有IP分组语音数据帧指针一次性传送到第二队列。如图4的第三、第四排所示，在第4个IP分组语音数据帧之后又收到了第2个IP分组语音数据帧，将其指针放在先前为第2个IP分组语音数据帧指针预留的位置，如图4第三排第一列所示的“2”。这时第2个IP分组语音数据帧与第3、第4构成三个连续的IP分组语音数据帧，同时与第二队列的第1个IP分组语音数据帧连续，这样就可将这三个IP分组语音数据帧指针一次性传送到第二队列。

4、第一队列已满且其长度未达最大值

从图2中可以看出，此时的流程是由步骤7、8、9、10到步骤11。

由步骤7到步骤8，表示由于前面的抖动较大或丢包的原因，至少有一个与前面不连续的IP分组语音数据帧的指针已被放到第一队列中，且第一队列已满。如图5的第二排所示，原来的队列长度为4个IP分组语音数据帧指针的长度，当收到第5个IP分组语音数据帧时，第一队列已满。

由步骤8到步骤9、10、11，表示第一队列虽然已满，但其长度未达到最大值(本实施例中为200ms)，如图5的第三排所示，此时需将第一、第二队列的长度增加一个IP分组语音数据帧指针的长度，队列长度变为5个IP分组语音数据帧指针的长度，然后再***一个补偿IP分组语音数据帧A并将其指针发送到第二队列，如图5第三排第二列所示的“A”。再将第5个IP分组语音数据帧指针送入第一队列，如图5第三排第一列所示的“5”。

其中，由于未收到第2个IP分组语音数据帧，所以***的补偿IP分组语音数据帧A用于代替第2个IP分组语音数据帧，该补偿IP分组语音数据帧A是根据第1帧数据进行线性预测所得的结果。如果有多个IP分组语音数据帧丢包时，为了避免在补偿的过程中产生哑音，***补偿IP分组语音数据帧的总时间长度不应大于60ms，对于大于60ms的JitterBuffer增量，在***总时间长度为60ms的补偿IP分组语音数据帧后，剩余部分将***舒适噪音。

在上述过程中，JitterBuffer的处理时延的增加是实时的，从而可以针对IP网络侧突发的数据抖动情况进行处理，以消除其不利影响。

5、第一队列已满且其长度已达最大值，不能增加队列长度

由步骤8到步骤14、15、16，表示第一队列已满，并且其长度已达到最大值，此时不能再增加队列长度。此时应***适当数量的补偿IP分组语音数据帧使第一队列中的IP分组语音数据帧指针所对应的IP分组语音数据帧连续，并将所***补偿IP分组语音数据帧的指针发送到在第一队列中为应该收到而暂时未收到的IP分组语音数据帧指针预留的位置。假设未收到第2个IP分组语音数据帧，则在第一队列中第2个IP分组语音数据帧指针的位置处***一个补偿IP分组语音数据帧的指针，然后将第一队列中的所有IP分组语音数据帧指针一次性传送到第二队列，再将当前IP分组语音数据帧指针送入第二队列。

6 减小JitterBuffer的处理时延

从图2中可以看出，本发明中，每收到一个IP分组语音数据帧，都要用所测得的时间抖动与JitterBuffer的当前处理时延进行比较，同时参考RTCP(Realtime Transport Control Protocol，实时传输控制协议)数据的参数计算结果，如果发现网络的抖动在预定长的时间段(例如100个IP分组语音数据帧的总时间长度)内一直小于JitterBuffer的当前处理时延，则需要减小JitterBuffer的处理时延，具体方式是先从第二队列中删除一个IP分组语音数据帧指针，再将第一队列的长度减小一个IP分组语音数据帧指针的长度。

为了保证一定的队列长度，先要检测抖动缓存的当前处理时延是否已达到最小值(本实施例中设为30ms)，即3个IP分组语音数据帧的时间长度，只有在其长度未达最小值时，才从第二队列中删除一个IP分组语音数据帧指针，并将第一队列的长度减小一个IP分组语音数据帧指针的长度。

具体的减小操作应在静音期间对第一队列中的非传输IP分组语音数据帧对应的指针进行删除来实现，这样做的目的是为了避免删除正常的语音数据对语音质量造成额外的影响，从而可保证不影响正常的语音数据。

本发明中，对每一个IP分组语音数据帧都将执行图2所示的流程，并按其判断结果执行相应的步骤。其中第一队列与第二队列之间的IP分组语音数据帧指针传递是实时的，无时间间隔，即在第一队列处理完毕以后立刻将所以处理完毕的IP分组语音数据帧指针一次性的传递给第二队列。因此，虽然动态调整时接收的IP分组语音数据帧指针将经过两级队列的处理，但是在正常的时候IP分组语音数据帧指针的总体延时只是一个队列的延时。

Claims (8)

1、一种用于消除IP分组语音数据抖动的自适应抖动缓存实现方法，其特征在于，采用具有两级指针队列的抖动缓存，每次从IP网络中接收一帧IP分组语音数据，并按以下步骤进行动态调整：

(1)从IP网络中接收一帧IP分组语音数据，根据该帧IP分组语音数据所携带的参数，实时检测并保存当前的时间抖动数值，再检测当前第一队列中是否有IP分组语音数据帧指针；

(2)如果当前第一队列中没有IP分组语音数据帧指针，则再判断当前IP分组语音数据帧与上一IP分组语音数据帧是否连续；

(2-1)如果不连续，则将当前IP分组语音数据帧指针送入第一队列，并在第一队列中为应该收到而暂时未收到的IP分组语音数据帧的指针预留出IP分组语音数据帧指针空间；

(2-2)如果连续，则直接将当前IP分组语音数据帧指针送入第二队列，并在第一队列中为该IP分组语音数据帧的指针预留出IP分组语音数据帧指针空间；

(3)如果当前第一队列中有IP分组语音数据帧指针，则再根据第一队列中已有的IP分组语音数据帧指针以及预留的IP分组语音数据帧指针空间来检测其是否已满，

(3-1)如果第一队列未满，则直接转到步骤(3-3)；

(3-2)如果第一队列已满，则检测抖动缓存的当前处理时延是否已达到最大值；

(3-2-1)如果未达到最大值，则将第一和第二队列的长度分别增加一个IP分组语音数据帧指针的长度，再将一个补偿IP分组语音数据帧的指针***步骤(2-1)中预留出的第一队列中的IP分组语音数据帧指针空间中，并将所述补偿IP分组语音数据帧的指针发送到第二队列的最新位置，进入步骤(3-3)；

(3-2-2)如果已达到最大值，则***适当数量的补偿IP分组语音数据帧使第一队列中的IP分组语音数据帧指针对应的IP分组语音数据帧连续，并将所***补偿IP分组语音数据帧的指针发送到在第一队列中为应该收到而暂时未收到的IP分组语音数据帧预留的指针空间的位置，然后将第一队列中的所有IP分组语音数据帧指针一次性传送到第二队列，再将当前IP分组语音数据帧指针送入第二队列，然后跳过步骤(3-3)，执行后续步骤；

(3-3)将当前IP分组语音数据帧指针送入第一队列，再判断第一队列中的IP分组语音数据帧指针所对应的IP分组语音数据帧是否与第二队列中的IP分组语音数据帧指针所对应的IP分组语音数据帧连续，如果是，则将第一队列中的IP分组语音数据帧指针一次性传送到第二队列，否则等待下一个IP分组语音数据帧；

(4)对每一帧IP分组语音数据执行上述所有步骤，并根据第二队列中缓存的IP分组语音数据帧指针，将相应的IP分组语音数据帧匀速输出到下一接口。

2、根据权利要求1所述的方法，其特征在于，在所述步骤(4)之前，还包括以下步骤：

(A)将所测得的当前的时间抖动数值与抖动缓存的当前处理时延进行比较，判断当前的时间抖动数值是否在一段预定长的时间内一直小于抖动缓存的当前处理时延；

(B)如果是，则从第二队列中删除一个IP分组语音数据帧指针，并将第一队列的长度减小一个IP分组语音数据帧指针的长度。

3、根据权利要求2所述的方法，其特征在于，在所述步骤(B)中，对第二队列中的IP分组语音数据帧指针进行删除的操作仅在静音期间内对非传输IP分组语音数据帧的指针进行。

4、根据权利要求3所述的方法，其特征在于，在所述步骤(B)中，先要检测抖动缓存的当前处理时延是否已达到最小值，只有在未达最小值时，才从第二队列中删除一个IP分组语音数据帧指针，并将第一队列的长度减小一个IP分组语音数据帧指针的长度。

5、根据权利要求2-4中任一项所述的方法，其特征在于，所述预定长的时间为100个IP分组语音数据帧的总时间长度。

6、根据权利要求1-4中任一项所述的方法，其特征在于，在所述步骤(3-2-2)中，所***的补偿IP分组语音数据帧用于代替其中不连续位置处被漏收的IP分组语音数据帧，每一个补偿IP分组语音数据帧是根据其前一帧IP分组语音数据进行线性预测所得的结果。

7、根据权利要求6所述的方法，其特征在于，在所述步骤(3-2-2)中，如果需要***的补偿IP分组语音数据帧的总时间长度大于60ms，则先***总时间长度为60ms的补偿IP分组语音数据帧，剩余部分***舒适噪音。

8、根据权利要求1-4中任一项所述的方法，其特征在于，所述抖动缓存的处理时延初始值为3个IP分组语音数据帧的时间长度。

Images