CN103428531A

CN103428531A - 一种多媒体数据的arq控制方法及***

Info

Publication number: CN103428531A
Application number: CN2012101665465A
Authority: CN
Inventors: 赵宇
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2012-05-25
Filing date: 2012-05-25
Publication date: 2013-12-04

Abstract

本发明公开了一种多媒体数据的ARQ控制方法，包括：获取丢失的多媒体数据包、丢失的多媒体数据包的优先级信息和当前网络状况，并根据优先级信息和当前网络状况，采用对应的重传策略重传丢失的多媒体数据包；本发明还公开了一种多媒体数据的ARQ控制***。通过本发明能够解决在进行ARQ控制时，由于丢弃优先级高的多媒体数据包导致的依赖其数据包无法正确解码的问题。

Description

一种多媒体数据的ARQ控制方法及***

技术领域

本发明涉及流媒体技术领域，特别是指一种多媒体数据的ARQ控制方法及***。

背景技术

随着宽带网的普及和多媒体技术的发展，流媒体技术的应用也越来越广泛，如数字广播业务、IPTV业务、移动流媒体业务等。这些业务的共同特点都是将多媒体数据按一定规则封装打包后，通过底层的通信网络，进行数据的分发。例如IPTV应用中，使用TS over RTP(Real-time Transport Protocol，实时传输协议)或者TS over UDP(User Datagram Protocol，用户数据包协议)的方式，通过IP网络进行分发。数字广播领域，更是直接利用TS(Transport Stream，传输流)作为传输协议，进行数据的分发。由于底层网络的传输不可靠性，将不可避免的存在数据包发生误码、丢失等情况。现有技术中，可以通过接收端提出丢包重传的反馈请求，发送端将丢失或错误的数据包重新发送给接收端，即ARQ(Automatic Repeat Request，自动重传请求)的方式来解决这个问题。但是，在拥塞导致的连续丢包情况下，过多的数据包重传可能会增加端到端的传输延时，从而影响实时性要求，并且还加重拥塞，造成更多的丢包。

为了解决上述问题，可以在进行ARQ控制时，选择性地丢弃一些重传的多媒体数据包。

一般情况下，多媒体数据包含如下三类数据，即元数据、音频帧数据和视频帧数据。音频帧都是独立解码的，即音频帧之间不存在依赖关系。对于视频帧数据，一个标准的视频编码器可产生出三种不同类型的帧：独立解码帧、单向参考帧和双向参考帧。独立解码帧仅使用自身的信息进行独立解码，不依赖其他的帧进行解码，可作为其他帧解码的参考帧。单向参考帧在解码时，会参考前面的独立解码帧或单向参考帧，也可作为其他单向参考帧或双向参考帧解码的参考帧；双向参考帧在解码时，会参考前面或后面两个方向的独立解码帧、单向参考帧或双向参考帧，可作为其他双向参考帧解码的参考帧。并且，上述音、视频的解码可能还依赖于元数据。为了更明确地说明，如图1所示，给出了音、视频数据依赖元数据的关系图。因为音、视频数据解码依赖元数据，故如果丢弃元数据，可能造成音、视频数据都不能进行正常解码。图2给出了视频帧的三类帧之间的依存关系，帧的顺序为I₁B₁B₂P₁B₃B₄P₂，其中I₁(I为独立解码帧)是可以独立解码的，不需要参考其他的帧。而P₁(P为单向参考帧)会去参考I₁，P₂会去参考P₁，而B₁、B₂(B为双向参考帧)会参考I₁和P₁，B₃、B₄会参考P₁和P₂。MPEG-4标准中把包含一个I帧的一系列帧定义为一个图像组(Group Of Picture，GOP)，如IBBPBBP，因为GOP里的其他帧都直接或间接地依靠I帧来解码，所以丢弃一个I帧将导致整个GOP的帧无法正确解码。类似的，丢弃一个P帧使得将其作为参考帧的P帧和B帧无法解码。

综上所述，在拥塞导致的连续丢包的情况下，现有技术的ARQ控制会产生过多的数据包重传，从而会加重拥塞，造成更多的丢包，而选择性地丢弃一些重传的多媒体数据包时，如果丢弃了优先级高的数据包，那么会导致依赖它的数据包不能正确的解码，从而造成发送了很多无效的数据包，浪费了有限的带宽，并且增加了端到端的传输延时，从而影响实时性要求。

发明内容

有鉴于此，本发明的主要目的在于提供一种多媒体数据的ARQ控制方法及***，以解决在进行ARQ控制时，由于丢弃优先级高的多媒体数据包导致的依赖其数据包无法正确解码的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种多媒体数据的ARQ控制方法，该方法包括：

获取丢失的多媒体数据包、所述丢失的多媒体数据包的优先级信息和当前网络状况，并根据所述优先级信息和所述当前网络状况，采用对应的重传策略重传丢失的多媒体数据包。

所述多媒体数据包中携带所述优先级信息。

多媒体数据包分为：元数据、音频帧和视频帧；其中，所述视频帧分为：视频独立解码帧、视频单向参考帧和视频双向参考帧。

该方法还包括：预先根据多媒体数据包的类型设置多媒体数据包的优先级；

相应的，所述多媒体数据包中未携带所述优先级信息时，获取的优先级信息为：根据获取的丢失的多媒体数据包的类型、以及预先设置的多媒体数据包的优先级，确定丢失的多媒体数据包的优先级信息。

所述根据多媒体数据包的类型设置多媒体数据包的优先级为：

设置所述元数据、音频帧、视频独立解码帧、视频单向参考帧、视频双向参考帧的优先级为依次降低。

所述网络状况为网络丢包率时，所述重传策略包括：

当前网络丢包率大于预设的第一阈值时，所有丢失的多媒体数据包均不进行重传；

当前网络丢包率小于等于预设的第二阈值时，重传所有丢失的多媒体数据包；

当前网络丢包率大于所述第二阈值小于等于所述第一阈值时，当前网络丢包率越大，重传的丢失的多媒体数据包的优先级越高。

本发明还提供了一种多媒体数据的ARQ控制***，该***包括获取模块和ARQ控制模块，其中：

所述获取模块，用于获取丢失的多媒体数据包、所述丢失的多媒体数据包的优先级信息和当前网络状况；

所述ARQ控制模块，用于根据所述优先级信息和所述当前网络状况，采用对应的重传策略重传丢失的多媒体数据包。

所述获取模块，还用于从所述多媒体数据包中提取所述优先级信息。

多媒体数据包分为：元数据、语音帧和视频帧；其中，所述视频帧分为：视频独立解码帧、视频单向参考帧和视频双向参考帧。

该***还包括：设置模块，用于预先根据多媒体数据包的类型设置多媒体数据包的优先级；

相应的，所述获取模块，还用于在未从所述多媒体数据包中提取到所述优先级信息时，根据获取的丢失的多媒体数据包的类型、以及预先设置的多媒体数据包的优先级，确定丢失的多媒体数据包的优先级信息。

所述设置模块，还用于设置所述元数据、语音帧、视频独立解码帧、视频单向参考帧、视频双向参考帧的优先级为依次降低。

所述网络状况为网络丢包率时，所述ARQ控制模块，还用于：当前网络丢包率大于预设的第一阈值时，所有丢失的多媒体数据包均不进行重传；当前网络丢包率小于等于预设的第二阈值时，重传所有丢失的多媒体数据包；当前网络丢包率大于所述第二阈值小于等于所述第一阈值时，当前网络丢包率越大，重传的丢失的多媒体数据包的优先级越高。

本发明多媒体数据的ARQ控制方法及***，根据多媒体数据包的优先级和网络丢包率设置重传策略，进行重传时可以选择性地丢弃一些优先级低的多媒体数据包，如此可以正常地进行ARQ控制解决网络拥塞，同时还可以降低对数据包的解码影响，提高解码正确率。

附图说明

图1为音、视频数据依赖元数据的关系示意图；

图2为视频帧的三类帧之间的依存关系示意图；

图3为本发明多媒体数据的ARQ控制方法示意图；

图4为本发明多媒体数据的ARQ控制***结构示意图。

具体实施方式

本发明多媒体数据的ARQ控制方案中，根据当前网络状态、优选地为网络丢包率，及多媒体数据包的优先级选择性丢弃优先级低的数据包，最大减少对解码的影响。

如图3所示为本发明多媒体数据的ARQ控制方法示意图，包括：

步骤301，获取丢失的多媒体数据包、丢失的多媒体数据包的优先级信息和当前网络状况。

在实际应用中，丢失的多媒体数据包中可能携带了自身的优先级信息，如表1所示为一个多媒体数据包的格式，其中，loss_priority字段携带的即为该多媒体数据包的优先级信息。较佳地，可以设置优先级越高对应的loss_priority字段的值越小，当然，也可以有其他的设置方式，只要能通过loss_priority字段的值确定对应的优先级即可。

Name	Size(bits)	Type
			service_classifier(){
service_type	4
			type_of_bitrate	3
throughput	1
			}
QoS_classifier(){
			delay_sensitivity	3
reliability_flag	1
			loss_priority	2
Reserved	2
			}
flow_identifier(){
			flow_label	7
extension_flag	1
			}

表1

在实际应用中也存在丢失的多媒体数据包中未携带自身的优先级信息的情况，为此，可以预先根据多媒体数据包的类型设置多媒体数据包的优先级。

一般情况下，多媒体数据包的分为：元数据、音频帧和视频帧；其中，视频帧分为：视频独立解码帧、视频单向参考帧和视频双向参考帧。

上述多媒体数据包具有如下的解码特性：音、视频帧解码依赖元数据；视频独立解码帧仅使用自身的信息进行独立解码，不依赖其他的帧进行解码，可作为其他视频帧解码的参考帧；视频单向参考帧在解码时，会参考前面的视频独立解码帧或视频单向参考帧，也可作为其他视频单向参考帧或视频双向参考帧解码的参考帧；视频双向参考帧在解码时，会参考前面或后面两个方向的视频独立解码帧、视频单向参考帧或视频双向参考帧，可作为其他视频双向参考帧解码的参考帧。

根据上述多媒体数据包的解码特性，本发明设置的多媒体数据包的优先级为：元数据、音频帧、视频独立解码帧、视频单向参考帧、视频双向参考帧的优先级依次降低。

则根据获取的丢失的多媒体数据包的类型、以及预先设置的多媒体数据包的优先级，就可以确定丢失的多媒体数据包的优先级信息。

步骤302，根据优先级信息和当前网络状况，采用对应的重传策略重传丢失的多媒体数据包。

较佳地，当前网络状况采用当前网络丢包率，那么重传策略包括如下内容：

当前网络丢包率大于第二阈值小于等于第一阈值时，当前网络丢包率越大，重传的丢失的多媒体数据包的优先级越高。

其中，第一阈值和第二阈值可以根据网络的实际情况进行设置。

例如，第一阈值为30％，第二阈值为5％，那么上述的重传策略为：

1、如果当前网络丢包率大于30％，则所有丢失的多媒体数据包都不进行重传。

2、如果当前网络丢包率小于等于5％，则重传所有丢失的多媒体数据包。

3、如果当前网络丢包率大于5％小于等于30％，那么当前网络丢包率越大，重传的丢失的多媒体数据包的优先级越高。例如，可以根据实际情况进行如下设置：当前网络丢包率在5％至10％之间时，重传元数据、音频帧、视频独立解码帧和视频单向解码帧；当前网络丢包率在10％至20％之间时，重传元数据、音频帧和视频独立解码帧；当前网络丢包率在20％至30％之间时，只重传元数据和音频帧。

通过上述的重传策略可知，在进行ARQ控制时，本发明的方案选择性地重传优先级高的多媒体数据包，丢弃了优先级低的多媒体数据包，这样在尽可能地减小对解码的影响的同时，又保证了ARQ控制的正常进行。

进一步地，在步骤301的实施中，获取丢失的多媒体数据包的具体过程如下：

1、发送端向接收端发送数据码流。

2、接收端接收数据码流，并检测丢失的多媒体数据包。

3、接收端向发送端发送丢包反馈信息，其中携带丢失的多媒体数据包的信息。较佳地，丢包反馈信息的格式如表2所示。

表2

其中，mask_byte，掩码字段，该字段的每一个bit位对应一个数据包，如果某bit位为1，则表示对应的数据包丢失，若为0，则表示对应的数据包没有丢失。例如：mask_byte为01100110。

stream_Id，指示丢失的多媒体数据包所在的数据码流的ID，例如mask_byte为01100110时，指示了这些数据包所述的数据码流的ID。

packet_id，指示第一个丢失的数据包的ID，例如，mask_byte为01100110时，第2个bit位对应的数据包为第一个丢失的数据包，packet_id指示出了该数据包的ID，则根据该数据包的ID和mask_byte可以推算出后续丢失的数据包的ID。

4、发送端接收到丢包反馈信息，则根据上述丢包反馈信息的格式，可以解析出其中所有丢失的数据包的ID和所属的数据码流的ID，则发送端就可以确定丢失的数据包有哪些，从待发送的数据包中提取这些丢失的数据包，根据重传策略进行重传。

获取当前网络丢包率时，较佳地，可以由发送端通过RTP控制协议(RTCP，RTP Control Protocol)包向接收端获取。其中，RTP(Real-time Transport Protocol)为实时传送协议。

为了实现上述方法，本发明还提供了一种多媒体数据的ARQ控制***，如图4所示，包括获取模块40和ARQ控制模块41，其中：

获取模块40，用于获取丢失的多媒体数据包、丢失的多媒体数据包的优先级信息和当前网络状况；

ARQ控制模块41，用于根据优先级信息和当前网络状况，采用对应的重传策略重传丢失的多媒体数据包。

其中，获取模块40，还用于从多媒体数据包中提取优先级信息。

多媒体数据包分为：元数据、语音帧和视频帧；其中，视频帧分为：视频独立解码帧、视频单向参考帧和视频双向参考帧。

该***还包括：设置模块42，用于预先根据多媒体数据包的类型设置多媒体数据包的优先级；

相应的，获取模块40，还用于在未从多媒体数据包中提取到优先级信息时，根据获取的丢失的多媒体数据包的类型、以及预先设置的多媒体数据包的优先级，确定丢失的多媒体数据包的优先级信息。

设置模块42，还用于设置元数据、语音帧、视频独立解码帧、视频单向参考帧、视频双向参考帧的优先级为依次降低。

网络状况为网络丢包率时，ARQ控制模块41，还用于：当前网络丢包率大于预设的第一阈值时，所有丢失的多媒体数据包均不进行重传；当前网络丢包率小于等于预设的第二阈值时，重传所有丢失的多媒体数据包；当前网络丢包率大于第二阈值小于等于第一阈值时，当前网络丢包率越大，重传的丢失的多媒体数据包的优先级越高。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种多媒体数据的ARQ控制方法，其特征在于，该方法包括：

2.根据权利要求1所述多媒体数据的ARQ控制方法，其特征在于，所述多媒体数据包中携带所述优先级信息。

3.根据权利要求1所述多媒体数据的ARQ控制方法，其特征在于，多媒体数据包分为：元数据、音频帧和视频帧；其中，所述视频帧分为：视频独立解码帧、视频单向参考帧和视频双向参考帧。

4.根据权利要求2或3所述多媒体数据的ARQ控制方法，其特征在于，该方法还包括：预先根据多媒体数据包的类型设置多媒体数据包的优先级；

5.根据权利要求4所述多媒体数据的ARQ控制方法，其特征在于，所述根据多媒体数据包的类型设置多媒体数据包的优先级为：

6.根据权利要求1所述多媒体数据的ARQ控制方法，其特征在于，所述网络状况为网络丢包率时，所述重传策略包括：

7.一种多媒体数据的ARQ控制***，其特征在于，该***包括获取模块和ARQ控制模块，其中：

8.根据权利要求7所述多媒体数据的ARQ控制***，其特征在于，

9.根据权利要求7所述多媒体数据的ARQ控制***，其特征在于，多媒体数据包分为：元数据、语音帧和视频帧；其中，所述视频帧分为：视频独立解码帧、视频单向参考帧和视频双向参考帧。

10.根据权利要求8或9所述多媒体数据的ARQ控制***，其特征在于，该***还包括：设置模块，用于预先根据多媒体数据包的类型设置多媒体数据包的优先级；

11.根据权利要求10所述多媒体数据的ARQ控制***，其特征在于，

12.根据权利要求7所述多媒体数据的ARQ控制***，其特征在于，