CN101656747A

CN101656747A - 流媒体数据的传输方法及***

Info

Publication number: CN101656747A
Application number: CN200910190725A
Authority: CN
Inventors: 古文静
Original assignee: Shenzhen Skyworth Digital Technology Co Ltd
Current assignee: Shenzhen Skyworth Digital Technology Co Ltd
Priority date: 2009-09-25
Filing date: 2009-09-25
Publication date: 2010-02-24

Abstract

一种流媒体数据的传输方法，其包括：流媒体服务器将流媒体数据采用RTP协议打包成RTP数据包发送给客户端；客户端判断收到的RTP数据包的包序列号是否连续，若不连续，则向流媒体服务器发送RTCP重传请求；流媒体服务器解析RTCP重传请求，并根据网络通信状况自适用调整重传方式重传丢失的RTP数据包。本发明可根据实际网络通信的状态自适用调节重传方式，来满足流媒体服务实时传输和高可靠性的要求，以达到更佳的流媒体服务效果。

Description

流媒体数据的传输方法及***

技术领域

本发明涉及流媒体数据传输，尤其是涉及一种保证流媒体数据传输实时性和高可靠性的方法，以及使用该方法的流媒体数据传输***。

背景技术

当前的高速宽带网络继续呈现出蔓延之势，宽带接入不仅应用于企事业、工商业、商务和教育等，而且正在不断深入到社区和进入住户。人们比以往任何时候都更容易地得到更加丰富的媒体内容，这些内容是通过大量分布广泛的宽带设备来提供共享的资源。正是建立在如此广阔的宽带基础之上，催生出了“流媒体(Streaming Media)”的应用。流媒体其实代表着由传统的内容下载形式向新型内容跨媒体实时获取的演变，流媒体的应用就是要使用户在第一时间去体验一种无缝和即时的媒体资料信息。

流媒体服务具有以下特点：1、传输数据要求一定的实时性；2、传输数据要求一定的可靠性；3、要求一定的带宽。两种传统的传输协议TCP(Transmission Control Protocol，传输控制协议)和UDP(User Datagram Protocol，用户数据报协议)在数据传输上存在其各自的优缺点。TCP协议是一种面向连接的可靠的数据传输协议，协议本身就具备丢包重传的功能，能确保数据包以正确的顺序和完整的到达接收端，但对于流媒体服务的实时性要求往往不能满足。而UPD协议不保证数据的可靠性，具有较好的实时性，所以UDP协议被很多流媒体服务所采纳；然而，UDP传输协议数据不可靠的缺点对于流媒体服务的数据可靠性的要求不能满足，从而影响服务的质量。

因此，需要重新设计一种能够保证数据可靠传输的方式以满足流媒体服务的实时应用。

发明内容

本发明提出一种流媒体数据的传输方法及***，通过在承载层使用UDP协议的IP(Internet Protocol，互联网协议)网络上采用RTP(Real-time Transport Protocol，实时传送协议)协议传输流媒体数据来保证流媒体数据传输实时性和高可靠性。

本发明采用了如下技术方案：一种流媒体数据的传输方法，其包括：

流媒体服务器将流媒体数据采用RTP协议打包成RTP数据包发送给客户端；

客户端判断收到的RTP数据包的包序列号是否连续，若不连续，则向流媒体服务器发送RTCP重传请求；

流媒体服务器解析RTCP重传请求，并根据网络通信状况自适用调整重传方式重传丢失的RTP数据包。

其中，在一个实施例中，所述的流媒体数据的传输方法还包括：

流媒体服务器接收到客户端反馈的RTCP重传请求，流媒体服务器统计向发送RTP数据包的丢包率；

流媒体服务器根据丢包率的大小选择重传方式重传丢失的RTP数据包。

当连续多次统计的丢包率均小于第一阈值时，流媒体服务器选择先重传所有丢失的RTP数据包、后发送当前流媒体数据的RTP数据包的重传方式。

另外，流媒体服务器判断出丢失的RTP数据包所在帧是否为视频数据的I帧，若是，将该RTP数据包加入至具有较高重传优先级的I帧重传队列；当连续多次统计的丢包率均大于第一阈值而小于第二阈值时，流媒体服务器选择先重传丢失的I帧数据所在的RTP数据包、后发送当前流媒体数据的RTP数据包、再发送丢失的其他帧的RTP数据包的重传方式。

当连续多次统计的丢包率均大于第二阈值而小于第三阈值时，流媒体服务器选择先发送当前流媒体数据的RTP数据包、再重传丢失的I帧数据所在RTP数据包的重传方式。

当连续多次统计的丢包率均大于第三阈值时，流媒体服务器选择只发送当前数据的RTP数据包、而不重传丢失数据的RTP数据包的重传方式。

RTP数据包是将多个流媒体数据的TS数据包打包在一起，并添加一个RTP头所形成，且在RTP头中填充了该RTP数据包的包序列号；且RTCP重传请求中包含了丢失的RTP数据包的包序列号。

相应的，本发明公开一种流媒体数据的传输***，该***包括提供流媒体数据服务的流媒体服务器，以及接入流媒体服务器的若干客户端，关键是，在流媒体服务器和客户端之间使用了前述的流媒体数据的传输方法。

与现有技术相比，本发明具有如下有益效果：

本发明通过在承载层使用UDP协议的IP网络上采用RTP协议传输流媒体数据，，满足了流媒体数据传输实时性和高可靠性，为提供高品质的流媒体服务提供了保障。并且，本发明通过调整丢包率的统计频率和丢包率的参考次数来判断网络的通信状况，根据实际网络的通信状态自适用选择重传方式，从而动态调节重传流媒体数据，以确保在各种通信状态下均可达到较佳的流媒体数据传输品质。

附图说明

图1是本发明的流程示意图；

图2是图1中步骤S3的详细处理流程示意图。

具体实施方式

为便于理解，先对实时传送协议(Real-time Transport Protocol，RTP)进行简单说明。

RTP协议是一个网络传输协议，它是由IETF的多媒体传输工作小组1996年在RFC 1889中公布的。RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式，常用于流媒体***，视频会议和一键通(Push to Talk)***，使它成为IP电话产业的技术基础。RTP协议和RTCP(Real-time Transport Control Protocol，RTP控制协议)一起使用，而且它是建立在用户数据报协议(UDP)上的。

并且，RTP协议本身并没有提供按时发送机制或其它服务质量保证，它依赖于低层服务去实现这一过程。RTP协议并不保证传送或防止无序传送，也不确定底层网络的可靠性。RTP协议实行有序传送，RTP协议中的序列号允许接收方重组发送方的包序列，同时序列号也能用于决定适当的包位置，例如：在视频解码中，就不需要顺序解码。

本发明通过在承载层使用UDP协议的IP网络上采用RTP协议传输实时多媒体数据，从而保证流媒体数据传输实时性和高可靠性。

如图1所示，本发明提出的流媒体***的结构如下：流媒体服务器收到客户端发来的流媒体数据请求之后，计算此次请求应该交付的流媒体数据；并通过搜索引擎对索引数据操作，将数据库的内容作为索引缓存在***的内存中，当数据库在数据有变动时发送同步信息到搜索引擎，以保证数据的同步。流媒体服务器与客户端之间进行流媒体数据传输的步骤包括：

步骤S1：针对客户端的请求，由流媒体服务器将请求对应的流媒体数据采用RTP协议打包成RTP数据包发送给客户端。

由于UDP协议限制发送的每个数据包的最大字节数，而每个流媒体数据包是标准传输流(Transport stream，TS)数据包，其大小是188字节。因此，在充分利用网络带宽的情况下，可以将对多个TS包(比如7个TS包)进行封装在一起，并在每个包的头部加上RTP包头，并在RTP包头中“Sequence number”域中填充相应的包序列号，形成RTP数据包。由流媒体服务器发送RTP数据包到客户端并记录下发送的RTP数据包的个数，侦听客户端的回馈信息。

步骤S2：客户端接收到RTP数据包之后，根据RTP数据包的包序列号是否连续，若连续，则RTP数据包在传输过程中不存在丢包，否则判断为存在丢包。若有丢包，客户端向流媒体服务器发送RTCP重传请求，该RTCP重传请求用于请求流媒体服务器重传丢失包序列号的RTP数据包。

步骤S3：流媒体服务器根据网络通信状况自适用调整重传策略，按重传策略重传丢失的RTP数据包。

在实际网络环境中，由于网络带宽的情况不同，数据包传输的丢失情况也不同，故可以使用丢包率(即丢失包的数量/总共发送的包数)来衡量网络带宽的状态。RTP数据包的重传是根据发送端和接收端直接的通信来判断的，也就是说，每次重传的都是前面某次发生中丢失的数据包，当网络处于一个较差的状态时，丢包率也会相应变大，重传的数据包很可能再次丢失，而数据的重传又会增加网络的负担，使网络更加拥塞，严重影响流媒体服务的质量。因此，根据当前网络的状态动态的自适用调整重传的策略可以提供更好的流媒体服务。

结合图2所示，具体来说，流媒体服务器的重传处理步骤如下：

步骤S31：流媒体服务器接收到客户端反馈的RTCP重传请求，首先统计丢包的数量(loss_pkt)，并根据总共发送的包数(total_snd_pkt)，计算出最近N次发送的丢包率lr

lr＝loss_pkt/total_snd_pkt

步骤S32：根据客户端反馈的消息获得丢失的RTP数据包的序列号，然后根据序列号计算出该RTP数据包所在的帧类型，并根据帧类型将其加到相应帧类型的重传队列中，比如，该RTP数据包所在帧为视频I帧，则将该RTP数据包加到具有较高重传优先级的I帧的重传队列。

对于视频数据而言，I帧的数据要比B帧、P帧数据要更重要，所以I帧数据在重传上应该有更高的优先级。

因此，流媒体服务器在发送流媒体数据之前，将所有视频数据的总帧数、帧类型，记录在frame_info的结构中，定义如下：

typedef struct frm_info

{

uint32_t offset[MAX_FRAMES]； //每一帧的偏移量

uint16_ti_frame[MAX_FRAMES/12]； //I帧的下标

int32_t total_frame； //总帧数

int32_t total_i_frame； //总I帧数

}FRM_INFO；

其中frame_info为FRM_INFO结构类型变量，记录了视频中每一帧的信息。

假设：seq_intr为当前将要发送RTP数据包的序列号seq_num_now与丢失的RTP数据包的序列号seq_num_loss之间的差值，seq_intr＝seq_num_now-seq_num_loss；curfrm为当前将要发送的RTP数据包所在帧的下标；remain为当前将要发送的RTP数据包所在帧的剩余字节数；pkts_curfrm为当前将要发送的RTP数据包在其所在帧内的偏移量除以RTP数据包的大小；frmidx为丢失的RTP数据包所在帧的下标：

pkts_curfrm＝(fram_info.offset[curfrm+1]-fram_info.offset[curfrm])-remain)/每个RTP数据包的字节数

则：当seq_intr＜＝pkts_curfrm时，表明丢失的RTP数据包与当前将要发送的RTP数据包在同一帧，所以frmidx＝curfrm；当seq_intr＞pkts_curfrm时，表明丢失的RTP数据包与当前将要发送的RTP数据包不再同一帧内，所以frmidx＝curfrm-x(x为当前将要发送的RTP数据包所在帧与丢失的RTP数据包所在帧之间相隔的帧数)。通过将frmidx在frame_info.i_frame[n]中遍历比较，判断出丢失的RTP数据包所在帧是否为I帧。

步骤S33：根据丢包率的大小，选择以下一种重传策略进行RTP数据包重传处理：

重传策略A、先重传所有丢失的数据，后发送当前的数据。当连续m次统计丢包率都处于很低水平时选择这种重传策略。

重传策略B、先重传丢失的I帧数据，后发送当前的数据，再发送其他帧的丢失数据。当连续m次统计丢包率都处于较低水平时选择这种重传策略。

重传策略C、先发送当前的数据，再重传丢失的I帧数据。当连续m次统计丢包率都处于中等时选择这种重传策略。

重传策略D、只发送当前数据，不重传丢失的数据。当连续m次统计丢包率都处于较高水平时选择这种重传策略。

例如，在一个具体应用中，以流媒体服务器每发送50个RTP数据包统计一次丢包率，并以连续3次丢包率为参考。当3次的丢包率都在5％以下时，采用重传策略A进行重传处理；当3次中有两次以上丢包率在5％-20％之间时，采用重传策略B进行重传处理；当3次中有两次以上丢包率在30％-50％之间时，采用重传策略C进行重传处理；当3次中有两次以上丢包率在50％以上时，采用重传策略D进行重传处理。这样就能在根据实际网络状态的情况下，动态的自适用选择不同重传策略，以使得充分的利用带宽，提供更好的视频服务。

Claims

1、一种流媒体数据的传输方法，其特征在于，包括：

2、根据权利要求1所述的流媒体数据的传输方法，其特征在于，包括：

3、根据权利要求2所述的流媒体数据的传输方法，其特征在于，当连续多次统计的丢包率均小于第一阈值时，流媒体服务器选择先重传所有丢失的RTP数据包、后发送当前流媒体数据的RTP数据包的重传方式。

4、根据权利要求2所述的流媒体数据的传输方法，其特征在于，流媒体服务器判断出丢失的RTP数据包所在帧是否为视频数据的I帧，若是，将该RTP数据包加入至具有较高重传优先级的I帧重传队列。

5、根据权利要求4所述的流媒体数据的传输方法，其特征在于，当连续多次统计的丢包率均大于第一阈值而小于第二阈值时，流媒体服务器选择先重传丢失的I帧数据所在的RTP数据包、后发送当前流媒体数据的RTP数据包、再发送丢失的其他帧的RTP数据包的重传方式。

6、根据权利要求4所述的流媒体数据的传输方法，其特征在于，当连续多次统计的丢包率均大于第二阈值而小于第三阈值时，流媒体服务器选择先发送当前流媒体数据的RTP数据包、再重传丢失的I帧数据所在RTP数据包的重传方式。

7、根据权利要求2所述的流媒体数据的传输方法，其特征在于，当连续多次统计的丢包率均大于第三阈值时，流媒体服务器选择只发送当前数据的RTP数据包、而不重传丢失数据的RTP数据包的重传方式。

8、根据权利要求1至7任何一项所述的流媒体数据的传输方法，其特征在于，RTP数据包是将多个流媒体数据的TS数据包打包在一起，并添加一个RTP头所形成，且在RTP头中填充了该RTP数据包的包序列号。

9、根据权利要求8所述的流媒体数据的传输方法，其特征在于，RTCP重传请求中包含了丢失的RTP数据包的包序列号。

10、一种流媒体数据的传输***，该***包括提供流媒体数据服务的流媒体服务器，以及接入流媒体服务器的若干客户端，其特征在于，在流媒体服务器和客户端之间使用了如权利要求1至9任何一项所述的流媒体数据的传输方法。