CN106131710B - 一种视频数据重传的方法及其*** - Google Patents

Abstract

本发明涉及一种视频数据重传的方法及其***，该方法包括步骤一、RTSP交互步骤；步骤二、数据完整性判断步骤，媒体流数据不完整则进行步骤三，媒体流数据完整则重复步骤二；步骤三、重传数据步骤；步骤四、重传数据处理步骤；步骤五、结束步骤，重复步骤一，直至媒体流数据不再更新。本发明通过由Server端发送媒体流数据包,Client端来判断流数据完整性，在合适的数据包丢失的时机发起数据包的重传请求,Server端直接根据重传请求搜索丢失的数据找到并及时发出给Client端,Client端在收到新数据后对数据进行排序和完整性校验后把已收到的完整的帧数据转发给外部的播放器，保证流数据的实时性和合适的完整性,解决音视频数据在传输过程中丢失、视频花屏问题以及音频不流畅问题。

Description

一种视频数据重传的方法及其***

技术领域

本发明涉及媒体流的传输技术领域，更具体地说是指一种视频数据重传的方法及视频数据重传的***。

背景技术

随着网络技术的发展，有关实时流的应用越来越广，对于因特网多媒体数据流的传输，在的实时流数据主要有两种方式传输，一种是基于TCP协议传输，另一种则是基于UDP协议传输。

UDP协议不能保证数据的完整性，在受到干扰时，数据容易丢失，造成接收方不能收到完整的数据，而基于TCP协议虽然可以保证数据的完整性，但传输效率太低，实时性差。

中国专利201310652893.3公开了一种视频数据传输的丢包重传方法和***，其中方法包括步骤：分别建立与视频服务器之间的TCP链路和对等网络链路；检测传输中的丢包信息，根据丢包信息计算重传请求信息；通过TCP链路向视频服务器发送重传请求信息，并通过TCP链路接收重传请求信息对应的丢包数据；计算TCP链路响应重传请求信息的第一等待时间，在第一等待时间大于第一时延阀值时切换至对等网络链路，通过所述对等网络链路向视频服务器发送所述重传请求信息并接收对应的丢包数据。中国专利201310275059.7公开了网络通信技术领域的视频传输方法及设备。本发明分别通过视频数据包是否丢失、用户发来的视频业务类型请求、视频数据包的类型和网络是否达到拥塞阈值等步骤对是否重传视频数据进行判断。本发明根据视频业务类型、视频数据包类型及网络状况对视频进行选择性重传视频数据包，减小了网络负荷，在保证视频播放流畅性的同时最大限度的保证了视频数据的准确性。

上述的专利中，第一个专利采用的是TCP协议进行重传，数据的传输效率较低，实时性差；第二专利采用的是视频监控设备进行检测，数据传输的实时性较差。

因此有必要设计一种视频数据重传方法，实现在保证数据的传输效率及实时性的同时，保证数据传输的完整性。

发明内容

本发明的目的在于克服现有技术的缺陷，提供种视频数据重传的方法及其***。

为实现上述目的，本发明采用以下技术方案：一种视频数据重传的方法，包括以下具体步骤：

步骤一、RTSP交互步骤，Server端获取新的媒体流数据，由RTSP的Client端向Server端发送连接请求，完成基本的RTSP交互；

步骤二、数据完整性判断步骤，交互完成后，Server端通过RTP向Clinet发送媒体流数据，Client端通过RTP头部的序号信息，判断媒体流数据是否完整，媒体流数据不完整则进行步骤三，媒体流数据完整则重复步骤二；

步骤三、重传数据步骤，媒体流数据不完整时，Client端通过RTCP向Server端发送重传数据的请求，并将需要重传的数据包的序号发送到Server端，由Server端根据数据包的序号，找到需要重传的数据，重新发送到Client端；

步骤四、重传数据处理步骤，根据Client端的指示，在Client端收到Server端重传的数据，***到缓存中相应的位置，等待播放；

步骤五、结束步骤，Server端发送完需要重传的数据，继续获取新的媒体流数据发送，重复步骤一，直至媒体流数据不再更新。

其进一步技术方案为：在所述步骤一中，由RTSP的Client端向Server端发送连接请求后，Server端会对媒体流数据进行封装，媒体流数据封装成带有顺序、完整性、帧属性的媒体流数据包后发送。

其进一步技术方案为：在所述步骤二中，交互完成中，Server端通过RTP开始向Client发送媒体流数据，并将发送的媒体流数据保存到Server端自带的缓存中，Client端接收媒体流数据，也将媒体流数据放入Client端自带的缓存中。

其进一步技术方案为：在所述步骤二中，Client端接收媒体流数据时根据Server端对媒体流数据封装的结构先剥离CTT封装头部,根据字节序和位序的对应关系赋值给相应的结构化变量即可直接引用获取各相关数据项进行分析；当Client端分析数据包后发现有新被跳过的数据时，Clinet端分析丢失包的属性重新整理丢包队列。

其进一步技术方案为：Client端重新整理丢包队列的具体步骤：Client端会首先做排序动作,为解决UDP数据包路由延时,设定排序等待缓冲,设定以包数量的缓冲长度，若前一最后包与当前收到的最新包的序号间隔超出设定的缓冲长度则认为超出缓冲长度部分的包都丢失了会记录到丢包列表中，当收到的包序大于截至上一次收到的最大包时,把当前包放在队尾,否则***队列中对应的位置。

其进一步技术方案为：在所述步骤三中，Server端直接根据重传请求中列出的包序号,查找包序号是否在Server端自带的缓冲数据区内,不在缓冲数据区内直接丢弃，并在Server端取最新数据并按照协议要求封装并发出；包序号在缓冲数据区内的话在当前数据包发出后,再发出请求重发的数据包，进行所述步骤二。

其进一步技术方案为：所述步骤三中，Client端依据重发请求的承载协议，通过RTCP向Server端发送重传数据的请求，该重发请求的承载协议为RTCP的自定义模块。

本发明还提供了一种视频数据重传的***，包括RTSP交互模块、数据完整性判断模块、重传数据模块以及数据处理模块；

所述RTSP交互模块，用于获取新媒体流数据，接收数据完整性判断模块的连接请求后完成基本的RTSP交互；

所述数据完整性判断模块，用于接收RTSP交互模块发送的媒体流数据后，通过RTP头部的序号信息，判断媒体流数据是否完整，与所述RTSP交互模块连接；

所述重传数据模块，用于接收数据完整性判断模块的判断结果，当数据媒体流不完整时，向RTSP交互模块发送重传数据请求，并将需要重传的数据包的序号发送RTSP交互模块，由RTSP交互模块根据数据包的序号，找到需要重传的数据，且在接收到重发的媒体流数据后，发送该数据至所述数据处理模块，分别与所述RTSP交互模块以及所述数据完整性判断模块连接；

所述数据处理模块，用于根据所述重传数据模块发送的数据，***到缓存中相应的位置，等待播放，与所述重传数据模块连接。

其进一步技术方案为：所述RTSP交互模块内设有封装子模块，所述封装子模块用于将接收到媒体流数据进行封装，媒体流数据封装成带有顺序、完整性、帧属性的媒体流数据包后发送数据完整性判断模块，分别与所述数据完整性判断模块以及所述重传数据模块连接。

其进一步技术方案为：所述数据完整性判断模块包括分析子模块以及丢包队列重整子模块；

所述分析子模块，用于接收所述封装子模块发送的媒体流数据后，对媒体流数据封装的结构先剥离CTT封装头部,根据字节序和位序的对应关系赋值给相应的结构化变量即可直接引用获取各相关数据项进行分析，与所述封装子模块连接；

所述丢包队列重整子模块，用于当所述分析子模块分析数据包后发现有新被跳过的数据时，对所述分析子模块分析丢失包的属性重新整理丢包队列后，发送重传请求至所述重传数据模块，分别与所述分析子模块以及所述重传数据模块连接。

本发明与现有技术相比的有益效果是：本发明的一种视频数据重传的方法，通过Client端发送数据请求后由Server端发送媒体流数据包,Client端来判断流数据完整性，在合适的数据包丢失的时机发起数据包的重传请求,Server端直接根据重传请求搜索丢失的数据找到并及时发出给Client端,Client端在收到新数据后对数据进行排序和完整性校验后把已收到的完整的帧数据转发给外部的播放器，保证流数据的实时性和合适的完整性,以进一步保证接收端播放时的用户体验效果，解决音视频数据在传输过程中丢失的问题，有效解决视频花屏问题以及音频不流畅问题。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

图1为本发明具体实施例提供的一种视频数据重传的方法的流程框图一；

图2为本发明具体实施例提供的一种视频数据重传的方法的流程框图二；

图3为本发明具体实施例提供的一种视频数据重传的***的结构框图。

附图标记

10 封装子模块 20 分析子模块

30 丢包队列重整子模块 40 重传数据模块

50 数据处理模块

具体实施方式

为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。

如图1～3所示的具体实施例，本实施例提供的一种视频数据重传的方法，具体步骤如下：

步骤一、RTSP交互步骤，Server端获取新的媒体流数据，由RTSP的Client端向Server端发送连接请求，完成基本的RTSP交互；

步骤二、数据完整性判断步骤，交互完成后，Server端通过RTP向Clinet发送媒体流数据，Client端通过RTP头部的序号信息，判断媒体流数据是否完整，媒体流数据不完整则进行步骤三，媒体流数据完整则重复步骤二；

步骤三、重传数据步骤，媒体流数据不完整时，Client端通过RTCP向Server端发送重传数据的请求，并将需要重传的数据包的序号发送到Server端，由Server端根据数据包的序号，找到需要重传的数据，重新发送到Client端；

步骤四、重传数据处理步骤，根据Client端的指示，在Client端收到Server端重传的数据，***到缓存中相应的位置，等待播放；

步骤五、结束步骤，Server端发送完需要重传的数据，继续获取新的媒体流数据发送，重复步骤一，直至媒体流数据不再更新。

上述的一种视频数据重传的方法，通过Client端发送数据请求后由Server端发送媒体流数据包,Client端来判断流数据完整性，在合适的数据包丢失的时机发起数据包的重传请求,Server端直接根据重传请求搜索丢失的数据找到并及时发出给Client端,Client端在收到新数据后对数据进行排序和完整性校验后把已收到的完整的帧数据转发给外部的播放器，保证流数据的实时性和合适的完整性,以进一步保证接收端播放时的用户体验效果，解决音视频数据在传输过程中丢失的问题，有效解决视频花屏问题以及音频不流畅问题。

更进一步的，上述的步骤一中，由RTSP的Client端向Server端发送连接请求后，Server端会对媒体流数据进行封装，媒体流数据封装成带有顺序、完整性、帧属性的媒体流数据包后发送。

具体的，Server端对媒体流数据的封装的方式是在RTP头部封装一个3BYTE数据,用于标记包的帧属性,包的帧内序号。

具体的封装结构为[BYTE1][BYTE2][BYTE3]+RTP标准包数据体，其中，BYTE1.BIT7为帧标记,0为P帧,1为i帧；BYTE1.BIT0-6为帧内包序；BYTE2,BYTE3为共同组成16长度的本帧首包的包序号。

在本实施例中，上述步骤一中，Server端依据数据流属性信息的承载协议，对媒体流数据进行封装该数据流属性信息的承载协议为自定义协议(对流数据的封装协议)。

更进一步的，在步骤一中，新的媒体流数据来时Server端立即发送媒体流数据,当收到Server端重发请求时从定长缓冲中查找并发送Client端的请求数据.

另外，在步骤二中，交互完成中，Server端通过RTP开始向Client发送媒体流数据，并将发送的媒体流数据保存到Server端自带的缓存中，Client端接收媒体流数据，也将媒体流数据放入Client端自带的缓存中。

更进一步的，在步骤二中，Client端接收媒体流数据时根据Server端对媒体流数据封装的结构先剥离CTT封装头部,根据字节序和位序的对应关系赋值给相应的结构化变量即可直接引用获取各相关数据项进行分析。

具体的，当Client端分析数据包后发现有新被跳过的数据时，Clinet端分析丢失包的属性重新整理丢包队列。

Clinet端重新整理丢包队列的具体步骤：Client端会首先做排序动作,为解决UDP数据包路由延时,设定排序等待缓冲,设定以包数量的缓冲长度，若前一最后包与当前收到的最新包的序号间隔超出设定的缓冲长度则认为超出缓冲长度部分的包都丢失了会记录到丢包列表中，当收到的包序大于截至上一次收到的最大包时,把当前包放在队尾,否则***队列中对应的位置。

具体的，***队列中对应的位置时，缓冲队列会做预处理,在出现跳包状况时会计算和预设中间的包序。

在上述的步骤三中，Server端直接根据重传请求中列出的包序号,查找包序号是否在Server端自带的缓冲数据区内,不在缓冲数据区内直接丢弃，并在Server端取最新数据并按照协议要求封装并发出；包序号在缓冲数据区内的话在当前数据包发出后,再发出请求重发的数据包，进行上述步骤二。

另外，上述步骤三中，Client端依据重发请求的承载协议，通过RTCP向Server端发送重传数据的请求，该重发请求的承载协议为RTCP的自定义模块。

上述的一种视频数据重传的方法，所有数据包的特性分析和重传请求发送策略由Client端实现,尽可能保证Server端的轻负载和数据的实时性；重传请求的策略主要在Client端实现,保证播放效果和重传效率；重传请求策略由数据包分析结果来决定,需要分析的内容包含包数据的各种属性,包括包顺序、帧属性、帧的完整性。

一个典型的应用实施场景是IP Camera在relay和P2P环境下的音视频流的直播点播的实现，其中Cloud端与IPC的连接中Cloud端坐client端,IPC做server端，IPC与APP的P2P连接中APP做client端IPC做server端,Cloud与APP的连接中Cloud做server端APP做client端。

本发明还提供了一种视频数据重传的***，包括RTSP交互模块、数据完整性判断模块、重传数据模块40以及数据处理模块50，RTSP交互模块用于获取新媒体流数据，接收数据完整性判断模块的连接请求后完成基本的RTSP交互；数据完整性判断模块用于接收RTSP交互模块发送的媒体流数据后，通过RTP头部的序号信息，判断媒体流数据是否完整，与RTSP交互模块连接；重传数据模块40用于接收数据完整性判断模块的判断结果，当数据媒体流不完整时，向RTSP交互模块发送重传数据请求，并将需要重传的数据包的序号发送RTSP交互模块，由RTSP交互模块根据数据包的序号，找到需要重传的数据，且在接收到重发的媒体流数据后，发送该数据至所述数据处理模块50，分别与RTSP交互模块以及数据完整性判断模块连接；数据处理模块50，用于根据重传数据模块40发送的数据，***到缓存中相应的位置，等待播放，与重传数据模块40连接。

上述的一种视频数据重传的***，通过RTSP交互模块接收的新媒体流数据后，完成RTSP交互，发送新媒体流数据至数据完整性判断模块进行媒体流数据的属性判断，当媒体流数据不完整时，由重传数据模块40根据数据完整性判断模块的判断结果，向RTSP交互模块发送重传数据请求，RTSP交互模块根据其接收的信号，寻找到对应的媒体流数据后，发送到重传数据模块40，重传数据模块40将接收的媒体流数据发送至数据处理模块50，并***到对应的数据，使最后的媒体流数据完整，等待播放。

具体的，上述的RTSP交互模块内设有封装子模块10，该封装子模块10用于将接收到媒体流数据进行封装，媒体流数据封装成带有顺序、完整性、帧属性的媒体流数据包后发送数据完整性判断模块，分别与数据完整性判断模块以及重传数据模块40连接。

上述的数据完整性判断模块包括分析子模块20以及丢包队列重整子模块30，分析子模块20用于接收封装子模块10发送的媒体流数据后，对媒体流数据封装的结构先剥离CTT封装头部,根据字节序和位序的对应关系赋值给相应的结构化变量即可直接引用获取各相关数据项进行分析，与封装子模块10连接；丢包队列重整子模块30用于当分析子模块20分析数据包后发现有新被跳过的数据时，对分析子模块20分析丢失包的属性重新整理丢包队列后，发送重传请求至重传数据模块40，分别与重传数据模块40以及分析子模块20连接。

上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (9)

1.一种视频数据重传的方法，其特征在于，包括以下具体步骤：

步骤一、RTSP交互步骤，Server端获取新的媒体流数据，由RTSP的Client端向Server端发送连接请求，完成基本的RTSP交互；

步骤二、数据完整性判断步骤，交互完成后，Server端通过RTP向Client发送媒体流数据，Client端通过RTP头部的序号信息，判断媒体流数据是否完整，媒体流数据不完整则进行步骤三，媒体流数据完整则重复步骤二；

步骤三、重传数据步骤，媒体流数据不完整时，Client端通过RTCP向Server端发送重传数据的请求，并将需要重传的数据包的序号发送到Server端，由Server端根据数据包的序号，找到需要重传的数据，重新发送到Client端；

步骤四、重传数据处理步骤，根据Client端的指示，在Client端收到Server端重传的数据，***到缓存中相应的位置，等待播放；

步骤五、结束步骤，Server端发送完需要重传的数据，继续获取新的媒体流数据发送，重复步骤一，直至媒体流数据不再更新；

在所述步骤一中，由RTSP的Client端向Server端发送连接请求后，Server端会对媒体流数据进行封装，媒体流数据封装成带有顺序、完整性、帧属性的媒体流数据包后发送；

Server端对媒体流数据的封装的方式是在RTP头部封装一个3BYTE数据,用于标记包的帧属性,包的帧内序号；

具体的封装结构为[BYTE1][BYTE2][BYTE3]+RTP标准包数据体，其中，BYTE1.BIT7为帧标记,0为P帧,1为i帧；BYTE1.BIT0-6为帧内包序；BYTE2,BYTE3为共同组成16长度的本帧首包的包序号。

2.根据权利要求1所述的一种视频数据重传的方法，其特征在于，在所述步骤二中，交互完成中，Server端通过RTP开始向Client发送媒体流数据，并将发送的媒体流数据保存到Server端自带的缓存中，Client端接收媒体流数据，也将媒体流数据放入Client端自带的缓存中。

3.根据权利要求2所述的一种视频数据重传的方法，其特征在于，在所述步骤二中，Client端接收媒体流数据时根据Server端对媒体流数据封装的结构先剥离RTP封装头部,根据字节序和位序的对应关系赋值给相应的结构化变量即可直接引用获取各相关数据项进行分析；当Client端分析数据包后发现有新被跳过的数据时，Client端分析丢失包的属性重新整理丢包队列。

4.根据权利要求3所述的一种视频数据重传的方法，其特征在于，Client端重新整理丢包队列的具体步骤：Client端会首先做排序动作,为解决UDP数据包路由延时,设定排序等待缓冲,设定以包数量的缓冲长度，若前一最后包与当前收到的最新包的序号间隔超出设定的缓冲长度则认为超出缓冲长度部分的包都丢失了会记录到丢包列表中，当收到的包序大于截至上一次收到的最大包时,把当前包放在队尾,否则***队列中对应的位置。

5.根据权利要求4所述的一种视频数据重传的方法，其特征在于，在所述步骤三中，Server端直接根据重传请求中列出的包序号,查找包序号是否在Server端自带的缓冲数据区内,不在缓冲数据区内直接丢弃，并在Server端取最新数据并按照协议要求封装并发出；包序号在缓冲数据区内的话在当前数据包发出后,再发出请求重发的数据包，进行所述步骤二。

6.根据权利要求5所述的一种视频数据重传的方法，其特征在于，所述步骤三中，Client端依据重发请求的承载协议，通过RTCP向Server端发送重传数据的请求，该重发请求的承载协议为RTCP的自定义模块。

7.一种视频数据重传的***，其特征在于，包括RTSP交互模块、数据完整性判断模块、重传数据模块以及数据处理模块；

所述RTSP交互模块，用于获取新媒体流数据，接收连接请求后完成基本的RTSP交互；

所述数据完整性判断模块，用于接收RTSP交互模块发送的媒体流数据后，通过RTP头部的序号信息，判断媒体流数据是否完整，与所述RTSP交互模块连接；

所述重传数据模块，用于接收数据完整性判断模块的判断结果，当数据媒体流不完整时，向RTSP交互模块发送重传数据请求，并将需要重传的数据包的序号发送RTSP交互模块，由RTSP交互模块根据数据包的序号，找到需要重传的数据，且在重传数据模块接收到重发的媒体流数据后，发送该数据至所述数据处理模块，分别与所述RTSP交互模块以及所述数据完整性判断模块连接；

所述数据处理模块，用于根据所述重传数据模块发送的数据，***到缓存中相应的位置，等待播放，与所述重传数据模块连接；

对媒体流数据的封装的方式是在RTP头部封装一个3BYTE数据,用于标记包的帧属性,包的帧内序号；

具体的封装结构为[BYTE1][BYTE2][BYTE3]+RTP标准包数据体，其中，BYTE1.BIT7为帧标记,0为P帧,1为i帧；BYTE1.BIT0-6为帧内包序；BYTE2,BYTE3为共同组成16长度的本帧首包的包序号。

8.如权利要求7所述的一种视频数据重传的***，其特征在于，所述RTSP交互模块内设有封装子模块，所述封装子模块用于将接收到媒体流数据进行封装，媒体流数据封装成带有顺序、完整性、帧属性的媒体流数据包后发送数据完整性判断模块，分别与所述数据完整性判断模块以及所述重传数据模块连接。

9.如权利要求8所述的一种视频数据重传的***，其特征在于，所述数据完整性判断模块包括分析子模块以及丢包队列重整子模块；

所述分析子模块，用于接收所述封装子模块发送的媒体流数据后，对媒体流数据封装的结构先剥离RTP封装头部,根据字节序和位序的对应关系赋值给相应的结构化变量即可直接引用获取各相关数据项进行分析，与所述封装子模块连接；

所述丢包队列重整子模块，用于当所述分析子模块分析数据包后发现有新被跳过的数据时，对所述分析子模块分析丢失包的属性重新整理丢包队列后，发送重传请求至所述重传数据模块，分别与所述分析子模块以及所述重传数据模块连接。