CN108696773B - 一种实时视频的传输方法及装置 - Google Patents

Abstract

本发明实施例公开了一种实时视频的传输方法及装置。所述方法包括：将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片；将所述视频帧分片依次放入发送缓存区中；根据视频播放端针对不同视频帧分片返回的接收确认响应，将所述视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至所述视频播放端以进行实时视频播放。通过本发明的技术方案，能够降低视频传输延迟，提高视频传输的可靠性，提高用户体验。

Description

一种实时视频的传输方法及装置

技术领域

本发明实施例涉及信息处理技术，尤其涉及一种实时视频的传输方法及装置。

背景技术

随着互联网的不断普及和发展，移动互联网视频直播正处于如火如荼的井喷式发展当中。传统的直播大多是单向型的，比如电视台或者运营商直播，用户只需要打开终端收看即可，对于实时性并没有太大的要求。而移动互联网视频直播往往在功能上需要录制端和播放端有交互，这种交互不限于文字的互动，还包括视频的互动，因此，移动互联网视频直播实时性要求较高。

目前，移动互联网视频直播中实时视频的数据交互方法为，录制端采集视频数据并按照X264格式进行视频编码，通过QoS(Quality of Service，服务质量)算法将视频流数据基于TCP(Transmission Control Protocol，传输控制协议)之上的RTMP(Real TimeMessaging Protocol，实时消息传输协议)推流到CDN(Content Delivery Network，内容分发网络)服务器进行分发，播放端从CDN服务器拉流解码来播放。

现有技术中由于基于TCP的视频流数据报文过大，且数据交互结构复杂，视频传输的实时性极易受网络波动的影响，从而使得整个网络链路的视频传输延迟通常在1-3秒或者更差。

发明内容

本发明实施例提供一种实时视频的传输方法及装置，以实现降低视频传输延迟，提高视频传输的可靠性，提高用户体验。

第一方面，本发明实施例提供了一种实时视频的传输方法，包括：

将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片；

将所述视频帧分片依次放入发送缓存区中；

根据视频播放端针对不同视频帧分片返回的接收确认响应，将所述视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至所述视频播放端以进行实时视频播放。

第二方面，本发明实施例还提供了一种实时视频的传输方法，包括：

接收视频服务器转发的，由视频发送端发送的视频帧分片，并将所述视频帧分片放入接收缓存区中对应的帧序号内，同时更新已经连续接收到的视频帧分片的最大连续分片号以及丢包缓存表；

根据所述最大连续分片号以及所述丢包缓存表，周期性生成对应的接收确认响应；

将所述接收确认响应发送至所述视频服务器，以使所述视频服务器将所述接收确认响应转发至所述视频发送端；

若所述接收缓存区中的帧序号内所有视频帧分片均成功接收，则合并所述帧序号内的所有视频帧分片，以进行实时视频播放。

第三方面，本发明实施例还提供了一种实时视频的传输装置，配置于视频发送端，该装置包括：

分片处理模块，用于将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片；

发送缓冲模块，用于将所述视频帧分片依次放入发送缓存区中；

分片发送模块，用于根据视频播放端针对不同视频帧分片返回的接收确认响应，将所述视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至所述视频播放端以进行实时视频播放。

第四方面，本发明实施例还提供了一种实时视频的传输装置，配置于视频播放端，该装置包括：

分片接收模块，用于接收视频服务器转发的，由视频发送端发送的视频帧分片，并将所述视频帧分片放入接收缓存区中对应的帧序号内，同时更新已经连续接收到的视频帧分片的最大连续分片号以及丢包缓存表；

响应生成模块，用于根据所述最大连续分片号以及所述丢包缓存表，周期性生成对应的接收确认响应；

响应发送模块，用于将所述接收确认响应发送至所述视频服务器，以使所述视频服务器将所述接收确认响应转发至所述视频发送端；

分片合并模块，用于若所述接收缓存区中的帧序号内所有视频帧分片均成功接收，则合并所述帧序号内的所有视频帧分片，以进行实时视频播放。

本发明实施例通过将视频编码帧分为至少一个视频帧分片，按照设定发送策略将视频帧分片通过视频服务器转发给视频播放端，以进行实时视频播放，解决了现有技术中因采用基于TCP的传输方式而导致的视频延迟大的问题，实现了降低视频传输延迟，提高视频传输的可靠性，提高用户体验的效果。

附图说明

图1是本发明实施例一提供的一种实时视频的传输方法的流程示意图；

图2是本发明实施例二提供的一种实时视频的传输方法的流程示意图；

图3是本发明实施例三提供的一种实时视频的传输方法的流程示意图；

图4是本发明实施例四提供的一种实时视频的传输方法的流程示意图；

图5是本发明实施例五提供的一种实时视频的传输装置的结构示意图；

图6是本发明实施例六提供的一种实时视频的传输装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种实时视频的传输方法的流程示意图。该方法可适用于实时视频传输的情况，该方法可以由实时视频的传输装置来执行，该装置可由硬件和/或软件组成，并一般可集成在视频发送端以及所有包含视频发送功能的智能终端中。具体包括如下：

S110、将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片。

可选的，通过摄像头等视频采集装置采集到实时视频数据后，可利用视频编码器对实时视频数据进行实时编码处理，形成视频编码帧，而对于高分辨率的视频编码帧，帧的大小往往高于基于UDP(User Datagram Protocol，用户数据报协议)的传输方式中的网络最大传输单元，因此需要对实时生成的视频编码帧进行分片处理，形成至少一个小于预设大小的视频帧分片后，以视频帧分片为传输单元进行视频数据的发送，从而有效地解决了因传输单元过大而导致的视频延迟高的问题，降低了视频的传输延迟。

优选的，实时生成的视频编码帧可以为编码器按照H264协议进行编码，并滤除B帧后，生成的编码帧。

其中，B帧是双向预测帧，需要根据后向视频帧来预测编码。滤除B帧的好处在于，可以减小编码延迟，保证视频传输和播放的实时性。

优选的，将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片，包括：若视频编码帧所包括的字节数小于预设单个分片字节数与预设字节数之和，则将视频编码帧划分为一个视频帧分片；若视频编码帧所包括的字节数为预设单个分片字节数的S倍，则将视频编码帧划分为S个视频帧分片，其中，S为大于0的整数；若视频编码帧所包括的字节数为预设单个分片字节数的S倍与超出字节数之和，且超出字节数大于零且小于预设字节数，则将视频编码帧划分为S个视频帧分片，且将超出字节数所对应的字节放入最后一个视频帧分片；若视频编码帧所包括的字节数为预设单个分片字节数的S倍与超出字节数之和，且超出字节数不小于预设字节数，则将视频编码帧划分为(S+1)个视频帧分片。

示例性的，视频编码帧的最大分片数可设置为500，预设单个分片字节数可设置为800字节，预设字节数可设置为50。例如，当视频编码帧的帧字节数小于800+50＝850个字节时，则只分为一个视频帧分片；当视频编码帧的帧字节数为800的整数倍S倍时，则分为S个视频帧分片；当视频编码帧的帧字节数为800的S倍还余N个字节时，若0<N<50，则将多余的N个字节放入S个视频帧分片的最后一个视频帧分片中，最终分为S个视频帧分片；若N≥50，则为多余的N个字节单独分配一个视频帧分片，最终分为(S+1)个视频帧分片。

S120、将视频帧分片依次放入发送缓存区中。

可选的，发送缓存区中保存着所有正在发送且没有收到接收确认响应的视频帧分片。相对于UDP协议无确认的传输方式，设置发送缓存区的好处在于，可以在视频帧分片发送失败时重新对该视频帧分片进行发送，而发送缓存区为重新发送之前已发送过但未收到确认响应的视频帧分片提供了临时存储地址，从而提高了视频传输的可靠性。

S130、根据视频播放端针对不同视频帧分片返回的接收确认响应，将视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至视频播放端以进行实时视频播放。

示例性的，接收确认响应中可包括已确认接收的视频帧分片的分片号，优选为视频播放端连续接收到的视频帧分片的最大连续分片号，还可以包括未收到的视频帧分片的分片号，即丢包分片号。其中，设定发送策略可以是基于UDP的可靠传输方式，即发送报文后需确认的传输方式，具体可通过滑动窗口实现视频帧分片的可靠传输。

优选的，根据视频播放端针对不同视频帧分片返回的接收确认响应，将视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至视频播放端以进行实时视频播放，包括：发送设定数量的待确认视频帧分片至视频服务器，并将待确认视频帧分片存储于发送缓存区的发送窗口中；接收视频服务器转发的由视频播放端发送的视频帧分片接收确认响应；如果接收确认响应包括视频播放端连续接收到的视频帧分片的最大连续分片号，则滑动发送窗口，将已确认的视频帧分片从发送窗口中删除，生成空闲发送窗口；如果接收确认响应包括视频播放端的丢包分片号，则获取与丢包分片号对应的视频帧分片，并重新通过视频服务器转发至视频播放端；继续发送与空闲发送窗口的数量相匹配的待确认视频帧分片至视频服务器，并将继续发送的待确认视频帧分片存储于空闲发送窗口中；返回执行接收视频服务器转发的由视频播放端发送的视频帧分片接收确认响应的操作，直至完成对全部视频帧分片的确认发送。

示例性的，发送窗口大小为5，从播放缓存区中发送分片号为1-5的5个待确认的视频帧分片至视频服务器，并将这5个待确认的视频帧分片存储至发送窗口中。若收到视频播放端连续接收到的视频帧分片的最大连续分片号为5，则将这5个待确认的视频帧分片从发送窗口中删除，并将分片号为6-10的5个待确认的视频帧分片存储至发送窗口中，进行发送；若收到视频播放端连续接收到的视频帧分片的最大连续分片号为3，且收到丢包分片号为4，则删除发送窗口中的1-3号视频帧分片，并重发分片号为4的视频帧分片，同时发送分片号为6-8的视频帧分片。

本实施例的技术方案，通过将视频编码帧分为至少一个视频帧分片，按照设定发送策略将视频帧分片通过视频服务器转发给视频播放端，以进行实时视频播放，解决了现有技术中因采用基于TCP的传输方式而导致的视频延迟大的问题，实现了降低视频传输延迟，提高视频传输的可靠性，提高用户体验的效果。

实施例二

图2为本发明实施例二提供的一种实时视频的传输方法的流程示意图。本实施例以上述实施例为基础进行优化，提供了优选的实时视频的传输方法，具体是，在视频帧分片依次放入发送缓存区中之后进行了进一步优化。具体包括如下：

S210、将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片。

S220、将视频帧分片依次放入发送缓存区中。

S230、周期性检查发送缓存区中是否包括存在时间超过预设时间阈值的过期视频帧分片，若是，则执行S240；若否，则执行S260。

其中，检查周期可以为10s，预设时间阈值可以根据视频播放端的视频播放时间进行设置。在网络拥塞时可能会导致发送缓存区中有很多已发送且待确认的分片报文，周期性检查发送缓存区中的过期视频帧分片的好处在于，可以及时清除已播放过的视频帧分片，即超过视频播放端当前已播放的视频帧分片所对应的时间，从而缓解拥塞，降低视频传输延迟。

S240、将与视频帧分片关联的过期视频编码帧组对应的全部视频帧分片从发送缓存区中移除，并根据位于过期视频编码帧组之后的下一视频编码帧组生成丢弃同步信息，其中，视频编码帧组中包括至少一个视频编码帧。

其中，过期视频编码帧组可以为过期视频帧分片所对应的视频编码帧所在的那个GOP(Group of Pictures，画面组)。示例性的，若检测到一个GOP中的某个视频帧分片已过期，则从发送缓存区中移除该视频帧分片所在的整个GOP，并根据下一GOP中的关键帧(即I帧)的帧序号以及该关键帧所对应的视频帧分片的分片号生成相应的丢弃同步信息，以对视频播放端的接收情况进行同步。优选的，丢弃同步信息可通过握手协议同步到各视频播放端。

优选的，在将与视频帧分片关联的过期视频编码帧组对应的全部视频帧分片从发送缓存区中移除之后，还包括：更新对过期视频编码帧组的丢弃次数，如果在预设时间区间内的丢弃次数超过丢弃门限阈值，则降低数据传输参数的取值；其中，数据传输参数包括：视频编码器的分辨率，和/或数据传输码率。

示例性的，在视频帧分片发送的过程中频繁出现过期视频编码帧组的丢弃处理，会对视频播放端的视频播放过程造成一定程度的影响，可能会出现播放卡顿的情况，当对视频编码帧组的丢弃处理过于频繁时，说明当前网络不适合传输高分辨率或高数据传输码率的视频，因此，降低数据传输参数的取值的好处在于，可以缓解网络拥塞的情况，进而提高视频播放效果，提升用户体验。

S250、将丢弃同步信息通过视频服务器转发至至少一个视频播放端，以指示视频播放端放弃接收与过期视频编码帧组对应的视频帧分片，并丢弃已经接收的与过期视频编码帧组对应的视频帧分片。

示例性的，当存在过期视频编码帧组丢弃的情况时，视频发送端将生成的丢弃同步信息通过视频服务器转发至相关联的至少一个视频播放器，视频播放端可根据丢弃同步信息更新当前连续接收到的视频帧分片的最大连续分片号，从而指示视频播放端从该帧序号以及分片号开始接收视频帧分片，并将之前已接收的过期视频编码帧组中的视频帧分片丢弃。

优选的，丢弃同步信息包括下一视频编码帧组中关键视频编码帧所对应的帧序号以及关键视频编码帧中视频帧分片的最小分片号。

其中，视频编码帧组可以为一个GOP，关键视频编码帧可以是该GOP中的I帧。

S260、根据视频播放端针对不同视频帧分片返回的接收确认响应，将视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至视频播放端以进行实时视频播放。

本实施例的技术方案，通过周期性检查并及时丢弃发送缓存区中超过预设时间阈值的过期视频帧分片，并将生成的丢弃同步发送至各视频播放端，以使视频播放端放弃接收与过期视频帧组对应的视频帧分片，并丢弃已经接收的与过期视频帧组相对应的视频帧分片，从而缓解网络拥塞，降低视频传输延迟。

实施例三

图3为本发明实施例三提供的一种实时视频的传输方法的流程示意图。该方法可适用于实时视频传输的情况，该方法可以由实时视频的传输装置来执行，该装置可由硬件和/或软件组成，并一般可集成在视频播放端以及所有包含视频接收和播放功能的智能终端中。具体包括如下：

S310、接收视频服务器转发的，由视频发送端发送的视频帧分片，并将视频帧分片放入接收缓存区中对应的帧序号内，同时更新已经连续接收到的视频帧分片的最大连续分片号以及丢包缓存表。

可选的，接收缓存区中包含有多个帧缓存区，每个帧缓存区都对应有一个帧序号，其中每个帧序号所对应的帧缓存区均分配有对应数量的视频帧分片的分片缓存区。示例性的，视频播放端收到视频帧分片后，会将视频帧分片放入对应帧序号下的帧缓存区内的分片缓存区中进行存储，并更新相应的参数记录。例如，视频播放端收到帧序号为1分片号为1-5的5个视频帧分片，则将这5个视频帧分片放入接收缓存区中帧序号为1的帧缓存区中，并按照分片号分别进行存储，同时更新已经连续接收到的视频帧分片的最大连续分片号为5，若存在丢包情况，则将丢包分片号记录至丢包缓存表中。

优选的，在接收视频服务器转发的，由视频发送端发送的视频帧分片之前，还包括：若接收到视频服务器转发的，由视频发送端发送的丢弃同步信息，则根据丢弃同步信息更新已经连续接收到的视频帧分片的最大连续分片号，并丢弃已经接收的与过期视频编码帧组对应的视频帧分片，其中，丢弃同步信息包括下一视频编码帧组中关键视频编码帧所对应的帧序号以及关键视频编码帧中视频帧分片的最小分片号，视频编码帧组中包括至少一个视频编码帧。

示例性的，当视频发送端存在过期视频编码帧组丢弃的情况时，视频播放端会接收到通过视频服务器转发的由视频发送端生成并发送的丢弃同步信息，并根据丢弃同步信息更新当前已经连续接收到的视频帧分片的最大连续分片号，即将已经连续接收到的视频帧分片的最大连续分片号设置为下一视频编码帧组中关键视频编码帧所对应的视频帧分片的最小分片号，进而从下一视频编码帧组中关键视频编码帧所对应的帧序号以及关键视频编码帧中视频帧分片的最小分片号开始接收视频帧分片，并将之前已接收的过期视频编码帧组中的视频帧分片丢弃。

S320、根据最大连续分片号以及丢包缓存表，周期性生成对应的接收确认响应。

可选的，接收确认响应的生成周期可以为10ms。由于每次收到视频帧分片需要给视频发送端发送接收确认响应，而若每次接收到视频帧分片都发送接收确认响应可能会导致网络拥塞，因此，周期性生成对应的接收确认响应的好处在于，可以减少网络拥塞。

优选的，接收确认响应中包括有已经连续接收到的视频帧分片的最大连续分片号，以及从丢包缓存表中获取的丢包分片号。

S330、将接收确认响应发送至视频服务器，以使视频服务器将接收确认响应转发至视频发送端。

发送接收确认响应的目的在于，使视频发送端根据该接收确认响应进行视频帧分片的发送，进而提高视频传输的可靠性。

S340、若接收缓存区中的帧序号内所有视频帧分片均成功接收，则合并帧序号内的所有视频帧分片，以进行实时视频播放。

示例性的，若接收缓存区中的一个帧序号所对应的帧缓存区中的视频帧分片均已成功接收并存储，则合并该帧序号所对应的帧缓存区内的所有视频帧分片，形成一个完整的视频编码帧，并将该视频编码帧发送给上层播放器进行实时的解码播放。

本实施例的技术方案，通过接收视频服务器转发的，由视频发送端发送的视频帧分片，并根据接收缓存区中的接收和存储情况更新相应的参数以及丢包缓存表，进而将周期性生成的接收确认响应返回给视频服务器，最后将已成功接收的帧序号内的视频帧分片进行合并，以进行实时播放，提高了视频传输的可靠性及实时性。

实施例四

图4为本发明实施例四提供的一种实时视频的传输方法的流程示意图。本实施例以上述各实施例为基础进行优化，提供了优选的实时视频的传输方法，具体是，对接收视频服务器转发的，由视频发送端发送的视频帧分片，并将所述视频帧分片放入接收缓存区中对应的帧序号内，同时更新已经连续接收到的视频帧分片的最大连续分片号以及丢包缓存表进行了进一步优化。具体包括如下：

S410、接收视频服务器转发的，由视频发送端发送的当前视频帧分片，并获取当前视频帧分片的目标分片号以及当前视频帧分片对应的视频编码帧的目标帧序号。

获取当前接收的视频帧分片的目标分片号以及当前视频帧分片对应的视频编码帧的目标帧序号的目的在于，获取当前视频帧分片的身份信息，以便根据目标分片号以及目标帧序号进行相应的存储，同时也便于对所有接收的视频帧分片的有序管理。

优选的，在接收视频服务器转发的，由视频发送端发送的当前视频帧分片，并获取当前视频帧分片的目标分片号以及当前视频帧分片对应的视频编码帧的目标帧序号之后，还包括：若目标分片号小于已经连续接收到的视频帧分片的最大连续分片号或大于已经接收到的视频帧分片的最大接收分片号与预设值之和，或者，目标帧序号小于已经接收到的视频编码帧的最小帧序号，则丢弃视频帧分片。

示例性的，若当前接收的视频帧分片的分片号小于已经连续接收到的视频帧分片的最大连续分片号，或者，当前接收的视频帧分片的帧序号小于已经接收到的视频编码帧的最小帧序号，则说明该视频帧分片为过期视频帧分片，即之前已经接收过该视频帧分片，从而应丢弃该视频帧分片；若当前接收的视频帧分片的分片号大于已经接收到的视频帧分片的最大接收分片号与预设值之和，则说明该视频帧分片跳变过大，若接收该分片，可能会导致丢包缓存表中所需存储的数据量过大，因此也应丢弃该视频帧分片。可选的，预设值可根据丢包缓存表的容量大小来设定，例如预设值可设置为2000。

S420、将当前视频帧分片存储于接收缓存区中，目标帧序号下与目标分片号对应的存储空间中。

示例性的，若当前视频帧分片为第1帧中的5号视频帧分片，则将该视频帧分片对应存储至接收缓存区中第1帧下的第5号存储空间中。

S430、根据目标分片号更新已经连续接收到的视频帧分片的最大连续分片号以及已经接收到的视频帧分片的最大接收分片号。

可选的，可将已经接收到的视频帧分片的最大接收分片号更新为目标分片号与更新之前最大接收分片号中的最大值。可选的，若目标分片号与之前已接收的分片号连续，则可将已经连续接收到的视频帧分片的最大连续分片号更新为目标分片号；否则，保持最大连续分片号的取值不变。

示例性的，若已连续接收到了分片号为1-5的视频帧分片，且当前接收的目标分片号为6，则将已经连续接收到的视频帧分片的最大连续分片号以及已经接收到的视频帧分片的最大接收分片号均更新为6；若当前接收的目标分片号为10，则最大连续分片号不变(仍为5)，而将最大接收分片号更新为10。

S440、根据最大连续分片号以及最大接收分片号更新丢包缓存表。

其中，所述丢包缓存表包括：丢包分片号以及与丢包分片号对应的丢包时间戳。

示例性的，若最大连续分片号与最大接收分片号一致，则表明没有丢包情况发生，进而无需更新丢包缓存表；若最大连续分片号与最大接收分片号不一致时，则说明在传输过程中有丢包情况发生，因此需要更新丢包缓存表。

优选的，根据最大连续分片号以及最大接收分片号更新丢包缓存表，包括：若最大连续分片号与最大接收分片号的差值不小于1，则将最大连续分片号与最大接收分片号之间的所有丢包分片号记录至丢包缓存表中，并更新丢包分片号所对应的丢包时间戳；若丢包缓存表中已存储有目标分片号，则在丢包缓存表中删除目标分片号。

示例性的，当最大接收分片号-最大连续分片号≥1时，例如，当最大连续分片号为5，而最大接收分片号为10时，则认为最大连续分片号与最大接收分片号之间的所有分片号(即6-9号)所对应的视频帧分片暂时丢失(可能乱序，不一定是真丢失，需要后续接收的分片来确认)。若丢包缓存表中没有这些丢包分片号，则将该丢包分片号存储至丢包缓存表中，并存入相应的丢包时间戳(即当前时间减去往返传输时间值)；若丢包缓存表中有这些丢包分片号，则仅更新相应的丢包时间戳。更新丢包分片号所对应的丢包时间戳的目的在于，为后续步骤中生成接收确认响应提供依据。示例性的，若丢包缓存表中已存储有接收的目标分片号，说明收到的目标分片号为之前丢失的分片号，因此，需删除丢包缓存表中存储的目标分片号，以防止重复发送丢包信息。

S450、间隔设定时长，周期性获取丢包缓存表中丢包时间戳满足设定时间阈值条件的丢包分片号。

可选的，获取周期可以与生成接收确认响应的周期相同，优选为10ms。其中，设定时间阈值可以为一个往返传输时间。示例性的，每隔10ms扫描一次丢包缓存表，并获取其中各丢包分片号所对应的丢包时间戳超过一个往返传输时间的丢包分片号，同时更新该丢包分片号所对应的丢包时间戳为当前时间，并累加该丢包分片号所对应的丢包计数器，以将所有超过往返传输时间的丢包分片号通过接收确认响应发送给视频发送端，指示视频发送端重新发送该丢包分片号对应的视频帧分片。获取满足设定时间阈值条件的丢包分片号的好处在于，可以避免频繁地重复向视频发送端发送相同的丢包分片号。

优选的，在获取丢包缓存表中丢包时间戳满足设定时间阈值条件的丢包分片号之前，还包括：获取接收缓存区中最早接收的视频编码帧中的视频帧分片的最小接收分片号；获取由最大连续分片号与最小接收分片号确定的目标丢包分片号；将目标丢包分片号从丢包缓存表中删除，并将最大连续分片号更新为最早接收的视频编码帧中的视频帧分片的最小接收分片号。

示例性的，周期性获取接收缓存区中最小接收分片号min_seq，并检测丢包缓存表中是否存在满足(base_seq,min_seq]条件的丢包分片号，若存在满足该条件的目标丢包分片号，则将目标丢包分片号从丢包缓存表中删除，并将最大连续分片号base_seq的值更新为min_seq，其中，base_seq为最大连续分片号，min_seq为最小接收分片号。这样设置的好处在于，可以及时清除丢包缓存表中已经过期的丢包分片号，以免之后接收到已经播放过的视频帧分片。

S460、根据丢包分片号以及最大连续分片号构造接收确认响应。

可选的，将丢包缓存表中丢包时间戳超过一个往返传输时间的丢包分片号与当前最大连续分片号，以接收确认响应的方式通过视频服务器转发给视频发送端，从而指示视频发送端根据该接收确认响应重发与丢包分片号对应的视频帧分片，并发送下一视频帧分片。

S470、将接收确认响应发送至视频服务器，以使视频服务器将接收确认响应转发至视频发送端。

S480、若接收缓存区中的帧序号内所有视频帧分片均成功接收，则合并帧序号内的所有视频帧分片，以进行实时视频播放。

本实施例的技术方案，通过检测接收缓存区中视频帧分片的接收及存储情况实时更新丢包缓存表以及相关参数值，并周期性获取丢包缓存表中的丢包分片号以及接收缓存区中的最大连续分片号，构造接收确认响应，以返回给视频发送端，为视频发送端的视频帧分片的发送提供依据，实现了视频帧分片的可靠传输，并配合视频发送端降低了视频的传输延迟。

实施例五

图5为本发明实施例五提供的一种实时视频的传输装置的结构示意图。该装置一般可集成在视频发送端以及所有包含视频发送功能的终端中。参考图5，实时视频的传输装置包括：分片处理模块510、发送缓冲模块520以及分片发送模块530，下面对各模块进行具体说明。

分片处理模块510，用于将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片；

发送缓冲模块520，用于将所述视频帧分片依次放入发送缓存区中；

分片发送模块530，用于根据视频播放端针对不同视频帧分片返回的接收确认响应，将所述视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至所述视频播放端以进行实时视频播放。

本实施例提供的实时视频的传输装置，通过将视频编码帧分为至少一个视频帧分片，按照设定发送策略将视频帧分片通过视频服务器转发给视频播放端，以进行实时视频播放，解决了现有技术中因采用基于TCP的传输方式而导致的视频延迟大的问题，实现了降低视频传输延迟，提高视频传输的可靠性，提高用户体验的效果。

在上述各实施例的基础上，分片处理模块510，具体可以用于：

若视频编码帧所包括的字节数小于预设单个分片字节数与预设字节数之和，则将所述视频编码帧划分为一个视频帧分片；

若视频编码帧所包括的字节数为预设单个分片字节数的S倍，则将所述视频编码帧划分为S个视频帧分片，其中，S为大于0的整数；

若视频编码帧所包括的字节数为预设单个分片字节数的S倍与超出字节数之和，且所述超出字节数大于零且小于所述预设字节数，则将所述视频编码帧划分为S个视频帧分片，且将所述超出字节数所对应的字节放入最后一个视频帧分片；

若视频编码帧所包括的字节数为预设单个分片字节数的S倍与超出字节数之和，且所述超出字节数不小于所述预设字节数，则将所述视频编码帧划分为(S+1)个视频帧分片。

在上述各实施例的基础上，还可以包括：

过期检查模块，用于在将所述视频帧分片依次放入发送缓存区中之后，周期性检查所述发送缓存区中是否包括存在时间超过预设时间阈值的过期视频帧分片；

分片移除模块，用于若所述发送缓存区中包括存在时间超过预设时间阈值的过期视频帧分片，则将与所述视频帧分片关联的过期视频编码帧组对应的全部视频帧分片从所述发送缓存区中移除，并根据位于所述过期视频编码帧组之后的下一视频编码帧组生成丢弃同步信息，其中，所述视频编码帧组中包括至少一个视频编码帧；

丢弃信息发送模块，用于将所述丢弃同步信息通过所述视频服务器转发至所述至少一个视频播放端，以指示所述视频播放端放弃接收与所述过期视频编码帧组对应的视频帧分片，并丢弃已经接收的与所述过期视频编码帧组对应的视频帧分片。

在上述各实施例的基础上，所述丢弃同步信息包括所述下一视频编码帧组中关键视频编码帧所对应的帧序号以及所述关键视频编码帧中视频帧分片的最小分片号。

在上述各实施例的基础上，还可以包括：

取值降低模块，用于在将与所述视频帧分片关联的过期视频编码帧组对应的全部视频帧分片从所述发送缓存区中移除之后，更新对所述过期视频编码帧组的丢弃次数，如果在预设时间区间内的所述丢弃次数超过丢弃门限阈值，则降低所述数据传输参数的取值；

其中，所述数据传输参数包括：视频编码器的分辨率，和/或数据传输码率。

在上述各实施例的基础上，所述实时生成的视频编码帧为编码器按照H264协议进行编码，并滤除B帧后，生成的编码帧。

在上述各实施例的基础上，分片发送模块530，具体可以用于：

发送设定数量的待确认视频帧分片至所述视频服务器，并将所述待确认视频帧分片存储于发送缓存区的发送窗口中；

接收所述视频服务器转发的由所述视频播放端发送的视频帧分片接收确认响应；

如果所述接收确认响应包括所述视频播放端连续接收到的视频帧分片的最大连续分片号，则滑动所述发送窗口，将已确认的视频帧分片从所述发送窗口中删除，生成空闲发送窗口；

如果所述接收确认响应包括所述视频播放端的丢包分片号，则获取与所述丢包分片号对应的视频帧分片，并重新通过所述视频服务器转发至所述视频播放端；

继续发送与所述空闲发送窗口的数量相匹配的待确认视频帧分片至所述视频服务器，并将继续发送的待确认视频帧分片存储于所述空闲发送窗口中；

返回执行接收所述视频服务器转发的由所述视频播放端发送的视频帧分片接收确认响应的操作，直至完成对全部视频帧分片的确认发送。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例六

图6为本发明实施例六提供的一种实时视频的传输装置的结构示意图。该装置一般可集成在视频播放端以及所有包含视频接收和播放功能的智能终端中。参考图6，实时视频的传输装置包括：分片接收模块610、响应生成模块620、响应发送模块630以及分片合并模块640，下面对各模块进行具体说明。

分片接收模块610，用于接收视频服务器转发的，由视频发送端发送的视频帧分片，并将所述视频帧分片放入接收缓存区中对应的帧序号内，同时更新已经连续接收到的视频帧分片的最大连续分片号以及丢包缓存表；

响应生成模块620，用于根据所述最大连续分片号以及所述丢包缓存表，周期性生成对应的接收确认响应；

响应发送模块630，用于将所述接收确认响应发送至所述视频服务器，以使所述视频服务器将所述接收确认响应转发至所述视频发送端；

分片合并模块640，用于若所述接收缓存区中的帧序号内所有视频帧分片均成功接收，则合并所述帧序号内的所有视频帧分片，以进行实时视频播放。

本实施例提供的实时视频的传输装置，通过接收视频服务器转发的，由视频发送端发送的视频帧分片，并根据接收缓存区中的接收和存储情况更新相应的参数以及丢包缓存表，进而将周期性生成的接收确认响应返回给视频服务器，最后将已成功接收的帧序号内的视频帧分片进行合并，以进行实时播放，提高了视频传输的可靠性及实时性。

在上述各实施例的基础上，分片接收模块610可以包括：

序号获取子模块，用于接收视频服务器转发的，由视频发送端发送的当前视频帧分片，并获取所述当前视频帧分片的目标分片号以及所述当前视频帧分片对应的视频编码帧的目标帧序号；

分片存储子模块，用于将所述当前视频帧分片存储于所述接收缓存区中，所述目标帧序号下与所述目标分片号对应的存储空间中；

分片号更新子模块，用于根据所述目标分片号更新已经连续接收到的视频帧分片的最大连续分片号以及已经接收到的视频帧分片的最大接收分片号；

缓存表更新子模块，用于根据所述最大连续分片号以及所述最大接收分片号更新丢包缓存表；

其中，所述丢包缓存表包括：丢包分片号以及与丢包分片号对应的丢包时间戳。

在上述各实施例的基础上，所述缓存表更新子模块具体可以用于：

若所述最大连续分片号与所述最大接收分片号的差值不小于1，则将所述最大连续分片号与所述最大接收分片号之间的所有丢包分片号记录至丢包缓存表中，并更新所述丢包分片号所对应的丢包时间戳；

若所述丢包缓存表中已存储有所述目标分片号，则在所述丢包缓存表中删除所述目标分片号。

在上述各实施例的基础上，响应生成模块620可以包括：

丢包号获取子模块，用于间隔设定时长，周期性获取所述丢包缓存表中丢包时间戳满足设定时间阈值条件的丢包分片号；

响应构造子模块，用于根据所述丢包分片号以及所述最大连续分片号构造接收确认响应。

在上述各实施例的基础上，响应生成模块620还可以包括：

最小分片号获取子模块，用于在获取所述丢包缓存表中丢包时间戳满足设定时间阈值条件的丢包分片号之前，获取所述接收缓存区中最早接收的视频编码帧中的视频帧分片的最小接收分片号；

目标分片号获取子模块，用于获取由所述最大连续分片号与所述最小接收分片号确定的目标丢包分片号；

目标分片号删除子模块，用于将所述目标丢包分片号从所述丢包缓存表中删除，并将所述最大连续分片号更新为所述最早接收的视频编码帧中的视频帧分片的最小接收分片号。

在上述各实施例的基础上，分片接收模块610还可以包括：

分片丢弃子模块，用于在接收视频服务器转发的，由视频发送端发送的当前视频帧分片，并获取所述当前视频帧分片的目标分片号以及所述当前视频帧分片对应的视频编码帧的目标帧序号之后，若所述目标分片号小于已经连续接收到的视频帧分片的最大连续分片号或大于已经接收到的视频帧分片的最大接收分片号与预设值之和，或者，所述目标帧序号小于已经接收到的视频编码帧的最小帧序号，则丢弃所述视频帧分片。

在上述各实施例的基础上，还可以包括：

帧分片丢弃模块，用于在接收视频服务器转发的，由视频发送端发送的视频帧分片之前，若接收到视频服务器转发的，由视频发送端发送的丢弃同步信息，则根据所述丢弃同步信息更新已经连续接收到的视频帧分片的最大连续分片号，并丢弃已经接收的与过期视频编码帧组对应的视频帧分片，其中，所述丢弃同步信息包括所述下一视频编码帧组中关键视频编码帧所对应的帧序号以及所述关键视频编码帧中视频帧分片的最小分片号，所述视频编码帧组中包括至少一个视频编码帧。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种实时视频的传输方法，其特征在于，包括：

将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片；

将所述视频帧分片依次放入发送缓存区中；

根据视频播放端针对不同视频帧分片返回的接收确认响应，将所述视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至所述视频播放端以进行实时视频播放；

所述将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片，包括：

若视频编码帧所包括的字节数小于预设单个分片字节数与预设字节数之和，则将所述视频编码帧划分为一个视频帧分片；

若视频编码帧所包括的字节数为预设单个分片字节数的S倍，则将所述视频编码帧划分为S个视频帧分片，其中，S为大于0的整数；

若视频编码帧所包括的字节数为预设单个分片字节数的S倍与超出字节数之和，且所述超出字节数大于零且小于所述预设字节数，则将所述视频编码帧划分为S个视频帧分片，且将所述超出字节数所对应的字节放入最后一个视频帧分片；

若视频编码帧所包括的字节数为预设单个分片字节数的S倍与超出字节数之和，且所述超出字节数不小于所述预设字节数，则将所述视频编码帧划分为(S+1)个视频帧分片。

2.根据权利要求1所述的方法，其特征在于，在将所述视频帧分片依次放入发送缓存区中之后，还包括：

周期性检查所述发送缓存区中是否包括存在时间超过预设时间阈值的过期视频帧分片；

若是，则将与所述视频帧分片关联的过期视频编码帧组对应的全部视频帧分片从所述发送缓存区中移除，并根据位于所述过期视频编码帧组之后的下一视频编码帧组生成丢弃同步信息，其中，所述视频编码帧组中包括至少一个视频编码帧；

将所述丢弃同步信息通过所述视频服务器转发至所述至少一个视频播放端，以指示所述视频播放端放弃接收与所述过期视频编码帧组对应的视频帧分片，并丢弃已经接收的与所述过期视频编码帧组对应的视频帧分片。

3.根据权利要求2所述的方法，其特征在于，所述丢弃同步信息包括所述下一视频编码帧组中关键视频编码帧所对应的帧序号以及所述关键视频编码帧中视频帧分片的最小分片号。

4.根据权利要求2所述的方法，其特征在于，在将与所述视频帧分片关联的过期视频编码帧组对应的全部视频帧分片从所述发送缓存区中移除之后，还包括：

更新对所述过期视频编码帧组的丢弃次数，如果在预设时间区间内的所述丢弃次数超过丢弃门限阈值，则降低数据传输参数的取值；

其中，所述数据传输参数包括：视频编码器的分辨率，和/或数据传输码率。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述实时生成的视频编码帧为编码器按照H264协议进行编码，并滤除B帧后，生成的编码帧。

6.根据权利要求1所述的方法，其特征在于，所述根据视频播放端针对不同视频帧分片返回的接收确认响应，将所述视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至所述视频播放端以进行实时视频播放，包括：

发送设定数量的待确认视频帧分片至所述视频服务器，并将所述待确认视频帧分片存储于发送缓存区的发送窗口中；

接收所述视频服务器转发的由所述视频播放端发送的视频帧分片接收确认响应；

如果所述接收确认响应包括所述视频播放端连续接收到的视频帧分片的最大连续分片号，则滑动所述发送窗口，将已确认的视频帧分片从所述发送窗口中删除，生成空闲发送窗口；

如果所述接收确认响应包括所述视频播放端的丢包分片号，则获取与所述丢包分片号对应的视频帧分片，并重新通过所述视频服务器转发至所述视频播放端；

继续发送与所述空闲发送窗口的数量相匹配的待确认视频帧分片至所述视频服务器，并将继续发送的待确认视频帧分片存储于所述空闲发送窗口中；

返回执行接收所述视频服务器转发的由所述视频播放端发送的视频帧分片接收确认响应的操作，直至完成对全部视频帧分片的确认发送。

7.一种实时视频的传输方法，其特征在于，包括：

接收视频服务器转发的，由视频发送端发送的视频帧分片，并将所述视频帧分片放入接收缓存区中对应的帧序号内，同时更新已经连续接收到的视频帧分片的最大连续分片号以及丢包缓存表；

根据所述最大连续分片号以及所述丢包缓存表，周期性生成对应的接收确认响应；

将所述接收确认响应发送至所述视频服务器，以使所述视频服务器将所述接收确认响应转发至所述视频发送端；

若所述接收缓存区中的帧序号内所有视频帧分片均成功接收，则合并所述帧序号内的所有视频帧分片，以进行实时视频播放；

所述接收视频服务器转发的，由视频发送端发送的视频帧分片，并将所述视频帧分片放入接收缓存区中对应的帧序号内，同时更新已经连续接收到的视频帧分片的最大连续分片号以及丢包缓存表，包括：

接收视频服务器转发的，由视频发送端发送的当前视频帧分片，并获取所述当前视频帧分片的目标分片号以及所述当前视频帧分片对应的视频编码帧的目标帧序号；

将所述当前视频帧分片存储于所述接收缓存区中，所述目标帧序号下与所述目标分片号对应的存储空间中；

根据所述目标分片号更新已经连续接收到的视频帧分片的最大连续分片号以及已经接收到的视频帧分片的最大接收分片号；

根据所述最大连续分片号以及所述最大接收分片号更新丢包缓存表；

其中，所述丢包缓存表包括：丢包分片号以及与丢包分片号对应的丢包时间戳；

所述根据所述最大连续分片号以及所述最大接收分片号更新丢包缓存表，包括：

若所述最大连续分片号与所述最大接收分片号的差值不小于1，则将所述最大连续分片号与所述最大接收分片号之间的所有丢包分片号记录至丢包缓存表中，并更新所述丢包分片号所对应的丢包时间戳；

若所述丢包缓存表中已存储有所述目标分片号，则在所述丢包缓存表中删除所述目标分片号。

8.根据权利要求7所述的方法，其特征在于，所述根据所述最大连续分片号以及所述丢包缓存表，周期性生成对应的接收确认响应，包括：

间隔设定时长，周期性执行下述操作：

获取所述丢包缓存表中丢包时间戳满足设定时间阈值条件的丢包分片号；

根据所述丢包分片号以及所述最大连续分片号构造接收确认响应。

9.根据权利要求8所述的方法，其特征在于，在获取所述丢包缓存表中丢包时间戳满足设定时间阈值条件的丢包分片号之前，还包括：

获取所述接收缓存区中最早接收的视频编码帧中的视频帧分片的最小接收分片号；

获取由所述最大连续分片号与所述最小接收分片号确定的目标丢包分片号；

将所述目标丢包分片号从所述丢包缓存表中删除，并将所述最大连续分片号更新为所述最早接收的视频编码帧中的视频帧分片的最小接收分片号。

10.根据权利要求7所述的方法，其特征在于，在接收视频服务器转发的，由视频发送端发送的当前视频帧分片，并获取所述当前视频帧分片的目标分片号以及所述当前视频帧分片对应的视频编码帧的目标帧序号之后，还包括：

若所述目标分片号小于已经连续接收到的视频帧分片的最大连续分片号或大于已经接收到的视频帧分片的最大接收分片号与预设值之和，或者，所述目标帧序号小于已经接收到的视频编码帧的最小帧序号，则丢弃所述视频帧分片。

11.根据权利要求7所述的方法，其特征在于，在接收视频服务器转发的，由视频发送端发送的视频帧分片之前，还包括：

若接收到视频服务器转发的，由视频发送端发送的丢弃同步信息，则根据所述丢弃同步信息更新已经连续接收到的视频帧分片的最大连续分片号，并丢弃已经接收的与过期视频编码帧组对应的视频帧分片，其中，所述丢弃同步信息包括下一视频编码帧组中关键视频编码帧所对应的帧序号以及所述关键视频编码帧中视频帧分片的最小分片号，所述视频编码帧组中包括至少一个视频编码帧。

12.一种实时视频的传输装置，配置于视频发送端，其特征在于，包括：

分片处理模块，用于将实时生成的视频编码帧进行分片处理，形成至少一个视频帧分片；

发送缓冲模块，用于将所述视频帧分片依次放入发送缓存区中；

分片发送模块，用于根据视频播放端针对不同视频帧分片返回的接收确认响应，将所述视频编码帧的视频帧分片按照设定发送策略通过视频服务器转发至所述视频播放端以进行实时视频播放；

所述分片处理模块，具体可以用于：

若所述视频编码帧所包括的字节数小于预设单个分片字节数与预设字节数之和，则将所述视频编码帧划分为一个视频帧分片；

若所述视频编码帧所包括的字节数为预设单个分片字节数的S倍，则将所述视频编码帧划分为S个视频帧分片，其中，S为大于0的整数；

若所述视频编码帧所包括的字节数为预设单个分片字节数的S倍与超出字节数之和，且所述超出字节数大于零且小于所述预设字节数，则将所述视频编码帧划分为S个视频帧分片，且将所述超出字节数所对应的字节放入最后一个视频帧分片；

若所述视频编码帧所包括的字节数为预设单个分片字节数的S倍与超出字节数之和，且所述超出字节数不小于所述预设字节数，则将所述视频编码帧划分为(S+1)个视频帧分片。

13.一种实时视频的传输装置，配置于视频播放端，其特征在于，包括：

分片接收模块，用于接收视频服务器转发的，由视频发送端发送的视频帧分片，并将所述视频帧分片放入接收缓存区中对应的帧序号内，同时更新已经连续接收到的视频帧分片的最大连续分片号以及丢包缓存表；

响应生成模块，用于根据所述最大连续分片号以及所述丢包缓存表，周期性生成对应的接收确认响应；

响应发送模块，用于将所述接收确认响应发送至所述视频服务器，以使所述视频服务器将所述接收确认响应转发至所述视频发送端；

分片合并模块，用于若所述接收缓存区中的帧序号内所有视频帧分片均成功接收，则合并所述帧序号内的所有视频帧分片，以进行实时视频播放；

所述分片接收模块包括：

序号获取子模块，用于接收视频服务器转发的，由视频发送端发送的当前视频帧分片，并获取所述当前视频帧分片的目标分片号以及所述当前视频帧分片对应的视频编码帧的目标帧序号；

分片存储子模块，用于将所述当前视频帧分片存储于所述接收缓存区中，所述目标帧序号下与所述目标分片号对应的存储空间中；

分片号更新子模块，用于根据所述目标分片号更新已经连续接收到的视频帧分片的最大连续分片号以及已经接收到的视频帧分片的最大接收分片号；

缓存表更新子模块，用于根据所述最大连续分片号以及所述最大接收分片号更新丢包缓存表；

其中，所述丢包缓存表包括：丢包分片号以及与丢包分片号对应的丢包时间戳；

所述缓存表更新子模块用于：

若所述最大连续分片号与所述最大接收分片号的差值不小于1，则将所述最大连续分片号与所述最大接收分片号之间的所有丢包分片号记录至丢包缓存表中，并更新所述丢包分片号所对应的丢包时间戳；

若所述丢包缓存表中已存储有所述目标分片号，则在所述丢包缓存表中删除所述目标分片号。

Images