CN104253996B - 视频数据的发送、接收方法及其装置以及传输*** - Google Patents

Abstract

本发明公开了一种视频数据的发送、接收方法及其装置以及传输***，该发送方法包括：根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流；将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；发送所述辅码流和主码流。由于将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流，后续发送辅码流和主码流，避免了直接传输背景帧，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，兼顾了传输带宽和图像质量。

Description

视频数据的发送、接收方法及其装置以及传输***

技术领域

本发明涉及视频编解码技术，尤其涉及一种视频数据的发送、接收方法及其装置以及传输***。

背景技术

目前，对于数字视频的访问终端已从传统个人计算机(PC)向智能手机、个人数码助理(Personal Digital Assistant，PDA)、平板等多种终端发展。数字视频信号也面临着不同的传输环境，包括无线网络、第三代移动通信(3G)网络等。不同的接收终端具有不同的处理能力和存储能力，不同的网络环境具有不同的传输带宽，这对数字视频的传输提出了很大的挑战。

基于上述原因，能降低对网络的传输带宽要求的视频压缩技术也越来越受到重视。通常，数字视频中通常包含大量的冗余信息，例如：空间冗余、时间冗余和信息熵冗余。视频压缩主要目的就是去除数字视频中的冗余信息。由于视频信号数据量较大，需要很大的传输带宽，因此在传输数字视频信号之前需要对视频信号进行压缩。此外，视频压缩有两个要求：a)一定的压缩比；b)保证一定的质量。

预测编码是消除数字视频中冗余信息的重要技术手段之一。预测编码即利用信号间的相关性，用前面一个或多个信号作为当前信号的预测值，对当前信号的实际值与预测值的差进行编码。在帧间预测编码中，作为当前信号预测值的图像称为参考图像，参考图像常常具有较高的质量和码率。

通常，背景帧会作为后续图像的参考图像，然而，对于固定带宽和低带宽的网络传输环境，背景帧成为传输的瓶颈。这是因为，背景帧是由序列中图像建模得到的高质量背景图像，如果建模理想的话，会得到没有任何前景的一幅图像，为了后续图像高效压缩(参考背景帧)，通常对背景帧采用高质量编码方法，其编码过程就是采用了编码关键帧(I帧)的过程，编码后数据量较大，具有较高的质量。若直接传输背景帧，容易导致码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失；若降低作为背景帧的高质量背景图像的质量，将影响后续需要参考该高质量的背景图像进行编码的非背景帧的压缩效果，造成整体性能的下降。因此，现有技术中针对含有背景帧的视频数据进行传输时，存在不能兼顾传输带宽和图像质量的问题。

发明内容

有鉴于此，本发明实施例提供了一种视频数据的发送、接收方法及其装置以及传输***，用以解决现有技术中不能兼顾传输带宽和图像质量的问题。

本发明实施例提供一种视频数据的发送、接收方法及其装置以及传输***，具体如下：

第一方面，一种视频数据的发送方法，所述方法包括：

根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；

将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流；

将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；

发送所述辅码流和主码流。

通过这种可能的实施方式，将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流，后续发送辅码流和主码流，避免了直接传输背景帧，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，不会影响后续需要参考该高质量的背景图像进行编码的非高质量背景图像的压缩效果，兼顾了传输带宽和图像质量。

结合第一方面，在第一种可能的实现方式中，所述发送所述辅码流和主码流，包括：

分时发送所述辅码流和主码流，其中，所述辅码流的发送完毕时间点不晚于需要该辅码流进行解码的主码流的发送完毕时间点。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流，包括：

根据背景帧的数据量大小、当前带宽下的信道容量和网络协议中对数据包的要求，将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流。

结合第一方面，第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述原始编码码流中包含用于表示各帧图像的播放顺序的图像序列号，所述方法还包括：

确定原始编码码流中的图像序列号的最大值小于所述原始编码码流中包含的图像帧数量；

生成各主码流和各辅码流在原始编码码流中的位置偏移量，该位置偏移量表示相对于原始编码码流中的序列头位置的偏移量；

所述发送所述主码流和辅码流包括：

发送主码流时，将该主码流的位置偏移量随同该主码流发送；

发送辅码流时，将该辅码流的位置偏移量随同该辅码流发送。

结合第一方面，第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式，在第四种可能的实现方式中，所述原始编码码流中包含用于表示各帧图像的播放顺序的图像序列号，所述方法还包括：

确定原始编码码流中的图像序列号的最大值等于所述原始编码码流中包含的图像帧数量；

在所述将确定的每一背景帧分割为至少两个数据包之后，分别加入辅码流标识后进行封装之前，所述方法还包括：

对分割得到的所述数据包进行编号，将编号加入相应的数据包，所述编号用于确定该数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置。

第二方面，一种视频数据的接收方法，所述方法包括：

接收视频数据码流，所述视频数据码流包括含有主码流标识的主码流和含有辅码流标识的辅码流，所述辅码流是将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成的，所述主码流是将原始编码码流中每一非背景帧加入主码流标识后进行封装形成的；

根据码流中包含的标识，确定接收的码流中的主码流和辅码流；

将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

通过这种可能的实施方式，由于接收的是将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流以及主码流，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，不会影响后续需要参考该高质量的背景图像进行编码的非高质量背景图像的压缩效果，兼顾了传输带宽和图像质量。

结合第二方面，在第一种可能的实现方式中，接收的每一个主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量，该位置偏移量是相对于原始编码码流中的序列头位置的偏移量；

所述将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码，包括：

利用接收的每一个主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量，将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

结合第二方面，在第二种可能的实现方式中，所述辅码流中包括编号，所述主码流中包括图像序列号，所述图像序列号用于表示各帧图像的播放顺序，所述编号用于确定该辅码流包含的数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置；

所述将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码，包括：

利用所述编号将确定的辅码流还原为背景帧，以及确定还原的背景帧的图像序列号；

利用还原的背景帧的图像序列号和主码流中包括的图像序列号，将该背景帧和主码流还原为原始编码码流，供解码器解码。

第三方面，所述装置包括：

第一确定单元，用于根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；

辅码流形成单元，用于将确定的每一背景帧分割为至少两个数据包，加入辅码流标识后进行封装，形成辅码流；

主码流形成单元，用于将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；

发送单元，用于发送所述辅码流和主码流。

通过这种可能的实施方式，将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流，后续发送辅码流和主码流，避免了直接传输背景帧，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，不会影响后续需要参考该高质量的背景图像进行编码的非高质量背景图像的压缩效果，兼顾了传输带宽和图像质量。

结合第三方面，在第一种可能的实现方式中，所述发送单元，进一步用于分时发送所述辅码流和主码流，其中，所述辅码流的发送完毕时间点不晚于需要该辅码流进行解码的主码流的发送完毕时间点。

结合第三方面，在第二种可能的实现方式中，所述辅码流形成单元，进一步用于根据背景帧的数据量大小、当前带宽下的信道容量和网络协议中对数据包的要求，将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流。

结合第三方面，第三方面的第一种可能的实现方式或者第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述装置还包括：

第二确定单元，用于确定原始编码码流中的图像序列号的最大值小于所述原始编码码流中包含的图像帧数量；

位置偏移量生成单元，用于生成各主码流和各辅码流在原始编码码流中的位置偏移量，该位置偏移量表示相对于原始编码码流中的序列头位置的偏移量。

所述发送单元，进一步用于发送主码流时，将该主码流的位置偏移量随同该主码流发送；发送辅码流时，将该辅码流的位置偏移量随同该辅码流发送。

结合第三方面，第三方面的第一种可能的实现方式或者第三方面的第二种可能的实现方式，在第四种可能的实现方式中，所述装置还包括：

第三确定单元，用于确定原始编码码流中的图像序列号的最大值等于所述原始编码码流中包含的图像帧数量；

编号单元，用于在所述将确定的每一背景帧分割为至少两个数据包之后，分别加入辅码流标识后进行封装之前，对分割得到的所述数据包进行编号，将编号加入相应的数据包，所述编号用于确定该数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置。

第四方面，一种视频数据的接收装置，所述装置包括：

接收单元，用于接收视频数据码流，所述视频数据码流包括含有主码流标识的主码流和含有辅码流标识的辅码流，所述辅码流是将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成的，所述主码流是将原始编码码流中每一非背景帧加入主码流标识后进行封装形成的；

码流类型确定单元，用于根据码流中包含的标识，确定接收的码流中的主码流和辅码流；

还原单元，用于将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

通过这种可能的实施方式，由于接收的是将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流以及主码流，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，不会影响后续需要参考该高质量的背景图像进行编码的非高质量背景图像的压缩效果，兼顾了传输带宽和图像质量。

结合第四方面，在第一种可能的实现方式中，接收的每一个主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量，该位置偏移量是相对于原始编码码流中的序列头位置的偏移量；

所述还原单元，进一步用于利用接收的每一码流中随同有该码流的在原始编码码流中的位置偏移量，将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

结合第四方面，在第二种可能的实现方式中，所述辅码流中包括编号，所述主码流中包括图像序列号，所述图像序列号用于表示各帧图像的播放顺序，所述编号用于确定该辅码流包含的数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置；

所述还原单元，进一步用于利用所述编号将确定的辅码流还原为背景帧，以及确定还原的背景帧的图像序列号；

利用还原的背景帧的图像序列号和主码流中包括的图像序列号，将该背景帧和主码流还原为原始编码码流，供解码器解码。

第五方面，一种视频数据的传输***，所述***包括：上述任一视频数据的发送装置和上述任一视频数据的接收装置。

通过这种可能的实施方式，将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流，后续发送辅码流和主码流，避免了直接传输背景帧，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，不会影响后续需要参考该高质量的背景图像进行编码的非高质量背景图像的压缩效果，兼顾了传输带宽和图像质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一中的一种视频数据的发送方法的流程图；

图2为本发明实施例一中的将原始码流数据提取出来加入标识后重新封装形成主码流和辅码流的示意图；

图3为本发明实施例一中的视频序列的编码层次示意图；

图4为本发明实施例一中的对图3所示的视频序列进行编码后得到的层次的码流结构示意图；

图5为本发明实施例一中的另一种视频数据的发送方法的流程图；

图6为本发明实施例二中的一种视频数据的接收方法的流程图；

图7为本发明实施例二中利用接收的码流确定出主码流和辅码流后还原为原始编码码流的示意图；

图8为本发明实施例三中的一种视频数据的发送装置的结构示意图之一；

图9为本发明实施例三中的一种视频数据的发送装置的结构示意图之二；

图10为本发明实施例三中的一种视频数据的发送装置的结构示意图之三；

图11为本发明实施例四中的视频数据的接收装置的结构示意图；

图12为本发明实施例五中的视频数据的传输***的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为了解决现有技术中的不能兼顾传输带宽和图像质量的问题，本发明实施例提供一种视频数据的发送、接收方法及其装置以及传输***。

下面通过具体实施例对本发明方案进行详细描述，当然，本发明并不限于以下实施例。

实施例一

本发明实施例一提供一种视频数据的发送方法，其流程图如图1所示，具体包括以下步骤：

步骤101：根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；

通常，视频编码中的图像类型有5种，分别为帧内编码帧(Intra picture，I帧，也称关键帧)、前向预测编码帧(Predictive-frame，P帧)、双向预测内插编码帧(Bi-directional interpolated prediction frame，B帧)、背景帧(backGround frame，G帧)和切换帧(Switched，S帧)。其中，I帧、P帧、B帧和S帧可以称为非背景帧。当然，并不限于上述图像类型，也可以根据实际需要定义其它图像类型。将视频利用帧的编码方式进行编码后，即得到视频图像的原始编码码流；码流中会有标志位标识当前帧是何种帧的标识信息，如标志位或起始码信息。

以背景帧为高质量的码流，其他帧为高压缩率的码流的音视频编码标准(AudioVideo coding Standard，AVS)为例，背景帧和非背景帧是在同一个码流中，AVS码流中会有标志位标识当前帧是否是背景帧。更具体的，如果码流中存在背景，背景图像标志位(background_picture_flag)且为1，且背景图像输出标志位(background_picture_output_flag)标志位为0，则确定当前帧为背景帧。

步骤102：将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流；

较优的，本步骤102包括：

根据背景帧的数据量大小、当前带宽下的信道容量和网络协议中对数据包的要求，将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流。

上述步骤102具体包括：将对背景帧的图像进行编码后得到原始码流分割后得到的每段码流分别依次加入应用层协议数据单元(Protocol Data Unit，PDU)、传输层的PDU、网络层的PDU和数据链路层的PDU，即得到对背景帧进行分割后的数据包，最后加上辅码流标识进行封装，转成辅码流从物理层出来。

更进一步地，上述步骤102的优选步骤还可以进一步具体为以下步骤A至步骤D：

步骤A：判断确定的背景帧的数据量是否大于当前带宽下的信道容量；若判断结果为是，则执行步骤B，若判断结果为否，则执行步骤C；

步骤B：依据当前带宽下的信道容量和网络协议中对数据包的数据量的要求，将该确定的背景帧分割为至少两个数据包，将该至少两个数据包分别加入辅码流标识后进行封装，形成辅码流，上述至少两个数据包中的任一数据包的大小均不大于当前带宽下的信道容量；

步骤C：判断上述确定的背景帧的数据量是否大于网络协议中对数据包的数据量的最大值的限定，若是，则执行步骤D；若否，则执行步骤E；

步骤D：则按照网络协议中对数据包的数据量的要求，将该确定的背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流。

执行步骤E：直接将确定的背景帧加入辅码流标识后进行封装，形成辅码流。

较优的，为了获得分割后的数据包在原始码流中的位置信息，便于后续接收方对背景帧进行还原，在上述将确定的每一背景帧分割为至少两个数据包之后，分别加入辅码流标识后进行封装之前，上述方法还包括：

对分割得到的数据包进行编号，将编号加入相应的数据包，该编号用于确定该数据包所属的背景帧以及该数据包中的数据在该背景帧中的位置。

步骤103：将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；

具体实现时确定原始编码码流中的背景帧后，剩余的编码码流即为非背景帧。

考虑到背景帧是由视频序列中的图像建模得到的高质量背景图像，编码后数据量较大(例如：AVS中背景帧通常是I帧的几倍)，较大的数据量意味着较高瞬时码率，若将背景帧和非背景帧在同一码流中进行传输，在带宽较低的情况下，将会导致背景帧的不能及时传输，这就会造成对需要该背景图像作为参考帧进行解码的后续帧的解码延时，因此，上述步骤102和步骤103中将背景帧和非背景帧重新组织成不同的码流，并且对背景帧进行分割，分割为至少两个数据包，避免了直接传输背景帧，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失的出现。

步骤102和步骤103中的辅码流标识及主码流标识可以是一个标识位，例如：用0标识主码流，用1标识辅码流；

需要说明的是，上述中是先执行步骤102后执行步骤103，也可以步骤102和步骤103可以同时进行，还可以先执行步骤103后执行步骤102。

图2给出了将原始码流数据提取出来加入标识后重新封装形成主码流和辅码流的示意图；从图2中可知原始编码码流中包括序列头、图像数据(也即非背景帧)、高质量图像数据(也即背景帧)；提取出来加入标识后变为由图像数据构成的主码流和由高质量图像数据构成的辅码流，需要说明的是图2中辅码流中的高质量图像数据是对原始编码码流中的高质量图像数据分割后得到的高质量图像数据。

步骤104：发送上述辅码流和主码流。

较优的，本步骤104包括：

分时发送上述辅码流和主码流，其中，上述辅码流的发送完毕时间点不晚于需要该辅码流进行解码的主码流的发送完毕时间点。

具体地，将辅码流分散到主码流之间后发送，可实现分时发送。

由于视频序列中背景帧的个数通常较少，并且在码流中位于需要参考其进行解码的非背景帧之前的位置，因此，分时发送由背景帧分割后得到的数据包转化的辅码流和由非背景帧转化的主码流，并且保证该辅码流的发送完毕时间点不晚于需要该辅码流进行解码的主码流的发送完毕时间点，可使构成背景帧的数据包优先发送，确保非背景帧需要背景帧进行解码时该背景帧已经传输完毕，可避免因背景帧的传输不及时造成的对需要该背景帧作为参考帧进行解码的非背景帧的解码延时。

进一步地，尽管辅码流的实质是对背景帧进行分割得到的数据包，但由于分割得到的数据包的数据量仍然较大，将两个或多个辅码流集中发送，仍然可能会引起码流的瞬时发送速率突增，为了避免码流瞬时发送速率的突增，将辅码流分散到主码流之间后发送，其中，与每一辅码流相邻的码流均为主码流，可实现分时发送。

此外，编码器对视频图像进行编码后，每帧图像的编码码流中均包含用于表示该帧图像的播放顺序的图像序列号(Picture Order Count，POC)；下面通过图3和图4对该图像序列号在编码码流中的位置进行说明：

图3中所示为视频序列的编码层次示意图；其中，视频序列由图像组成；图像由片组成；片由编码块组成。

图4为对图3所示的视频序列进行编码后得到的层次的码流结构示意图，由图4可知，视频的原始编码码流由序列组成；序列包含序列头和图像数据；图像数据包含图像头和片数据；片数据包含片头和宏块数据；其中，图像头中包括图像序列号。

由于每帧图像的原始编码码流中均包含图像序列号，图像序列号用于表示各帧图像的播放顺序，因此，在将主码流和辅码流发送出去之后，通常可以利用该图像序列号进行码流的还原；然而，考虑到一部分编码器编码出的图像序列号的位数较小(例如只有2个字节)，故图像序列号最大值是255，超过255后重新从0开始编号；本发明实施例中由于是将辅码流分散到主码流后发送的，图像帧的发送顺序并不是按照图像序列号的顺序进行的，因此，该被分散的辅码流的图像序列号可能会与后续的其它码流的图像序列号出现重复，这将可能导致接收方的解码出现错误，为了确保接收方正确还原出出原始编码码流，进而正确进行解码，较优的，上述视频数据的发送方法还包括以下步骤，其流程如图5所示。

步骤501：判断确定原始编码码流中的图像序列号的最大值是否小于上述原始编码码流中包含的图像帧数量；若是，执行步骤502；若否，执行步骤503。

该步骤501可在上述步骤101-步骤103之后或之前的任一步骤执行，也可以与步骤101-步骤103中的任一步骤同时执行。

步骤502：生成各主码流和各辅码流在原始编码码流中的位置偏移量，该位置偏移量表示相对于原始编码码流中的序列头位置的偏移量。

具体地，上述位置偏移量可用偏移序列头多少个单位来表示，其中每一单位表示一个主码流或一个辅码流。

该步骤502可在上述步骤103之后且步骤104之前执行。

在完成这里的步骤502后，发送主码流时，将该主码流的位置偏移量随同该主码流发送；发送辅码流时，将该辅码流的位置偏移量随同该辅码流发送。

步骤503：判断确定原始编码码流中的图像序列号的最大值是否等于上述原始编码码流中包含的图像帧数量；若是，执行步骤504；若否，则提示编码码流出错。

步骤504：在上述将确定的每一背景帧分割为至少两个数据包之后，分别加入辅码流标识后进行封装之前，对分割得到的数据包进行编号，将编号加入相应的数据包，该编号用于确定该数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置。

下面通过一个具体的例子对上述视频数据的发送方法进行更为详细地说明。

假设原始编码码流为：I1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15G16 P17 P18。

其中，I1中的I是表示帧内编码帧，1是表示该I帧的图像序列号为1；P2中的P是表示前向预测编码帧，2是表示该P帧的图像序列号为2，G16中的G是表示背景帧，16是表示该G帧的图像序列号为16，其余类似，不再赘述。

第一步：确定原始编码码流中的背景帧为G16；

第二步：将确定的背景帧G16分割为10个数据包，对分割得到的数据包进行编号，下标用abcdefghij表示，分别加入辅码流标识后封装，形成的辅码流为：G16a G16b G16cG16d G16e G16f G16g G16h G16i G16j；

第三步：将每一非背景帧加入主码流标识后进行封装，形成的主码流为：I1 P2 P3P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P17 P18；

第四步：分时发送第二步中的辅码流和第三步中的主码流，其中，辅码流G16aG16b G16c G16d G16e G16f G16g G16h G16i G16j的发送完毕时间点不晚于需要该辅码流进行解码的主码流P17、P18的发送完毕时间点。

满足上述辅码流G16a G16b G16c G16d G16e G16f G16g G16h G16i G16j的发送完毕时间点不晚于需要该辅码流进行解码的主码流P17、P18的发送完毕时间点这一条件的一种可能的发送结果为：I1 G16a P2 G16b P3 G16c P4 G16d P5 G16e P6 G16f P7 G16gG16h P8 G16i P9 G16j P10 P11 P12 P13 P14 P15 P17 P18。

当然，也可以为其它发送结果，只要满足将第二步中的辅码流和第三步中的主码流分时发送，且确保辅码流的发送完毕时间点不晚于需要该辅码流进行解码的主码流的发送完毕时间点即可。

由上述具体的例子可知，本实施例的方案中实现了提前传送G帧数据，并且构成G帧的数据包不是同时传送的(每个构成G帧的数据包提前的时间不同)，也就是将数据打散之后分时传输。

在本发明实施例一的技术方案中，将背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成辅码流，后续发送辅码流和主码流，避免了直接传输背景帧，减少因码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，同时也没有降低作为背景帧的高质量背景图像的质量，不会影响后续需要参考该高质量的背景图像进行编码的非高质量背景图像的压缩效果，兼顾了传输带宽和图像质量。

实施例二

基于与实施例一的同一发明构思，本发明实施例二提供一种视频数据的接收方法，其流程如图6所示，包括以下步骤：

步骤601：接收视频数据码流，该视频数据码流包括含有主码流标识的主码流和含有辅码流标识的辅码流，该辅码流是将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成的，该主码流是将原始编码码流中每一非背景帧加入主码流标识后进行封装形成的；

步骤602：根据码流中包含的标识，确定接收的码流中的主码流和辅码流；

步骤603：将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

由于接收的视频数据码流中通常包含图像序列号，因此，在本发明实施例二的方案中，可利用码流中包含的图像序列号，将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

图7给出了利用接收的码流确定出主码流和辅码流后还原为原始编码码流的示意图；

较优的，上述辅码流的接收完毕时间点不晚于需要该辅码流进行解码的主码流的接收完毕时间点。此时，也即确保了非背景帧需要背景帧进行解码时该背景帧已经传输完毕，避免了因背景帧的传输不及时造成的对需要该背景帧作为参考帧进行解码的非背景帧的解码延时。

较优的，为了便于正确的还原原码流，在上述接收的每一主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量时，利用接收的每一主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量，将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码，该位置偏移量是相对于原始编码码流中的序列头位置的偏移量。

在上述辅码流中包括编号，上述主码流中包括图像序列号时，利用上述编号将确定的辅码流还原为背景帧，以及确定还原的背景帧的图像序列号；利用还原的背景帧的图像序列号和主码流中包括的图像序列号，将该背景帧和主码流还原为原始编码码流，供解码器解码，上述图像序列号用于表示各帧图像的播放顺序，该编号用于确定该辅码流包含的数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置。

下面通过一个具体的例子对本发明实施例二中的视频数据的接收方法进行说明。

假设接收到的是实施例一中发送的I1 G16a P2 G16b P3 G16c P4 G16d P5 G16eP6 G16f P7 G16g G16h P8 G16i P9 G16j P10 P11 P12 P13 P14 P15 P17 P18码流，此时，可知接收的辅码流中包括编号，上述主码流中包括图像序列号，则利用本发明实施例二中的视频数据的接收方法，具体执行的步骤如下：

第一步：解封装数据包，在该数据包中包含的标识为主码流标识时，确定该码流为主码流，在该数据包纵包含的标识为辅码流标识时，确定该码流为辅码流；此时确定出主码流为I1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P17 P18，辅码流为：G16aG16b G16c G16d G16e G16f G16g G16h G16i G16j；

第二步:利用辅码流中包含的编码16a 16b 16c 16d 16e 16f 16g 16h 16i 16j将辅码流还原为背景帧G，以及确定该背景帧的图像序列号为16；

第三步：利用各主码流的图像序列号和确定的背景帧的图像序列号，将主码流和还原的上述背景帧G还原为原始编码码流，即为：I1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11P12 P13 P14 P15 G16 P17 P18。

在本发明实施例二的方案中，由于接收的辅码流是将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成的，因此，很大程度上避免了码流传输中图像瞬时码率过高造成后续非背景帧的延时或丢失，使得接收到的码流较大程度上为完整的码流，并且是压缩效果较好的图像的码流，因此，还原后得到的原始编码码流完整性较高，为后续解码出高质量的视频图像提供了较好的基础。

实施例三

基于与实施例一的同一发明构思，本发明实施例三提供一种视频数据的发送装置，其结构示意图如图8所示，包括：第一确定单元81、辅码流形成单元82、主码流形成单元83和发送单元84；其中：

第一确定单元81，用于根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；

辅码流形成单元82，用于将确定的每一背景帧分割为至少两个数据包，加入辅码流标识后进行封装，形成辅码流；

主码流形成单元83，用于将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；

发送单元84，用于发送辅码流和主码流。

较优的，上述发送单元84，进一步用于分时发送上述辅码流和主码流，其中，上述辅码流的发送完毕时间点不晚于需要该辅码流进行解码的主码流的发送完毕时间点。

较优的，上述辅码流形成单元82，进一步用于根据背景帧的数据量大小、当前带宽下的信道容量和网络协议中对数据包的要求，将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流。

在上述图8上述的装置的基础上，本发明实施例二还提出一种视频数据的发送装置，该装置的结构示意图如图9所示，除包括图8上述的装置中的单元外，还包括：

第二确定单元91，用于确定原始编码码流中的图像序列号的最大值小于上述原始编码码流中包含的图像帧数量；

位置偏移量生成单元92，用于生成各主码流和各辅码流在原始编码码流中的位置偏移量，该位置偏移量表示相对于原始编码码流中的序列头位置的偏移量。

上述发送单元84，进一步用于发送主码流时，将该主码流的位置偏移量随同该主码流发送；发送辅码流时，将该辅码流的位置偏移量随同该辅码流发送。

在上述图8上述的装置的基础上，本发明实施例二还提出一种视频数据的发送装置，该装置的结构示意图如图10所示，除包括图8上述的装置中的单元外，还包括：

第三确定单元1001，用于确定原始编码码流中的图像序列号的最大值等于上述原始编码码流中包含的图像帧数量；

编号单元1002，用于在上述将确定的每一背景帧分割为至少两个数据包之后，分别加入辅码流标识后进行封装之前，对分割得到的上述数据包进行编号，将编号加入相应的数据包，该编号用于确定该数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置。

实施例四

基于与实施例二的同一发明构思，本发明实施例四提供一种视频数据的接收装置，其结构示意图如图11所示，包括：接收单元111、码流类型确定单元112和还原单元113；其中：

接收单元111，用于接收视频数据码流，该视频数据码流含有主码流标识的主码流和含有辅码流标识的辅码流，上述辅码流是将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成的，上述主码流是将原始编码码流中每一非背景帧加入主码流标识后进行封装形成的；

码流类型确定单元112，用于根据码流中包含的标识，确定接收的码流中的主码流和辅码流；

还原单元113，用于将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

较优的，上述接收的每一码流中随同有该码流的在原始编码码流中的位置偏移量，该位置偏移量是相对于原始编码码流中的序列头位置的偏移量；

上述还原单元113，进一步用于利用接收的每一码流中随同有该码流的在原始编码码流中的位置偏移量，将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

较优的，上述辅码流中包括编号，上述主码流中包括图像序列号，上述图像序列号用于表示各帧图像的播放顺序，上述编号用于确定该辅码流包含的数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置。

上述还原单元113，进一步用于利用上述编号将确定的辅码流还原为背景帧，以及确定还原的背景帧的图像序列号；利用还原的背景帧的图像序列号和主码流中包括的图像序列号，将该背景帧和主码流还原为原始编码码流，供解码器解码。

实施例五

基于与本发明实施例一至实施例四的同一发明构思，本发明实施例五提供一种视频数据的传输***，其结构示意图如图12所示，上述***包括：视频数据的发送装置120和视频数据的接收装置121；

其中，上述视频数据的发送装置120为实施例三中的任一视频数据的发送装置，上述视频数据的接收装置121为实施例四中的任一视频数据的接收装置。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种视频数据的发送方法，其特征在于，所述方法包括：

根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；

将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流；

将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；

分时发送所述辅码流和主码流，其中，所述辅码流的发送完毕时间点不晚于需要该辅码流进行解码的主码流的发送完毕时间点。

2.如权利要求1所述的视频数据的发送方法，其特征在于，所述将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流，包括：

根据背景帧的数据量大小、当前带宽下的信道容量和网络协议中对数据包的要求，将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流。

3.如权利要求1或权利要求2所述的视频数据的发送方法，其特征在于，所述原始编码码流中包含用于表示各帧图像的播放顺序的图像序列号，所述方法还包括：

确定原始编码码流中的图像序列号的最大值小于所述原始编码码流中包含的图像帧数量；

生成各主码流和各辅码流在原始编码码流中的位置偏移量，该位置偏移量表示相对于原始编码码流中的序列头位置的偏移量；

所述发送所述主码流和辅码流包括：

发送主码流时，将该主码流的位置偏移量随同该主码流发送；

发送辅码流时，将该辅码流的位置偏移量随同该辅码流发送。

4.如权利要求1或权利要求2所述的视频数据的发送方法，其特征在于，所述原始编码码流中包含用于表示各帧图像的播放顺序的图像序列号，所述方法还包括：

确定原始编码码流中的图像序列号的最大值等于所述原始编码码流中包含的图像帧数量；

在所述将确定的每一背景帧分割为至少两个数据包之后，分别加入辅码流标识后进行封装之前，所述方法还包括：

对分割得到的所述数据包进行编号，将编号加入相应的数据包，所述编号用于确定该数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置。

5.一种视频数据的接收方法，其特征在于，所述方法包括：

接收视频数据码流，所述视频数据码流包括含有主码流标识的主码流和含有辅码流标识的辅码流，所述辅码流是将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成的，所述主码流是将原始编码码流中每一非背景帧加入主码流标识后进行封装形成的；所述背景帧是根据用于表示当前帧为背景帧和/或非背景帧的标识信息从视频图像的原始编码码流中确定的；

根据码流中包含的标识，确定接收的码流中的主码流和辅码流；

将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

6.如权利要求5所述的视频数据的接收方法，其特征在于，接收的每一个主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量，该位置偏移量是相对于原始编码码流中的序列头位置的偏移量；

所述将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码，包括：

利用接收的每一个主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量，将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

7.如权利要求5所述的视频数据的接收方法，其特征在于，所述辅码流中包括编号，所述主码流中包括图像序列号，所述图像序列号用于表示各帧图像的播放顺序，所述编号用于确定该辅码流包含的数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置；

所述将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码，包括：

利用所述编号将确定的辅码流还原为背景帧，以及确定还原的背景帧的图像序列号；

利用还原的背景帧的图像序列号和主码流中包括的图像序列号，将该背景帧和主码流还原为原始编码码流，供解码器解码。

8.一种视频数据的发送装置，其特征在于，所述装置包括：

第一确定单元，用于根据用于表示当前帧为背景帧和/或非背景帧的标识信息，确定视频图像的原始编码码流中的背景帧；

辅码流形成单元，用于将确定的每一背景帧分割为至少两个数据包，加入辅码流标识后进行封装，形成辅码流；

主码流形成单元，用于将原始编码码流中每一非背景帧加入主码流标识后进行封装，形成主码流；

发送单元，用于分时发送所述辅码流和主码流，其中，所述辅码流的发送完毕时间点不晚于需要该辅码流进行解码的主码流的发送完毕时间点。

9.如权利要求8所述的视频数据的发送装置，其特征在于，所述辅码流形成单元，进一步用于根据背景帧的数据量大小、当前带宽下的信道容量和网络协议中对数据包的要求，将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装，形成辅码流。

10.如权利要求8或权利要求9所述的视频数据的发送装置，其特征在于，所述装置还包括：

第二确定单元，用于确定原始编码码流中的图像序列号的最大值小于所述原始编码码流中包含的图像帧数量；

位置偏移量生成单元，用于生成各主码流和各辅码流在原始编码码流中的位置偏移量，该位置偏移量表示相对于原始编码码流中的序列头位置的偏移量；

所述发送单元，进一步用于发送主码流时，将该主码流的位置偏移量随同该主码流发送；发送辅码流时，将该辅码流的位置偏移量随同该辅码流发送。

11.如权利要求8或权利要求9所述的视频数据的发送装置，其特征在于，所述装置还包括：

第三确定单元，用于确定原始编码码流中的图像序列号的最大值等于所述原始编码码流中包含的图像帧数量；

编号单元，用于在所述将确定的每一背景帧分割为至少两个数据包之后，分别加入辅码流标识后进行封装之前，对分割得到的所述数据包进行编号，将编号加入相应的数据包，所述编号用于确定该数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置。

12.一种视频数据的接收装置，其特征在于，所述装置包括：

接收单元，用于接收视频数据码流，所述视频数据码流包括含有主码流标识的主码流和含有辅码流标识的辅码流，所述辅码流是将确定的每一背景帧分割为至少两个数据包，分别加入辅码流标识后进行封装形成的，所述主码流是将原始编码码流中每一非背景帧加入主码流标识后进行封装形成的；所述背景帧是根据用于表示当前帧为背景帧和/或非背景帧的标识信息从视频图像的原始编码码流中确定的；

码流类型确定单元，用于根据码流中包含的标识，确定接收的码流中的主码流和辅码流；

还原单元，用于将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

13.如权利要求12所述的视频数据的接收装置，其特征在于，接收的每一个主码流或辅码流中随同有该主码流或辅码流的在原始编码码流中的位置偏移量，该位置偏移量是相对于原始编码码流中的序列头位置的偏移量；

所述还原单元，进一步用于利用接收的每一码流中随同有该码流的在原始编码码流中的位置偏移量，将确定的主码流和辅码流还原为视频图像的原始编码码流，供解码器解码。

14.如权利要求12所述的视频数据的接收装置，其特征在于，所述辅码流中包括编号，所述主码流中包括图像序列号，所述图像序列号用于表示各帧图像的播放顺序，所述编号用于确定该辅码流包含的数据包所属的背景帧的图像序列号以及该数据包中的数据在该背景帧中的位置；

所述还原单元，进一步用于利用所述编号将确定的辅码流还原为背景帧，以及确定还原的背景帧的图像序列号；

利用还原的背景帧的图像序列号和主码流中包括的图像序列号，将该背景帧和主码流还原为原始编码码流，供解码器解码。

15.一种视频数据的传输***，其特征在于，所述***包括：权利要求8-11任一所述的视频数据的发送装置和权利要求12-14任一所述的视频数据的接收装置。