CN103533387A - 一种视频直播控制方法、设备及*** - Google Patents

Abstract

本发明实施例公开了一种视频直播控制方法、设备及***，其中方法的实现包括：视频服务器将来自主播设备的视频帧转发给用户设备；视频服务器监测所述视频帧中是否出现关键帧丢失；视频服务器若监测到出现关键帧丢失，则向所述主播设备发送告知信息，告知所述主播设备丢失的关键帧，使所述主播设备发送重新编码的关键帧。由视频服务器检测是否出现了关键帧丢失，再由视频服务器告知主播设备丢失的关键帧，由主播设备重新编码关键帧，可以使主播设备及时上传新的关键帧，消除关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

Description

一种视频直播控制方法、设备及***

技术领域

本发明涉及计算机技术领域，特别涉及一种视频直播控制方法、设备及***。

背景技术

帧就是视频或动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头。

关键帧是一帧画面的完整保留，在解码时只需要本帧数据就可以完成一幅画面的显示，一般可以指I帧。两个关键帧之间的帧为非关键帧，一般可以称为过渡帧或者中间帧，过渡帧记录的是预测信息的帧也称为预测帧，依据预测帧记录的预测信息可以在解码过程中结合关键帧解码得到图像，过渡帧一般指P帧、B帧等。

关键帧一般来说是指I帧，其记录了整张图像的信息,因此一帧I图像相比预测帧P帧和双向预测帧B帧占用空间要大很多，特别是视频动态不大的情况下，一张I图像的体积会是一张P图像或B图像的体积的10倍以上。在所有的视频帧中，一般P帧的数量是最多的，且比其它两种多得多，但P帧整体占用的空间并不是最多的，所以过多的使用I帧会降低压缩效率,文件将变大或清晰度下降。关键帧用在场景切换的地方才使它的价值最大化，若用在非场景切换的地方,不仅浪费空间,还对视频的整体质量有影响，在指定码率时，过多使用I帧会导致视频整体质量下降。

目前主播直播的视频编码一般是是10秒左右一个关键帧，一旦关键帧的数据丢失了，中间的过渡帧则也无法显示，因此需要等到10秒以后接收到一个完整的关键帧后才能正常解码出现画面。为了解决关键帧丢失导致的画面无法显示，或者显示花屏的现象，目前针对这一问题的解决方案是：提高关键帧出现的频率，例如：调整为2～3秒一个关键帧。这样当出现关键帧数据丢失后，其影响的时间由10秒降低为2～3秒。

基于前述介绍，由于关键帧数据量大，以上方案提高关键帧出现的频率（即将关键帧的间距调短），会大大增大视频的码率，这样就会对带宽提出极高的要求，甚至造成网络拥堵。

发明内容

本发明实施例提供了一种视频直播控制方法、设备及***，用于消除关键帧丢失导致的画面无法显示和花屏现象，并且，降低数据传输量，减少对带宽的要求，使网络更加流畅。

一种视频直播控制方法，包括：

视频服务器将来自主播设备的视频帧转发给用户设备，所述视频帧包含有关键帧和非关键帧；

视频服务器监测所述视频帧中是否出现关键帧丢失；

视频服务器若监测到出现关键帧丢失，则向所述主播设备发送告知信息，告知所述主播设备丢失的关键帧，使所述主播设备发送重新编码的关键帧。

一种视频直播控制方法，包括：

用户设备接收由视频服务器转发的来自主播设备的视频帧，所述视频帧包含有关键帧和非关键帧；

若所述用户设备接收到由所述视频服务器转发的来自主播设备的重新编码的关键帧，则，所述用户设备确定所述重新编码的关键帧在视频帧中的位置，并将所述位置后的视频帧数据丢弃，并接收所述重新编码的关键帧之后的视频帧；

解码接收到的视频帧，并显示解码得到的视频画面。

一种视频直播控制方法，包括：

主播设备采集当前需要直播的视频数据编码为视频帧，并通过视频服务器向用户设备发送视频帧，所述视频帧包含有关键帧和非关键帧；

若所述主播设备接收到告知信息，所述告知信息指示了丢失的关键帧；则，所述主播设备重新编码关键帧，并通过所述视频服务器向用户设备发送重新编码的关键帧。

一种视频服务器，包括：

转发控制单元，用于控制将来自主播设备的视频帧转发给用户设备，所述视频帧包含有关键帧和非关键帧；

丢帧监测单元，用于监测所述视频帧中是否出现关键帧丢失；

信息发送单元，用于若所述丢帧监测单元监测到出现关键帧丢失，则向所述主播设备发送告知信息，告知所述主播设备丢失的关键帧，使所述主播设备发送重新编码的关键帧。

一种用户设备，包括：

视频接收单元，用于接收由视频服务器转发的来自主播设备的视频帧，所述视频帧包含有关键帧和非关键帧；接收重新编码的关键帧之后的视频帧；

帧确定单元，用于确定所述视频接收单元是否接收到由所述视频服务器转发的来自主播设备的重新编码的关键帧；

丢帧控制单元，用于若所述帧确定单元确定所述视频接收单元接收到由所述视频服务器转发的来自主播设备的重新编码的关键帧，则，所述用户设备确定所述重新编码的关键帧在视频帧中的位置，并将所述位置后的视频帧数据丢弃；

解码单元，用于解码接收到的视频帧；

显示单元，用于显示所述解码单元解码得到的视频画面。

一种主播设备，包括：

数据采集单元，用于采集当前需要直播的视频数据；

编码单元，用于将所述数据采集单元采集的视频数据编码为视频帧，所述视频帧包含有关键帧和非关键帧；若所述主播设备接收到告知信息，则，重新编码关键帧，

发送单元，用于通过视频服务器向用户设备发送所述编码单元编码得到的视频帧，通过所述视频服务器向用户设备发送重新编码的关键帧；

消息接收单元，用于接收告知信息，所述告知信息指示了丢失的关键帧。

一种视频直播***，包括：主播设备、用户设备以及视频服务器；

所述主播设备为本发明实施例提供的任意一项的主播设备，所述视频服务器为本发明实施例提供的任意一项的视频服务器，所述用户设备为本发明实施例提供的任意一项的用户设备。

从以上技术方案可以看出，本发明实施例具有以下优点：由视频服务器检测是否出现了关键帧丢失，再由视频服务器告知主播设备丢失的关键帧，由主播设备重新编码关键帧，可以使主播设备及时上传新的关键帧，消除关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例方法流程示意图；

图2为本发明实施例方法流程示意图；

图3为本发明实施例方法流程示意图；

图4为本发明实施例视频服务器结构示意图；

图5为本发明实施例视频服务器结构示意图；

图6为本发明实施例用户设备结构示意图；

图7为本发明实施例主播设备结构示意图；

图8为本发明实施例主播设备结构示意图；

图9为本发明实施例视频服务器结构示意图；

图10为本发明实施例用户设备结构示意图；

图11为本发明实施例主播设备结构示意图；

图12为本发明实施例***结构示意图；

图13为本发明实施例方法流程示意图；

图14为本发明实施例终端结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供了一种视频直播控制方法，如图1所示，包括：

101：视频服务器将来自主播设备的视频帧转发给用户设备，上述视频帧包含有关键帧和非关键帧；

102：视频服务器监测上述视频帧中是否出现关键帧丢失；

进一步地，由于与关键帧相关联的非关键帧记录的是以关键帧为参照的预测信息，因此如果出现了关键帧丢失，那么与之相关联的非关键帧则会失去意义，为减少不必要的数据传输，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：上述方法还包括：若有接收到与丢失的关键帧相关联的非关键帧，则丢弃上述与丢失的关键帧相关联的非关键帧。

假定接收到的帧如下表1所示：

表1

帧序号	帧类型
		1	I
11	P
		12	P
13	P
		14	P
2	I
		21	P
22	P
		...	...

以上表1中序号为1和2的I帧为关键帧，序号为11～14以及21～22的P帧为非关键帧，假定序号为2的I帧丢失，那么需要将序号为21～22的P帧丢弃。

103：视频服务器若监测到出现关键帧丢失，则向上述主播设备发送告知信息，告知上述主播设备丢失的关键帧，使上述主播设备发送重新编码的关键帧。

上述重新编码的关键帧可以为收到告知信息时，主播设备依据当前直播数据编码的关键帧，而并不需对丢失的关键帧进行重新编码。

以上实施例，由视频服务器检测是否出现了关键帧丢失，再由视频服务器告知主播设备丢失的关键帧，由主播设备重新编码关键帧，可以使主播设备及时上传新的关键帧，消除关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

本发明实施例还提供了另一种视频直播控制方法，如图2所示，包括：

201：用户设备接收由视频服务器转发的来自主播设备的视频帧，上述视频帧包含有关键帧和非关键帧；

202：若上述用户设备接收到由上述视频服务器转发的来自主播设备的重新编码的关键帧，则，上述用户设备确定上述重新编码的关键帧在视频帧中的位置，并将上述位置后的视频帧数据丢弃，并接收上述重新编码的关键帧之后的视频帧；

203：解码接收到的视频帧，并显示解码得到的视频画面。

以上实施例，由视频服务器转发重现编码的关键帧对丢失的关键帧进行补偿，消除在视频直播过程中关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

以上实施例中，若没有收到重新编码的关键帧，则只需要执行201和203两个步骤，如果收到了重新编码的关键帧，则可以确定存在关键帧丢失的情况，由于可能已经收到了与该丢失的关键帧相关的非关键帧，并且非关键帧记录的是以关键帧为参照的预测信息，因此关键帧丢失会导致与之相关联的非关键帧失去意义，为了减少不必要的解码操作，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，若上述用户设备接收到由上述视频服务器转发的来自主播设备的重新编码的关键帧还包括：

上述用户设备停止上述重新编码的关键帧在视频帧中的位置之后的所有视频帧的解码操作。

本发明实施例还提供了另一种视频直播控制方法，如图3所示，包括：

301：主播设备采集当前需要直播的视频数据编码为视频帧，并通过视频服务器向用户设备发送视频帧，上述视频帧包含有关键帧和非关键帧；

302：若上述主播设备接收到告知信息，上述告知信息指示了丢失的关键帧；则，上述主播设备重新编码关键帧，并通过上述视频服务器向用户设备发送重新编码的关键帧。

以上实施例，由视频服务器检测是否出现了关键帧丢失，再由视频服务器告知主播设备丢失的关键帧，由主播设备重新编码关键帧，可以使主播设备及时上传新的关键帧，消除关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

以上实施例中，若没有收到告知信息，则只需要执行301就可以了，如果收到了告知信息，则可以确定存在关键帧丢失的情况，由于可能已经完成了与该丢失的关键帧相关的非关键帧的编码，并且非关键帧记录的是以关键帧为参照的预测信息，因此关键帧丢失会导致与之相关联的非关键帧失去意义，为了减少在用户设备侧（解码端）不必要的解码操作、不必要的数据传输，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，上述方法，还包括：上述主播设备丢弃与丢失的关键帧关联的已经编码且未发送给上述视频服务器的非关键帧全部丢弃。

本发明实施例还提供了一种视频服务器，如图4所示，包括：

转发控制单元401，用于控制将来自主播设备的视频帧转发给用户设备，上述视频帧包含有关键帧和非关键帧；

丢帧监测单元402，用于监测上述视频帧中是否出现关键帧丢失；

信息发送单元403，用于若上述丢帧监测单元402监测到出现关键帧丢失，则向上述主播设备发送告知信息，告知上述主播设备丢失的关键帧，使上述主播设备发送重新编码的关键帧。

上述重新编码的关键帧可以为收到告知信息时，主播设备依据当前直播数据编码的关键帧，而并不需对丢失的关键帧进行重新编码。

以上实施例，由视频服务器检测是否出现了关键帧丢失，再由视频服务器告知主播设备丢失的关键帧，由主播设备重新编码关键帧，可以使主播设备及时上传新的关键帧，消除关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

进一步地，由于与关键帧相关联的非关键帧记录的是以关键帧为参照的预测信息，因此如果出现了关键帧丢失，那么与之相关联的非关键帧则会失去意义，为减少不必要的数据传输，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，如图5所示，上述视频服务器，还包括：

控制丢帧单元501，用于若有接收到与丢失的关键帧相关联的非关键帧，则丢弃上述与丢失的关键帧相关联的非关键帧。

本发明实施例还提供了一种用户设备，如图6所示，包括：

视频接收单元601，用于接收由视频服务器转发的来自主播设备的视频帧，上述视频帧包含有关键帧和非关键帧；接收重新编码的关键帧之后的视频帧；

帧确定单元602，用于确定上述视频接收单元601是否接收到由上述视频服务器转发的来自主播设备的重新编码的关键帧；

丢帧控制单元603，用于若上述帧确定单元602确定上述视频接收单元接收到由上述视频服务器转发的来自主播设备的重新编码的关键帧，则，上述用户设备确定上述重新编码的关键帧在视频帧中的位置，并将上述位置后的视频帧数据丢弃；

解码单元604，用于解码接收到的视频帧；

显示单元605，用于显示上述解码单元604解码得到的视频画面。

以上实施例，由视频服务器转发重现编码的关键帧对丢失的关键帧进行补偿，消除在视频直播过程中关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

以上实施例中，如果收到了重新编码的关键帧，则可以确定存在关键帧丢失的情况，由于可能已经收到了与该丢失的关键帧相关的非关键帧，并且非关键帧记录的是以关键帧为参照的预测信息，因此关键帧丢失会导致与之相关联的非关键帧失去意义，为了减少不必要的解码操作，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，上述解码单元604，还用于若上述用户设备接收到由上述视频服务器转发的来自主播设备的重新编码的关键帧，则停止上述重新编码的关键帧在视频帧中的位置之后的所有视频帧的解码操作。

本发明实施例还提供了一种主播设备，如图7所示，包括：

数据采集单元701，用于采集当前需要直播的视频数据；

编码单元702，用于将上述数据采集单元采集的视频数据编码为视频帧，上述视频帧包含有关键帧和非关键帧；若上述主播设备接收到告知信息，则，重新编码关键帧，

发送单元703，用于通过视频服务器向用户设备发送上述编码单元编码得到的视频帧，通过上述视频服务器向用户设备发送重新编码的关键帧；

消息接收单元704，用于接收告知信息，上述告知信息指示了丢失的关键帧。

以上实施例，由视频服务器检测是否出现了关键帧丢失，再由视频服务器告知主播设备丢失的关键帧，由主播设备重新编码关键帧，可以使主播设备及时上传新的关键帧，消除关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

以上实施例中，如果收到了告知信息，则可以确定存在关键帧丢失的情况，由于可能已经完成了与该丢失的关键帧相关的非关键帧的编码，并且非关键帧记录的是以关键帧为参照的预测信息，因此关键帧丢失会导致与之相关联的非关键帧失去意义，为了减少在用户设备侧（解码端）不必要的解码操作、不必要的数据传输，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，如图8所示，上述主播设备，还包括：

丢帧单元801，用于丢弃与丢失的关键帧关联的已经编码且未发送给上述视频服务器的非关键帧全部丢弃。

本发明实施例还提供了另一种视频服务器，如图9所示，包括：接收器901、发射器902、处理器903以及存储器904；

其中处理器903，用于控制视频服务器将来自主播设备的视频帧转发给用户设备，上述视频帧包含有关键帧和非关键帧；监测上述视频帧中是否出现关键帧丢失；若监测到出现关键帧丢失，则控制向上述主播设备发送告知信息，告知上述主播设备丢失的关键帧，使上述主播设备发送重新编码的关键帧。

上述重新编码的关键帧可以为收到告知信息时，主播设备依据当前直播数据编码的关键帧，而并不需对丢失的关键帧进行重新编码。

以上实施例，由视频服务器检测是否出现了关键帧丢失，再由视频服务器告知主播设备丢失的关键帧，由主播设备重新编码关键帧，可以使主播设备及时上传新的关键帧，消除关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

进一步地，由于与关键帧相关联的非关键帧记录的是以关键帧为参照的预测信息，因此如果出现了关键帧丢失，那么与之相关联的非关键帧则会失去意义，为减少不必要的数据传输，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，处理器903，还用于若有接收到与丢失的关键帧相关联的非关键帧，则丢弃上述与丢失的关键帧相关联的非关键帧。

本发明实施例还提供了另一种用户设备，如图10所示，包括：接收器1001、发射器1002、处理器1003以及存储器1004；

其中处理器1003，用于控制用户设备接收由视频服务器转发的来自主播设备的视频帧，上述视频帧包含有关键帧和非关键帧；若上述用户设备接收到由上述视频服务器转发的来自主播设备的重新编码的关键帧，则，确定上述重新编码的关键帧在视频帧中的位置，并将上述位置后的视频帧数据丢弃，并接收上述重新编码的关键帧之后的视频帧；解码接收到的视频帧，并控制显示解码得到的视频画面。

以上实施例，由视频服务器转发重现编码的关键帧对丢失的关键帧进行补偿，消除在视频直播过程中关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

以上实施例中，如果收到了重新编码的关键帧，则可以确定存在关键帧丢失的情况，由于可能已经收到了与该丢失的关键帧相关的非关键帧，并且非关键帧记录的是以关键帧为参照的预测信息，因此关键帧丢失会导致与之相关联的非关键帧失去意义，为了减少不必要的解码操作，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，上述处理器1003，还用于若上述用户设备接收到由上述视频服务器转发的来自主播设备的重新编码的关键帧，则停止上述重新编码的关键帧在视频帧中的位置之后的所有视频帧的解码操作。

本发明实施例还提供了另一种主播设备，如图11所示，包括：接收器1101、发射器1102、处理器1103以及存储器1104；

其中处理器1103，用于控制采集当前需要直播的视频数据编码为视频帧，并通过视频服务器向用户设备发送视频帧，上述视频帧包含有关键帧和非关键帧；若上述主播设备接收到告知信息，上述告知信息指示了丢失的关键帧；则，上述主播设备重新编码关键帧，并通过上述视频服务器向用户设备发送重新编码的关键帧。

以上实施例，由视频服务器检测是否出现了关键帧丢失，再由视频服务器告知主播设备丢失的关键帧，由主播设备重新编码关键帧，可以使主播设备及时上传新的关键帧，消除关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

以上实施例中，如果收到了告知信息，则可以确定存在关键帧丢失的情况，由于可能已经完成了与该丢失的关键帧相关的非关键帧的编码，并且非关键帧记录的是以关键帧为参照的预测信息，因此关键帧丢失会导致与之相关联的非关键帧失去意义，为了减少在用户设备侧（解码端）不必要的解码操作、不必要的数据传输，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，上述处理器1103，还用于丢弃与丢失的关键帧关联的已经编码且未发送给上述视频服务器的非关键帧全部丢弃。

本发明实施例还提供了一种视频直播***，如图12所示，包括：主播设备1201、用户设备1202以及视频服务器1203；

上述主播设备1201为本发明实施例提供的任意一项的主播设备，上述视频服务器1203为本发明实施例提供的任意一项的视频服务器，上述用户设备1202为本发明实施例提供的任意一项的用户设备。

本发明实施例是根据主播设备直播过程中上行关键帧数据进行的补偿方案。当视频服务器发现主播设备直播过程中上行关键帧数据丢失时，将该信息反馈给主播设备的客户端，主播设备通知客户端编码模块停止非关键帧的编码，重新开始编码一个关键帧，用户设备的客户端收到这个完整的关键帧后，就能解码显示正常的视频画面。请参阅图13所示，具体流程如下：

1301：主播设备采集直播数据，编码得到视频帧并发送给视频服务器，视频服务器转发视频帧给用户设备。本步骤中，视频帧包含有关键帧以及非关键帧。

1302：视频服务器发现主播设备直播上行关键帧数据丢失，将告知信息反馈给主播设备的客户端，告知丢失的关键帧是哪一个关键帧。

1303：主播设备的客户端通知客户端编码模块停止非关键帧的编码，重新开始编码一个关键帧。

1304：主播设备的客户端将还未上传的与丢失的关键帧相关联的非关键帧数据全部丢弃。

1305：主播设备的客户端上传即时重新编码的关键帧数据给视频服务器。

1306：用户设备的客户端停止解码，丢弃所有视频帧（由于之前正确解码的数据已经显示，后续数据应以重现编码的关键帧为起点，因此可以丢弃所有视频帧），直到接收到步骤1305的关键帧，然后重新解码显示正常的视频画面。

以上实施例中，主播设备上行瞬间丢包时，能让用户在很短的时间恢复正常的视频画面，不会出现长时间的花屏停顿现象。由于只有关键帧数据丢失时，才即时编码关键帧，不会出现码率上升而导致网络拥塞。

本发明实施例还提供了一种终端设备，如图14所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA（Personal DigitalAssistant，个人数字助理）、POS（Point of Sales，销售终端）、车载电脑等任意终端设备，以终端为手机为例：

图14示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图14，手机包括：射频（Radio Frequency，RF）电路1410、存储器1420、输入单元1430、显示单元1440、传感器1450、音频电路1460、无线保真（wireless fidelity，WiFi）模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图14中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图14对手机的各个构成部件进行具体的介绍：

RF电路1410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1480处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器（Low Noise Amplifier，LNA）、双工器等。此外，RF电路140还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***（Global Systemof Mobile communication，GSM）、通用分组无线服务（General Packet RadioService，GPRS）、码分多址（Code Division Multiple Access，CDMA）、宽带码分多址（Wideband Code Division Multiple Access,WCDMA）、长期演进（Long Term Evolution，LTE）、电子邮件、短消息服务（Short Messaging Service，SMS）等。

存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1430可用于接收输入的数字或字符信息，以及产生与手机1400的用户设置以及功能控制有关的键信号输入。具体地，输入单元1430可包括触控面板1431以及其他输入设备1432。触控面板1431，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1431上或在触控面板1431附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1480，并能接收处理器1480发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面板1431，输入单元1430还可以包括其他输入设备1432。具体地，其他输入设备1432可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441，可选的，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-EmittingDiode,OLED）等形式来配置显示面板1441。进一步的，触控面板1431可覆盖显示面板1441，当触控面板1431检测到在其上或附近的触摸操作后，传送给处理器1480以确定触摸事件的类型，随后处理器1480根据触摸事件的类型在显示面板1441上提供相应的视觉输出。虽然在图14中，触控面板1431与显示面板1441是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1431与显示面板1441集成而实现手机的输入和输出功能。

手机1400还可包括至少一种传感器1450，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1441的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1441和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1460、扬声器1461，传声器1462可提供用户与手机之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号，传输到扬声器1461，由扬声器1461转换为声音信号输出；另一方面，传声器1462将收集的声音信号转换为电信号，由音频电路1460接收后转换为音频数据，再将音频数据输出处理器1480处理后，经RF电路1410以发送给比如另一手机，或者将音频数据输出至存储器1420以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块1470，但是可以理解的是，其并不属于手机1400的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1480是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1480可包括一个或多个处理单元；优选的，处理器1480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1480中。

手机1400还包括给各个部件供电的电源1490（比如电池），优选的，电源可以通过电源管理***与处理器1480逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机1400还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本发明实施例中，该终端所包括的处理器1480还具有以下功能：

若作为用户设备使用，则处理器1480，用于控制用户设备接收由视频服务器转发的来自主播设备的视频帧，上述视频帧包含有关键帧和非关键帧；若上述用户设备接收到由上述视频服务器转发的来自主播设备的重新编码的关键帧，则，确定上述重新编码的关键帧在视频帧中的位置，并将上述位置后的视频帧数据丢弃，并接收上述重新编码的关键帧之后的视频帧；解码接收到的视频帧，并控制显示解码得到的视频画面。

以上实施例，由视频服务器转发重现编码的关键帧对丢失的关键帧进行补偿，消除在视频直播过程中关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

以上实施例中，如果收到了重新编码的关键帧，则可以确定存在关键帧丢失的情况，由于可能已经收到了与该丢失的关键帧相关的非关键帧，并且非关键帧记录的是以关键帧为参照的预测信息，因此关键帧丢失会导致与之相关联的非关键帧失去意义，为了减少不必要的解码操作，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，上述处理器1480，还用于若上述用户设备接收到由上述视频服务器转发的来自主播设备的重新编码的关键帧，则停止上述重新编码的关键帧在视频帧中的位置之后的所有视频帧的解码操作。

主播设备，若作为主播设备使用则，处理器1480，用于控制采集当前需要直播的视频数据编码为视频帧，并通过视频服务器向用户设备发送视频帧，上述视频帧包含有关键帧和非关键帧；若上述主播设备接收到告知信息，上述告知信息指示了丢失的关键帧；则，上述主播设备重新编码关键帧，并通过上述视频服务器向用户设备发送重新编码的关键帧。

以上实施例，由视频服务器检测是否出现了关键帧丢失，再由视频服务器告知主播设备丢失的关键帧，由主播设备重新编码关键帧，可以使主播设备及时上传新的关键帧，消除关键帧丢失导致的画面无法显示和花屏现象。由于不必提高关键帧出现的频率，因此可以降低数据传输量，从而减少对带宽的要求，使网络更加流畅。

以上实施例中，如果收到了告知信息，则可以确定存在关键帧丢失的情况，由于可能已经完成了与该丢失的关键帧相关的非关键帧的编码，并且非关键帧记录的是以关键帧为参照的预测信息，因此关键帧丢失会导致与之相关联的非关键帧失去意义，为了减少在用户设备侧（解码端）不必要的解码操作、不必要的数据传输，以及可能导致的视频显示错误，本发明实施例提供了如下解决方案：进一步地，上述处理器1480，还用于丢弃与丢失的关键帧关联的已经编码且未发送给上述视频服务器的非关键帧全部丢弃。

可以理解的是终端设备是可以兼具作为主播设备和用户设备能力的，因此终端设备也可以具有以上处理器的所有功能。

值得注意的是，上述用户设备、主播设备和视频服务器实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (13)

1.一种视频直播控制方法，其特征在于，包括：

视频服务器将来自主播设备的视频帧转发给用户设备，所述视频帧包含有关键帧和非关键帧；

视频服务器监测所述视频帧中是否出现关键帧丢失；

视频服务器若监测到出现关键帧丢失，则向所述主播设备发送告知信息，告知所述主播设备丢失的关键帧，使所述主播设备发送重新编码的关键帧。

2.根据权利要求1所述方法，其特征在于，还包括：

若有接收到与丢失的关键帧相关联的非关键帧，则丢弃所述与丢失的关键帧相关联的非关键帧。

3.一种视频直播控制方法，其特征在于，包括：

用户设备接收由视频服务器转发的来自主播设备的视频帧，所述视频帧包含有关键帧和非关键帧；

若所述用户设备接收到由所述视频服务器转发的来自主播设备的重新编码的关键帧，则，所述用户设备确定所述重新编码的关键帧在视频帧中的位置，并将所述位置后的视频帧数据丢弃，并接收所述重新编码的关键帧之后的视频帧；

解码接收到的视频帧，并显示解码得到的视频画面。

4.根据权利要求3所述方法，其特征在于，若所述用户设备接收到由所述视频服务器转发的来自主播设备的重新编码的关键帧还包括：

所述用户设备停止所述重新编码的关键帧在视频帧中的位置之后的所有视频帧的解码操作。

5.一种视频直播控制方法，其特征在于，包括：

主播设备采集当前需要直播的视频数据编码为视频帧，并通过视频服务器向用户设备发送视频帧，所述视频帧包含有关键帧和非关键帧；

若所述主播设备接收到告知信息，所述告知信息指示了丢失的关键帧；则，所述主播设备重新编码关键帧，并通过所述视频服务器向用户设备发送重新编码的关键帧。

6.根据权利要求5所述方法，其特征在于，还包括：

所述主播设备丢弃与丢失的关键帧关联的已经编码且未发送给所述视频服务器的非关键帧全部丢弃。

7.一种视频服务器，其特征在于，包括：

转发控制单元，用于控制将来自主播设备的视频帧转发给用户设备，所述视频帧包含有关键帧和非关键帧；

丢帧监测单元，用于监测所述视频帧中是否出现关键帧丢失；

信息发送单元，用于若所述丢帧监测单元监测到出现关键帧丢失，则向所述主播设备发送告知信息，告知所述主播设备丢失的关键帧，使所述主播设备发送重新编码的关键帧。

8.根据权利要求7所述视频服务器，其特征在于，还包括：

控制丢帧单元，用于若有接收到与丢失的关键帧相关联的非关键帧，则丢弃所述与丢失的关键帧相关联的非关键帧。

9.一种用户设备，其特征在于，包括：

视频接收单元，用于接收由视频服务器转发的来自主播设备的视频帧，所述视频帧包含有关键帧和非关键帧；接收重新编码的关键帧之后的视频帧；

帧确定单元，用于确定所述视频接收单元是否接收到由所述视频服务器转发的来自主播设备的重新编码的关键帧；

丢帧控制单元，用于若所述帧确定单元确定所述视频接收单元接收到由所述视频服务器转发的来自主播设备的重新编码的关键帧，则，所述用户设备确定所述重新编码的关键帧在视频帧中的位置，并将所述位置后的视频帧数据丢弃；

解码单元，用于解码接收到的视频帧；

显示单元，用于显示所述解码单元解码得到的视频画面。

10.根据权利要求9所述用户设备，其特征在于，

所述解码单元，还用于若所述用户设备接收到由所述视频服务器转发的来自主播设备的重新编码的关键帧，则停止所述重新编码的关键帧在视频帧中的位置之后的所有视频帧的解码操作。

11.一种主播设备，其特征在于，包括：

数据采集单元，用于采集当前需要直播的视频数据；

编码单元，用于将所述数据采集单元采集的视频数据编码为视频帧，所述视频帧包含有关键帧和非关键帧；若所述主播设备接收到告知信息，则，重新编码关键帧，

发送单元，用于通过视频服务器向用户设备发送所述编码单元编码得到的视频帧，通过所述视频服务器向用户设备发送重新编码的关键帧；

消息接收单元，用于接收告知信息，所述告知信息指示了丢失的关键帧。

12.根据权利要求11所述主播设备，其特征在于，还包括：

丢帧单元，用于丢弃与丢失的关键帧关联的已经编码且未发送给所述视频服务器的非关键帧全部丢弃。

13.一种视频直播***，包括：主播设备、用户设备以及视频服务器，其特征在于，

所述主播设备为权利要求11或12的主播设备，所述视频服务器为权利要求7或8的视频服务器，所述用户设备为权利要求9或10的用户设备。

Images