CN112073819A - 直播互动方法、***、服务器、直播端及存储介质 - Google Patents

Abstract

本申请实施例提供一种直播互动方法、***、服务器、直播端及存储介质，直播互动***包括第一直播端和第二直播端，第一直播端对应第一对象。第一直播端发送采集到的直播画面至服务器，并将直播画面通过服务器发送至第二直播端；第二直播端接收并显示所述直播画面，在接收针对第一对象的第一涂鸦操作之后，根据第一涂鸦操作确定第一涂鸦信息，由第二直播端在直播画面上显示第一涂鸦信息。通过本申请实施例提供的方法，可以避免现有直播互动中画脸惩罚所导致的降低主播对多人视频互动竞争的参与度的问题，从而保证主播对多人视频互动竞争的参与度。

Description

直播互动方法、***、服务器、直播端及存储介质

技术领域

本申请实施例涉及网络直播技术，尤其涉及一种直播互动方法、***、服务器、直播端及存储介质。

背景技术

随着网络直播技术的快速发展，多人视频互动竞争的方式被越来越多的主播接受，且主播参与度也越来越高。相应地，竞争失败要接受的惩罚手段也越来越多，例如，竞争失败方需要接受跑步、跳绳、深蹲、画脸、或者喝水等惩罚。

以画脸为例，竞争失败方需接受对方提出的在其面部进行涂鸦的惩罚手段。例如，对方要求化一搞笑妆容，竞争失败方就要将其面部妆容改为搞笑妆容。该惩罚手段易降低主播对多人视频互动竞争的参与度。

发明内容

本申请实施例提供一种直播互动方法、***、服务器、直播端及存储介质，以保证主播对多人视频互动竞争的参与度。

第一方面，本申请实施例提供一种直播互动方法，应用于直播互动***，所述直播互动***包括服务器、第一直播端和第二直播端，所述第一直播端对应第一对象，其中，

第一直播端发送采集到的直播画面至服务器，其中，直播画面包含第一对象；

服务器发送直播画面至第二直播端；

第二直播端接收并显示直播画面；

第二直播端接收针对第一对象的第一涂鸦操作，并根据第一涂鸦操作确定第一涂鸦信息；

第二直播端在直播画面上显示第一涂鸦信息。

可选的，在第一直播端发送采集到的直播画面至服务器时，还包括：

第一直播端根据采集到的所述直播画面对应的视频流和预先训练好的人脸构建模型，生成第一对象的人脸模型，并将第一对象的人脸模型发送至服务器；

服务器将第一对象的人脸模型发送至第二直播端。

可选的，第一直播端发送采集到的直播画面至服务器之后，还包括：

服务器根据第一直播端发送的直播画面对应的视频流以及预先训练好的人脸构建模型，生成第一对象的人脸模型；

服务器将第一对象的人脸模型发送至第二直播端。

可选的，根据第一直播端采集的的视频流和预先训练好的人脸模型，获得第一对象的人脸模型，包括：

提取视频流中的面部特征；

采用预先训练好的人脸模型对面部特征进行数据建模，生成第一对象的人脸模型。

可选的，面部特征包括以下至少一种：

脸部形状以及关键部位的三维空间坐标，其中，关键部位包括眼部、鼻部和嘴部中至少一个。

可选的，根据第一涂鸦操作确定第一涂鸦信息之后，还包括：

第二直播端发送第一涂鸦信息给服务器；

服务器发送第一涂鸦信息给第一直播端；

第一直播端在直播画面上显示第一涂鸦信息。

可选的，直播互动***还包括第三直播端和第三直播端中的至少一种，根据第一涂鸦操作确定第一涂鸦信息之后，方法还包括：

第二直播端发送第一涂鸦信息给服务器；

服务器发送第一涂鸦信息给第三直播端；

第三直播端在直播画面上显示第一涂鸦信息。

可选的，在生成第一对象的人脸模型之后，该方法还包括：

服务器发送第一对象的人脸模型给第三直播端；

第三直播端接收针对第一对象的第二涂鸦操作，并根据第二涂鸦操作确定第二涂鸦信息。

可选的，根据第二涂鸦操作确定第二涂鸦信息之后，还包括：

第三直播端发送第二涂鸦信息给服务器；

服务器发送第二涂鸦信息给第一直播端和/或第二直播端；

第一直播端和/或第二直播端在直播画面上显示第二涂鸦信息。

可选的，该方法还包括：

获取惩罚操作过程的第一时间；

当第一时间大于或等于预设时长时，服务器发送用于指示惩罚结束的指令给第一直播端和第二直播端。

可选的，第一直播端和第二直播端在接收到指令之后，清除相关数据。

可选的，所述第一直播端发送采集到的直播画面至服务器之前，还包括：

服务器发送多对象竞争的结果给第一直播端，多对象竞争的结果包含用于指示第一直播端为多对象竞争的失败方的信息。

可选的，第一涂鸦信息和所述第二涂鸦信息包括以下至少一种：

涂鸦操作的类型、涂鸦操作的颜色以及涂鸦操作的三维信息。

第二方面，本申请实施例提供一种直播互动***，直播互动***包括第一直播端和第二直播端，第一直播端对应第一对象其中，

第一直播端，用于发送采集到的直播画面至服务器，其中，直播画面包含第一对象；

服务器，用于发送直播画面至第二直播端；

第二直播端，用于接收并显示直播画面；

第二直播端，还用于接收针对直播画面中对第一对象的第一涂鸦操作，并根据第一涂鸦操作确定第一涂鸦信息；

第二直播端，还用于在直播画面上显示第一涂鸦信息。

可选的，***还包括第三直播端，其中，第三直播端用于在直播画面上显示第一涂鸦信息。

可选的，第一涂鸦信息和第二涂鸦信息包括以下至少一种：

涂鸦操作的类型、涂鸦操作的颜色以及涂鸦操作的三维信息。

第三方面，本申请实施例提供一种服务器，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行存储器中的程序指令，执行如第一方面中任一项的方法中服务器执行的步骤。

第四方面，本申请实施例提供一种直播端，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行如第一方面中任一项所述的方法中第一直播端和/或第二直播端执行的步骤。

第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一项所述的游戏中的直播互动方法。

本申请实施例提供一种直播互动方法、***、服务器、直播端及存储介质，直播互动***包括第一直播端和第二直播端，第一直播端对应第一对象。第一直播端发送采集到的直播画面至服务器，并将直播画面通过服务器发送至第二直播端；第二直播端接收并显示该直播画面，在接收针对所述第一对象的第一涂鸦操作之后，根据所述第一涂鸦操作确定第一涂鸦信息，由第二直播端在直播画面上显示第一涂鸦信息。通过本申请实施例提供的方法，可以避免现有直播互动中画脸惩罚所导致的降低主播对多人视频互动竞争的参与度的问题，从而保证主播对多人视频互动竞争的参与度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的直播互动的场景示例图；

图2为本申请一实施例提供的直播互动方法的流程图；

图3为本申请一实施例提供的直播端界面示意图；

图4为本申请另一实施例提供的直播互动方法的流程图；

图5为本申请又一实施例提供的直播互动方法的流程图；

图6为本申请又一实施例提供的直播互动方法的流程图；

图7为本申请又一实施例提供的直播互动方法的流程图；

图8为本申请一实施例提供的服务器的结构示意图；

图9为本申请一实施例提供的直播端的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例各部分及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请下述实施例所涉及的方法流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按照所描述的顺序执行。例如，有些步骤还可以分解，而有些步骤可以合并或部分合并，因此，实际执行的顺序可根据实际情况改变。

本申请下述实施例所涉及的方框图中的功能模块仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或者不同网络和/或处理器和/或微控制器中实现这些功能实体。

目前，随着网络直播技术的快速发展，多人视频互动竞争的方式被越来越多的主播接受，且主播参与度也越来越高。相应地，竞争失败要接受的惩罚手段也越来越多，例如，竞争失败方需要接受跑步、跳绳、深蹲、画脸、或者喝水等惩罚。以画脸为例，竞争失败方需接受对方提出的在其面部进行涂鸦的惩罚手段。例如，对方要求化一搞笑妆容，竞争失败方就要将其面部妆容改为搞笑妆容。该惩罚手段易降低主播对多人视频互动竞争的参与度，导致大量主播流失，不利于营造和谐的直播生态圈。因此在玩法被越来越多的主播接受的情况下，就必须提供一些新式的惩罚机制，这些惩罚机制既容易让主播接受，又不会给主播造成更多的矛盾与敌意。

基于上述问题，本申请实施例提供一种直播互动方法、***、设备及存储介质，通过在多人竞争失败方的人脸模型上的虚拟涂鸦，来保证主播对多人视频互动竞争的参与度。

图1为本申请一实施例提供的直播互动的场景示例图。该直播互动方法可由直播互动软件/安装直播互动软件的终端的处理设备，例如处理器，执行相应的软件代码实现，也可由该终端的处理设备执行相应的软件代码，并结合其他硬件实体实现。其中，终端例如是台式电脑、笔记本、个人数字助理(Personal Digital Assistant，简称：PDA)、智能手机、平板电脑和游戏机等设备。

如图1所示，本实施例提供的直播互动方法应用于直播互动***，该***包括：第一直播端102、第二直播端103、服务器101以及用户端104。其中，第一直播端102对应第一对象，第二直播端103对应第二对象。第一直播端102以及第二直播端103的处理器通过执行软件应用并在第一直播端102以及第二直播端103的显示设备上渲染生成直播画面。具体的，在第一对象和第二对象的直播互动过程中，第一直播端102将第一对象的直播动态上传至服务器101，服务器101将第一对象的直播动态转发至第二直播端103以及用户端104，第二直播端103以及用户端104的显示设备渲染第一对象的直播动态形成直播画面。同理，第二直播端103将第二对象的直播动态上传至服务器101，服务器101将第二对象的直播动态转发至第一直播端102以及用户端104，第一直播端102以及用户端104的显示设备渲染第二对象的直播动态形成直播画面。

本领域技术人员可以理解的是，第一直播端和第二直播端的概念是相对的，一直播端既可以作为第一直播端，也可以作为第二直播端，为方便理解，本发明将其区分为第一直播端和第二直播端。其中，直播端的个数可以根据直播互动模式而定，例如，直播互动模式可以为：单人互动模式、双人互动模式以及多人互动模式等，对应的，直播端的个数为一个或者多个。其中，多个包括两个或两个以上。

在实际应用中，用户端104可以为其他可参与直播的直播端，也可以为观看直播的观众端，其个数也可以根据直播情况而定，例如，可根据直播间大小确定用户端的个数，也可以根据直播观看人数确定用户端个数，此处不予限制。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请一实施例提供的直播互动方法的流程图。如图2所示，该直播互动方法包括以下步骤：

S201、服务器发送多对象竞争的结果至第一直播端。

在实际应用中，当第一对象和第二对象通过第一直播端及第二直播端进行竞争时，将竞争信息发送至服务器，服务器根据竞争信息获得多对象竞争的结果。其中，多对象竞争的结果包括还可以包括以下几种情况：

(1)第一对象赢得竞争，第二对象竞争失败；

(2)第二对象赢得竞争，第一对象竞争失败；

(3)第一对象与第二对象平局。

对应的，当多对象竞争的结果为第一种情况时，服务器将多对象竞争的结果发送至第二直播端；当多对象竞争的结果为第二种情况时，服务器将多对象竞争的结果发送至第一直播端；当竞争结果为第三种情况时，服务器将多对象竞争的结果发送至第一直播端以及第二直播端。

在另一种实施方式中，服务器在根据竞争信息获得多对象竞争的结果后，还可以将多对象竞争的结果发送至第二直播端以及第三直播端。

本领域技术人员可以理解的是，多对象竞争的对象个数是根据互动模式确定的，本实施例对此不做限制。另外，对于第一直播端、第二直播端以及第三直播端的个数，本申请实施例也不予限制。

结合上述，本申请的实施例以第二种情况为例进行说明。

S202、第一直播端发送采集到的直播画面至服务器。

其中，直播画面包含第一对象。

可以理解的是，在本方案中，第一直播端与第二直播端进行直播互动的过程中，第一直播端采集第一对象的直播画面，并将采集到的直播画面发送至服务器。

类似的，第二直播端采集第二对象的直播画面，并将采集到的直播画面发送至服务器。

S203、服务器发送直播画面至第二直播端。

进一步的，服务器在接收到第一直播端发送的直播画面时，将第一直播端的直播画面发送至第二直播端。对应的，服务器在接收到第二直播端发送的直播画面时，将第二直播端的直播画面发送至第一直播端。

S204、第二直播端接收并显示直播画面。

更进一步的，当第二直播端接收到第一直播端的直播画面时，第二直播端显示第一直播端的直播画面。对应的，第一直播端显示第二直播端的直播画面。

S205、第二直播端接收针对第一对象的第一涂鸦操作，并根据第一涂鸦操作确定第一涂鸦信息。

其中，第一涂鸦信息在直播画面上。

在实际应用中，当第二直播端接收到第一直播端的直播画面之后，对其进行显示，这样第二对象可在第一直播端的直播画面上进行第一涂鸦操作。示例性的，如图3所示，图3为本申请一实施例提供的直播界面示意图。第二直播端的显示设备实时显示出包含第一对象的直播画面，第二对象可在包含第一对象的直播画面上进行第一涂鸦操作。

在一种实施方式中，第一涂鸦操作可以包括以下任意方式的组合：选择涂鸦画笔在第一对象上进行涂鸦、在第一对象上添加预设表情以及塑形操作等。在另一种实施方式中，在上述涂鸦操作过程中，第二用户可以实时撤销上述涂鸦操作。

进一步的，第二直播端根据第一涂鸦操作获取第一涂鸦信息。其中，第一涂鸦信息可以包括：第一涂鸦操作的类型、第一涂鸦操作的颜色、第一涂鸦操作的三维坐标等。需说明的是，该示例中以第一直播端、第二直播端为例进行解释说明，但本申请实施例不以此为限制，也即直播端的个数均可以根据实际需求进行设置。

S206、第二直播端在直播画面上显示第一涂鸦信息。

本申请实施例提供一种直播互动方法，第一直播端发送采集到的直播画面至服务器，并将直播画面通过服务器发送至第二直播端；第二直播端接收并显示直播画面，在接收针对第一对象的第一涂鸦操作之后，根据第一涂鸦操作确定第一涂鸦信息，最后，由第二直播端在直播画面上显示第一涂鸦信息。通过本申请实施例提供的方法，可以避免现有直播互动中画脸惩罚所导致的降低主播对多人视频互动竞争的参与度的问题，从而保证主播对多人视频互动竞争的参与度。

在步骤S202、第一直播端发送采集到的直播画面至服务器之后，还需要建立第一对象的人脸模型，将该人脸模型发送至第二直播端，使得第二对象可以通过第二直播端显示的人脸模型进行涂鸦，从而实现在第二直播端在直播画面上显示第一涂鸦信息。

具体的，在一种实施方式中，可以在第一直播端生成第一对象的人脸模型，其具体步骤如下：

(1)第一直播端根据采集到的直播画面对应的视频流和预先训练好的人脸构建模型，生成第一对象的人脸模型，并将第一对象的人脸模型发送至服务器；

(2)服务器将第一对象的人脸模型发送至第二直播端。

具体的，第一直播端可以接收第一直播端的图像采集装置采集到的视频流。其中，图像采集装置，例如摄像头，对第一对象以及周围的环境的图像信息进行实时采集；以及通过音频采集装置，例如麦克风，对第一直播端的音频进行采集，并根据采集的图像信息和音频信息生成视频流。

进一步的，第一直播端采集到的直播画面对应的视频流作为预先训练好的人脸模型的输入，输出第一对象的人脸模型，将第一对象的人脸模型发送给服务器，由服务器将第一对象的人脸模型转发至第二直播端。

在另一种实施方式中，还可以在服务器生成第一对象的人脸模型，其具体步骤如下：

(1)服务器根据第一直播端发送的直播画面对应的视频流以及预先训练好的人脸构建模型，生成第一对象的人脸模型；

(3)服务器将第一对象的人脸模型发送至第二直播端。

具体的，第一直播端接收第一直播端的图像采集装置采集到的视频流，并将视频流对应的直播画面发送至服务器，服务器将直播画面对应的视频流作为预先训练好的人脸模型的输入，输出第一对象的人脸模型，并将第一对象的人脸模型发送至第二直播端。

进一步的，第二直播端在接收到第一对象的人脸模型后，在直播画面中显示该第一对象的人脸模型。

可以理解的是，人脸模型作用于直播画面中的第一对象的面部，并且人脸模型可以跟随第一对象的变化进行同步变化。通过本方案，可以实现人脸模型和第一对象的精准匹配，提升涂鸦时的涂鸦效果，提升用户体验。

对应的，步骤S205、第二直播端接收针对第一对象的第一涂鸦操作，并根据第一涂鸦操作确定第一涂鸦信息，具体为：获取针对直播画面中第一对象人脸模型上的涂鸦操作，根据在人脸模型上的涂鸦操作确定第一涂鸦信息。对应的，步骤S206、第二直播端在直播画面上显示第一涂鸦信息。可以为：第二直播端显示第一涂鸦信息在第一对象的人脸模型上。

具体的，第二直播端显示第一涂鸦信息在第一对象的人脸模型上，其可以通过多种方式实现：例如，在一种实现中，第二直播端根据涂鸦操作的三维坐标，将涂鸦操作的三维坐标与第一对象的人脸模型的三维坐标对应，将第一涂鸦信息显示在第二直播端的人脸模型上。或者，在另一种实现中，第一对象的人脸模型可以实时追踪第一对象，具体的，实时获取第一对象的面部特征，根据面部特征实时追踪第一对象。其中，面部特征可以包括：脸部形状、关键部位的三维空间坐标等，在实际运用中，关键部位包括眼部、鼻部和嘴部中至少一个。

通过本申请实施例提供的方法，由于第一对象的人脸模型实时追踪第一对象，可以保障第一对象和第一对象的人脸模型实时对应，当第一对象运动时，第一涂鸦信息也能够精确展现于第一对象的人脸模型上，从而提升用户体验。

下面，结合具体实施例对第一直播端或服务器生成人脸模型的具体方案进行说明。

图4为本申请另一实施例提供的直播互动方法的流程图。如图4所示，在第一直播端或服务器生成第一对象的人脸模型的方法具体包括：

S301、提取视频流中的面部特征。

S302、采用预先训练好的人脸模型对面部特征进行数据建模，得到第一对象的人脸模型。

其中，面部特征可以包括：脸部形状、关键部位的三维空间坐标等，在实际运用中，关键部位包括眼部、鼻部和嘴部等部位中至少一个。

本实施例提供的直播互动方法，提取视频流中的面部特征，采用预先训练好的人脸模型对面部特征进行数据建模，可以获得精确的人脸模型，从而提升用户体验。

在一些实施例中，在步骤S206、第二直播端在直播画面上显示第一涂鸦信息之后，第一直播端的显示设备也会显示第一涂鸦信息。图5为本申请又一实施例提供的直播互动方法的流程图。如图5所示，第一直播端的显示设备显示第一涂鸦信息的具体步骤如下：

S401、第二直播端发送第一涂鸦信息给服务器。

具体的，结合图3，当第二对象在第一对象的直播画面上进行第一涂鸦操作时，第二直播端发送第一涂鸦信息给服务器。

S402、服务器发送第一涂鸦信息给第一直播端。

对应的，服务器接收第二直播端发送的第一涂鸦信息，并发送第一涂鸦信息给第一直播端。

S403、第一直播端在直播画面上显示第一涂鸦信息。

在一种实施方式中，如图3所示，第一直播端接收到第一涂鸦信息之后，在直播画面上显示第一涂鸦信息。具体的，第一直播端根据涂鸦操作的三维坐标，将涂鸦操作的三维坐标与第一对象的人脸模型的三维坐标对应，并将第一涂鸦信息显示在第一直播端的人脸模型上。

本实施例提供的直播互动方法，第二直播端发送第一涂鸦信息给服务器，服务器发送第一涂鸦信息给第一直播端，第一直播端在直播画面上显示第一涂鸦信息。通过上述步骤，第一对象可以直观的了解第二对象对其的画脸惩罚结果。

在一些实施例中，其他用户的直播端也可以参与直播互动过程。图6为本申请又一实施例提供的直播互动方法的流程图。如图6所示，直播互动方法可以包括以下步骤：

S501、服务器发送多对象竞争的结果第一直播端。

S502、第一直播端发送采集到的直播画面至服务器。

其中，S502与图2所示实施例中的S201类似，具体描述可参考如图2所示实施例，此处不再赘述。

进一步的，根据采集到的视频流和预先训练好的人脸构建模型，生成第一对象的人脸模型。

可以理解的是，可以在第一直播端生成第一对象的人脸模型，也可以在服务器生成第一对象的人脸模型，生成第一对象的人脸模型的方案可参考图2所示实施例，此处不再赘述。

S503、服务器发送第一对象的人脸模型给第三直播端。

其中，第三直播端可以包括：其他直播端和/或观众端，其他直播端和/或观众端的数量可根据直播间大小确定，也可以根据直播观看人数来确定，此处不以为限制。

S504、第三直播端接收针对第一对象的第二涂鸦操作，并根据第二涂鸦操作确定第二涂鸦信息。

S505、第三直播端在直播画面上显示第二涂鸦信息。

其中，S504至505分别与图2所示实施例中的步骤S205至S206第二直播端的处理方法类似，具体描述可参考如图2所示实施例，此处不再赘述。

在一些实施例中，在步骤S504、第三直播端接收针对第一对象的第二涂鸦操作，并根据第二涂鸦操作确定第二涂鸦信息，之后，还包括：

S506、第三直播端发送第二涂鸦信息给服务器。

S507、服务器发送第二涂鸦信息给第一直播端。

S508、第一直播端在直播画面上显示第二涂鸦信息。

其中，S506至508与图5所示实施例中的步骤S401至S403中，第一直播端在直播画面上显示第二涂鸦信息的方法类似，具体描述可参考如图5所示实施例，此处不再赘述。

在另一种实施方式中，在步骤S507、第三直播端发送第二涂鸦信息给服务器，之后，还包括：

S509、服务器发送第二涂鸦信息给第二直播端。

S510、第二直播端在直播画面上显示第二涂鸦信息。

其中，S509至S510与图5所示实施例中的步骤S402至S403中第一直播端在直播画面上显示第二涂鸦信息的方法类似，具体描述可参考如图5所示实施例，此处不再赘述。

本实施例中，第三直播端也可以参与直播互动，能够增加直播互动过程的趣味性，提升用户体验。

一些实施例中，在直播互动过程中，惩罚操作有时间限制，当惩罚操作的时间满足预设时间时，需结束惩罚操作。图7为本申请又一实施例提供的直播互动方法的流程图。如图7所示，结束惩罚操作的步骤如下：

S601、获取惩罚操作过程的第一时间。

在实际运用中，获取惩罚操作过程的第一时间可以包括以下几种情况：

(1)自服务器发送多对象竞争的结果给第一直播端开始计时；

(2)自第一直播端在接收多对象竞争的结果时开始计时；

(3)自根据视频流和预先训练好的人脸模型，获得第一对象的人脸模型开始计时；

(4)自服务器发送第一对象的人脸模型给第二直播端开始计时；

(5)第二直播端在直播画面上显示第二涂鸦信息时开始计时等。

S602、当第一时间大于或等于预设时长时，服务器发送用于指示惩罚结束的指令给第一直播端和第二直播端。

在一种实施方式中，预设时长可以根据多对象竞争的结果确定，例如，根据竞争的结果中的比分确定，竞争失败方的得分越低，则预设时长越长。在另一种实施方式种，预设时长也可以是提前设定的固定时长，例如，预设时长为：60秒。

S603、第一直播端和第二直播端在接收到指令之后，清除相关数据。

在一种实施方式中，第一直播端和第二直播端在接收到指令之后清除相关数据。

在另一种实施方式中，第三直播端也可以接收惩罚结束的指令，第三直播端接收到结束指令之后清除相关数据。

其中，相关数据包括：第一对象的人脸模型、第一涂鸦信息、第二涂鸦信息以及多对象竞争的结果等。

本实施例提供的直播互动方法，获取惩罚操作过程的第一时间，当第一时间大于或等于预设时长时，服务器发送用于指示惩罚结束的指令给第一直播端和第二直播端，第一直播端和第二直播端在接收到指令之后，清除相关数据。通过设置惩罚时间，能够增加直播互动过程的趣味性，提升用户体验。

仍以图1为例，本申请实施例还提供一种直播互动***，该直播互动***包括：第一直播端102、服务器101以及第二直播端103。其中，

第一直播端102，用于发送采集到的直播画面至服务器101，其中，直播画面包含第一对象；

服务器101，用于发送直播画面至第二直播端103；

第二直播端103，用于接收并显示直播画面；

第二直播端103，还用于接收针对直播画面中对第一对象的第一涂鸦操作，并根据第一涂鸦操作确定第一涂鸦信息，其中，第一涂鸦信息在直播画面上；

第二直播端103，还用于在直播画面上显示第一涂鸦信息。

本实施例的直播互动***，其中各模块的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

可选的，在一种实施方式中，第一直播端102，还用于根据采集到的直播画面对应的视频流和预先训练好的人脸构建模型，生成第一对象的人脸模型，并将第一对象的人脸模型发送至服务器101；

服务器101，还用于第一对象的人脸模型发送至第二直播端103。

可选的，在另一种实施方式种，服务器101，还用于根据第一直播端将发送的直播画面对应的视频流以及预先训练好的人脸构建模型，生成第一对象的人脸模型，并将第一对象的人脸模型发送至第二直播端。

可选的，根据视频流和预先训练好的人脸模型，获得第一对象的人脸模型，包括：

提取视频流中的面部特征；

采用预先训练好的人脸模型对面部特征进行数据建模，得到第一对象的人脸模型。

可选的，面部特征包括以下至少一种：

脸部形状以及关键部位的三维空间坐标，其中，关键部位包括眼部、鼻部和嘴部中至少一个。

可选的，第二直播端103还用于，在根据第一涂鸦操作确定第一涂鸦信息之后，发送第一涂鸦信息给服务器101；

服务器101还用于，接收第一涂鸦信息并发送第一涂鸦信息给第一直播端102；

第一直播端102还用于，在直播画面上显示第一涂鸦信息。

可选的，服务器101还用于，获取惩罚操作过程的第一时间；

当第一时间大于或等于预设时长时，发送用于指示惩罚结束的指令给第一直播端102和第二直播端103。

可选的，第一直播端102和第二直播端103还用于在接收到指令之后，清除相关数据。

一些实施例中，直播***还包括第三直播端，其中，第三直播端用于显示第一涂鸦信息在第一对象的人脸模型上。

本实施例的直播互动***，其中各模块的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

可选的，生成第一对象的人脸模型之后，还包括：

服务器101发送第一对象的人脸模型给第三直播端；

第三直播端接收针对第一对象的第二涂鸦操作，并根据第二涂鸦操作确定第二涂鸦信息。

第三直播端在直播画面上显示第一涂鸦信息。

可选的，第二直播端103在用于根据第二涂鸦操作确定第二涂鸦信息之后，还包括：

第三直播端发送第二涂鸦信息给服务器101；

服务器101发送第二涂鸦信息给第一直播102和/或第二直播端103；

第一直播端102和/或第二直播103端在直播画面上显示第二涂鸦信息。

可选的，服务101还用于，获取惩罚操作过程的第一时间；当第一时间大于或等于预设时长时，发送用于指示惩罚结束的指令给第三直播端。

可选的，第三直播端还用于：在接收到指令之后，清除相关数据。

可以理解的是，本申请实施例提供的直播互动***，其原理及有益效果与图2至图6所示的方法实施例的原理及有益效果类似，具体可参考上述方法实施例，此处不再赘述。

图8为本申请一实施例提供的服务器的结构示意图。如图8所示，本实施例所述的服务器90可以是前述方法实施例中提到的计算机(或者可用于计算机的部件)。服务器90可用于实现上述方法实施例中描述的对应于计算机的方法，具体参见上述方法实施例中的说明。

服务器90可以包括一个或多个处理器901，该处理器901也可以称为处理单元，可以实现一定的控制或者处理功能。处理器901可以是通用处理器或者专用处理器等。例如可以是基带处理器、或中央处理器。基带处理器可以用于对数据进行处理，中央处理器可以用于对服务器90进行控制，执行软件程序，处理软件程序的数据。

在一种可能的设计中，处理器901也可以存有指令903或者数据(例如测试参数)。其中，指令903可以被处理器901运行，使得服务器90执行上述方法实施例中描述的对应于计算机设备或者网络设备的方法。

在又一种可能的设计中，服务器90可以包括电路，该电路可以实现前述方法实施例中发送或接收或者通信的功能。

在一种可能的实现方式中，服务器90中可以包括一个或多个存储器902，其上可以存有指令904，该指令可在处理器901上被运行，使得服务器90执行上述方法实施例中描述的方法。

在一种可能的实现方式中，存储器902中也可以是存储有数据。处理器901和存储器902可以单独设置，也可以集成在一起。

在一种可能的实现方式中，服务器90还可以包括收发器905和/或天线909。处理器901可以称为处理单元，对服务器90进行控制。收发器905可以称为收发单元、收发机、收发电路、或者收发器等，用于实现服务器90的收发功能。

其中，处理器901和收发器905的具体实现过程可以参见上述各实施例的相关描述，此处不再赘述。

本申请中描述的处理器901和收发器905可实现在集成电路(integratedcircuit，IC)、模拟IC、射频集成电路(radio frequency integrated circuit，RFIC)、混合信号IC、专用集成电路(application specific integrated circuit，ASIC)、印刷电路板(printed circuit board，PCB)、电子设备等上。

图9为本申请一实施例提供的直播端的结构示意图。如图9所示，本实施例的直播端10包括：存储器11、处理器12和显示设备13。其中，存储器11、处理器12和显示设备13之间相互连接。通过在处理器12上执行软件应用并在显示设备13上渲染得到直播画面。主播，也即如上所述的第一对象和第二对象，或用户，可通过在直播端10的显示设备13的直播画面进行操作，实现对第一对象的人脸模型的涂鸦，从而进行直播互动。

存储器11，用于存储程序指令。

当存储器11存储的程序指令被处理器12执行时，使得直播端10执行如上述任一实施例所述方法中第一直播端和/或第二直播端执行的步骤。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时用于实现如上任一实施例所述的直播互动方法。

在上述的实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称：CPU)，也可以是数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘等。存储介质可以是通用或专用计算机能够存取的任何可用介质。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (18)

1.一种直播***中的互动方法，其特征在于，所述直播***包括服务器、第一直播端和第二直播端，所述第一直播端对应第一对象，其中，

所述第一直播端发送采集到的直播画面至服务器，其中，所述直播画面包含所述第一对象；

所述服务器发送所述直播画面至所述第二直播端；

所述第二直播端接收并显示所述直播画面；

所述第二直播端接收针对所述第一对象的第一涂鸦操作，并根据所述第一涂鸦操作确定第一涂鸦信息；

所述第二直播端在所述直播画面上显示所述第一涂鸦信息。

2.根据权利要求1所述的方法，其特征在于，在所述第一直播端发送采集到的直播画面至服务器时，还包括：

所述第一直播端根据采集到的所述直播画面对应的视频流和预先训练好的人脸构建模型，生成所述第一对象的人脸模型，并将所述第一对象的人脸模型发送至服务器；

所述服务器将所述第一对象的人脸模型发送至所述第二直播端。

3.根据权利要求1所述的方法，其特征在于，所述第一直播端发送采集到的直播画面至服务器之后，还包括：

所述服务器根据所述第一直播端发送的所述直播画面对应的视频流以及预先训练好的人脸构建模型，生成所述第一对象的人脸模型；

所述服务器将所述第一对象的人脸模型发送至所述第二直播端。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述视频流和预先训练好的人脸模型，获得所述第一对象的人脸模型，包括：

提取所述视频流中的面部特征；

采用所述预先训练好的人脸模型对所述面部特征进行数据建模，生成所述第一对象的人脸模型。

5.根据权利要求4所述的方法，其特征在于，所述面部特征包括以下至少一种：

脸部形状以及目标部位的三维空间坐标，其中，所述目标部位包括眼部、鼻部和嘴部中至少一个。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一涂鸦操作确定第一涂鸦信息之后，还包括：

所述第二直播端发送所述第一涂鸦信息给所述服务器；

所述服务器发送所述第一涂鸦信息给所述第一直播端；

所述第一直播端在所述直播画面上显示所述第一涂鸦信息。

7.根据权利要求2或3所述的方法，其特征在于，所述直播互动***还包括第三直播端，所述根据所述第一涂鸦操作确定第一涂鸦信息之后，所述方法还包括：

所述第二直播端发送所述第一涂鸦信息给所述服务器；

所述服务器发送所述第一涂鸦信息给所述第三直播端；

所述第三直播端在所述直播画面上显示所述第一涂鸦信息。

8.根据权利要求7所述的方法，其特征在于，在所述生成所述第一对象的人脸模型之后，还包括：

所述服务器发送所述第一对象的人脸模型给所述第三直播端；

所述第三直播端接收针对所述第一对象的第二涂鸦操作，并根据所述第二涂鸦操作确定第二涂鸦信息。

9.根据权利要求8所述的方法，其特征在于，所述根据所述第二涂鸦操作确定第二涂鸦信息之后，还包括：

所述第三直播端发送所述第二涂鸦信息给所述服务器；

所述服务器发送所述第二涂鸦信息给所述第一直播端和/或所述第二直播端；

所述第一直播端和/或所述第二直播端在所述直播画面上显示所述第二涂鸦信息。

10.根据权利要求1所述的方法，其特征在于，还包括：

获取惩罚操作过程的第一时间；

当所述第一时间大于或等于预设时长时，所述服务器发送用于指示惩罚结束的指令给所述第一直播端和所述第二直播端。

11.根据权利要求10所述的方法，其特征在于，还包括：

所述第一直播端和所述第二直播端在接收到所述指令之后，清除相关数据。

12.根据权利要求2或3所述的方法，其特征在于，所述第一直播端发送采集到的直播画面至服务器之前，还包括：

所述服务器发送多对象竞争的结果给所述第一直播端，所述多对象竞争的结果包含用于指示所述第一直播端为多对象竞争的失败方的信息。

13.根据权利要求1至12任一项所述的方法，其特征在于，所述第一涂鸦信息和所述第二涂鸦信息包括以下至少一种：

涂鸦操作的类型、涂鸦操作的颜色以及涂鸦操作的三维信息。

14.一种直播互动***，其特征在于，所述直播互动***包括第一直播端、服务器和第二直播端，所述第一直播端对应第一对象，其中，

所述第一直播端，用于发送采集到的直播画面至服务器，其中，所述直播画面包含所述第一对象；

所述服务器，用于发送所述直播画面至所述第二直播端；

所述第二直播端，用于接收并显示所述直播画面；

所述第二直播端，还用于接收针对所述直播画面中对所述第一对象的第一涂鸦操作，并根据所述第一涂鸦操作确定第一涂鸦信息；

所述第二直播端，还用于在所述直播画面上显示所述第一涂鸦信息。

15.根据权利要求14所述的***，其特征在于，所述***还包括第三直播端，其中，所述第三直播端用于在所述直播画面上显示所述第一涂鸦信息。

16.一种服务器，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行如权利要求1至13中任一项所述的方法中服务器执行的步骤。

17.一种直播端，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行如权利要求1至13中任一项所述的方法中第一直播端和/或第二直播端执行的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至13中任一项所述的直播互动方法。

Images