CN112804546A - 基于直播的互动方法、装置、设备和存储介质 - Google Patents

基于直播的互动方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112804546A
CN112804546A CN202110018400.5A CN202110018400A CN112804546A CN 112804546 A CN112804546 A CN 112804546A CN 202110018400 A CN202110018400 A CN 202110018400A CN 112804546 A CN112804546 A CN 112804546A
Authority
CN
China
Prior art keywords
face
live broadcast
image
interaction
mask image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110018400.5A
Other languages
English (en)
Other versions
CN112804546B (zh
Inventor
邱理权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110018400.5A priority Critical patent/CN112804546B/zh
Publication of CN112804546A publication Critical patent/CN112804546A/zh
Application granted granted Critical
Publication of CN112804546B publication Critical patent/CN112804546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供了一种基于直播的互动方法、装置、设备和存储介质,属于计算机技术领域。所述方法包括:在未接收到观众账号的第一互动指令时,直播画面中人脸脸部覆盖有第一面具图像,当接收到观众账号的第一互动指令后,响应于第一互动指令,在直播画面中展示人脸脸部的第一脸部区域,而第一脸部区域是被第一面具图像所覆盖的至少部分脸部区域,此时遮盖人脸脸部的第一面具图像被全部或部分揭除,观众能够看到人脸脸部的更多区域,因此视频直播过程中主播与观众之间的互动不再是单向的,观众通过触发第一互动指令后能够获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。

Description

基于直播的互动方法、装置、设备和存储介质
技术领域
本申请涉及计算机技术领域,特别涉及一种基于直播的互动方法、装置、设备和存储介质。
背景技术
随着计算机技术和互联网技术的不断发展与进步,视频直播作为一种新的信息传播方式受到越来越多人的关注。在进行视频直播时,通过现场架设的摄像设备采集视频数据,之后将所采集的视频数据上传至服务器,以通过服务器将所上传的视频数据发布到网络中供观众观看。
相关技术中,主播通过摄像设备采集自身人像,之后将包括有主播人像的直播视频流上传至服务器,进而观众可以从服务器上获取直播视频流,以观看主播的直播内容。观众在观看视频直播的过程中可以发布评论或向主播赠送虚拟礼物,以实现与主播进行互动。
然而,相关技术中观众通过发布评论或向主播赠送虚拟礼物的互动方式通常是单向的,即观众发布评论或向主播赠送虚拟礼物后并不一定能够得到反馈,影响视频直播过程中主播与观众之间的互动效果,导致用户交互效率低下,进而导致观众观看视频直播的体验较差。
发明内容
本申请实施例提供了一种基于直播的互动方法、装置、设备和存储介质,在视频直播过程中针对观众的互动操作给予反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。该技术方案如下:
一方面,提供了一种基于直播的互动方法,包括:
展示直播间的直播画面,所述直播画面中的人脸脸部覆盖有第一面具图像;
接收所述直播间中任一观众账号的第一互动指令;
响应于所述第一互动指令,在所述直播画面中展示所述人脸脸部的第一脸部区域,所述第一脸部区域为所述第一面具图像所覆盖的至少部分脸部区域。
另一方面,提供了一种基于直播的互动方法,包括:
展示直播间的直播画面,所述直播画面中展示有人脸脸部的第三脸部区域;
接收所述直播间中任一观众账号的第二互动指令;
响应于所述第二互动指令,在所述直播画面中所述人脸脸部的第三脸部区域的对应位置上,展示第三面具图像。
另一方面,提供了一种基于直播的互动方法,包括:
展示直播间的直播画面,所述直播画面中的人脸脸部覆盖有第一面具图像;
响应于所述直播间中目标观众账号实施的操作,在所述直播画面中展示所述人脸脸部的第一脸部区域,所述第一脸部区域为所述第一面具图像所覆盖的至少部分脸部区域。
另一方面,提供了一种基于直播的互动装置,包括:
第一展示模块,用于展示直播间的直播画面,所述直播画面中的人脸脸部覆盖有第一面具图像;
接收模块,用于接收所述直播间中任一观众账号的第一互动指令;
所述第一展示模块,还用于响应于所述接收模块接收到的所述第一互动指令,在所述直播画面中展示所述人脸脸部的第一脸部区域,所述第一脸部区域为所述第一面具图像所覆盖的至少部分脸部区域。
在一种可能的实现方式中,该装置还包括:图像处理模块;
所述图像处理模块,用于对于获取到的图像,基于所述图像的第一面部关键点和所述第一面具图像的第二面部关键点,将所述第一面具图像与所述图像中的所述人脸脸部进行纹理贴合;
所述第一展示模块,用于在所述直播画面中展示经过所述图像处理模块纹理贴合后的所述人脸脸部;
其中,所述第一面部关键点用于标识所述图像中所述人脸脸部的轮廓和五官,所述第二面部关键点用于标识所述第一面具图像中人脸的轮廓和五官。
在一种可能的实现方式中,所述图像处理模块,用于执行如下处理:
对于获取到的图像,获取所述图像的所述第一面部关键点;
将所述第一面具图像的所述第二面部关键点映射到所述图像的所述第一面部关键点;
根据映射结果,将所述第一面具图像与所述图像中的所述人脸脸部进行纹理贴合。
在一种可能的实现方式中,所述第一展示模块,用于在所述直播画面中展示所述人脸脸部的整体区域。
在一种可能的实现方式中,所述第一展示模块,用于在所述直播画面中展示获取到的图像。
在一种可能的实现方式中,所述第一面具图像包括至少两个子面具图像,不同的所述子面具图像与不同的互动指令相关联;
所述第一展示模块,用于在所述直播画面中展示所述人脸脸部上被目标子面具图像覆盖的脸部区域,所述目标子面具图像为与所述第一互动指令相关联的子面具图像。
在一种可能的实现方式中,所述第一展示模块,用于执行如下处理:
基于所获取图像的第一面部关键点,及所述第一面具图像的第三面部关键点,将所述第一面具图像中除所述目标子面具图像以外的子面具图像,与所获取图像中的所述人脸脸部进行纹理贴合;
在所述直播画面中展示经过纹理贴合后的所述人脸脸部;
其中,所述第一面部关键点用于标识所获取图像中所述人脸脸部的轮廓和五官,所述第三面部关键点用于标识所述第一面具图像中除所述目标子面具图像以外的子面具图像中人脸的轮廓和五官。
在一种可能的实现方式中,第一展示模块,还用于响应于所述第一互动指令,在所述直播画面中所述人脸脸部的第二脸部区域的对应位置上,展示第二面具图像。
在一种可能的实现方式中,所述第一互动指令由所述观众账号的互动操作触发,所述互动操作为虚拟礼物赠送操作、点赞操作或发表评论操作,用于赠送不同虚拟礼物的虚拟礼物赠送操作对应不同的所述第一互动指令,不同的所述第一互动指令对应所述人脸脸部的不同脸部区域。
另一方面,提供了一种基于直播的互动装置,包括:
第二展示模块,用于展示直播间的直播画面,所述直播画面中的人脸脸部覆盖有第一面具图像;
所述第二展示模块,还用于响应于所述直播间中目标观众账号实施的操作,在所述直播画面中展示所述人脸脸部的第一脸部区域,所述第一脸部区域为所述第一面具图像所覆盖的至少部分脸部区域。
另一方面,提供了一种基于直播的互动装置,包括:
第三展示模块,用于展示直播间的直播画面,所述直播画面中展示有人脸脸部的第三脸部区域;
指令接收模块,用于接收所述直播间中任一观众账号的第二互动指令;
所述第三展示模块,还用于响应于所述指令接收模块接收到的所述第二互动指令,在所述直播画面中所述人脸脸部的第三脸部区域的对应位置上,展示第三面具图像。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器夹在并执行以实现如上述的基于直播的互动方法所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如上述的基于直播的互动方法所执行的操作。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括程序代码,该程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取该程序代码,处理器执行该程序代码,使得计算机设备执行如上述的视频直播的互动方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果包括:
在未接收到第一互动指令时,直播画面中人脸脸部覆盖有第一面具图像,此时观众无法看到人脸脸部的全部区域,在接收到来自观众账号的第一互动指令后,直播画面中展示此前被第一面具图像覆盖的第一脸部区域,此时观众能够看到人脸脸部的更多区域,因此视频直播过程中主播与观众之间的互动不再是单向的,观众能够通过触发第一互动指令而获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种基于直播的互动方法的流程图;
图3是本申请实施例提供的另一种基于直播的互动方法的流程图;
图4是本申请实施例提供的再一种基于直播的互动方法的流程图;
图5是本申请实施例提供的一种基于直播的互动方法的信令交互图;
图6是本申请实施例提供的一种主播终端所展示直播画面的示意图;
图7是本申请实施例提供的另一种主播终端所展示直播画面的示意图;
图8是本申请实施例提供的一种第一面部关键点的示意图;
图9是本申请实施例提供的一种第二面部关键点的示意图;
图10本申请实施例提供的一种观众终端所展示直播画面的示意图;
图11本申请实施例提供的另一种观众终端所展示直播画面的示意图;
图12是本申请实施例提供的另一种基于直播的互动方法的信令交互图;
图13是本申请实施例提供的一种第一面具图像的示意图;
图14是本申请实施例提供的另一种第一面具图像的示意图;
图15是本申请实施例提供的又一种主播终端所展示直播画面的示意图;
图16是本申请实施例提供的再一种主播终端所展示直播画面的示意图;
图17是本申请实施例提供的又一种观众终端所展示直播画面的示意图;
图18是本申请实施例提供的再一种观众终端所展示直播画面的示意图;
图19是本申请实施例提供的又一种基于直播的互动方法的信令交互图;
图20是本申请实施例提供的还一种主播终端所展示直播画面的示意图;
图21是本申请实施例提供的还一种观众终端所展示直播画面的示意图;
图22是本申请实施例提供的再一种基于直播的互动方法的信令交互图;
图23是本申请实施例提供的一种主播终端所展示的包括第三面具图像的直播画面的示意图;
图24是本申请实施例提供的一种观众终端所展示的包括第三面具图像的直播画面的示意图;
图25是本申请实施例提供的一种基于直播的互动装置的示意图;
图26是本申请实施例提供的另一种基于直播的互动装置的示意图;
图27是本申请实施例提供的又一种基于直播的互动装置的示意图;
图28是本申请实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清除、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中术语“第一”、“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
图1是本申请实施例提供的一种基于直播的互动方法的实施环境示意图,参见图1,该实施例环境可以包括:主播终端101、服务器102和观众终端103。
服务器102通过有线或无线通信方式分别与主播终端101和观众终端103直接或间接相连接。主播终端101和观众终端103均可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音响、智能手表等,但并不局限于此。
主播终端101上安装并运行供主播直播时使用的直播类应用程序,主播终端101对直播画面进行显示,以便主播通过主播终端101开设直播间进行直播。主播终端101可以通过直播画面对获取到的视频数据进行展示,同时还可以将视频数据编码后发送给服务器102。主播终端101可以泛指多个主播终端中的一个,本实施例仅以主播终端101来举例说明。本领域技术人员可以知晓,上述主播终端的数量可以更多或更少,比如上述主播终端可以仅为一个,或者上述主播终端为几十个或几百个,或者更多数量,本申请实施例对主播终端的数量和设备类型不加以限定。
服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务器、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102可以基于主播终端101上传的音频帧和视频帧进行编码,获得视频数据,并可以接收来自各观众终端103的视频数据获取请求,进而响应视频数据获取请求将获得的视频数据分发给各观众终端103,以便各观众终端103基于接收到的视频数据进行直播。本领域技术人员可以知晓,上述服务器的数量可以更多或更少,本申请对此不加以限定。当然,服务器102还可以包括其他功能的服务器,以便提供更全面且多样化的服务。
观众终端103上可以安装并运行供观众观看直播的直播类应用程序,观众终端103可以对直播画面进行显示,以便观众通过观众终端103来观看直播。观众终端103可以将视频数据获取指令发送给服务器102,并接收服务器102返回的视频数据,进而对接收到的视频数据进行解码,得到音频帧和视频帧,并基于解码得到的音频帧和视频帧进行直播。观众终端103可以泛指多个观众终端中的一个,本实施例仅以观众终端103来举例说明。本领域技术人员可以知晓,上述观众终端的数量可以更多或更少,比如上述观众终端可以仅为一个,或者上述观众终端为几十个或几百个,或者更多数量,本申请实施例对观众终端的数量和设备类型不加以限定。
需要说明的是,除有特殊说明外,下述基于直播的互动方法实施例中涉及的主播终端可为上述的主播终端101,下述基于直播的互动方法实施例中涉及的服务器可为上述的服务器102,下述基于直播的互动方法实施例中涉及的观众终端可为上述的观众终端103。
图2是本申请实施例提供的一种基于直播的互动方法的流程图,该方法应用于主播终端,参见图2,该方法包括如下步骤:
201、主播终端展示直播间的直播画面,其中直播画面中人脸脸部覆盖有第一面具图像。
主播终端基于获取到的图像,展示直播间的直播画面。摄像设备会将所采集的图像传输给主播终端,主播终端获取到图像后,对图像进行处理。
主播终端可以通过下述任一种方式来展示直播画面。
在一种可能实现方式中,主播终端基于处理后的图像,展示人脸脸部覆盖有第一面具图像的直播画面。基于此,主播终端还会基于处理后的图像,向服务器发送视频数据,以通过服务器将视频数据发送给观众终端,以保证终端与主播终端看到相同的直播画面。
在另一种可能实现方式中,主播终端会基于处理后的图像,向服务器发送视频数据,由服务器将视频数据分发给主播终端和观众终端,此时,主播终端从服务器接收该直播间的视频数据,对接收到的视频数据进行解码,获得音频帧和视频帧,进而基于音频帧和视频帧,展示直播间的直播画面。
202、主播终端接收直播间中任一观众账号的第一互动指令。
观众终端响应于观众账号的触发,生成第一互动指令。观众终端将第一互动指令发送给服务器后,服务器将第一互动指令发送给主播终端,主播终端接收来自服务器的第一互动指令。
203、主播终端响应于第一互动指令,在直播画面中展示人脸脸部的第一脸部区域,第一脸部区域为第一面具图像所覆盖的至少部分脸部区域。
主播终端提供有至少一个面具图像,第一面具图像是其中与第一互动指令相关联的面具图像,当第一面具图像与图像中的人脸脸部纹理贴合后,人脸脸部的全部区域或部分区域被第一面具图像覆盖,使得人脸脸部被覆盖的区域不可见。例如,第一面具图像为京剧脸谱图像、舞会眼罩图像、卡通人物脸部图像或动物脸部图像等。
本申请实施例提供的方案,在接收到第一互动指令之前,直播画面中人脸脸部覆盖有第一面具图像,此时观众无法看到人脸脸部的整体区域,在接收到第一互动指令后,直播画面中展示被第一面具图像覆盖的全部或部分人脸脸部,此时观众能够看到人脸脸部的更多区域,因此视频直播过程中主播与观众之间的互动不再是单向的,观众能够通过触发第一互动指令而获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
图3是本申请实施例提供的一种基于直播的互动方法的流程图,该方法应用于观众终端,参见图3,该方法包括如下步骤:
301、观众终端展示直播间的直播画面,其中直播画面中的人脸脸部覆盖有第一面具图像。
观众终端从服务器获取视频数据,基于视频数据展示直播画面,直播画面中人脸脸部覆盖有第一面具图像,被第一面具图像覆盖的区域不可见。
需要说明的是,关于第一面具图像的相关内容,参考前述实施例步骤203。
302、观众终端响应于直播间中目标观众账号实施的操作,在直播画面中展示人脸脸部的第一脸部区域,其中第一脸部区域为第一面具图像所覆盖的至少部分脸部区域。
观众终端响应于目标观众账号实施的操作,在直播画面中展示人脸脸部的第一脸部区域,观众账号所实施的操作为触控操作、语音输入操作或手势操作等,当然观众账号还可以采用其他方式对观众终端实施操作,本申请实施例对此不加以限定。
本申请实施例提供的方案,在未接收到目标观众账号实施的操作时,观众终端所展示的直播画面中,人脸脸部的第一脸部区域被第一面具图像覆盖,此时观众无法在直播画面中看到第一脸部区域,而接收到目标观众账号实施的操作后,观众终端所展示的直播画面中,展示有人脸脸部的第一脸部区域,此时遮盖第一脸部区域的第一面具图像被揭除,观众能够看到人脸脸部的更多区域,因此,直播画面中人脸脸部的可见区域,会响应于观众实施的操作而发生改变,使得观众能够通过实施互动操作而获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
在图2所示的实施例中,原直播画面中主播脸上的某个区域覆盖有一个面具图像,而在观众触发第一互动指令后,直播画面中主播脸上不再覆盖有此前的面具图像,在另一些实施例中,参见图4,原直播画面中主播脸上未覆盖面具图像,而在观众触发第一互动指令后,直播画面中主播脸上的某个区域覆盖有一个面具图像。图4是本申请实施例提供的一种基于直播的互动方法的流程图,该方法应用于主播终端,参见图4,该方法包括如下步骤:
401、主播终端展示直播间的直播画面,其中直播画面中展示有人脸脸部的第三脸部区域。
人脸脸部的第三脸部区域,为人脸脸部的整体区域或部分区域。当第三脸部区域是人脸脸部的整体区域时,主播终端所展示直播画面中,包括有主播完整的面部容貌。当第三脸部区域是人脸脸部的部分区域时,人脸脸部除第三脸部区域以外的区域被遮盖,主播终端所展示直播画面中,包括主播部分的面部容貌。
402、主播终端接收直播间中任一观众账号的第二互动指令。
观众终端响应于观众账号的触发,生成第二互动指令。观众终端将第二互动指令发送给服务器后,服务器将第二互动指令发送给主播终端,主播终端接收来自服务器的第二互动指令。
403、主播终端响应于第二互动指令,在直播画面中人脸脸部的第三脸部区域的对应位置上,展示第三面具图像。
主播终端上提供有至少一个面具图像,第三面具图像是其中与第二互动指令相关联的面具图像。当第三面具图像与图像中的人脸脸部纹理贴合后,人脸脸部的全部或部分区域被第三面具图像覆盖,使得人脸脸部被覆盖的区域不可见。例如,第三面具图像为京剧脸谱图像、舞会眼罩图像、卡通人物脸部图像或动物脸部图像等。
本申请实施例提供的方案,在接收到第二互动指令之前,直播画面中展示有人脸脸部的第三脸部区域,此时观众能够看到第三脸部区域,在接收到第二互动指令后,直播画面中第三脸部区域被第三面具图像覆盖,此时观众无法看到第三脸部区域,因此视频直播过程中主播与观众之间的互动不在是单向的,观众能够通过触发第二互动指令而获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
图5是本申请实施例提供的一种基于直播的互动方法的信令交互图,该申请实施例以主播终端、服务器和观众终端之间的交互为例进行说明,参见图5,该方法包括:
501、主播终端获取图像,在直播间的直播画面中展示所获取的图像。
主播终端上安装并运行有直播类应用程序或具有直播功能的应用程序,主播通过这类应用程序进行直播。
在主播终端启动上述应用程序后,主播终端获取由摄像设备采集到的图像,该图像中包括主播的人脸脸部。主播终端在获取到图像后,通过直播间的直播画面展示所获取的图像。
其中,主播终端所展示的直播画面参见图6,图6是本申请实施例提供的一种主播终端所展示直播画面的示意图,该直播画面中展示有主播人脸脸部的图像。
502、主播终端在功能列表中展示面具选择按钮,该面具选择按钮用于对候选面具图像列表进行展示。
直播间提供功能列表,功能列表中展示有包括面具选择按钮在内的多个功能按钮,当用户触发面具选择按钮时,会在直播画面中展示候选面具图像列表,候选面具图像列表中包括有至少一个候选面具图像。
503、主播终端响应于对面具选择按钮的触发操作,展示候选面具图像列表,候选面具图像列表包括至少一个候选面具图像。
候选面具图像列表包括有多个面具标签,一个面具标签对应一个候选面具图像。
参见图6所示的直播画面,直播画面上展示有作为面具选择按钮的美妆按钮601,主播在该直播画面中对美妆按钮601进行触发,主播终端响应于主播对美妆按钮601的触发操作,展示候选面具图像列表,该候选面具图像列表中包括京剧脸谱602、晶莹初雪603、心机素颜604、水彩腮红605、元宿复古606等多个候选面具图像对应的面具标签。
上述候选面具图像列表是一种可能实现方式的说明,在一些实施例中,还有其他方式对供用户选择面具图像,例如候选面具图像列表中包括至少一个候选面具图像的缩略图,或者,在直播画面上展示面具选择按钮,以提供候选面具图像,而不是在功能列表中展示面具选择按钮,本申请对此不进行限定。
基于用户使用候选面具图像的次数,候选面具图像列表中的面具标签会进行相应的排序,使常用候选面具图像对应的图像标签排在列表的前部。
504、主播终端响应于任一候选面具图像被选中,将被选中的候选面具图像作为第一面具图像,对所获取图像进行处理,使该图像中人脸脸部覆盖第一面具图像。
主播终端展示候选面具图像列表后,响应于主播对任一候选面具图像的选中操作,将被选中的候选面具图像作为第一面具图像。在确定第一面具图像后,主播终端将第一面具图像,与所获取图像中人脸脸部进行纹理贴合,使第一面具图像对该图像中人脸脸部的第一脸部区域进行覆盖。
其中,参见图6,主播终端响应于京剧脸谱602被选中,将京剧脸谱602作为第一面具图像,将京剧脸谱602与所获取图像中的人脸脸部进行纹理贴合,通过京剧脸谱602对人脸脸部进行覆盖,覆盖有京剧脸谱602的人脸脸部参见图7,图7是本申请实施例提供的一种主播终端所展示直播画面的示意图。
在一种可能的实现方式中,对于所获取的图像,直播终端基于该图像的第一面部关键点,及第一面具图像的第二面部关键点,将第一面具图像与该图像中的人脸脸部进行纹理贴合,以获得人脸脸部的第一脸部区域覆盖有第一面具图像的图像。其中,第一面部关键点用于标识图像中人脸脸部的轮廓和五官,第二面部关键点用于标识第一面具图像中人脸的轮廓和五官。
由于第一面部关键点标识了图像中人脸脸部的轮廓和五官,而第二面部关键点标识了第一面具图像中人脸的轮廓和五官,主播终端基于第一面部关键点和第二面部关键点,使第一面具图像与图像中的人脸脸部相匹配,以准确地将第一面具图像与人脸脸部进行纹理贴合,以模拟出主播佩戴面具的效果,保证最终观众观看直播的效果。
其中,第一面部关键点参见图8所示,图8是本申请实施例提供的一种第一面部关键点的示意图,第一面部关键点标识图像中人脸脸部的轮廓以及眼睛、鼻子、嘴、眉毛等部位的相对位置关系。第二面部关键点参见图9所示,图9是本申请实施例提供的一种第二面部关键点的示意图,第二面部关键点标识面具图像中人脸的轮廓以及眼睛、鼻子和嘴等部位的相对位置关系。
可选地,主播终端基于第一面部关键点和第二面部关键点,将第一面具图像与人脸脸部进行纹理贴合时,主播终端通过如下步骤S1-S4实现:
S1、对于所获取的图像,获取该图像的第一面部关键点。
针对所获取的图像,主播终端基于人工智能技术,获取该图像的第一面部关键点。比如,预先训练关键点识别模型,主播终端应用关键点识别模型,获取图像的第一面部关键点。
S2、确定第一面具图像的第二面具关键点。
第一面具图像的第二面部关键点预先确定,并存储在主播终端上所安装的直播类应用程序中,主播终端读取第一面具图像的第二面部关键点。
S3、按照面部关键点的标号,将第二面部关键点映射到第一面部关键点。
第一面部关键点和第二面部关键点均有相应的标号,不同标号的面部关键点,用于标识人脸上不同的位置,而且每个标号的面部关键点,用于标识人脸上特定的位置。参见图8和图9,标号为1-7的面部关键点用于标识人脸轮廓,标号为8-13的面部关键点用于标识嘴的位置,标号为14-21的关键点用于标识两眼的位置。
主播终端基于面部关键点的标号,将每个第二面部关键点映射到与其具有相同标号的第一面部关键点。参见图8和图9,主播终端将图9中标号为1-28的第二面部关键点,顺次映射到图8中标号为1-28的第一面部关键点。
S4、根据映射结果,将第一面具图像与图像中的人脸脸部进行纹理贴合。
主播终端按照预设的关键点组合规则,基于各第一面部关键点的标号,组合出多个第一关键点组,每个第一关键点组包括三个第一面部关键点。主播终端基于各第一关键点组,对所获取图像中人脸脸部进行分割,获得多个呈三角形的第一图块,使得每个第一关键点组所包括的三个第一面部关键点,为相应第一图块的三个顶点。
主播终端按照上述的关键点组合规则,基于各第二面部关键点的标号,组合出多个第二关键点组,每个第二关键点组包括三个第二面部关键点。主播终端基于各第二关键点组,对第一面具图像进行分割,获得多个呈三角形的第二图块,使得每个第二关键点组所包括的三个第二面部关键点,为相应第二图块的三个顶点,其中,各个第二图块之间没有重合区域,。
主播终端根据映射结果,分别确定每个第二图块所关联的第一图块,第二图块的三个顶点分别与相关联第一图块的三个顶点相映射。针对每一个第二图块,主播终端对该第二图块进行缩放变形,使缩放变形后的该第二图块,与相关联的第一图块具有相同的形状和尺寸,将缩放边后的该第二图块,与其相关联的第一图块进行纹理贴合,使该第二图块的每个顶点与第一图块上相映射的顶点重合。
例如,将图9中标号为1、2和14的三个第二面部关键点组合为第二关键点组,进而基于该第二关键点组,将图9中以标号为1、2和14的三个第二面部关键点为顶点的三角形,作为一个第二图块1。相应地,将图8中标号为1、2和14的三个第一面部关键点组合为第一关键点组1,进而基于该第一关键点组,将图8中以标号为1、2和14的三个第一面部关键点为顶点的三角形,作为一个第一图块1。通过对第二图块1进行缩放变形,使第二图块1与第一图块1具有相同的形状和尺寸,进而将缩放变形后的第二图块1,与第一图块1进行纹理贴合,使第二图块1上标号为1、2和14的顶点,分别为第一图块1上标号为1、2和14的顶点重合。
主播终端根据第一面部关键点和第二面部关键点之间的映射结果,将第一面具图像划分成多个第二图块,通过对第二图块进行缩放变形后与人脸脸部的相应区域进行纹理贴合,使得将第一面具图像贴合到图像中人脸脸部后,主播的人脸脸部具有佩戴面具的效果,提升面具佩戴效果的真实性。
需要说明的是,上述进行纹理贴合的方式只是其中一种可能的实现方式,在一些实施例中,还有其他的方式将第一面具图像,与所获取图像中的人脸脸部进行纹理贴合,例如基于第二面部关键点将第一面具图像分割成多个呈四边形的图像块,之后将四边形的图像块与人脸脸部进行纹理贴合等,本申请对此不进行限定。
505、主播终端在直播画面中展示覆盖有第一面具图像的人脸脸部。
主播终端在获取到人脸脸部覆盖有第一面具图像的图像后,在直播画面中展示所获取的图像。
其中,主播终端在直播画面中展示处理后图像可参见图7,主播终端在直播画面中展示人脸脸部被京剧脸谱覆盖的图像。
506、主播终端基于处理后的图像,向服务器发送视频数据。
主播终端在对获取到的图像进行处理,获得人脸脸部覆盖有第一面具图像的图像后,主播终端基于获得的图像向服务器发送视频数据,该视频数据中的图像中,人脸脸部覆盖有第一面具图像。
主播终端对获取到的图像进行处理,使得处理后图像中人脸脸部覆盖有第一面具图像。主播终端对处理后的图像进行编码,获得视频数据,通过有线或无线通信方式,将视频数据发送给服务器。主播终端在对图像进行编码时,采用通用的编码格式,比如H265、H264等。主播终端和服务器之间,建立一个长连接(WebSocket),以实现主播终端与服务器之间的通信。
需要说明的是,步骤505和步骤506可以是同步执行或者按照当前顺序执行,又或者是先执行步骤506再执行步骤505。
507、服务器接收来自主播终端的视频数据。
508、服务器将接收到的视频数据发送给观众终端。
服务器接收到来自主播终端的视频数据后,通过有线或无线通信方式,将接收到的视频数据发送给观众终端。观众终端是登录有直播间中观众账号的终端。
509、观众终端接收来自服务器的视频数据。
510、观众终端基于接收到的视频数据,展示直播画面,直播画面中展示有被第一面具图像覆盖的人脸脸部。
观众终端在接收到来自服务器的视频数据后,基于所接收到的视频数据展示直播画面,使得观众通过观众终端看到主播的直播内容。观众终端所展示的直播画面中,人脸脸部覆盖有第一面具图像,此时观众无法看到主播人脸脸部的整体区域。
其中,观众终端所展示的直播画面参见图10,图10是本申请实施例提供的一种观众终端所展示直播画面的示意图,在该直播画面上展示覆盖有京剧脸谱图像的人脸脸部。
511、观众终端响应于观众在直播间内的虚拟礼物赠送操作,向服务器发送第一互动指令。
观众终端在直播画面中展示有虚拟礼物赠送按钮,虚拟礼物赠送按钮用于使观众实现虚拟礼物赠送操作。主播终端在展示直播画面过程中,响应于观众对虚拟礼物赠送按钮的触发操作,生成第一互动指令,将所生成的第一互动指令发送给服务器。
需要说明的是,上述是以观众终端响应于虚拟礼物赠送操作,向服务器发送第一互动指令为例,在一些实施例中,观众终端响应于其他类型的操作,向服务器发送第一互动指令,或者,观众终端响应于赠送不同虚拟礼物的虚拟礼物赠送操作,向服务器发送相应的第一互动指令。比如,观众终端响应于点赞操作或发表评论操作,向服务器发送第一互动指令,点赞操作用于为主播的直播内容点赞,发表评论操作用于发表可被主播和各观众看到的评论文字和表情。
观众终端响应于虚拟礼物赠送操作、点赞操作或发表评论操作,向服务器发送相应的第一互动指令,或者,观众终端响应于赠送不同虚拟礼物的虚拟礼物赠送操作,向服务器发送相应的第一互动指令,使观众能够通过多种互动操作触发第一互动指令,从而可以提升观众观看视频直播的趣味性。
其中,参见图10所示的直播画面,该直播画面上展示有评论框1001、虚拟礼物赠送按钮1002和点赞按钮1003。观众对评论框1001进行触发后,观众在该评论框1001内输入评论文字和表情图标,观众终端响应于观众对评论框1001的触发操作,将观众输入的评论文字和表情图标发送至服务器,服务器将所接收到的评论文字和表情图标,转发给主播终端和其他的观众终端,使得主播终端和各观众终端,在直播画面中展示所接收到的评论文字和表情图标。观众对虚拟礼物赠送按钮1002进行触发后,观众终端响应于观众对虚拟礼物赠送按钮1002的触发操作,向服务器发送虚拟礼物赠送指令,服务器响应于所接收到的虚拟礼物赠送指令,向主播终端登录的主播账号赠送虚拟礼物。观众对点赞按钮1003进行触发后,观众终端响应于观众对点赞按钮1003的触发,向服务器发送点赞指令,服务器将所接收到的点赞指令,转发给主播终端和各观众终端,使得主播终端和各观众终端,均在均值画面中展示对主播的点赞特效。
512、服务器接收来自观众终端的第一互动指令。
513、服务器将接收到的第一互动指令发送给主播终端。
514、主播终端响应于第一互动指令,停止对所获取的图像进行处理。
主播终端响应于来自服务器的第一互动指令,停止对所获取的图像进行处理,以在直播画面中展示人脸脸部的整体区域。
515、主播终端基于所获取的图像,展示直播画面,直播画面中展示有人脸脸部的整体区域。
从所获取的当前帧图像开始,主播终端在直播画面中展示该图像,使得直播画面中展示有主播人脸脸部的整体区域。
主播终端在未接收到第一互动指令之前,通过对所获取的图像进行处理,使得该图像中的人脸脸部覆盖有第一面具图像,之后在直播画面中展示该图像,此时直播画面中人脸脸部覆盖有第一面具图像,无法看到人脸脸部的整体区域。主播终端在接收到第一互动指令之后,从接收到第一互动指令的当前时刻开始,在直播画面中展示所获取的图像,此时直播画面中人脸脸部不再被第一面具图像覆盖,能够看到人脸脸部的整体区域。
由于观众终端与主播终端所展示的直播画面相同,观众在执行互动操作之前,直播画面中仅能够看到人脸脸部的部分区域,而在执行互动操作之后,直播画面中能够看到人脸脸部的整体区域,因此,观众终端的直播画面,基于观众执行的互动操作发生了改变,使得观众在执行互动操作之后看到主播的真实面容,提升了视频直播的趣味性,并可以提高用户交互效率,也提升观众观看视频直播的体验。
其中,主播终端响应于第一互动指令所展示的直播画面参见图6,此时直播画面中人脸脸部未被面具图像覆盖,与主播未选择面具图像进行蒙面时的直播画面相同。
516、主播终端基于所获取的图像,向服务器发送视频数据。
需要说明的是,步骤514和步骤515可以是同步执行或者按照当前顺序执行,又或者是先执行步骤515再执行步骤514。
517、服务器接收来自主播终端的视频数据。
518、服务器将接收到的视频数据发送给观众终端。
519、观众终端接收来自服务器的视频数据。
520、观众终端基于接收到的视频数据,展示直播画面,直播画面中展示有人脸脸部的整体区域。
观众终端接收到来自服务器的视频数据后,基于所接收到的视频数据,展示直播画面,以在直播画面中展示人脸脸部的整体区域。观众终端所接收到的视频数据中的图像,由于并未被面具图像遮盖人脸脸部,因此观众终端所展示的直播画面中人脸脸部未被面具图像覆盖,此时观众能够看到人脸脸部的整体区域。
其中,观众终端所展示的直播画面参见图11,图11是本申请实施例提供的另一种观众终端所展示直播画面的示意图,在该直播画面中展示有主播人脸脸部的整体区域。
在本申请实施例中,观众向主播赠送虚拟礼物之前,直播画面中主播人脸脸部被第一面具图像覆盖,观众无法看到主播的真实面容,观众向主播赠送虚拟礼物之后,直播画面中展示有主播人脸脸部的全部区域,观众能够看到主播的真实面容,因此视频直播过程中主播与观众之间的互动不再是单向的,观众能够通过赠送虚拟礼物而获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
在一些实施例中,终端还能够响应于该第一互动指令,在该直播画面中展示该人脸脸部的第一脸部区域从被遮挡到不被遮挡的特效动画,也即是,人脸脸部脱掉面具的过程,这种展示方式可以提供一个人脸浮现的过程,让观众有更加真实、直观的观看体验,大大提高了视觉体验。
在图5所示的实施例中,原直播画面中主播脸上的某个区域覆盖有一个面具图像,而在观众触发第一互动指令后,直播画面中主播脸上不再覆盖有此前的面具图像,使得直播画面中展示主播人脸的整体区域,在另一些实施例中,参见图12,原直播画面中主播脸上覆盖有第一面具图像,而在观众触发第一互动指令后,直播画面中展示主播脸上此前被第一面具图像覆盖的某一部分区域。图12是本申请实施例提供的另一种基于直播的互动方法的信令交互图,该申请实施例以主播终端、服务器和观众终端之间的交互为例进行说明,参见图12,该方法包括:
1201、主播终端获取图像,在直播间的直播画面中展示所获取的图像。
1202、主播终端在功能列表中展示面具选择按钮,该面具选择按钮用于对候选面具图像列表进行展示。
1203、主播终端响应于对面具选择按钮的触发操作,展示包括至少一个候选面具图像的候选面具图像列表。
1204、主播终端响应于任一候选面具图像被选中,将被选中的候选面具图像作为第一面具图像,基于第一面具图像对所获取的图像进行处理,使该图像中人脸脸部覆盖第一面具图像,第一面具图像包括至少两个子面具图像。
需要说明的是,第一面具图像包括至少两个子面具图像,不同子面具图像具有公共图像区域,或者不同子面具图像部包括公共图像区域。
其中,图13为本申请实施例提供的一种第一面具图像的示意图,图14为本申请实施例提供的另一种第一面具图像的示意图。参见图13,第一面具图像由子面具图像1301、子面具图像1302和子面具图像1303组成。参见图14,第一面具图像由子面具图像1401和子面具图像1402组成。
1205、主播终端在直播画面中展示覆盖有第一面具图像的人脸脸部。
1206、主播终端基于处理后的图像,向服务器发送视频数据。
1207、服务器接收来自主播终端的视频数据。
1208、服务器将接收到的视频数据发送给观众终端。
1209、观众终端接收来自服务器的视频数据。
1210、观众终端基于接收到的视频数据,展示直播画面,直播画面中展示有被第一面具图像覆盖的人脸脸部。
需要说明的是,上述步骤1201-1210参考前述实施例中步骤501-510。
1211、观众终端响应于观众在直播间内的虚拟礼物赠送操作,向服务器发送与目标子面具相关联的第一互动指令。
观众终端响应于观众的不同互动操作,生成不同的第一互动指令,不同的第一互动指令与第一面具图像中不同的子面具相关联。
在一种可能的实现方式中,观众在观众终端上所执行的触发操作为虚拟礼物赠送操作、点赞操作或发表评论操作,观众终端响应于虚拟礼物赠送操作会生成互动指令1,观众终端响应于点赞操作会生成互动指令2,观众终端响应于发表评论操作会生成互动指令3。参见图13,互动指令1与第一面具图像包括的子面具图像1301相关联,互动指令2与第一面具图像包括的子面具图像1302相关联,互动指令3与第一面具图像包括的子面具图像1303相关联。
观众终端响应于虚拟礼物赠送操作,将互动指令1作为第一互动指令后,将第一互动指令发送给服务器,此时第一面具图像中的子面具图像1301为目标子面具图像。
在另一种可能的实现方式中,观众在观众终端上所执行的触发操作为虚拟礼物赠送操作,观众终端响应于赠送不同虚拟礼物的虚拟礼物操作,生成不同的互动指令,不同的互动指令与第一面具图像中不同的子面具图像相关联。通过将所赠送的虚拟礼物与子面具图像关联起来,观众赠送不同虚拟礼物时,可以揭除人脸脸部上覆盖的不同子面具图像,以看到主播面部的不同区域,从而增加互动的多样性和趣味性。
例如,观众1向主播赠送虚拟礼物1,观众终端响应于观众1赠送虚拟礼物1的操作而生成互动指令4,观众2向主播赠送虚拟礼物2,观众终端响应于观众2赠送虚拟礼物2的操作而生成互动指令5。参见图14,子面具图像1401与互动指令4相关联,子面具图像1402与互动指令5相关联。
1212、服务器接收来自观众终端的第一互动指令。
1213、服务器将接收到的第一互动指令发送给主播终端。
需要说明的是,上述步骤1211-1213参考前述实施例中步骤511-513。
1214、主播终端响应于第一互动指令,确定第一面具图像中与第一互动指令相关联的目标子面具图像。
主播终端响应于接收到的第一互动指令,从第一面具图像所包括的各子面具图像中,确定与第一互动指令相关联的目标子面具图像。
1215、主播终端基于第一面具图像中除目标子面具图像以外的子面具图像,对所获取的图像进行处理,使该图像中人脸脸部未被目标子面具图像覆盖。
主播终端基于目标子面具图像,确定第三面部关键点,该第三面部关键点用于标识第一面具图像中,除目标子面具图像以外的子面具图像中人脸的轮廓和五官。
主播终端从所获取的当前帧图像开始,基于该图像的第一面部关键点和第一面具图像的第三面部关键点,将第一面具图像中除目标子面具图像以外的子面具图像,与该图像中的人脸脸部进行纹理贴合,以使该图像中人脸脸部未被目标子面具图像覆盖。
其中,主播终端响应于接收到互动指令1,参见图13,将子面具图像1301确定为目标子面具图像,将第一面具图像中除子面具图像1301之外的面具图像,与视频数据中图像的人脸脸部进行纹理贴合,获得所包括人脸脸部被子面具图像1302和子面具图像1303覆盖的图像。主播终端响应于接收到的互动指令4,参见图14,将子面具图像1401确定为目标子面具图像,将第一面具图像中除子面具图像1401之外的面具图像,与视频数据中图像的人脸脸部进行纹理贴合,获得所包括人脸脸部被子面具图像1402覆盖的图像。
需要说明的是,将除目标子面具图像以外的各子面具图像,与人脸脸部进行纹理贴合的过程,参考前述实施例中步骤504。
1216、主播终端展示直播画面,直播画面中人脸脸部未被目标子面具图像覆盖。
主播终端获取到所包括人脸脸部未被目标子面具图像覆盖的图像后,在直播画面中展示获取到的图像。
其中,主播终端响应于接收到的互动指令1,对视频数据中的图像进行处理,主播终端的直播画面参见图15,图15申请实施例提供的一种主播终端所展示直播画面的示意图,在该直播画面中第一面具图像中,子面具图像1301并未覆盖人脸脸部,主播额头部位的面容可见。主播终端响应于接收到的互动指令4,对视频数据中的图像进行处理,主播终端的直播画面参见图16,图16是本申请实施例提供的另一种主播终端所展示直播画面的示意图,在该直播画面中第一面具图像中,子面具图像1401并未覆盖人脸脸部,主播左半边脸的面容可见。
1217、主播终端基于所包括人脸脸部未被目标子面具图像覆盖的图像,向服务器发送视频数据。
1218、服务器接收来自主播终端的视频数据。
1219、服务器将接收到的视频数据发送给观众终端。
1220、观众终端接收来自服务器的视频数据。
需要说明的是,上述步骤1217-1220参考前述实施例中步骤516-519。
1221、观众终端基于接收到的视频数据,展示直播画面,直播画面中人脸脸部未被目标子面具图像覆盖。
观众终端接收到来自服务器的视频数据后,基于视频数据中的图像展示直播画面,直播画面中人脸脸部未被目标子面具图像覆盖,人脸脸部被除目标子面具图像之外的其他子面具图像覆盖。
其中,观众终端响应观众1的虚拟礼物赠送操作,向服务器发送互动指令1时,观众终端所展示的直播画面可参见图17,图17为本申请实施例提供的一种观众终端所展示直播画面的示意图,在该直播画面中,第一面具图像中的子面具图像1301未覆盖人脸脸部,此时观众能够看到主播额头部位的面容。观众终端响应于观众2向主播赠送虚拟礼物1的操作,向服务器发送互动指令4时,观众终端所展示的直播画面参见图18,图18为本申请实施例提供的另一种观众终端所展示直播画面的示意图,在该直播画面中,第一面具图像中的子面具图像1401未覆盖人脸脸部,此时观众能够看到主播左边脸的面容。
在一些实施例中,终端还能够响应于该第一互动指令,在该直播画面中展示该人脸脸部的相应脸部区域从被遮挡到不被遮挡的特效动画,也即是,人脸脸部脱掉部分面具的过程,这种展示方式可以提供一个人脸浮现的过程,让观众有更加真实、直观的观看体验,大大提高了视觉体验。
在本申请实施例中,观众向主播赠送虚拟礼物之前,直播画面中主播人脸脸部被第一面具图像覆盖,观众无法看到主播人脸脸部被第一面具图像覆盖的区域,观众向主播赠送虚拟礼物之后,直播画面中第一面具图像包括的目标子面具图像不再覆盖主播人脸脸部,观众能够看到此前被目标子面具图像覆盖的主播面容,因此视频直播过程中主播与观众之间的互动不再是单向的,观众能够通过赠送虚拟礼物而获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
在图12所示的实施例中,原直播画面中主播脸上覆盖有第一面具图像,而在观众触发第一互动指令后,直播画面中展示主播脸上此前被第一面具图像覆盖的某一部分区域,在另一些实施例中,参见图19,原直播画面中主播脸上的某个区域覆盖有一个面具图像,而在观众执行虚拟礼物赠送操作后,直播画面中主播脸上不在覆盖有之前的面具图像,而是在主播脸上的不同区域新增了一个面具图像。图19是本申请实施例提供的又一种基于直播的互动方法的信令交互图,该申请实施例以主播终端、服务器和观众终端之间的交互为例进行说明,参见图19,该方法包括:
1901、主播终端获取图像,在直播间的直播画面中展示所获取的图像。
1902、主播终端在功能列表中展示面具选择按钮,该面具选择按钮用于对候选面具图像列表进行展示。
1903、主播终端响应于对面具选择按钮的触发操作,展示包括至少一个候选面具图像的候选面具图像列表。
1904、主播终端响应于任一候选面具图像被选中,将被选中的候选面具图像作为第一面具图像,基于第一面具图像对所获取的图像进行处理,使该图像中人脸脸部的第一脸部区域,被第一面具图像覆盖。
主播终端响应于主播的触发操作,对所获取的图像进行处理,使该图像中人脸脸部覆盖有第一面具图像,即该图像中人脸脸部的第一脸部区域,被第一面具图像所覆盖,该图像中人脸脸部的第二脸部区域部分或全部可见。
例如,第一面具图像为京剧脸谱的右半边,第二面具图像为京剧脸谱的左半边,主播终端响应于主播的触发操作,对视频数据中的图像进行处理,该图像中人脸脸部的右半边脸被第一面具图像覆盖,该图像中人脸脸部的左半边脸可见,处理后图像可参见图16中人脸脸部的图像。
1905、主播终端在直播画面中展示覆盖有第一面具图像的人脸脸部。
其中,主播终端基于所包括人脸脸部被第一面具图像覆盖的图像,展示直播画面,该直播画面参见图16,在该直播画面中人脸脸部的右半边脸的容貌,由于被第一面具图像覆盖而不可见,人脸脸部的左半边脸的容貌可见。
1906、主播终端基于处理后的图像,向服务器发送视频数据。
1907、服务器接收来自主播终端的视频数据。
1908、服务器将接收到的视频数据发送给观众终端。
1909、观众终端接收来自服务器的视频数据。
1910、观众终端基于接收到的视频数据,展示直播画面,直播画面中展示有覆盖第一面具图像的人脸脸部。
观众终端基于接收到的视频数据,展示直播画面,在该直播画面中人脸脸部的第一脸部区域,被第一面具图像覆盖。
其中,观众终端所展示的直播画面参见图18,在该直播画面中人脸脸部的右半边脸的容貌,由于被第一面具图像覆盖而不可见,人脸脸部的左半边脸的容貌可见。
1911、观众终端响应于观众在直播间内的虚拟礼物赠送操作,向服务器发送第一互动指令。
1912、服务器接收来自观众终端的第一互动指令。
1913、服务器将接收到的第一互动指令发送给主播终端。
1914、主播终端响应于第一互动指令,停止基于第一面具图像对所获取的图像进行处理。
需要说明的是,上述步骤1901-1914参考前述实施例中步骤501-514。
1915、主播终端基于与第一互动指令相关联的第二面具图像,对所获取视频数据中的图像进行处理,使该图像中人脸脸部的第二脸部区域被第二面具图像覆盖。
主播终端响应于接收到的第一互动指令,从所获取的当前帧图像开始,将第二面具图像与该图像中的人脸脸部进行纹理贴合,以获得人脸脸部的第二脸部区域被第二面具图像覆盖的图像。
其中,覆盖有第二面具图像的人脸脸部,参见图20中的人脸脸部,图20为本申请实施例提供的一种主播终端所展示直播画面的示意图,该直播画面中人脸脸部的左半边脸的容貌可见,人脸脸部的右半边脸的容貌,由于被第二面具图像覆盖而不可见。
需要说明的是,将第二面具图像与人脸脸部进行纹理贴合,参考前述实施例中将第一面具图像与人脸脸部进行贴合的描述,具体参考前述实施例中步骤504。
1916、主播终端展示直播画面,直播画面中人脸脸部覆盖有第二面具图像。
主播终端获取到所包括人脸脸部被第二面具图像覆盖的图像后,在直播画面中展示获取到的图像。
其中,主播终端所展示的直播画面可参见图20。
1917、主播终端基于人脸脸部被第二面具图像覆盖的图像,向服务器发送视频数据。
1918、服务器接收来自主播终端的视频数据。
1919、服务器将接收到的视频数据发送给观众终端。
1920、观众终端接收来自服务器的视频数据。
需要说明的是,上述步骤1917-1920参考前述实施例中步骤516-519。
1921、观众终端基于接收到的视频数据,展示直播画面,直播画面中人脸脸部被第二面具图像覆盖。
观众终端接收到来自服务器的视频数据后,基于视频数据中的图像展示直播画面,直播画面中人脸脸部的第二脸部区域被第二面具图像覆盖。
其中,观众终端所展示的直播画面可参见图21,图21为本申请实施例提供的一种观众终端所展示直播画面的示意图,在该直播画面中人脸脸部的左半边脸的容貌,由于被第二面具图像覆盖而不可见,而人脸脸部的右半边脸的容貌可见。
在本申请实施例中,观众向主播赠送虚拟礼物之前,直播画面中人脸脸部的第一脸部区域被第一面具图像覆盖,观众无法看到第一脸部区域,但能够看到人脸脸部的第二脸部区域,观众向主播赠送虚拟礼物之后,直播画面中第二脸部区域被第二面具图像覆盖,观众无法看到第二脸部区域,但能够看到第一脸部区域,因此视频直播过程中主播与观众之间的互动不再是单向的,观众能够通过赠送虚拟礼物而获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
在图5、图12和图19所示的实施例中,原直播画面中主播脸上的某一区域覆盖有一个面具图像,而在观众触发第一互动指令后,直播画面中展示主播脸上此前被第一面具图像覆盖的全部或部分区域,在另一些实施例中,参见图22,原直播画面中主播脸上未被面具图像覆盖,而在观众触发第二互动指令后,直播画面中主播脸上的某一区域覆盖有一个面具图像。图22是本申请实施例提供的再一种基于直播的互动方法的信令交互图,该申请实施例以主播终端、服务器和观众终端之间的交互为例进行说明,参见图22,该方法包括:
2201、主播终端获取图像,在直播间的直播画面中展示所获取的图像。
需要说明的是,步骤2201参考前述实施例中步骤501。
2202、主播终端基于获取到的图像,向服务器发送视频数据。
需要说明的是,步骤2201和步骤2202可以是同步执行或者按照当前顺序执行,又或者是先执行步骤2202再执行步骤2201。
2203、服务器接收来自主播终端的视频数据。
2204、服务器将接收到的视频数据发送给观众终端。
2205、观众终端接收来自服务器的视频数据。
2206、观众终端基于接收到的视频数据,展示直播画面,直播画面中展示有人脸脸部的整体区域。
需要说明的是,步骤2202-2206参考前述实施例中步骤516-520。
其中,观众终端所展示的直播画面参见图11,该直播画面中展示有人脸脸部的整体区域。
2207、观众终端响应于观众在直播间内的虚拟礼物赠送操作,向服务器发送第二互动指令。
需要说明的是,观众终端向服务器发送第二互动指令,参考前述实施例中观众终端向服务器发送第一互动指令,具体参考前述实施例中的步骤510。
2208、服务器接收来自观众终端的第二互动指令。
2209、服务器将接收到的第二互动指令发送给主播终端。
需要说明的是,步骤2208-2209参考前述实施例中的步骤512-513。
2210、主播终端响应于第二互动指令,对所获取的图像进行处理,使该图像中人脸脸部覆盖第三面具图像。
主播终端提供有至少一个面具图像,第三面具图像是其中与第二互动指令相关联的面具图像,当第三面具图像与图像中的人脸脸部纹理贴合后,人脸脸部的全部区域或部分区域被第三面具图像覆盖,使得人脸脸部被覆盖的区域不可见。例如,第一面具图像为京剧脸谱图像、舞会眼罩图像、卡通人物脸部图像或动物脸部图像等。
主播终端响应于第二互动指令,将第三面具图像与所获取图像中的人脸脸部进行纹理贴合,使该图像中人脸脸部覆盖有第三面具图像。
其中,覆盖有第三面具图像的人脸脸部可参见图23,图23是本申请实施例提供的一种主播终端所展示直播画面的示意图,在该直播画面中人脸脸部被第三面具图像覆盖,第三面具图像为猪鼻子图案。
需要说明的是,将第三面具图像与所获取图像中的人脸脸部进行纹理贴合,使得图像中人脸脸部覆盖有第三面具图像,参考前述实施例中将第一面具图像与所获取图像中人脸脸部进行纹理贴合的描述,具体参考前述实施例中步骤504。
2211、主播终端在直播画面中展示覆盖有第三面具图像的人脸脸部。
其中,主播终端响应于第二互动指令,在直播画面中展示覆盖有第三面具图像的人脸脸部,所展示的直播画面可参见图23,在该直播画面中人脸脸部的鼻子区域被第三面具图像覆盖。
2212、主播终端基于处理后的图像,向服务器发送视频数据。
2213、服务器接收来自主播终端的视频数据。
2214、服务器将接收到的视频数据发送给观众终端。
2215、观众终端接收来自服务器的视频数据。
需要说明的是,步骤2212-2215参考前述实施例中的步骤506-509。
2216、观众终端基于接收到的视频数据,展示直播画面,直播画面中展示有被第三面具图像覆盖的人脸脸部。
观众终端接收到来自服务器的视频数据后,基于视频数据中的图像展示直播画面,直播画面中人脸脸部被第三面具图像覆盖。
其中,观众终端所展示的直播画面可参见图24,图24是本申请实施例提供的一种观众终端所展示直播画面的示意图,在该直播画面中人脸脸部的鼻子区域被第三面具图像覆盖。
在本申请实施例中,在观众执行互动操作之前,观众终端所展示的直播画面中包括人脸脸部的整体区域,此时观众能够看到主播完整的面部容貌,在观众执行互动操作之后,观众终端所展示的直播画面中,人脸脸部覆盖有第三面具图像,此时主播人脸脸部的部分区域被第三面具覆盖,一方面使得观众的互动操作能够得到反馈,提高用户交互效率,另一方面观众可以在主播的面部图像上覆盖恶搞面具图像,有助于提升视频直播的趣味性,因此能够提升观众观视频直播的体验。
在上述任一实施例中,终端还能够响应于接收到的互动指令,在该直播画面中展示该人脸脸部的相应脸部区域从被遮挡到不被遮挡的特效动画,或者从不被遮挡到被遮挡的特效动画,让观众有更加真实、直观的观看体验,大大提高了视觉体验。
需要说明的是,上述各个方法实施例中所有的可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图25是本申请实施例提供的一种基于直播的互动装置的结构图,参见图25,该装置包括:
第一展示模块2501,用于展示直播间的直播画面,直播画面中的人脸脸部覆盖有第一面具图像;
接收模块2502,用于接收直播间中任一观众账号的第一互动指令;
第一展示模块2501,还用于响应于接收模块2502接收到的第一互动指令,在直播画面中展示人脸脸部的第一脸部区域,第一脸部区域为第一面具图像所覆盖的至少部分脸部区域。
本申请实施例提供的装置,通过接收来自观众账号的第一互动指令,在接收第一互动指令之前,在直播画面中展示覆盖有第一面具图像的人脸脸部,在接收到第一互动指令之后,在直播画面中展示此前被第一面具图像覆盖的部分或全部脸部区域,使得观众能够通过互动操作,揭除直播画面中主播面部的面具,得以看到主播的面貌,因此视频直播过程中主播与观众之间的互动不再是单向的,观众能够通过触发第一互动指令而获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
在一种可能的实现方式中,该装置还包括:图像处理模块;
图像处理模块,用于对于获取到的图像,基于图像的第一面部关键点和第一面具图像的第二面部关键点,将第一面具图像与图像中的人脸脸部进行纹理贴合;
该第一展示模块2501,用于在直播画面中展示经过图像处理模块纹理贴合后的人脸脸部;
其中,第一面部关键点用于标识图像中人脸脸部的轮廓和五官,第二面部关键点用于标识第一面具图像中人脸的轮廓和五官。
在一种可能的实现方式中,图像处理模块,用于执行如下处理:
对于获取到的图像,获取图像的第一面部关键点;
将第一面具图像的第二面部关键点映射到图像的第一面部关键点;
根据映射结果,将第一面具图像与图像中的人脸脸部进行纹理贴合。
在一种可能的实现方式中,该第一展示模块2501,用于在直播画面中展示人脸脸部的整体区域。
在一种可能的实现方式中,该第一展示模块2501,用于在直播画面中展示获取到的图像。
在一种可能的实现方式中,第一面具图像包括至少两个子面具图像,不同的子面具图像与不同的互动指令相关联;
该第一展示模块2501,用于在直播画面中展示人脸脸部上被目标子面具图像覆盖的脸部区域,目标子面具图像为与第一互动指令相关联的子面具图像。
在一种可能的实现方式中,该第一展示模块2501,用于执行如下处理:
基于所获取到图像的第一面部关键点,及第一面具图像的第三面部关键点,将第一面具图像中除目标子面具图像以外的子面具图像,与所获取到图像中的人脸脸部进行纹理贴合;
在直播画面中展示经过纹理贴合后的人脸脸部;
其中,第一面部关键点用于标识所获取到图像中人脸脸部的轮廓和五官,第三面部关键点用于标识第一面具图像中除目标子面具图像以外的子面具图像中人脸的轮廓和五官。
在一种可能的实现方式中,该第一展示模块2501,还用于响应于第一互动指令,在直播画面中人脸脸部的第二脸部区域的对应位置上,展示第二面具图像。
在一种可能的实现方式中,第一互动指令由观众账号的互动操作触发,互动操作为虚拟礼物赠送操作、点赞操作或发表评论操作,用于赠送不同虚拟礼物的虚拟礼物赠送操作对应不同的第一互动指令,不同的第一互动指令对应人脸脸部的不同脸部区域。
在一种可能的实现方式中,该第一展示模块2501还用于响应于所述第一互动指令,在所述直播画面中展示所述人脸脸部的第一脸部区域从被遮挡到不被遮挡的特效动画。
需要说明的是,本申请实施例提供的装置应用于主播终端,本申请实施例中各模块可以执行上述各方法实施例中由主播终端执行的处理,因此各模块的具体处理过程可参见上述各方法实施例中的描述,在此不再进行赘述。
图26是本申请实施例提供的一种基于直播的互动装置的结构图,参见图26,该装置包括:
第二展示模块2601,用于展示直播间的直播画面,直播画面中的人脸脸部覆盖有第一面具图像;
第二展示模块2601,还用于响应于直播间中目标观众账号实施的操作,在直播画面中展示人脸脸部的第一脸部区域,第一脸部区域为第一面具图像所覆盖的至少部分脸部区域。
在本申请实施例中,在目标观众账号未实施操作时,直播画面展示覆盖有第一面具图像的人脸脸部,在目标观众账号实施操作后,直播画面中被第一面具图像覆盖的部分或全部脸部区域,使得观众能够通过互动操作揭除主播面部的面具,得以看到主播的面貌,使得视频直播过程中观众的互动操作能够得到反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
需要说明的是,本申请实施例提供的装置应用于观众终端,本申请实施例中各模块可以执行上述各方法实施例中由观众终端执行的处理,因此各模块的具体处理过程可参见上述各方法实施例中的描述,在此不再进行赘述。
图27是本申请实施例提供的又一种基于直播的互动装置的结构图,参见图27,该装置包括:
第三展示模块2701,用于展示直播间的直播画面,直播画面中展示有人脸脸部的第三脸部区域;
指令接收模块2702,用于接收直播间中任一观众账号的第二互动指令;
第三展示模块2701,还用于响应于指令接收模块2702接收到的第二互动指令,在直播画面中人脸脸部的第三脸部区域的对应位置上,展示第三面具图像。
在本申请实施例中,通过接收来自观众账号的第二互动指令,在接收到第二互动指令之前,在直播画面中展示人脸脸部的全部区域,此时观众可看到主播面部的全部区域,在接收到第二互动指令之后,在直播画面中展示覆盖有第三面具图像的人脸脸部,此时观众只能看到主播面部的部分区域或看不到主播面部,因此视频直播过程中主播与观众之间的互动不再是单向的,观众能够通过触发第二互动指令而获得相应的反馈,从而提高用户交互效率,也提升观众观看视频直播的体验。
本申请实施例提供了一种计算机设备,用于执行上述各实施例提供的方法,该计算机设备可以实现为终端,下面对终端的结构进行介绍:
图28是本申请实施例提供的一种终端的结构示意图。该终端2800可以是:智能手机、平板电脑、笔记本电脑或台式电脑。终端2800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端2800包括有:一个或多个处理器2801和一个或多个存储器2802。
处理器2801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器2801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器2801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器2801可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器2801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器2802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器2802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器2802中的非暂态的计算机可读存储介质用于存储至少一个计算机程序,该至少一个计算机程序用于被处理器2801所执行以实现本申请中方法实施例提供的基于直播的互动方法。
在一些实施例中,终端2800还可选包括有:***设备接口2803和至少一个***设备。处理器2801、存储器2802和***设备接口2803之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口2803相连。具体地,***设备包括:射频电路2804、显示屏2805、摄像头组件2806、音频电路2807、定位组件2808和电源2809中的至少一种。
***设备接口2803可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器2801和存储器2802。在一些实施例中,处理器2801、存储器2802和***设备接口2803被集成在同一芯片或电路板上;在一些其他实施例中,处理器2801、存储器2802和***设备接口2803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路2804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路2804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路2804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路2804包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。
显示屏2805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏2805是触摸显示屏时,显示屏2805还具有采集在显示屏2805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器2801进行处理。此时,显示屏2805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。
摄像头组件2806用于采集图像或视频。可选地,摄像头组件2806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。
音频电路2807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器2801进行处理,或者输入至射频电路2804以实现语音通信。
定位组件2808用于定位终端2800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。
电源2809用于为终端2800中的各个组件进行供电。电源2809可以是交流电、直流电、一次性电池或可充电电池。
在一些实施例中,终端2800还包括有一个或多个传感器2810。该一个或多个传感器2810包括但不限于:加速度传感器2811、陀螺仪传感器2812、压力传感器2813、指纹传感器2814、光学传感器2815以及接近传感器2816。
加速度传感器2811可以检测以终端2800建立的坐标系的三个坐标轴上的加速度大小。
陀螺仪传感器2812可以终端2800的机体方向及转动角度,陀螺仪传感器2812可以与加速度传感器2811协同采集用户对终端2800的3D动作。
压力传感器2813可以设置在终端2800的侧边框和/或显示屏2805的下层。当压力传感器2813设置在终端2800的侧边框时,可以检测用户对终端2800的握持信号,由处理器2801根据压力传感器2813采集的握持信号进行左右手识别或快捷操作。当压力传感器2813设置在显示屏2805的下层时,由处理器2801根据用户对显示屏2805的压力操作,实现对UI界面上的可操作性控件进行控制。
指纹传感器2814用于采集用户的指纹,由处理器2801根据指纹传感器2814采集到的指纹识别用户的身份,或者,由指纹传感器2814根据采集到的指纹识别用户的身份。
光学传感器2815用于采集环境光强度。在一个实施例中,处理器2801可以根据光学传感器2815采集的环境光强度,控制显示屏2805的显示亮度。
接近传感器2816用于采集用户与终端2800的正面之间的距离。
本领域技术人员可以理解,图28中示出的结构并不构成对终端2800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括计算机程序的存储器,上述计算机程序可由处理器执行以完成上述实施例中的基于直播的互动方法。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种基于直播的互动方法,其特征在于,包括:
展示直播间的直播画面,所述直播画面中的人脸脸部覆盖有第一面具图像;
接收所述直播间中任一观众账号的第一互动指令;
响应于所述第一互动指令,在所述直播画面中展示所述人脸脸部的第一脸部区域,所述第一脸部区域为所述第一面具图像所覆盖的至少部分脸部区域。
2.根据权利要求1所述的方法,其特征在于,所述展示直播间的直播画面,包括:
对于获取到的图像,基于所述图像的第一面部关键点和所述第一面具图像的第二面部关键点,将所述第一面具图像与所述图像中的所述人脸脸部进行纹理贴合;
在所述直播画面中展示经过纹理贴合后的所述人脸脸部;
其中,所述第一面部关键点用于标识所述图像中所述人脸脸部的轮廓和五官,所述第二面部关键点用于标识所述第一面具图像中人脸的轮廓和五官。
3.根据权利要求2所述的方法,其特征在于,所述对于获取到的图像,基于所述图像的第一面部关键点和所述第一面具图像的第二面部关键点,将所述第一面具图像与所述图像中的所述人脸脸部进行纹理贴合,包括:
对于获取到的图像,获取所述图像的所述第一面部关键点;
将所述第一面具图像的所述第二面部关键点映射到所述图像的所述第一面部关键点;
根据映射结果,将所述第一面具图像与所述图像中的所述人脸脸部进行纹理贴合。
4.根据权利要求1所述的方法,其特征在于,所述在所述直播画面中展示所述人脸脸部的第一脸部区域,包括:
在所述直播画面中展示所述人脸脸部的整体区域。
5.根据权利要求1所述的方法,其特征在于,所述第一面具图像包括至少两个子面具图像,不同的所述子面具图像与不同的互动指令相关联;
所述在所述直播画面中展示所述人脸脸部的第一脸部区域,包括:
在所述直播画面中展示所述人脸脸部上被目标子面具图像覆盖的脸部区域,所述目标子面具图像为与所述第一互动指令相关联的子面具图像。
6.根据权利要求5所述的方法,其特征在于,所述在所述直播画面中展示所述人脸脸部上被目标子面具图像覆盖的脸部区域,包括:
基于所获取图像的第一面部关键点,及所述第一面具图像的第三面部关键点,将所述第一面具图像中除所述目标子面具图像以外的子面具图像,与所获取图像中的所述人脸脸部进行纹理贴合;
在所述直播画面中展示经过纹理贴合后的所述人脸脸部;
其中,所述第一面部关键点用于标识所获取图像中所述人脸脸部的轮廓和五官,所述第三面部关键点用于标识所述第一面具图像中除所述目标子面具图像以外的子面具图像中人脸的轮廓和五官。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于所述第一互动指令,在所述直播画面中所述人脸脸部的第二脸部区域的对应位置上,展示第二面具图像。
8.根据权利要求1至7中任一项所述的方法,其特征在于,
所述第一互动指令由所述观众账号的互动操作触发,所述互动操作为虚拟礼物赠送操作、点赞操作或发表评论操作,用于赠送不同虚拟礼物的虚拟礼物赠送操作对应不同的所述第一互动指令,不同的所述第一互动指令对应所述人脸脸部的不同脸部区域。
9.根据权利要求1至7中任一项所述的方法,其特征在于,
响应于所述第一互动指令,在所述直播画面中展示所述人脸脸部的第一脸部区域从被遮挡到不被遮挡的特效动画。
10.一种基于直播的互动方法,其特征在于,包括:
展示直播间的直播画面,所述直播画面中展示有人脸脸部的第三脸部区域;
接收所述直播间中任一观众账号的第二互动指令;
响应于所述第二互动指令,在所述直播画面中所述人脸脸部的第三脸部区域的对应位置上,展示第三面具图像。
11.一种基于直播的互动方法,其特征在于,包括:
展示直播间的直播画面,所述直播画面中的人脸脸部覆盖有第一面具图像;
响应于所述直播间中目标观众账号实施的操作,在所述直播画面中展示所述人脸脸部的第一脸部区域,所述第一脸部区域为所述第一面具图像所覆盖的至少部分脸部区域。
12.一种基于直播的互动装置,其特征在于,包括:
第一展示模块,用于展示直播间的直播画面,所述直播画面中的人脸脸部覆盖有第一面具图像;
接收模块,用于接收所述直播间中任一观众账号的第一互动指令;
所述第一展示模块,还用于响应于所述接收模块接收到的所述第一互动指令,在所述直播画面中展示所述人脸脸部的第一脸部区域,所述第一脸部区域为所述第一面具图像所覆盖的至少部分脸部区域。
13.一种基于直播的互动装置,其特征在于,包括:
第二展示模块,用于展示直播间的直播画面,所述直播画面中的人脸脸部覆盖有第一面具图像;
所述第二展示模块,还用于响应于所述直播间中目标观众账号实施的操作,在所述直播画面中展示所述人脸脸部的第一脸部区域,所述第一脸部区域为所述第一面具图像所覆盖的至少部分脸部区域。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至10中任一项所述的基于直播的互动方法,或者实现如权利要求11所述的基于直播的互动方法。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至10中任一项所述的基于直播的互动方法,或者实现如权利要求11所述的基于直播的互动方法。
CN202110018400.5A 2021-01-07 2021-01-07 基于直播的互动方法、装置、设备和存储介质 Active CN112804546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110018400.5A CN112804546B (zh) 2021-01-07 2021-01-07 基于直播的互动方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110018400.5A CN112804546B (zh) 2021-01-07 2021-01-07 基于直播的互动方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112804546A true CN112804546A (zh) 2021-05-14
CN112804546B CN112804546B (zh) 2022-10-21

Family

ID=75808919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110018400.5A Active CN112804546B (zh) 2021-01-07 2021-01-07 基于直播的互动方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112804546B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727124A (zh) * 2021-07-30 2021-11-30 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108271058A (zh) * 2018-02-02 2018-07-10 优酷网络技术(北京)有限公司 视频互动方法、用户客户端、服务器及存储介质
CN110418155A (zh) * 2019-08-08 2019-11-05 腾讯科技(深圳)有限公司 直播互动方法、装置、计算机可读存储介质和计算机设备
CN110958463A (zh) * 2019-12-06 2020-04-03 广州华多网络科技有限公司 虚拟礼物展示位置的检测、合成方法、装置和设备
CN111970533A (zh) * 2020-08-28 2020-11-20 北京达佳互联信息技术有限公司 直播间的互动方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108271058A (zh) * 2018-02-02 2018-07-10 优酷网络技术(北京)有限公司 视频互动方法、用户客户端、服务器及存储介质
CN110418155A (zh) * 2019-08-08 2019-11-05 腾讯科技(深圳)有限公司 直播互动方法、装置、计算机可读存储介质和计算机设备
CN110958463A (zh) * 2019-12-06 2020-04-03 广州华多网络科技有限公司 虚拟礼物展示位置的检测、合成方法、装置和设备
CN111970533A (zh) * 2020-08-28 2020-11-20 北京达佳互联信息技术有限公司 直播间的互动方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727124A (zh) * 2021-07-30 2021-11-30 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及存储介质
CN113727124B (zh) * 2021-07-30 2022-09-30 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112804546B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
US20220245859A1 (en) Data processing method and electronic device
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
CN106730815B (zh) 一种易实现的体感互动方法及***
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
CN104199542A (zh) 一种智能镜实现方法、装置和智能镜
US20200326831A1 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
TWI647593B (zh) 模擬環境顯示系統及方法
US11375559B2 (en) Communication connection method, terminal device and wireless communication system
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN110136236B (zh) 三维角色的个性化脸部显示方法、装置、设备及存储介质
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN113244616B (zh) 基于虚拟场景的互动方法、装置、设备及可读存储介质
US20220270302A1 (en) Content distribution system, content distribution method, and content distribution program
CN110262763B (zh) 基于增强现实的显示方法和装置以及存储介质和电子设备
CN113408484A (zh) 画面展示方法、装置、终端及存储介质
CN112804546B (zh) 基于直播的互动方法、装置、设备和存储介质
CN111510769A (zh) 视频图像处理方法、装置及电子设备
CN110958463A (zh) 虚拟礼物展示位置的检测、合成方法、装置和设备
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
CN113411537A (zh) 视频通话方法、装置、终端及存储介质
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
CN109885172B (zh) 一种基于增强现实ar的对象互动展示方法及***
CN116993949A (zh) 虚拟环境的显示方法、装置、可穿戴电子设备及存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN114339393A (zh) 直播画面的显示处理方法、服务器、设备、***及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044521

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant