CN115720279A - 一种在直播场景中展现任意特效的方法及装置 - Google Patents

Abstract

本发明提供了一种在直播场景中展现任意特效的方法及装置，应用于网络直播技术领域，该方法通过获取直播流，对直播流中的声音数据进行分析处理，转化为文字，对直播流中的图像数据进行分析处理，将图像划分为多个区域；所述多个区域包括：人像区域、事物区域和空白区域；再根据文字查询直播特效数据库，确定使用的直播特效；然后根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效。本发明可以自动识别直播时的主播的声音，根据识别结果匹配对应的互动特效，并根据图像识别将特效在空白区域进行展现，在不影响直播内容的情况下，可以营造热闹的游戏互动感来吸引观众的眼球让观众停留在直播间，提升当下时间直播间的在线观看人数。

Description

一种在直播场景中展现任意特效的方法及装置

技术领域

本发明涉及网络直播技术领域，尤其涉及一种在直播场景中展现任意特效的方法、装置、电子设备及存储介质。

背景技术

随着网络技术的发展，近年来直播技术兴起，视频直播也被赋予了娱乐和社交的属性，观看直播已成为当下一种主流的娱乐形式。特效技术也被大范围的应用在直播中，可以通过直播特效的展现给观众更好的体验和参与感，但是特效的滥用反而会导致客户体验下降，使用如何正确的使用特效变得尤为重要。

因此使用特效时需要考虑主播的直播内容，直播场景和时间等因素，目前，由于直播时存在噪声、口音、语速过快等问题的影响，会存在解析误差，而且汉语存在很多同音的字、同音的词，若不联系上下文，机器很难正确识别，导致使用的特效不合适等问题。而且特效展现时因为需要语义分析判断使用的特效，倒是特效的展现存在延迟，而且若直播画面中存在很多人或物时，展现的特效可能会遮挡住人和物，导致观众的观看体验变差。

发明内容

本发明提供了一种在直播场景中展现任意特效的方法、装置电子设备及存储介质，可以自动识别直播时的主播的声音，根据识别结果匹配对应的互动特效，并根据图像识别将特效在空白区域进行展现，在不影响直播内容的情况下，可以营造热闹的游戏互动感来吸引观众的眼球让观众停留在直播间，提升当下时间直播间的在线观看人数。

第一方面，本发明的实施例提供了一种在直播场景中展现任意特效的方法，包括：

获取直播流；直播流包括图像数据和声音数据；

对声音数据进行分析处理，转化为文字；

对图像数据进行分析处理，将图像划分为多个区域；

其中，多个区域包括：人像区域、事物区域和空白区域；

根据文字查询直播特效数据库，确定使用的直播特效；

其中，直播特效包括如下一项或多项：链接倒计时特效、直播间主题装修特效、或全屏海报活动宣传特效；

根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效。

通过上述技术方案，可以自动识别直播时的语音，根据语音内容匹配对应的互动特效，营造热闹的游戏互动感来吸引观众的眼球让观众停留在直播间，或展现直播间福利以此来吸引观众停留在直播间，提升当下时间直播间的在线观看人数，并且通过图像识别将特效展现在空白区域，在不影响直播内容的情况下，增加直播的热度。

可选地，获取直播流，包括：

根据应用的窗口标题和简介，获取应用对应的应用信息；

根据应用信息判断应用的类型；

若应用为直播应用，获取直播应用的直播流。

通过上述技术方案，可以直接获取直播流，对直播流中的语音和画面进行分析，减少了图像和语音的采集步骤，可以提高特效展现的及时性。

可选地，对图像数据进行分析处理，将图像划分为多个区域，包括：

根据人像识别模型，确定图像中的人像区域；

根据事物识别模型，确定图像中的事物区域，并标注图像中的事物的类型；

将图像中除人像区域和事物区域之外的区域划分为空白区域。

通过上述技术方案，可以对直播图像进行及时的分析处理，将图像划分为不同的区域，可以将特效展现在正确的区域。

可选地，根据文字查询直播特效数据库，确定使用的直播特效，包括：

通过语义分析模型对文字进行分析处理，确定文字对应的语义；

根据语义查询直播特效数据库，确定与语义匹配的直播特效。

通过上述技术方案，可以准确的分析直播时主播的讲话内容，通过分析语义，可以快速匹配到最优的特效，在直播界面进行展现。

可选地，根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效，包括：

通过图层叠加技术和抠绿技术，将直播特效在空白区域展现。

可选地，该方法还包括：

在用户界面呈现所有直播应用的窗口；

其中，直播应用的窗口用于用户选择，进行直播特效的添加。

第二方面，本发明的实施例提供了一种在直播场景中展现任意特效的装置，包括：

获取模块，用于获取直播流；

其中，直播流包括图像数据和声音数据；

分析处理模块，用于对声音数据进行分析处理，转化为文字；对图像数据进行分析处理，将图像划分为多个区域；

其中，多个区域包括：人像区域、事物区域和空白区域；

确定模块，用于根据文字查询直播特效数据库，确定使用的直播特效；

其中，直播特效包括如下一项或多项：链接倒计时特效、直播间主题装修特效、或全屏海报活动宣传特效；

展现模块，用于根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效。

可选地，该装置还包括：

选择模块，用于在用户界面呈现所有直播应用的窗口；

其中，直播应用的窗口用于用户选择，进行直播特效的添加。

第三方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面中任一实现方式所述的方法。

第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一实现方式所述的方法。

本发明提供了一种在直播场景中展现任意特效的方法及装置，该方法通过获取直播流，对直播流中的声音数据进行分析处理，转化为文字，对直播流中的图像数据进行分析处理，将图像划分为多个区域；所述多个区域包括：人像区域、事物区域和空白区域；再根据文字查询直播特效数据库，确定使用的直播特效；然后根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效。本发明可以自动识别直播时的主播的声音，根据识别结果匹配对应的互动特效，并根据图像识别将特效在空白区域进行展现，在不影响直播内容的情况下，可以营造热闹的游戏互动感来吸引观众的眼球让观众停留在直播间，提升当下时间直播间的在线观看人数。

应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。

图1为本发明实施例的一种在直播场景中展现任意特效的方法的流程图；

图2为本发明实施例的一种在直播场景中展现任意特效的装置的结构示意图；

图3为本发明实施例的一种电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。

图1为本发明实施例的一种在直播场景中展现任意特效的方法的流程图。如图1所示，该方法包括：

S101、获取直播流。

可选地，直播流包括图像数据和声音数据。

可选地，获取直播流，包括：

根据应用的窗口标题和简介，获取应用对应的应用信息；

根据应用信息判断应用的类型；

若应用为直播应用，获取直播应用的直播流。

示例性地，还可以通过声音采集器，自动采集直播语音，通过摄像装置采集直播画面，再对直播语音和直播画面进行分析处理。

S102、对声音数据进行分析处理，转化为文字；对图像数据进行分析处理，将图像划分为多个区域。

可选地，多个区域包括：人像区域、事物区域和空白区域。

可选地，一个图像可以存在多个人像区域和事物区域。

可选地，对图像数据进行分析处理，将图像划分为多个区域，包括：

根据人像识别模型，确定图像中的人像区域；

根据事物识别模型，确定图像中的事物区域，并标注图像中的事物的类型；

将图像中除人像区域和事物区域之外的区域划分为空白区域。

示例性地，可以获取不同直播画面，对直播画面进行处理后作为训练样本，训练得到人像识别模型。使用该模型可以识别出直播画面中的人像区域，将该区域划分出来并进行标注。

示例性地，部分直播的主播可能会给观众推荐各种类型的商品，可以获取这些商品的图像，将这些图像作为训练样本，训练得到事物识别模型。使用该模型可以识别出直播画面中存在的一些商品的种类和名称等信息，并且可以在划分事物区域的时候将事物区域内的商品的种类和名称等信息标注出来。

示例性地，将直播画面中除了人像区域和事物区域以外的其他区域，划分为空白区域，并在该区域标注“用于展现特效”。

S103、根据文字查询直播特效数据库，确定使用的直播特效。

可选地，直播特效包括如下一项或多项：链接倒计时特效、直播间主题装修特效、或全屏海报活动宣传特效。

可选地，根据文字查询直播特效数据库，确定使用的直播特效，包括：

通过语义分析模型对文字进行分析处理，确定文字对应的语义；

根据语义查询直播特效数据库，确定与语义匹配的直播特效。

示例性地，直播间的主播在介绍A产品，对主播的介绍内容进行语义分析，使用语义分析模型对主播说话内容进行分析处理，得到A产品的名称、价格和需要推荐产品的链接等信息，然后根据该产品名称查询播特效数据库，从播特效数据库中找到该产品对应的链接倒计时特效。

S104、根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效。

可选地，根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效，包括：

通过图层叠加技术和抠绿技术，将直播特效在空白区域展现。

示例性地，若经过步骤S103中确定需要使用的特效是直播间主题装修特效，则使用抠绿技术或抠蓝技术，更换直播间的背景，将直播间主题装修特效变为直播间的背景。可以通过上述技术手段搭建个性化的直播间，并且展现的特效会让观众了解当前环节的直播动作，具有互动性，可以让直播间更热闹，让观众停留直播间时间变长。

示例性地，若经过步骤S103中确定需要使用的特效是链接倒计时特效，则使用图层叠加技术，在空白区域添加该链接倒计时特效，并调整该链接倒计时特效的大小。

可选地，若步骤S103中确定的特效，清晰展现需要的区域很大，而空白区域很小，很难在空白区域将特效清晰的展现出来，则可以根据直播内容的性质判断人像区域和事物区域的重要性，根据判断结果确定特效的展现方式。

可选地，根据直播间内容的性质为人像区域和事物区域设置权重，若是表演性质的直播则将人像区域的权重设置的高于事物区域的权重，若是带货性质的直播，则将事物区域的权重设置的高于人像区域的权重。

进一步地，还可以根据直播间人物的重要程度和直播间事物的重要程度，为不同的人像区域和不同的事物区域设置权重。

示例性地，若人像区域的权重高于事物区域的权重，则调整特效的大小，将特效在事物区域和空白区域进行展现。

进一步地，可以调整事物区域图层的透明度，尽可能的不影响特效的展现。

可选地，一种在直播场景中展现任意特效的方法还包括：

在用户界面呈现所有直播应用的窗口；

其中，直播应用的窗口用于用户选择，进行直播特效的添加。

示例性地，可以打开应用Zhitou.exe，在应用界面中点击“添加直播画面”按钮，进入二级界面；可以在二级界面中点击“添加素材”按钮，应用Zhitou.exe从操作***的屏幕位置获取当前已打开的所有窗口，并缩小展示当前已打开的所有窗口，通过点击窗口选择需要展现特效的直播窗口。

可选地，一种在直播场景中展现任意特效的方法还包括：

可以提前获知直播内容，并根据直播内容制定直播特效的展现计划，计划可以包括：在直播中出现关键词时在直播画面预设区域展现特效，在直播进行到某个时刻时，在直播画面预设区域展现特效。通过该方法可以进一步地降低直播中特效展现的延迟性，提高用户的观看体验。

本发明实施例提供了一种在直播场景中展现任意特效的方法，该方法通过获取直播流，对直播流中的声音数据进行分析处理，转化为文字，对直播流中的图像数据进行分析处理，将图像划分为多个区域；所述多个区域包括：人像区域、事物区域和空白区域；再根据文字查询直播特效数据库，确定使用的直播特效；然后根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效。本发明实施例可以自动识别直播时的主播的声音，根据识别结果匹配对应的互动特效，并根据图像识别将特效在空白区域进行展现，在不影响直播内容的情况下，可以营造热闹的游戏互动感来吸引观众的眼球让观众停留在直播间，提升当下时间直播间的在线观看人数。

以下结合图2详细说明本申请实施例提供的可以执行上述在直播场景中展现任意特效的方法的装置。

示例性地，图2为本发明实施例的一种在直播场景中展现任意特效的装置的结构示意图；如图2所示，特效展现装置20包括：

获取模块201，用于获取直播流；

其中，直播流包括图像数据和声音数据；

分析处理模块202，用于对声音数据进行分析处理，转化为文字；对图像数据进行分析处理，将图像划分为多个区域；

其中，多个区域包括：人像区域、事物区域和空白区域；

确定模块203，用于根据文字查询直播特效数据库，确定使用的直播特效；

其中，直播特效包括如下一项或多项：链接倒计时特效、直播间主题装修特效、或全屏海报活动宣传特效；

展现模块204，用于根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效。

该特效展现装置20还包括：

选择模块205，用于在用户界面呈现所有直播应用的窗口；

其中，直播应用的窗口用于用户选择，进行直播特效的添加。

可选地，获取模块201，还用于根据应用的窗口标题和简介，获取应用对应的应用信息；再根据应用信息判断应用的类型；若应用为直播应用，获取直播应用的直播流。

可选地，分析处理模块202，还用于根据人像识别模型，确定图像中的人像区域；根据事物识别模型，确定图像中的事物区域，并标注图像中的事物的类型；将图像中除人像区域和事物区域之外的区域划分为空白区域。

可选地，确定模块203，还用于通过语义分析模型对文字进行分析处理，确定文字对应的语义；然后根据语义查询直播特效数据库，确定与语义匹配的直播特效。

可选地，展现模块204，还用于通过图层叠加技术和抠绿技术，将直播特效在空白区域展现。

本发明实施例还提供了一种计算机电子设备，图3示出了可以应用本发明实施例的电子设备的结构示意图，如图3所示，该计算机电子设备包括，中央处理模块(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有***操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块201、分析处理模块202、确定模块203和展现模块204，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，展现模块204还可以被描述为“用于根据空白区域的大小，调整直播特效的大小，在空白区域展现直播特效的展现模块204”。

作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述一种在直播场景中展现任意特效的装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种在直播场景中展现任意特效的方法。

以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种在直播场景中展现任意特效的方法，其特征在于，包括：

获取直播流；所述直播流包括图像数据和声音数据；

对所述声音数据进行分析处理，转化为文字；

对所述图像数据进行分析处理，将图像划分为多个区域；所述多个区域包括：人像区域、事物区域和空白区域；

根据所述文字查询直播特效数据库，确定使用的直播特效；所述直播特效包括如下一项或多项：链接倒计时特效、直播间主题装修特效、或全屏海报活动宣传特效；

根据所述空白区域的大小，调整所述直播特效的大小，在所述空白区域展现所述直播特效。

2.根据权利要求1所述的方法，其特征在于，所述获取直播流，包括：

根据应用的窗口标题和简介，获取所述应用对应的应用信息；

根据所述应用信息判断所述应用的类型；

若所述应用为直播应用，获取所述直播应用的直播流。

3.根据权利要求1所述的方法，其特征在于，所述对所述图像数据进行分析处理，将图像划分为多个区域，包括：

根据人像识别模型，确定所述图像中的人像区域；

根据事物识别模型，确定所述图像中的事物区域，并标注所述图像中的事物的类型；

将所述图像中除人像区域和事物区域之外的区域划分为空白区域。

4.根据权利要求1所述的方法，其特征在于，所述根据所述文字查询直播特效数据库，确定使用的直播特效，包括：

通过语义分析模型对所述文字进行分析处理，确定所述文字对应的语义；

根据所述语义查询所述直播特效数据库，确定与所述语义匹配的直播特效。

5.根据权利要求1所述的方法，其特征在于，所述根据所述空白区域的大小，调整所述直播特效的大小，在所述空白区域展现所述直播特效，包括：

通过图层叠加技术和抠绿技术，将所述直播特效在所述空白区域展现。

6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：

在用户界面呈现所有直播应用的窗口；所述直播应用的窗口用于用户选择，进行直播特效的添加。

7.一种在直播场景中展现任意特效的装置，其特征在于，包括：

获取模块，用于获取直播流；所述直播流包括图像数据和声音数据；

分析处理模块，用于对所述声音数据进行分析处理，转化为文字；对所述图像数据进行分析处理，将图像划分为多个区域；所述多个区域包括：人像区域、事物区域和空白区域；

确定模块，用于根据所述文字查询直播特效数据库，确定使用的直播特效；所述直播特效包括如下一项或多项：链接倒计时特效、直播间主题装修特效、或全屏海报活动宣传特效；

展现模块，用于根据所述空白区域的大小，调整所述直播特效的大小，在所述空白区域展现所述直播特效。

8.根据权利要求7所述的装置，其特征在于，还包括：

选择模块，用于在用户界面呈现所有直播应用的窗口；所述直播应用的窗口用于用户选择，进行直播特效的添加。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。

Images