CN113810729A - 直播氛围特效匹配方法、装置、设备及介质 - Google Patents

直播氛围特效匹配方法、装置、设备及介质 Download PDF

Info

Publication number
CN113810729A
CN113810729A CN202111088100.0A CN202111088100A CN113810729A CN 113810729 A CN113810729 A CN 113810729A CN 202111088100 A CN202111088100 A CN 202111088100A CN 113810729 A CN113810729 A CN 113810729A
Authority
CN
China
Prior art keywords
atmosphere
rendering
live broadcast
live
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111088100.0A
Other languages
English (en)
Other versions
CN113810729B (zh
Inventor
童鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111088100.0A priority Critical patent/CN113810729B/zh
Publication of CN113810729A publication Critical patent/CN113810729A/zh
Application granted granted Critical
Publication of CN113810729B publication Critical patent/CN113810729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及情绪识别领域，公开了一种直播氛围特效匹配方法、装置、设备及介质，其方法包括：当直播进行至交互节点时，获取与交互节点关联的直播数据；直播数据包括主播的画面信息和语音信息；通过氛围特征提取模型处理直播数据，生成交互节点的氛围特征；获取与氛围特征匹配的氛围渲染措施；根据直播数据设置氛围渲染措施的渲染参数；根据渲染参数执行氛围渲染措施。本发明通过人工智能技术对直播数据进行智能分析，匹配最优的氛围渲染措施，可以自动触发直播间的氛围特效，提升直播间的趣味性和互动性。

Description

直播氛围特效匹配方法、装置、设备及介质
技术领域
本发明涉及情绪识别领域，尤其涉及一种直播氛围特效匹配方法、装置、设备及介质。
背景技术
近年来，随着网络直播技术的飞速发展,直播行业也日益蓬勃。直播可以定义为主播在直播空间随着事件(展示商品、表演节目、体育赛事、游戏、专业知识讲解、商务会议等)的发生同步制作与实时发布信息的活动。直播具备双向、互动、实时、灵活等特征。互联网企业对直播的重视程度呈现增加的趋势。
直播从2008年的探索阶段起始，至2016年进入高速发展阶段，目前已进入成熟阶段，整体行业历时较短，主流产品功能层面主要解决的是从无至有的基础问题，在产品细节方面的仍有较多的打磨空间。以氛围特效功能为例，目前仅实现主播对已有氛围特效进行简单点选，无法实现氛围特效的匹配。
发明内容
基于此，有必要针对上述技术问题，提供一种直播氛围特效匹配方法、装置、计算机设备及存储介质，以自动触发直播间的氛围特效，提升直播间的趣味性和互动性。
一种直播氛围特效匹配方法，包括：
当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息；
通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征；
获取与所述氛围特征匹配的氛围渲染措施；
根据直播数据设置所述氛围渲染措施的渲染参数；
根据所述渲染参数执行所述氛围渲染措施。
一种直播氛围特效匹配装置，包括：
获取直播数据模块，用于当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息；
氛围特征提取模块，用于通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征；
措施匹配模块，用于获取与所述氛围特征匹配的氛围渲染措施；
参数设置模块，用于根据直播数据设置所述氛围渲染措施的渲染参数；
氛围渲染模块，用于根据所述渲染参数执行所述氛围渲染措施。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述直播氛围特效匹配方法。
一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述直播氛围特效匹配方法。
上述直播氛围特效匹配方法、装置、计算机设备及存储介质，当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息，以通过合适的直播数据快速分析出交互节点的氛围特征。通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征，以通过氛围特征匹配合适的氛围渲染措施。获取与所述氛围特征匹配的氛围渲染措施，以通过合适的氛围渲染措施提高直播间的氛围。根据直播数据设置所述氛围渲染措施的渲染参数，以通过调整渲染参数，使氛围渲染措施更好地适配当前直播的交互节点。根据所述渲染参数执行所述氛围渲染措施，以生成氛围特效，提升直播间的氛围。本发明通过人工智能技术对直播数据进行智能分析，匹配最优的氛围渲染措施，可以自动触发直播间的氛围特效，提升直播间的趣味性和互动性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中直播氛围特效匹配方法的一应用环境示意图；
图2是本发明一实施例中直播氛围特效匹配方法的一流程示意图；
图3是本发明一实施例中直播氛围特效匹配装置的一结构示意图；
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。本实施例可以通过专用人工智能芯片采集直播数据。
本实施例提供的直播氛围特效匹配方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一实施例中，如图2所示，提供一种直播氛围特效匹配方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤S10-S50。
S10、当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息。
可理解地，此处的直播主要指的是由主播主持的直播活动。交互节点可以是基于直播剧本预先设置的时间节点，也可以是通过交互评判规则对直播场景(即现场的直播数据)进行智能判断后确定的时间节点。在另一些示例中，可以设置神经网络模型，通过神经网络模型对直播视频样本进行训练，获得可以识别出交互节点的网络模型。这些直播视频样本添加有交互节点的标签。
与交互节点关联的直播数据，可以指交互节点之前一段时间的直播数据。不同的交互节点，与其关联的直播数据的时长可以是不相同的。例如，与游戏类交互节点关联的直播数据的时长，可以是较长的一段时间，如5～10分钟；与电商类交互节点关联的直播数据的时长，可以是较短的一段时间，如1～2分钟.
直播数据包括主播的画面信息和语音信息。通过画面信息可以识别出主播的表情变化、肢体状态变化等。通过语音信息可以识别出主播的语音语调、语言流畅度等。
S20、通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征。
可理解地，氛围特征提取模型可以由若干子模型组成。氛围特征提取模型可以通过各个子模型对直播数据进行处理，生成交互节点的氛围特征。在一示例中，氛围特征提取模型包括情绪识别模型和语音语义分析模型。可以通过情绪识别模型处理直播数据中的画面信息，生成主播的情绪类型。同时可以通过语音语义分析模型处理直播数据中的语音信息，生成情绪关键词。在此处，氛围特征包括了情绪类型和情绪关键词。
S30、获取与所述氛围特征匹配的氛围渲染措施。
可理解地，氛围渲染措施可以指为特定的直播间氛围设置的渲染措施，包括但不限于动画和音效。可以将每一氛围渲染措施与若干氛围特征进行配对。在确定氛围特征之后，可以获取相应的氛围渲染措施。例如，当氛围特征为“大笑”时，匹配的氛围渲染措施可以是“大笑动画+大笑音效”。
S40、根据直播数据设置所述氛围渲染措施的渲染参数。
可理解地，氛围渲染措施一般为固定的一段动画和音效，直接嵌入直播中可能存在不协调的问题。因而，可以提取直播数据的环境特征(如情绪变化趋势)，根据从直播数据提取出的环境特征设置氛围渲染措施的渲染参数。在此处，渲染参数包括但不限于渲染色彩、渲染速度、渲染强度和/或渲染时长。例如，可以根据从直播数据提取出的环境特征设置动画的色彩，若环境特征偏正面(如情绪积极等)，可以选用暖色调色彩；若环境特征偏负面(如情绪消极等)，可以选用冷色调色彩。
S50、根据所述渲染参数执行所述氛围渲染措施。
可理解地，在设置好渲染参数之后，可以根据渲染参数执行氛围渲染措施，以提升直播的趣味性和互动性。在此处，自动触发直播间的氛围特效，主播不需要手动设置特效，可以让主播集中注意力投入直播的展示，更好掌控直播节奏。
步骤S10-S50中，当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息，以通过合适的直播数据快速分析出交互节点的氛围特征。通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征，以通过氛围特征匹配合适的氛围渲染措施。获取与所述氛围特征匹配的氛围渲染措施，以通过合适的氛围渲染措施提高直播间的氛围。根据直播数据设置所述氛围渲染措施的渲染参数，以通过调整渲染参数，使氛围渲染措施更好地适配当前直播的交互节点。根据所述渲染参数执行所述氛围渲染措施，以生成氛围特效，提升直播间的氛围。本实施例通过人工智能技术对直播数据进行智能分析，匹配最优的氛围渲染措施，可以自动触发直播间的氛围特效，提升直播间的趣味性和互动性。
可选的，步骤S10之前，所述当直播进行至交互节点时，获取与所述交互节点关联的直播数据之前，还包括：
S11、获取直播间指定时长的历史直播数据；
S12、通过交互评判规则处理所述历史直播数据，生成交互评判结果；
S13、若所述交互评判结果为需要进行交互，则确定所述直播进行至交互节点。
可选的，指定时长可以根据实际需要进行设置，如可以是10分钟、5分钟等。历史直播数据可以是刚刚过去的指定时长的直播数据，如过去十分钟的直播数据。
交互评判规则可以根据实际需要进行设置。交互评判结果用于确定当前直播是否进行交互，若需要进行交互，则认为直播进行至交互节点，若不需要进行交互，则认为直播未进行至交互节点。在一些示例中，交互评判规则可以判断当前直播是否达到交互高潮，若达到交互高潮，则交互评判结果为需要进行交互；若未达到交互高潮，则交互评判结果为不需要进行交互。
本实施例可以智能识别交互节点，通过在交互节点增加氛围特效，提升直播间氛围。
可选的，步骤S10，即所述当直播进行至交互节点时，获取与所述交互节点关联的直播数据，包括：
S101、获取所述交互节点的交互类型；
S102、获取与所述交互类型匹配的交互数据获取规则；
S103、根据所述交互数据获取规则获取所述直播数据。
可选的，交互类型可以根据实际需要进行设置。例如，交互类型可以根据直播性质的不同划分为游戏、表演、电商等类型。可以为不同的交互类型设置不同的交互数据获取规则。在一些示例中，交互数据获取规则用于确定获取到的直播数据的数据类型和时间长度。例如，对于表演类直播，交互数据获取规则可以设置一些声音指标，这样获得的直播数据更容易被氛围特征提取模型处理，有利于直播数据的处理效率。
不同的交互数据获取规则，其获取的直播数据的数据类型和时间长度一般存在差异。例如，电商类直播主要进行不同商品的展示，每一商品的展示时长比较有限，所以交互数据获取规则设置的时间长度可以较短，如1到2分钟，而表演类直播的作品持续时间较长，所以交互数据获取规则设置的时间长度可以较长，如3-4分钟。
本实施例可以根据交互节点的不同选取不同的直播数据，可以进一步提高氛围特征的识别能力。
可选的，所述氛围特征提取模型包括情绪识别模型和语音语义分析模型；所述氛围特征包括情绪类型和/或情绪关键词；
步骤S20，即所述通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征，包括：
S201、通过所述情绪识别模型处理所述画面信息，获得所述主播的所述情绪类型；
S202、通过所述语音语义分析模型处理所述语音信息，获得所述主播的所述情绪关键词。
可理解地，氛围特征提取模型可以有若干子模型组成，如可以是情绪识别模型和语音语义分析模型。可以使用情绪识别模型处理直播数据中每一帧画面信息，获得每一帧直播的表情，然后再根据主播的表情变化确定情绪类型。情绪类型可以是兴奋、高兴、难过、厌恶等。
语音语义分析模型则可以处理直播数据中语音信息，先生成主播的语音文本，然后对语音文本进行语义识别，生成情绪关键词。情绪关键词可以是高兴、开心、郁闷、难过等。
本实施例通过两种不同维度(声音维度和图像维度)提取出直播的氛围特征，可以进一步提高氛围特征的完整性和准确性(单一画面和单一声音的判断可能出现较大的偏差)。
可选的，所述氛围渲染措施包括动画效果和/或音乐效果；
步骤S30，即所述获取与所述氛围特征匹配的氛围渲染措施，包括：
S301、若所述氛围特征为第一兴奋类特征，则获取与所述第一兴奋类特征匹配的喝彩动画和/或喝彩音效；
S302、若所述氛围特征为第二兴奋类特征，则获取与所述第二兴奋类特征匹配的鼓掌动画和/或鼓掌音效；
S303、若所述氛围特征为第一高兴类特征，则获取与所述第一高兴类特征匹配的大笑动画和/或大笑音效；
S304、若所述氛围特征为第二高兴类特征，则获取与所述第二高兴类特征匹配的微笑动画和/或微笑音效；
S305、若所述氛围特征为第一难过类特征，则获取与所述第一难过类特征匹配的大哭动画和/或大哭音效；
S306、若所述氛围特征为第二难过类特征，则获取与所述第二难过类特征匹配的哽咽动画和/或哽咽音效；
S307、若所述氛围特征为第一厌恶类特征，则获取与所述第一厌恶类特征匹配的呕吐动画和/或呕吐音效；
S308、若所述氛围特征为第二厌恶类特征，则获取与所述第二厌恶类特征匹配的嘘声动画和/或嘘声音效。
可理解地，氛围渲染措施包括但不限于动画效果和音乐效果。动画效果指的是为直播画面添加的动画特效。动画效果可以根据实际需要进行设置，如可以是喝彩动画、鼓掌动画等。音乐效果指的是为直播画面添加的特制音乐，如可以是喝彩音乐、鼓掌音乐等。
在一些示例中，氛围特征可以划分出八种类型，分别为第一兴奋、第二兴奋、第一高兴、第二高兴、第一难过、第二难过、第一厌恶、第二厌恶。每种氛围特征都有各自匹配的动画效果和/或音乐效果。如，第一兴奋类特征匹配喝彩动画和/或喝彩音效；第二兴奋类特征匹配鼓掌动画和/或鼓掌音效；第一高兴类特征匹配大笑动画和/或大笑音效；第二高兴类特征匹配微笑动画和/或微笑音效；第一难过类特征匹配大哭动画和/或大哭音效；第二难过类特征匹配哽咽动画和/或哽咽音效；第一厌恶类特征匹配呕吐动画和/或呕吐音效；第二厌恶类特征匹配嘘声动画和/或嘘声音效。
本实施例中，为不同的氛围特征匹配不同的氛围渲染特征，可以满足不同氛围下的氛围提升需求。
可选的，所述渲染参数包括渲染色彩、渲染速度、渲染强度和/或渲染时长；
步骤S40，即所述根据直播数据设置所述氛围渲染措施的渲染参数，包括：
S401、根据所述直播数据和所述氛围特征生成情绪变化趋势；
S402、根据所述情绪变化趋势设置所述氛围渲染措施的渲染色彩、渲染速度、渲染强度和/或渲染时长。
可选的，情绪变化趋势可以是主播情绪变化的趋势，如由悲转喜，或者是由喜转悲。在另一些示例中，情绪变化趋势可以与主播的语速有关，如语速加快，则认为情绪变得紧张；语速变慢，则认为情绪变得平稳。
渲染色彩可以指动画效果的色彩变化，如变得更暖或变得更冷。渲染速度可以指动画效果和/或音乐效果的播放速度的变化，一些时候，动画效果播放得快一些，另一些时候，动画效果播放的慢一些。渲染强度可以是动画效果的颜色深度变化，或者动画形象大小的差异，又或者是音乐效果的音量。渲染时长可以是动画效果和/或音乐效果的持续时间。
本实施例中，通过不同维度的渲染参数对氛围渲染措施进行调整，使得氛围渲染措施可以制造更好的直播氛围。
可选的，步骤S50，即所述根据所述渲染参数执行所述氛围渲染措施，包括：
S501、监测当前的直播环境参量；
S502、若所述直播环境参量满足预设渲染条件，则根据所述渲染参数执行所述氛围渲染措施，以通过所述氛围渲染措施提升所述直播的效果。
可理解地，直播环境参量可以是预先设置的情景道具或声音暗号。预设渲染条件可以根据实际需要进行设置，如可以是重复摇晃情景道具N次或者重复喊预先设置的口号。
在一些情况下，为了暖场需要，主播需要重复使用氛围渲染措施，通过设置环境参量，可以实现动画效果和音乐效果的重叠播放，而且，氛围渲染措施可以随着时间的推移而变化。
本实施例中，通过监测直播环境参量，可以配合主播的肢体语言或声音语言，实现氛围特效的重叠播放，更好地活跃直播间的氛围。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种直播氛围特效匹配装置，该直播氛围特效匹配装置与上述实施例中直播氛围特效匹配方法一一对应。如图3所示，该直播氛围特效匹配装置包括获取直播数据模块10、氛围特征提取模块20、措施匹配模块30、参数设置模块40和氛围渲染模块50。各功能模块详细说明如下：
获取直播数据模块10，用于当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息；
氛围特征提取模块20，用于通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征；
措施匹配模块30，用于获取与所述氛围特征匹配的氛围渲染措施；
参数设置模块40，用于根据直播数据设置所述氛围渲染措施的渲染参数；
氛围渲染模块50，用于根据所述渲染参数执行所述氛围渲染措施。
可选的，获取直播数据模块10包括：
获取历史直播数据单元，用于获取直播间指定时长的历史直播数据；
交互评判单元，用于通过交互评判规则处理所述历史直播数据，生成交互评判结果；
确定交互节点单元，用于若所述交互评判结果为需要进行交互，则确定所述直播进行至交互节点。
可选的，获取直播数据模块10包括：
获取交互类型单元，用于获取所述交互节点的交互类型；
获取数据获取规则单元，用于获取与所述交互类型匹配的交互数据获取规则；
获取直播数据单元，用于根据所述交互数据获取规则获取所述直播数据。
可选的，所述氛围特征提取模型包括情绪识别模型和语音语义分析模型；所述氛围特征包括情绪类型和/或情绪关键词；
氛围特征提取模块20包括：
画面特征提取单元，用于通过所述情绪识别模型处理所述画面信息，获得所述主播的所述情绪类型；
语音特征提取单元，用于通过所述语音语义分析模型处理所述语音信息，获得所述主播的所述情绪关键词。
可选的，所述氛围渲染措施包括动画效果和/或音乐效果；
措施匹配模块30包括：
喝彩单元，用于若所述氛围特征为第一兴奋类特征，则获取与所述第一兴奋类特征匹配的喝彩动画和/或喝彩音效；
鼓掌单元，用于若所述氛围特征为第二兴奋类特征，则获取与所述第二兴奋类特征匹配的鼓掌动画和/或鼓掌音效；
大笑单元，用于若所述氛围特征为第一高兴类特征，则获取与所述第一高兴类特征匹配的大笑动画和/或大笑音效；
微笑单元，用于若所述氛围特征为第二高兴类特征，则获取与所述第二高兴类特征匹配的微笑动画和/或微笑音效；
大哭单元，用于若所述氛围特征为第一难过类特征，则获取与所述第一难过类特征匹配的大哭动画和/或大哭音效；
哽咽单元，用于若所述氛围特征为第二难过类特征，则获取与所述第二难过类特征匹配的哽咽动画和/或哽咽音效；
呕吐单元，用于若所述氛围特征为第一厌恶类特征，则获取与所述第一厌恶类特征匹配的呕吐动画和/或呕吐音效；
嘘声单元，用于若所述氛围特征为第二厌恶类特征，则获取与所述第二厌恶类特征匹配的嘘声动画和/或嘘声音效。
可选的，所述渲染参数包括渲染色彩、渲染速度、渲染强度和/或渲染时长；
参数设置模块40包括：
变化趋势单元，用于根据所述直播数据和所述氛围特征生成情绪变化趋势；
参数设置单元，用于根据所述情绪变化趋势设置所述氛围渲染措施的渲染色彩、渲染速度、渲染强度和/或渲染时长。
可选的，氛围渲染模块50包括：
监测环境参量单元，用于监测当前的直播环境参量；
执行渲染措施单元，用于若所述直播环境参量满足预设渲染条件，则根据所述渲染参数执行所述氛围渲染措施，以通过所述氛围渲染措施提升所述直播的效果。
关于直播氛围特效匹配装置的具体限定可以参见上文中对于直播氛围特效匹配方法的限定，在此不再赘述。上述直播氛围特效匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作***、计算机可读指令和数据库。该内存储器为可读存储介质中的操作***和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储直播氛围特效匹配方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种直播氛围特效匹配方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息；
通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征；
获取与所述氛围特征匹配的氛围渲染措施；
根据直播数据设置所述氛围渲染措施的渲染参数；
根据所述渲染参数执行所述氛围渲染措施。
在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现以下步骤：
当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息；
通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征；
获取与所述氛围特征匹配的氛围渲染措施；
根据直播数据设置所述氛围渲染措施的渲染参数；
根据所述渲染参数执行所述氛围渲染措施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种直播氛围特效匹配方法，其特征在于，包括：
当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息；
通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征；
获取与所述氛围特征匹配的氛围渲染措施；
根据直播数据设置所述氛围渲染措施的渲染参数；
根据所述渲染参数执行所述氛围渲染措施。
2.如权利要求1所述的直播氛围特效匹配方法，其特征在于，所述当直播进行至交互节点时，获取与所述交互节点关联的直播数据之前，还包括：
获取直播间指定时长的历史直播数据；
通过交互评判规则处理所述历史直播数据，生成交互评判结果；
若所述交互评判结果为需要进行交互，则确定所述直播进行至交互节点。
3.如权利要求1所述的直播氛围特效匹配方法，其特征在于，所述当直播进行至交互节点时，获取与所述交互节点关联的直播数据，包括：
获取所述交互节点的交互类型；
获取与所述交互类型匹配的交互数据获取规则；
根据所述交互数据获取规则获取所述直播数据。
4.如权利要求1所述的直播氛围特效匹配方法，其特征在于，所述氛围特征提取模型包括情绪识别模型和语音语义分析模型；所述氛围特征包括情绪类型和/或情绪关键词；
所述通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征，包括：
通过所述情绪识别模型处理所述画面信息，获得所述主播的所述情绪类型；
通过所述语音语义分析模型处理所述语音信息，获得所述主播的所述情绪关键词。
5.如权利要求1所述的直播氛围特效匹配方法，其特征在于，所述氛围渲染措施包括动画效果和/或音乐效果；
所述获取与所述氛围特征匹配的氛围渲染措施，包括：
若所述氛围特征为第一兴奋类特征，则获取与所述第一兴奋类特征匹配的喝彩动画和/或喝彩音效；
若所述氛围特征为第二兴奋类特征，则获取与所述第二兴奋类特征匹配的鼓掌动画和/或鼓掌音效；
若所述氛围特征为第一高兴类特征，则获取与所述第一高兴类特征匹配的大笑动画和/或大笑音效；
若所述氛围特征为第二高兴类特征，则获取与所述第二高兴类特征匹配的微笑动画和/或微笑音效；
若所述氛围特征为第一难过类特征，则获取与所述第一难过类特征匹配的大哭动画和/或大哭音效；
若所述氛围特征为第二难过类特征，则获取与所述第二难过类特征匹配的哽咽动画和/或哽咽音效；
若所述氛围特征为第一厌恶类特征，则获取与所述第一厌恶类特征匹配的呕吐动画和/或呕吐音效；
若所述氛围特征为第二厌恶类特征，则获取与所述第二厌恶类特征匹配的嘘声动画和/或嘘声音效。
6.如权利要求1所述的直播氛围特效匹配方法，其特征在于，所述渲染参数包括渲染色彩、渲染速度、渲染强度和/或渲染时长；
所述根据直播数据设置所述氛围渲染措施的渲染参数，包括：
根据所述直播数据和所述氛围特征生成情绪变化趋势；
根据所述情绪变化趋势设置所述氛围渲染措施的渲染色彩、渲染速度、渲染强度和/或渲染时长。
7.如权利要求1所述的直播氛围特效匹配方法，其特征在于，所述根据所述渲染参数执行所述氛围渲染措施，包括：
监测当前的直播环境参量；
若所述直播环境参量满足预设渲染条件，则根据所述渲染参数执行所述氛围渲染措施，以通过所述氛围渲染措施提升所述直播的效果。
8.一种直播氛围特效匹配装置，其特征在于，包括：
获取直播数据模块，用于当直播进行至交互节点时，获取与所述交互节点关联的直播数据；所述直播数据包括主播的画面信息和语音信息；
氛围特征提取模块，用于通过氛围特征提取模型处理所述直播数据，生成所述交互节点的氛围特征；
措施匹配模块，用于获取与所述氛围特征匹配的氛围渲染措施；
参数设置模块，用于根据直播数据设置所述氛围渲染措施的渲染参数；
氛围渲染模块，用于根据所述渲染参数执行所述氛围渲染措施。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述直播氛围特效匹配方法。
10.一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至7中任一项所述直播氛围特效匹配方法。
CN202111088100.0A 2021-09-16 2021-09-16 直播氛围特效匹配方法、装置、设备及介质 Active CN113810729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111088100.0A CN113810729B (zh) 2021-09-16 2021-09-16 直播氛围特效匹配方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111088100.0A CN113810729B (zh) 2021-09-16 2021-09-16 直播氛围特效匹配方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113810729A true CN113810729A (zh) 2021-12-17
CN113810729B CN113810729B (zh) 2024-02-02

Family

ID=78895677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111088100.0A Active CN113810729B (zh) 2021-09-16 2021-09-16 直播氛围特效匹配方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113810729B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866791A (zh) * 2022-03-31 2022-08-05 北京达佳互联信息技术有限公司 音效切换方法、装置、电子设备及存储介质
CN115361567A (zh) * 2022-07-07 2022-11-18 广州博冠信息科技有限公司 直播中的互动方法、装置和电子设备
CN115720279A (zh) * 2022-11-18 2023-02-28 杭州面朝信息科技有限公司 一种在直播场景中展现任意特效的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464939A (zh) * 2016-07-28 2017-02-22 北京小米移动软件有限公司 播放音效的方法及装置
US20200090395A1 (en) * 2018-09-13 2020-03-19 International Business Machines Corporation Animation generation
CN111405307A (zh) * 2020-03-20 2020-07-10 广州华多网络科技有限公司 直播模板配置方法、装置及电子设备
CN111541908A (zh) * 2020-02-27 2020-08-14 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
CN112616063A (zh) * 2020-12-11 2021-04-06 北京字跳网络技术有限公司 一种直播互动方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464939A (zh) * 2016-07-28 2017-02-22 北京小米移动软件有限公司 播放音效的方法及装置
US20200090395A1 (en) * 2018-09-13 2020-03-19 International Business Machines Corporation Animation generation
CN111541908A (zh) * 2020-02-27 2020-08-14 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
CN111405307A (zh) * 2020-03-20 2020-07-10 广州华多网络科技有限公司 直播模板配置方法、装置及电子设备
CN112616063A (zh) * 2020-12-11 2021-04-06 北京字跳网络技术有限公司 一种直播互动方法、装置、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866791A (zh) * 2022-03-31 2022-08-05 北京达佳互联信息技术有限公司 音效切换方法、装置、电子设备及存储介质
CN115361567A (zh) * 2022-07-07 2022-11-18 广州博冠信息科技有限公司 直播中的互动方法、装置和电子设备
CN115720279A (zh) * 2022-11-18 2023-02-28 杭州面朝信息科技有限公司 一种在直播场景中展现任意特效的方法及装置
CN115720279B (zh) * 2022-11-18 2023-09-15 杭州面朝信息科技有限公司 一种在直播场景中展现任意特效的方法及装置

Also Published As

Publication number Publication date
CN113810729B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN113810729A (zh) 直播氛围特效匹配方法、装置、设备及介质
US10467792B1 (en) Simulating communication expressions using virtual objects
CN109829039B (zh) 智能聊天方法、装置、计算机设备及存储介质
US11475897B2 (en) Method and apparatus for response using voice matching user category
CN112309365B (zh) 语音合成模型的训练方法、装置、存储介质以及电子设备
CN111667557B (zh) 动画制作方法及装置、存储介质、终端
CN111506794A (zh) 一种基于机器学习的谣言管理方法和装置
CN107895016A (zh) 一种播放多媒体的方法和装置
CN113780217A (zh) 直播辅助提示方法、装置、计算机设备及存储介质
JP2022020659A (ja) 通話中の感情を認識し、認識された感情を活用する方法およびシステム
CN114638232A (zh) 一种文本转换成视频的方法、装置、电子设备及存储介质
CN111444379B (zh) 音频的特征向量生成方法及音频片段表示模型的训练方法
CN114286154A (zh) 多媒体文件的字幕处理方法、装置、电子设备及存储介质
CN114138960A (zh) 用户意图识别方法、装置、设备及介质
CN114065720A (zh) 会议纪要生成方法、装置、存储介质及电子设备
CN110781327B (zh) 图像搜索方法、装置、终端设备及存储介质
CN111125384A (zh) 一种多媒体答案生成方法、装置、终端设备以及存储介质
KR102441456B1 (ko) 실제 사람의 말투와 문체를 흉내 내는 대화 방법 및 시스템
US11704585B2 (en) System and method to determine outcome probability of an event based on videos
CN115115753A (zh) 动画视频处理方法、装置、设备及存储介质
Firc Applicability of Deepfakes in the Field of Cyber Security
CN113900751A (zh) 一种合成虚拟形象的方法、装置、服务器和存储介质
CN113268635B (zh) 视频处理方法、装置、服务器及计算机可读存储介质
CN116741143B (zh) 基于数字分身的个性化ai名片的交互方法及相关组件
CN117668296A (zh) 视频审核的方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant