CN111954063A - 视频直播间的内容显示控制方法及装置 - Google Patents
视频直播间的内容显示控制方法及装置 Download PDFInfo
- Publication number
- CN111954063A CN111954063A CN202010857464.XA CN202010857464A CN111954063A CN 111954063 A CN111954063 A CN 111954063A CN 202010857464 A CN202010857464 A CN 202010857464A CN 111954063 A CN111954063 A CN 111954063A
- Authority
- CN
- China
- Prior art keywords
- video
- audio stream
- target
- room
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000009471 action Effects 0.000 claims abstract description 67
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 230000000875 corresponding effect Effects 0.000 description 88
- 238000012545 processing Methods 0.000 description 19
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000002478 hand joint Anatomy 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 235000015847 Hesperis matronalis Nutrition 0.000 description 1
- 240000004533 Hesperis matronalis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开关于一种视频直播间的内容显示控制方法及装置。其中，一种视频直播间的内容显示控制方法包括：接收视频直播间的观众端发送的第一音频流；通过对所述第一音频流进行语音识别，获取所述第一音频流对应的第一目标文本信息；根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组；基于所述第一目标动作组，生成所述虚拟对象的第一动画影像信息，并发送给所述视频直播间的各个观众端。
Description
技术领域
本公开涉及计算机及互联网技术领域，尤其涉及一种视频直播间的内容显示控制方法及装置。
背景技术
随着网络技术和终端技术的发展，网络直播得到了广泛的推广，已经成为了人们生活中一种非常常用的娱乐方式。
现有视频直播时，若想在直播视频中加入一些动画表情，则需要使用已存储的动画，而无法做到视频直播者与虚拟对象实时互动。例如：视频直播者若想要虚拟对象在直播间做出欢迎的动作，则只能向服务器提交已经制作好的虚拟对象做欢迎动作的动画，而无法实时控制虚拟对象的动作。
由此可见，在相关技术中，无法实现视频直播者与虚拟对象实时互动，从而影响直播效果和观看效果。
发明内容
本公开提供一种视频直播间的内容显示控制方法及装置，用以实现视频直播者与虚拟对象实时互动，从而提高直播效果和观看效果。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频直播间的内容显示控制方法，包括：接收视频直播间的观众端发送的第一音频流；通过对所述第一音频流进行语音识别，获取所述第一音频流对应的第一目标文本信息；根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组；基于所述第一目标动作组，生成所述虚拟对象的第一动画影像信息，并发送给所述视频直播间的各个观众端。
可选地，所述通过对所述音频流进行语音识别，获取所述第一音频流对应的目标文本信息，包括：将所述第一音频流进行数字信号处理，得到非压缩的波形数据；按照预设粒度，对所述波形数据进行拆分；采用预设的转换算法，获取拆分后的各段波形数据对应的声学特征信息；采用预设的解码算法，对各段波形数据对应的声学特征信息进行解码，得到所述第一音频流对应的第一目标文本信息。
可选地，所述根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组，包括：查找所述第一目标文本信息中的目标关键词，其中，所述预设关键词为预设关键词集合中的一个或多个关键词，所述预设关键词集中包含所述对应关系中的文本信息；获取所述对应关系中与所述目标关键词对应的所述第一目标动作组。
可选地，所述第一目标动作组中包括虚拟对象的一组动画图片；基于所述第一目标动作组，生成所述虚拟对象的第一动画影像信息，并发送给所述视频直播间的各个观众端，包括：基于所述第一目标动作组中包括的所述虚拟对象的一组动画图片，生成所述虚拟对象的第一动画影像信息；将所述虚拟对象的第一动画影像信息与当前待发送的音视频信息进行合成；将合成后的音视频信息发送给所述视频直播间的各个观众端。
可选地，在所述接收视频直播间的观众端发送的第一音频流之前，所述方法还包括：将所述虚拟对象的图像信息发送给所述视频直播间的各个观众端。
可选地，所述虚拟对象的一组动画图片用于描述所述虚拟对象的一个或多个关键顶点的运动。
可选地，所述方法还包括：接收所述视频直播间的主播端发送的第二音频流；通过对所述第二音频流进行语音识别，获取所述第二音频流对应的第二目标文本信息；根据所述对应关系，获取与所述第二目标文本信息对应的第二目标动作组；基于所述第二目标动作组，生成所述虚拟对象的第二动画影像信息；将所述虚拟对象的第二动画影像信息发送给所述视频直播间的各个观众端。
根据本公开实施例的第二方面，提供一种视频直播间的内容显示控制方法，包括：视频直播间的观众端接收输入第一音频流，所述第一音频流用于控制所述视频直播间的播放界面上的虚拟对象；将所述第一音频流发送给服务器；接收所述服务器返回的第一动画影像信息，其中，所述第一动画影像信息为所述服务器根据所述第一音频流对应的第一目标文本信息生成的；在所述播放界面上播放所述第一动画影像。
可选地，接收所述服务器返回的第一动画影像信息，包括：接收所述服务器发送的合成音视频信息，其中，所述合成音视频信息为所述服务器将所述第一动画影像信息与当前发送给所述观众端的音视频信息进行合成后得到的。
根据本公开实施例的第三方面，提供一种视频直播间的内容显示控制装置，包括：第一接收单元，被配置为执行接收视频直播间的观众端发送的第一音频流；第一获取单元，被配置为执行通过对所述第一音频流进行语音识别，获取所述第一音频流对应的第一目标文本信息；第二获取单元，被配置为执行根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组；生成单元，被配置为执行基于所述第一目标动作组，生成所述虚拟对象的第一动画影像信息；第一发送单元，被配置为执行将所述第一动画影像信息发送给所述视频直播间的各个观众端。
可选地，所述第一获取单元通过对所述音频流进行语音识别，获取所述第一音频流对应的目标文本信息，包括：将所述第一音频流进行数字信号处理，得到非压缩的波形数据；按照预设粒度，对所述波形数据进行拆分；采用预设的转换算法，获取拆分后的各段波形数据对应的声学特征信息；采用预设的解码算法，对各段波形数据对应的声学特征信息进行解码，得到所述第一音频流对应的第一目标文本信息。
可选地，所述第二获取单元根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组，包括：查找所述第一目标文本信息中的目标关键词，其中，所述预设关键词为预设关键词集合中的一个或多个关键词，所述预设关键词集中包含所述对应关系中的文本信息；获取所述对应关系中与所述目标关键词对应的所述第一目标动作组。
可选地，所述第一目标动作组中包括虚拟对象的一组动画图片；所述装置还包括：合成单元，被配置为执行将所述虚拟对象的第一动画影像信息与当前待发送的音视频信息进行合成；所述第一发送单元发送给所述视频直播间的各个观众端，包括：将合成后的音视频信息发送给所述视频直播间的各个观众端。
可选地，所述第一发送单元还被配置为执行在所述接收视频直播间的观众端发送的第一音频流之前，将所述虚拟对象的图像信息发送给所述视频直播间的各个观众端。
可选地，所述第一接收单元还配置为执行接收所述视频直播间的主播端发送的第二音频流；所述第一获取单元还配置为执行通过对所述第二音频流进行语音识别，获取所述第二音频流对应的第二目标文本信息；所述第二获取单元还配置为执行根据所述对应关系，获取与所述第二目标文本信息对应的第二目标动作组；所述生成单元还配置为执行基于所述第二目标动作组，生成所述虚拟对象的第二动画影像信息；所述第一发送单元还配置为执行将所述第二动画影像信息发送给所述视频直播间的各个观众端。
根据本公开实施例的第四方面，提供一种视频直播间的内容显示控制装置，包括：第二接收单元，被配置为执行接收输入第一音频流，所述第一音频流用于控制所述视频直播间的播放界面上的虚拟对象；第二发送单元，被配置为执行将所述第一音频流发送给服务器；所述第二接收单元还被配置为执行接收所述服务器返回的第一动画影像信息，其中，所述第一动画影像信息为所述服务器根据所述第一音频流对应的第一目标文本信息生成的；播放单元，被配置为执行在所述播放界面上播放所述第一动画影像。
可选地，所述第二接收单元接收所述服务器返回的第一动画影像信息，包括：接收所述服务器发送的合成音视频信息，其中，所述合成音视频信息为所述服务器将所述第一动画影像信息与当前发送给所述观众端的音视频信息进行合成后得到的。
根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述第一方面或第二方面提供的视频直播间的内容显示控制方法。
根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面或第二方面提供的视频直播间的内容显示控制方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行上述任一种视频直播间的内容显示控制方法。
本公开的实施例提供的技术方案至少带来以下有益效果：在本公开的实施例提供的技术方案中，在接收到视频直播间的观众端发送的第一音频流时，对第一音频流进行语音识别，获取观众端发送的音频流对应的文本信息，再根据预设的文本信息与动作组的对应关系，获取与该音频流的文本信息对应的一组动画图片，基于该组动画图片，生成虚拟对象的动画影像信息，将动画影像信息发送给视频直播间的各个观众端。这样，客户端就能展示虚拟对象的实时互动的动画影像信息，从而可以实现视频直播者与虚拟对象实时互动，进而提高直播效果和观看效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频直播间的内容显示控制方法的流程图；
图2是根据一示例性实施例示出的另一种视频直播间的内容显示控制方法的流程图；
图3是根据一示例性实施例示出的又一种视频直播间的内容显示控制方法的流程图；
图4是根据一示例性实施例示出的一种视频直播间的内容显示控制装置的框图；
图5是根据一示例性实施例示出的又一种视频直播间的内容显示控制装置的框图；
图6是根据一示例性实施例示出的一种装置的框图；
图7是根据一示例性实施例示出的一种装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频直播间的内容显示控制方法的流程图，该视频直播间的内容显示控制方法可以用于服务器中，如图1所示，包括以下步骤S11至步骤S16。
在步骤S11中，接收视频直播间的观众端发送的第一音频流。
在实际应用中，服务器可以利用直播过程中的语音连麦功能，与主播端和观众端进行音频连接。一个视频直播间包括两路音频，一路主播端音频，一路观众端音频。其中，主播端音频为主播端的用户终端采集到的主播的音频，观众端音频为观众端的用户终端采集到的观众的音频。
在本公开实施例中，用户终端可以是终端设备、移动终端(Mobile Terminal)、移动用户设备等，可以经网络(包括有线网络和无线网络)与服务器进行通信。其中，移动终端和移动用户设备包括但不限于移动电话和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，终端设备包括但不限于笔记本、台式机(desktop)、便携式电脑(laptop)等。具体本实施例中不作限定。
在实际应用中，主播端可能会收到观众端音频然后输入到主播端的麦克风里，从而出现返麦的情况，主播端的用户终端可以通过其硬件自带滤波器，过滤掉观众端音频，然后发送给服务器，或者，也可以由服务器在接收到主播端音频后，对接收到的主播端音频进行滤波，具体本公开实施例中并不限定。同样，对于观众端音频也可以作相似处理。
因此，在一个可能的实现方式中，在本公开实施例中，在S11中，服务器接收到观众端发送的第一音频流(即观众端音频流)后，可以对第一音频流进行滤波，以提高后续对第一音频流进行语音识别的准确性。
在步骤S12中，通过对所述第一音频流进行语音识别，获取所述第一音频流对应的第一目标文本信息。
在本公开实施例中，由于服务器先提取观众端的音频流，然后从提取到的音频流中识别出对应的文本信息，这样，可以减少计算量，从而可以提高实时响应。
在一个可能的实现方式中，在对第一音频流进行语音识别时，可以先将第一音频流进行数字信号处理，得到非压缩的波形数据，然后按照预设粒度，对所述波形数据进行拆分；采用预设的转换算法，获取拆分后的各段波形数据对应的声学特征信息；采用预设的解码算法，对各段波形数据对应的声学特征信息进行解码，得到所述第一音频流对应的第一目标文本信息。通过该可能的实现方式，可以提高语音识别的准确性。
在上述可能的实现方式中，预设粒度可以根据实际应用确定，例如，可以为毫秒级。由于拆分后的波形在时域上是没有描述能力的，因此，可以采用预设的转换算法，将波形进行声学特征提取，其中，预设的转换算法可以包括但不限于梅尔频率倒谱系数(MelFrequency Cepstrum Coefficient,MFCC)，其根据人耳的生理特性将每一帧(即拆分后的各段波形数据)转为一个多维向量，这个向量包含了这帧语音的内容信息，然后通过解码算法，识别出第一音频流对应的第一目标文本信息。其中，预设的解码算法可以为AI(人工智能)神经网络相关算法，例如，隐马尔可夫模型，通过构建状态网络，从状态网络上寻找与向量最匹配的路径，大概率理解语音之后，将语音转化为文字输出。
在步骤S13中，根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组。
其中，虚拟对象可以是任何动画形象，例如：小宠物、迪斯尼动漫人物等，虚拟对象的3D模型信息可以预先存储在服务器中。
其中，可选地，所述第一目标动作组中包括虚拟对象的一组动画图片。
在本公开的实施例中，服务器中可以预先存储文本信息与动作组的对应关系，例如，在服务器中预先设置与不同文本信息相对应的虚拟对象的一组动画图片，从而建立文本信息与动画组的对应关系。
例如，在虚拟对象的3D建模时，可以设计一系列的骨骼动画，即虚拟对象的一些关键顶点的运动，制作动画的过程就是创建骨骼，然后将顶点映射到骨骼，比如手关节动就是手关节上的顶点的运动，而肩关节的运动则是肩上的关键顶点的运动。对于3D对象来说，绘制模型的蒙皮是一套，但是骨骼动画则可能需要多套图片。在服务器中可以预先设置不同文本信息对应的骨骼动画。因此，在一个可能的实现方式中，虚拟对应的一组动画图片用于描述虚拟对象的一个或多个关键顶点的运动。
在实际应用中，为了减少存储空间，可以在对应关系中记录文本信息对应的状态，再记录各个状态对应的一组动画图片。例如，“大家好”对应状态1，而状态1又对应一套骨骼动画。
在本公开实施例中，不同文本信息可以对应同一组动画图片，例如，“大家好”与“朋友们好”可以对应同一组动画图片，该组动画图片用于展示虚拟对象作出欢迎动作的动画。各文本信息对应的一组动画图片的内容可以根据实际应用进行设置，例如，各文本信息对应的一组动画图片的动作可以是与该文本信息对应的手势(即该手势的含义与文本信息相同)，或者，也可以是与该文本信息对应的表情，具体本公开实施例中不作限制。
在一个可能的实现方式中，从第一音频流中识别出的文本信息可能与对应关系中的文本信息并不完全匹配，例如，对应关系中记录的文本信息为“大家好”，而从第一音频流中识别出的文本信息为“女士们先生们大家好”，从而可能导致无法在对应关系中找到与语音识别出的文本信息对应的一组动画图片。因此，为了找到与识别出的文本信息对应的一组动画图片，在该可能的实现方式中，在步骤S13中，可以先查找所述第一目标文本信息中的目标关键词，其中，所述目标关键词为预设关键词集合中的一个或多个关键词，所述预设关键词集中包含所述对应关系中的文本信息；然后获取所述对应关系中与所述目标关键词对应的所述第一目标动作组。在该可能的实现方式中，先从第一目标文本信息中找到目标关键词，然后再从对应关系中找到与目标关键词对应的目标动作组，可以提高找到匹配的动作组的成功率，减少对应关系中存储的文本信息的数量。
在一个可能的实现方式中，在步骤S11之前，可以在直播间启动所述虚拟对象。因此，在该可能的实现方式中，在步骤S11之前，该方法还可以包括：将所述虚拟对象的图像信息与当前待发送的音视频信息进行合成，将合成后的音视频信息发送给所述视频直播间的各个观众端。在具体应用中，服务器可以在接收到主播端或观众端发送的启动消息后，执行上述步骤，也可以是在直播间开播的时候即启动虚拟对象，即在直播间显示该虚拟对象，具体本实施例中不作限定。
在步骤S14中，基于所述第一目标动作组，生成所述虚拟对象的第一动画影像信息。
在本实施例中，例如，服务器可以将第一目标动作组中包括的所述虚拟对象的一组动画图片，加上时间信息，生成一段动画，即第一动画影像信息。
在步骤S15中，将所述虚拟对象的第一动画影像信息发送给所述视频直播间的各个观众端。
在一个可能的实现方式中，在发送第一动画影像信息时，可以将该第一动画影像信息与当前待发送的音视频信息进行合成，将合成后的音视频信息发送给所述视频直播间的各个观众端。
其中，当前待发送的音视频信息为当前发送给视频直播间的音视频信息，即在客户端展示的音视频信息，例如，视频主播者的影像信息。
其中，观众端是指直播视频的播放端。将合成后的音视频信息发送给所述视频直播间的各个观众端，从而可以在观众端展示虚拟对象的动画。
在一个可能的实现方式中，该方法还可以包括：接收所述视频直播间的主播端发送的第二音频流；通过对所述第二音频流进行语音识别，获取所述第二音频流对应的第二目标文本信息；根据所述对应关系，获取与所述第二目标文本信息对应的第二目标动作组，其中，所述第二目标动作组中包括虚拟对象的一组动画图片；基于所述第二目标动作组中包括的所述虚拟对象的一组动画图片，生成所述虚拟对象的第二动画影像信息；将所述虚拟对象的第二动画影像信息与当前待发送的音视频信息进行合成；将合成后的音视频信息发送给所述视频直播间的各个观众端。也就是说，在该可能的实现方式中，主播端也可以通过语音控制虚拟对象的动作，使虚拟对象作出与主播输入的语音对应的动作，例如，可以作出与语音内容对应的手势，从而可以使得不方便听语音或听觉有障碍的观众可以获取到主播输出的语音信息。
在上述可能的实现方式中，可以采用上述各个可能实现方式中对观众端的第一音频流进行处理方式，对第二音频流进行相应的处理，具体方法参见上述各个可能的实现方式中的描述，在此不再赘述。
在本公开的实施例提供的技术方案中，在接收到视频直播间的观众端发送的第一音频流时，对第一音频流进行语音识别，获取观众端发送的音频流对应的文本信息，再根据预设的文本信息与动作组的对应关系，获取与该音频流的文本信息对应的一组动画图片，基于该组动画图片，生成虚拟对象的动画影像信息，将动画影像信息与当前待发送的音视频信息进行合成后，发送给视频直播间的各个观众端。这样，客户端就能展示虚拟对象的实时互动的动画影像信息与当前待发送的音视频信息合成后的音视频信息，从而可以实现视频直播者与虚拟对象实时互动，进而提高直播效果和观看效果。
下面结合图2说明本公开实施例中视频直播间的观众与虚拟对象实时互动的整体流程。
首先，在服务器中预先设置有与文本信息对应的动作组，从而建立文本信息与动作组的对应关系，在该对应关系中，每一项文本信息可以为一个或多个关键词，每一个动作组可以包括一组动画图片，该组动画图片可以用于描述虚拟对象的一组肢体动作或一套面部表情等。
在视频直播间未启动虚拟对象的情况下，即在视频直播间的播放界面中未显示虚拟对象的情况下，在步骤S201中，主播通过其用户设备(下面称为主播端)输入虚拟对象的启动命令，主播端发送虚拟对象的启动命令至服务器。
例如，视频直播界面可以提供一个显示虚拟对象的菜单，主播选择该菜单，向服务器发送虚拟对象的启动命令。
其中，虚拟对象可以是任何动画形象，例如，小宠物、动漫人物等。虚拟对象的动画模型预先存储在服务器中。在本实施例中，虚拟对象可以为三维动画形象。
在一个可能的实现方式，还可以提供多种虚拟对象供用户选择，例如，在视频直播的客户端APP中提供选择按钮供用户选择，用户可以选择其心仪的虚拟对象。
在实际应用中，也可以为视频直播间的观众通过其用户设备(下面称为观众端)输入虚拟对象的启动命令，具体本实施例中不作限定。
在步骤S202中，服务器接收到虚拟对象的启动命令，生成该虚拟对象的动画影像信息。
在实际应用中，在步骤S202中生成的虚拟对象的动画影像信息的状态可以是静态的，也可以是默认的动画状态，例如，虚拟对象作抱拳作揖的动作，具体本实施例中不作限定。
在步骤S203、服务器将该虚拟对象的动画影像信息与当前待发送的音视频信息进行合成。
服务器将步骤S202中生成的虚拟对象的动画影像信息与直播间当前的音视频信息进行合成，将虚拟对象的动画影像信息合成到直播间当前的音视频信息中。
在一个可能的实现方式中，在合成虚拟对象的动画影像信息与当前待发送的音视频信息时，可以将虚拟对象的显示位置设置到固定位置，例如，播放界面的右下角等，具体可以根据实际应用确定。
在S204、服务器将该合成后的音视频信息发送给客户端。
其中，客户端指直播视频的播放端，例如，观众端。
在步骤S205中，观众端展示合成后的音视频信息。
在步骤S206中，观众在观看播放的直播视频的过程中，如果需要控制虚拟对象作动作，则可以通过观众端(例如，带有麦克风的用户终端)输入音频信息，观众端将采集的音频流发送给服务器。
在步骤S207中，服务器接收观众端发送的音频流。
在步骤S208中，将从观众端收到的音频流进行数字信号处理，转成非压缩的波形数据。
在步骤S209中，服务器将波形数据进行毫秒级的拆分，由于拆分后的波形在时域上是没有描述能力的，因此需要将波形进行声学特征提取，在S209中，服务器通过预设的转换算法(例如，MFCC)，根据人耳的生理特性将每一帧转为一个多维向量，该多维向量包含了这帧语音的内容信息。
在步骤S210中进行解码。服务器可以通过AI神经网络相关算法，比如隐马尔可夫模型，构建状态网络，从状态网络上寻找与向量最匹配的路径，大概率理解语音之后，将语音转化为文字输出。
在步骤211中，从预设设置的对应关系中，获取与步骤S210中得到的文字对应的虚拟对象的动作组。
其中，在虚拟对象的3D建模时，可以设计一系列的骨骼动画(即多组骨骼动画)，其中，骨骼动画抽象来说可以一些关键顶点的运动，动画的制作过程就是创建骨骼，然后将顶点映射到骨骼，比如手关节动就是手关节上的顶点的运动，而肩关节的运动则是肩上的关键顶点的运动。
对于3D形象来说，绘制模型的蒙皮是一套，但是骨骼动画则可能需要多套图片，比如大家好，对应状态1，而状态1又对应一套骨骼动画，这样，在说话的人说出的每一句话都能够变为相应的动作来让3D形象进行展示了。
在步骤S212中，基于步骤S211中得到的虚拟对象的动作组，生成虚拟对象的动画影像信息，将该动画影像信息与当前待发送的音视频信息进行合成。
在步骤S213中，将步骤S212合成的音视频信息发送给视频直播间的各个观众端。
在步骤S314中，观众端展示虚拟对象的动画影像信息与当前待发送的音视频信息合成后的音视频信息。
当继续进行观众端控制虚拟对象实时作出动作时，就无需执行步骤S201至S205，可以从S206执行虚拟对象实时控制的步骤。
图3是根据一示例性实施例示出的一种视频直播间的内容显示控制方法的流程图，该视频直播间的内容显示控制方法可以用于客户端中，如图3所示，包括以下步骤S31至步骤S34。
在S31中，视频直播间的观众端接收输入第一音频流，所述第一音频流用于控制所述视频直播间的播放界面上的虚拟对象。
例如，视频直播间的观众想要控制视频直播间的播放界面上的虚拟对象动作，则可以通过观众端的音频输入装置输入第一音频流。
在S32中，视频直播间的观众端将第一音频流发送给服务器。
服务器在接收到第一音频流之后，可以采用图1或图2所示的视频直播间的内容显示控制方法生成所述虚拟对象的第一动画影像信息，并将所述第一动画影像信息发送给视频直播间的各个观众端。
在S33中，接收所述服务器返回的第一动画影像信息，其中，所述第一动画影像信息为所述服务器根据所述第一音频流对应的第一目标文本信息生成的。
在一个可能的实现方式中，接收所述服务器返回的第一动画影像信息可以包括：接收所述服务器发送的合成音视频信息，其中，所述合成音视频信息为所述服务器将所述第一动画影像信息与当前发送给所述观众端的音视频信息进行合成后得到的。具体可以参见上述图1和图2所示的视频直播间的内容显示控制方法中的相关描述。
在S34中，视频直播间的观众端在所述播放界面上播放所述第一动画影像。从而使得视频直播间的观众可以观看到虚拟对象的动作。
图4是根据一示例性实施例示出的一种视频直播间的内容显示控制装置的框图。参照图4，该装置400包括第一接收单元411、第一获取单元412、第二获取单元413、生成单元414、合成单元415和第一发送单元416。
在本实施例中，第一接收单元411，被配置为执行接收视频直播间的观众端发送的第一音频流；第一获取单元412，被配置为执行通过对所述第一音频流进行语音识别，获取所述第一音频流对应的第一目标文本信息；第二获取单元413，被配置为执行根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组；生成单元414，被配置为执行基于所述第一目标动作组，生成所述虚拟对象的第一动画影像信息；第一发送单元416，被配置为执行将所述虚拟对象的第一动画影像信息发送给所述视频直播间的各个观众端。
在一个可能的实现方式中，所述第一获取单元412通过对所述音频流进行语音识别，获取所述第一音频流对应的目标文本信息，包括：将所述第一音频流进行数字信号处理，得到非压缩的波形数据；按照预设粒度，对所述波形数据进行拆分；采用预设的转换算法，获取拆分后的各段波形数据对应的声学特征信息；采用预设的解码算法，对各段波形数据对应的声学特征信息进行解码，得到所述第一音频流对应的第一目标文本信息。
在一个可能的实现方式中，所述第二获取单元413根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组，包括：查找所述第一目标文本信息中的目标关键词，其中，所述目标关键词为预设关键词集合中的一个或多个关键词，所述预设关键词集中包含所述对应关系中的文本信息；获取所述对应关系中与所述目标关键词对应的所述第一目标动作组。
在一个可能的实现方式中，所述第一目标动作组中包括虚拟对象的一组动画图片；如图4所示，所述装置还可以包括：合成单元415，被配置为执行将所述虚拟对象的第一动画影像信息与当前待发送的音视频信息进行合成；所述第一发送单元416发送给所述视频直播间的各个观众端，包括：将合成后的音视频信息发送给所述视频直播间的各个观众端。
在一个可能的实现方式中，所述第一发送单元416还被配置为执行在所述接收视频直播间的观众端发送的第一音频流之前，将所述虚拟对象的图像信息发送给所述视频直播间的各个观众端。
在一个可能的实现方式中，所述第一接收单元411还配置为执行接收所述视频直播间的主播端发送的第二音频流；所述第一获取单元412还配置为执行通过对所述第二音频流进行语音识别，获取所述第二音频流对应的第二目标文本信息；所述第二获取单元413还配置为执行根据所述对应关系，获取与所述第二目标文本信息对应的第二目标动作组；所述生成单元414还配置为执行基于所述第二目标动作组，生成所述虚拟对象的第二动画影像信息；所述合成单元415还配置为执行将所述虚拟对象的第二动画影像信息与当前待发送的音视频信息进行合成；所述第一发送单元416还配置为执行将所述第二动画影像信息发送给所述视频直播间的各个观众端。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，并具有相同的有益效果此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种视频直播间的内容显示控制装置的框图。参照图5，该装置500包括第二接收单元511、第二发送单元512和播放单元513。
在该实施例中，第二接收单元511，被配置为执行接收输入第一音频流，所述第一音频流用于控制所述视频直播间的播放界面上的虚拟对象；第二发送单元512，被配置为执行将所述第一音频流发送给服务器；所述第二接收单元511还被配置为执行接收所述服务器返回的第一动画影像信息，其中，所述第一动画影像信息为所述服务器根据所述第一音频流对应的第一目标文本信息生成的；播放单元513，被配置为执行在所述播放界面上播放所述第一动画影像。
在一个可能的实现方式中，所述第二接收单元512接收所述服务器返回的第一动画影像信息，包括：接收所述服务器发送的合成音视频信息，其中，所述合成音视频信息为所述服务器将所述第一动画影像信息与当前发送给所述观众端的音视频信息进行合成后得到的。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，并具有相同的有益效果此处将不做详细阐述说明。
图6根据一示例性实施例示出的一种用于视频直播间的内容显示控制的装置600的框图。例如，装置600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置600可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理***，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如所述组件为装置600的显示器和小键盘，传感器组件614还可以检测装置600或装置600一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器604，上述指令可由装置600的处理器620执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是根据一示例性实施例示出的一种用于视频直播间的内容显示控制的装置700的框图。例如，装置700可以被提供为一服务器。参照图7，装置700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述视频直播间的内容显示控制方法。
装置700还可以包括一个电源组件726被配置为执行装置700的电源管理，一个有线或无线网络接口750被配置为将装置700连接到网络，和一个输入输出(I/O)接口758。装置700可以操作基于存储在存储器732的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似的操作***。
本公开的实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述视频直播间的内容显示控制方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种视频直播间的内容显示控制方法，其特征在于，包括：
接收视频直播间的观众端发送的第一音频流；
通过对所述第一音频流进行语音识别，获取所述第一音频流对应的第一目标文本信息；
根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组；
基于所述第一目标动作组，生成所述虚拟对象的第一动画影像信息，并发送给所述视频直播间的各个观众端。
2.根据权利要求1所述的方法，其特征在于，所述根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组，包括：
查找所述第一目标文本信息中的目标关键词，其中，所述目标关键词为预设关键词集合中的一个或多个关键词，所述预设关键词集中包含所述对应关系中的文本信息；
获取所述对应关系中与所述目标关键词对应的所述第一目标动作组。
3.根据权利要求1所述的方法，其特征在于，所述第一目标动作组中包括虚拟对象的一组动画图片；
基于所述第一目标动作组，生成所述虚拟对象的第一动画影像信息，并发送给所述视频直播间的各个观众端，包括：
基于所述第一目标动作组中包括的所述虚拟对象的一组动画图片，生成所述虚拟对象的第一动画影像信息；
将所述虚拟对象的第一动画影像信息与当前待发送的音视频信息进行合成；
将合成后的音视频信息发送给所述视频直播间的各个观众端。
4.根据权利要求1至3任一项所述的方法，其特征在于，在所述接收视频直播间的观众端发送的第一音频流之前，所述方法还包括：
将所述虚拟对象的图像信息与当前待发送的音视频信息进行合成，将合成后的音视频信息发送给所述视频直播间的各个观众端。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
接收所述视频直播间的主播端发送的第二音频流；
通过对所述第二音频流进行语音识别，获取所述第二音频流对应的第二目标文本信息；
根据所述对应关系，获取与所述第二目标文本信息对应的第二目标动作组；
基于所述第二目标动作组，生成所述虚拟对象的第二动画影像信息，并发送给所述视频直播间的各个观众端。
6.一种视频直播间的内容显示控制方法，其特征在于，包括：
视频直播间的观众端接收输入第一音频流，所述第一音频流用于控制所述视频直播间的播放界面上的虚拟对象；
将所述第一音频流发送给服务器；
接收所述服务器返回的第一动画影像信息，其中，所述第一动画影像信息为所述服务器根据所述第一音频流对应的第一目标文本信息生成的；
在所述播放界面上播放所述第一动画影像。
7.一种视频直播间的内容显示控制装置，其特征在于，包括：
第一接收单元，被配置为执行接收视频直播间的观众端发送的第一音频流；
第一获取单元，被配置为执行通过对所述第一音频流进行语音识别，获取所述第一音频流对应的第一目标文本信息；
第二获取单元，被配置为执行根据预设的文本信息与动作组的对应关系，获取与所述第一目标文本信息对应的第一目标动作组；
生成单元，被配置为执行基于所述第一目标动作组，生成所述虚拟对象的第一动画影像信息；
第一发送单元，被配置为执行将所述第一动画影像信息发送给所述视频直播间的各个观众端。
8.一种视频直播间的内容显示控制装置，其特征在于，包括：
第二接收单元，被配置为执行接收输入第一音频流，所述第一音频流用于控制所述视频直播间的播放界面上的虚拟对象；
第二发送单元，被配置为执行将所述第一音频流发送给服务器；
所述第二接收单元还被配置为执行接收所述服务器返回的第一动画影像信息，其中，所述第一动画影像信息为所述服务器根据所述第一音频流对应的第一目标文本信息生成的；
播放单元，被配置为执行在所述播放界面上播放所述第一动画影像。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的视频直播间的内容显示控制方法；或者实现如权利要求6所述的视频直播间的内容显示控制方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任一项所述的视频直播间的内容显示控制方法；或者，执行如权利要求6所述的视频直播间的内容显示控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010857464.XA CN111954063B (zh) | 2020-08-24 | 2020-08-24 | 视频直播间的内容显示控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010857464.XA CN111954063B (zh) | 2020-08-24 | 2020-08-24 | 视频直播间的内容显示控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111954063A true CN111954063A (zh) | 2020-11-17 |
| CN111954063B CN111954063B (zh) | 2022-11-04 |
Family
ID=73360296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010857464.XA Active CN111954063B (zh) | 2020-08-24 | 2020-08-24 | 视频直播间的内容显示控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111954063B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541959A (zh) * | 2020-12-21 | 2021-03-23 | 广州酷狗计算机科技有限公司 | 虚拟对象显示方法、装置、设备及介质 |
| CN114071177A (zh) * | 2021-11-16 | 2022-02-18 | 网易（杭州）网络有限公司 | 虚拟礼物的发送方法、装置及终端设备 |
| CN114415907A (zh) * | 2022-01-21 | 2022-04-29 | 腾讯科技（深圳）有限公司 | 媒体资源显示方法、装置、设备及存储介质 |
| CN114630135A (zh) * | 2020-12-11 | 2022-06-14 | 北京字跳网络技术有限公司 | 一种直播互动方法及装置 |
| WO2022174579A1 (zh) * | 2021-02-20 | 2022-08-25 | 北京达佳互联信息技术有限公司 | 直播间的互动方法及其装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105959718A (zh) * | 2016-06-24 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种视频直播中实时互动的方法及装置 |
| CN106162230A (zh) * | 2016-07-28 | 2016-11-23 | 北京小米移动软件有限公司 | 直播信息的处理方法、装置、主播端、服务器及*** |
| CN106228436A (zh) * | 2016-08-26 | 2016-12-14 | 北京小米移动软件有限公司 | 直播平台虚拟物品设置方法及装置 |
| CN106792246A (zh) * | 2016-12-09 | 2017-05-31 | 福建星网视易信息***有限公司 | 一种融合式虚拟场景互动的方法及*** |
| CN106804007A (zh) * | 2017-03-20 | 2017-06-06 | 合网络技术（北京）有限公司 | 一种网络直播中自动匹配特效的方法、***及设备 |
| CN108076392A (zh) * | 2017-03-31 | 2018-05-25 | 北京市商汤科技开发有限公司 | 直播互动方法、装置和电子设备 |
| US20190082211A1 (en) * | 2016-02-10 | 2019-03-14 | Nitin Vats | Producing realistic body movement using body Images |
| CN109618181A (zh) * | 2018-11-28 | 2019-04-12 | 网易（杭州）网络有限公司 | 直播交互方法及装置、电子设备、存储介质 |
| CN110798696A (zh) * | 2019-11-18 | 2020-02-14 | 广州虎牙科技有限公司 | 直播交互方法、装置、电子设备及可读存储介质 |
-
2020
- 2020-08-24 CN CN202010857464.XA patent/CN111954063B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190082211A1 (en) * | 2016-02-10 | 2019-03-14 | Nitin Vats | Producing realistic body movement using body Images |
| CN105959718A (zh) * | 2016-06-24 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种视频直播中实时互动的方法及装置 |
| CN106162230A (zh) * | 2016-07-28 | 2016-11-23 | 北京小米移动软件有限公司 | 直播信息的处理方法、装置、主播端、服务器及*** |
| CN106228436A (zh) * | 2016-08-26 | 2016-12-14 | 北京小米移动软件有限公司 | 直播平台虚拟物品设置方法及装置 |
| CN106792246A (zh) * | 2016-12-09 | 2017-05-31 | 福建星网视易信息***有限公司 | 一种融合式虚拟场景互动的方法及*** |
| CN106804007A (zh) * | 2017-03-20 | 2017-06-06 | 合网络技术（北京）有限公司 | 一种网络直播中自动匹配特效的方法、***及设备 |
| CN108076392A (zh) * | 2017-03-31 | 2018-05-25 | 北京市商汤科技开发有限公司 | 直播互动方法、装置和电子设备 |
| CN109618181A (zh) * | 2018-11-28 | 2019-04-12 | 网易（杭州）网络有限公司 | 直播交互方法及装置、电子设备、存储介质 |
| CN110798696A (zh) * | 2019-11-18 | 2020-02-14 | 广州虎牙科技有限公司 | 直播交互方法、装置、电子设备及可读存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114630135A (zh) * | 2020-12-11 | 2022-06-14 | 北京字跳网络技术有限公司 | 一种直播互动方法及装置 |
| WO2022121592A1 (zh) * | 2020-12-11 | 2022-06-16 | 北京字跳网络技术有限公司 | 一种直播互动方法及装置 |
| CN112541959A (zh) * | 2020-12-21 | 2021-03-23 | 广州酷狗计算机科技有限公司 | 虚拟对象显示方法、装置、设备及介质 |
| WO2022174579A1 (zh) * | 2021-02-20 | 2022-08-25 | 北京达佳互联信息技术有限公司 | 直播间的互动方法及其装置 |
| CN114071177A (zh) * | 2021-11-16 | 2022-02-18 | 网易（杭州）网络有限公司 | 虚拟礼物的发送方法、装置及终端设备 |
| CN114071177B (zh) * | 2021-11-16 | 2023-09-26 | 网易（杭州）网络有限公司 | 虚拟礼物的发送方法、装置及终端设备 |
| CN114415907A (zh) * | 2022-01-21 | 2022-04-29 | 腾讯科技（深圳）有限公司 | 媒体资源显示方法、装置、设备及存储介质 |
| CN114415907B (zh) * | 2022-01-21 | 2023-08-18 | 腾讯科技（深圳）有限公司 | 媒体资源显示方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111954063B (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111954063B (zh) | 视频直播间的内容显示控制方法及装置 | |
| CN110662083B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN109446876B (zh) | 手语信息处理方法、装置、电子设备和可读存储介质 | |
| CN109637518B (zh) | 虚拟主播实现方法及装置 | |
| CN106791893B (zh) | 视频直播方法及装置 | |
| CN108363706B (zh) | 人机对话交互的方法和装置、用于人机对话交互的装置 | |
| CN107644646B (zh) | 语音处理方法、装置以及用于语音处理的装置 | |
| KR20180057366A (ko) | 이동 단말기 및 그 제어방법 | |
| CN111970533A (zh) | 直播间的互动方法、装置及电子设备 | |
| US20210029304A1 (en) | Methods for generating video, electronic device and storage medium | |
| WO2023279960A1 (zh) | 虚拟对象的动作处理方法、装置和存储介质 | |
| WO2021232875A1 (zh) | 一种驱动数字人的方法、装置及电子设备 | |
| US20180173394A1 (en) | Method and apparatus for inputting expression information | |
| CN110730360A (zh) | 视频上传、播放的方法、装置、客户端设备及存储介质 | |
| CN112788359A (zh) | 直播处理方法、装置、电子设备及存储介质 | |
| CN115273831A (zh) | 语音转换模型训练方法、语音转换方法和装置 | |
| KR20130096983A (ko) | 얼굴을 포함하는 영상 처리 방법 및 장치 | |
| CN111696536A (zh) | 语音处理方法、装置和介质 | |
| CN110162710A (zh) | 输入场景下信息推荐方法及装置 | |
| CN111292743B (zh) | 语音交互方法及装置、电子设备 | |
| CN114356068B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN113115104B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN113709548A (zh) | 基于图像的多媒体数据合成方法、装置、设备及存储介质 | |
| CN113792178A (zh) | 一种歌曲生成方法、装置、电子设备及存储介质 | |
| CN110753233B (zh) | 信息交互的播放方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |