CN114422816A - 一种直播视频处理方法、装置、电子设备及存储介质 - Google Patents

一种直播视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114422816A
CN114422816A CN202210048158.0A CN202210048158A CN114422816A CN 114422816 A CN114422816 A CN 114422816A CN 202210048158 A CN202210048158 A CN 202210048158A CN 114422816 A CN114422816 A CN 114422816A
Authority
CN
China
Prior art keywords
target
live broadcast
information
focus object
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210048158.0A
Other languages
English (en)
Inventor
肖潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210048158.0A priority Critical patent/CN114422816A/zh
Publication of CN114422816A publication Critical patent/CN114422816A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开关于一种直播视频处理方法、装置、电子设备及存储介质,能够提高主播用户与观众用户之间进行交流互动的效率,提升用户的使用体验。具体方案包括:生成待直播内容对应的初始直播资源;在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,根据初始直播资源和焦点对象得到目标信息和目标直播资源;目标信息为对焦点对象进行处理后得到的信息,焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;将包括目标信息的目标直播资源发送至服务器;目标信息用于提示目标直播资源中包括的焦点对象。

Description

一种直播视频处理方法、装置、电子设备及存储介质
技术领域
本公开涉及网络技术领域,尤其涉及一种直播视频处理方法、装置、电子设备及存储介质。
背景技术
主播用户在通过直播平台进行直播的过程中,需要不断的与观众用户进行交流互动,具体的,主播用户可以通过语音对话的形式与观众用户发送的弹幕进行交流互动,在某些情况下,主播用户还可以通过手势或鼠标指针的形式与观众用户进行交流互动,以向观众用户提示直播画面(即主播用户对应的现实场景或电子设备的界面)中对应的物品画面,并通过语音方式向观众用户进行讲解说明,从而使得观众用户可以了解主播用户当前所描述的具体内容。
但是在某些类型的直播过程(例如游戏直播)中,主播用户需要通过双手操作游戏,无法通过手势或鼠标指针向观众用户展示电子设备的直播画面中具体的画面区域,从而在主播用户通过语音方式向观众用户进行讲解说明时,观众用户无法准确的确定主播用户当前描述的具体内容所对应的具体画面区域。从而主播用户与观众用户之间进行交流互动的效率较低。
发明内容
本公开提供一种直播视频处理方法、装置、电子设备及存储介质,能够提高主播用户与观众用户之间进行交流互动的效率,提升用户的使用体验。本公开的技术方案如下:
根据本公开的第一方面,提供一种直播视频处理方法,该方法包括:生成待直播内容对应的初始直播资源;在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,根据初始直播资源和焦点对象得到目标信息和目标直播资源;目标信息为对焦点对象进行处理后得到的信息,焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;将包括目标信息的目标直播资源发送至服务器;目标信息用于提示目标直播资源中包括的焦点对象。
由上可知,在主播用户在通过对应的电子设备进行网络直播的过程中,电子设备可以对待直播内容进行录制,以生成待直播内容对应的初始直播资源;进一步的,电子设备可以确定待直播内容中目标对象的视线聚焦位置,以在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,可以对焦点对象进行处理后得到目标信息,并可以根据初始直播资源得到目标直播资源,以通过目标信息提示目标直播资源中包括的焦点对象,并将包括目标信息的目标直播资源发送至服务器。通过这种实现方式,可以在主播用户行网络直播的过程中,将电子设备生成的待直播内容对应的初始直播资源进行进一步处理,从而得到包括用于提示焦点对象的目标信息,以在目标直播资源中通过目标信息提示目标对象的视线聚焦位置。从而能够提高主播用户与观众用户之间进行交流互动的效率,提升用户的使用体验。
可选地,上述“在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,根据初始直播资源和焦点对象得到目标信息和目标直播资源”的方法具体包括:在确定待直播内容中目标对象的视线聚焦于焦点对象的时长大于或等于预设时长的情况下,对初始直播资源中包括的焦点对象进行处理,得到处理后的包括目标信息的目标直播资源;目标信息的形式为以下任一项:音频信息、图像资源。
由上可知,可以通过判断待直播内容中目标对象的视线聚焦于焦点对象的时长是否大于或等于预设时长,从而进一步准确的确定目标对象的视线聚焦位置的焦点对象,并对焦点对象进行处理,得到处理后的包括目标信息的目标直播资源。通过这种实现方式,可以进一步准确的确定目标对象的视线聚焦位置的焦点对象。
可选地,焦点对象为电子设备屏幕中的目标区域中显示的目标图像,目标信息为目标区域的显示参数调整后得到的图像资源;上述“根据初始直播资源和焦点对象得到目标信息和目标直播资源”的方法具体包括:调整显示有目标图像的目标区域的显示参数,得到包括目标信息的目标直播资源;显示参数包括以下至少一项:图像亮度、图像清晰度、图像对比度。
由上可知,在焦点对象为电子设备屏幕中的目标区域中显示的目标图像时,可以调整显示有目标图像的目标区域的显示参数,并将目标区域的显示参数调整后得到的图像资源确定为目标信息。通过这种实现方式,可以将目标区域中显示的目标图像确定为焦点对象,确定焦点对象的灵活性较高。
可选地,上述“根据初始直播资源和焦点对象得到目标信息和目标直播资源”的方法具体包括:调整其他显示区域的显示参数,得到包括目标信息的目标直播资源;其他显示区域为显示有目标图像的目标区域之外的显示区域。
由上可知,可以通过调整显示有目标图像的目标区域之外的其他显示区域的显示参数,来相对的调整目标区域的显示参数。通过这种实现方式,可以灵活的调整目标区域的显示参数。
可选地,焦点对象为电子设备屏幕中显示的目标弹幕信息;上述“根据初始直播资源和焦点对象得到目标信息和目标直播资源”的方法具体包括:对目标弹幕信息进行文本识别处理,得到目标弹幕信息对应的音频信息;将音频信息与初始直播资源进行合成处理,得到包括音频信息的目标直播资源。
由上可知,在焦点对象为电子设备屏幕中显示的目标弹幕信息时,可以识别该目标弹幕信息得到对应的音频信息,并将音频信息与初始直播资源进行合成处理,得到包括音频信息的目标直播资源。通过这种实现方式,可以在得到的目标直播资源中***目标弹幕信息对应的音频信息,从而可以提高目标直播资源中所包括的内容的多样性。
可选地,焦点对象为现实场景中的对象;上述“根据初始直播资源和焦点对象得到目标信息和目标直播资源”的方法具体包括:对现实场景中的对象添加目标图像资源,得到包括目标图像资源的目标直播资源;目标图像资源用于提示现实场景中的对象,图像资源包括以下至少一项:动态文字、魔法表情、特效图像。
由上可知,在焦点对象为现实场景中的对象时,可以对现实场景中的对象添加目标图像资源,以通过添加的目标图像资源提示现实场景中的对象。通过这种实现方式,可以提高目标直播资源与用户之间的交互能力。
根据本公开的第二方面,提供一种直播视频处理方法,该方法包括:从服务器获取包括目标信息的目标直播资源;目标信息用于提示目标直播资源中包括的焦点对象,目标信息为对焦点对象进行处理后得到的信息,焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象。
由上可知,在观众用户通过对应的电子设备观看从服务器获取的包括目标信息的目标直播资源的情况下,电子设备可以在直播画面中包括焦点对象时,通过目标信息提示用户在目标直播资源中包括的焦点对象。通过这种实现方式,可以通过目标信息提示用户在直播画面中包括的焦点对象,以提示用户当前直播画面的重点显示内容,提升目标直播资源与用户之间的交互能力。
可选地,焦点对象为目标图像,目标信息为目标区域的显示参数调整后得到的图像资源;上述“播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象”的方法具体包括:在直播画面的目标区域中包括目标图像时,通过调整后的显示参数显示目标区域中的目标图像,目标区域内的显示参数不同于直播画面中的其他区域内的显示参数;在弹幕信息移动至目标区域的情况下,隐藏弹幕信息。
由上可知,电子设备可以在直播画面中的目标区域中包括目标图像时,通过调整后的显示参数显示目标区域中的目标图像,并在弹幕信息移动至目标区域的情况下,隐藏弹幕信息。通过这种实现方式,可以通过调整目标区域的显示参数,明显的区分目标区域和其他区域,以使得用户可以集中注意力查看目标区域的显示内容,并通过隐藏目标区域的弹幕信息,使得弹幕信息不干扰用户,从而提高了电子设备显示目标图像的显示效果。
可选地,焦点对象为目标弹幕信息,目标信息为目标弹幕信息对应的音频信息;上述“播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象”的方法具体包括:在直播画面中包括目标弹幕信息时,播放目标弹幕信息对应的音频信息,音频信息用于提示目标弹幕信息。
由上可知,电子设备可以在直播画面中包括有目标弹幕信息时,播放目标弹幕信息对应的音频信息,从而可以向用户重点提示该目标弹幕信息。通过这种实现方式,可以使得用户关注查看目标弹幕信息。
可选地,焦点对象为现实场景中的对象,目标信息为目标图像资源;上述“播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象”的方法具体包括:在直播画面中包括现实场景中的对象时,则显示现实场景中的对象对应的目标图像资源;目标图像资源用于提示现实场景中的对象,图像资源包括以下至少一项:动态文字、魔法表情、特效图像。
由上可知,电子设备可以在直播画面中包括现实场景中的对象时,通过显示目标图像资源提示用户,在直播画面中包括有该现实场景中的对象。通过这种实现方式,可以使得用户集中注意力查看直播画面中显示的现实场景中的对象。
可选地,直播画面中还包括目标控件;上述“播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象”的方法具体包括:在目标控件处于开启状态时,播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象;方法还包括:在目标控件处于关闭状态时,播放初始直播资源;初始直播资源不包括目标信息,目标直播资源为对初始直播资源进行处理得到的。
由上可知,可以通过直播画面中包括的目标控件,控制直播画面中所播放的直播资源,以在目标控件处于开启状态时,在直播画面中播放对初始直播资源进行处理得到的目标直播资源,从而在直播画面中包括焦点对象时,通过目标信息提示焦点对象;或者在目标控件处于关闭状态时,在直播画面中播放不包括目标信息初始直播资源。通过这种实现方式,可以通过目标控件控制直播画面中播放的直播资源,以在用户需要通过目标信息提示焦点对象时,播放包括目标信息的目标直播资源,从而提高了电子设备播放直播资源的灵活性。
根据本公开的第三方面,提供一种直播视频处理装置,该直播视频处理装置包括:生成单元、处理单元和发送单元;生成单元,被配置为执行生成待直播内容对应的初始直播资源;处理单元,被配置为执行在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,根据初始直播资源和焦点对象得到目标信息和目标直播资源;目标信息为对焦点对象进行处理后得到的信息,焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;发送单元,被配置为执行将包括目标信息的目标直播资源发送至服务器;目标信息用于提示目标直播资源中包括的焦点对象。
可选地,处理单元,被配置为执行在确定待直播内容中目标对象的视线聚焦于焦点对象的时长大于或等于预设时长的情况下,对初始直播资源中包括的焦点对象进行处理,得到处理后的包括目标信息的目标直播资源;目标信息的形式为以下任一项:音频信息、图像资源。
可选地,焦点对象为电子设备屏幕中的目标区域中显示的目标图像,目标信息为目标区域的显示参数调整后得到的图像资源;处理单元,被配置为执行调整显示有目标图像的目标区域的显示参数,得到包括目标信息的目标直播资源;显示参数包括以下至少一项:图像亮度、图像清晰度、图像对比度。
可选地,处理单元,被配置为执行调整其他显示区域的显示参数,得到包括目标信息的目标直播资源;其他显示区域为显示有目标图像的目标区域之外的显示区域。
可选地,焦点对象为电子设备屏幕中显示的目标弹幕信息;处理单元,被配置为执行对目标弹幕信息进行文本识别处理,得到目标弹幕信息对应的音频信息;处理单元,被配置为执行将音频信息与初始直播资源进行合成处理,得到包括音频信息的目标直播资源。
可选地,焦点对象为现实场景中的对象;处理单元,被配置为执行对现实场景中的对象添加目标图像资源,得到包括目标图像资源的目标直播资源;目标图像资源用于提示现实场景中的对象,图像资源包括以下至少一项:动态文字、魔法表情、特效图像。
根据本公开的第四方面,提供一种直播视频处理装置,该直播视频处理装置包括:获取单元和播放单元;获取单元,被配置为执行从服务器获取包括目标信息的目标直播资源;目标信息用于提示目标直播资源中包括的焦点对象,目标信息为对焦点对象进行处理后得到的信息,焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;播放单元,被配置为执行播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象。
可选地,焦点对象为目标图像,目标信息为目标区域的显示参数调整后得到的图像资源;播放单元,被配置为执行在直播画面的目标区域中包括目标图像时,通过调整后的显示参数显示目标区域中的目标图像,目标区域内的显示参数不同于直播画面中的其他区域内的显示参数;播放单元,被配置为执行在弹幕信息移动至目标区域的情况下,隐藏弹幕信息。
可选地,焦点对象为目标弹幕信息,目标信息为目标弹幕信息对应的音频信息;播放单元,被配置为执行在直播画面中包括目标弹幕信息时,播放目标弹幕信息对应的音频信息,音频信息用于提示目标弹幕信息。
可选地,焦点对象为现实场景中的对象,目标信息为目标图像资源;播放单元,被配置为执行在直播画面中包括现实场景中的对象时,则显示现实场景中的对象对应的目标图像资源;目标图像资源用于提示现实场景中的对象,图像资源包括以下至少一项:动态文字、魔法表情、特效图像。
可选地,直播画面中还包括目标控件;播放单元,被配置为执行在目标控件处于开启状态时,播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象;播放单元,被配置为执行在目标控件处于关闭状态时,播放初始直播资源;初始直播资源不包括目标信息,目标直播资源为对初始直播资源进行处理得到的。
根据本公开的第五方面,提供一种电子设备,电子设备包括:
处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现上述第一方面或第二方面中任一种可选地直播视频处理方法。
根据本公开的第六方面,提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述第一方面或第二方面中任一种可选地直播视频处理方法。
根据本公开的第七方面,提供一种计算机程序产品,包含指令,当其在计算机上运行时,使得计算机执行如第一方面或第二方面中任一种可选地直播视频处理方法。
根据本公开的第八方面,本公开提供一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行计算机程序或指令,以实现如第一方面或第二方面中任一种可选地直播视频处理方法。
本公开提供的技术方案至少带来以下有益效果:
基于上述任一方面,本公开中,在主播用户在通过对应的电子设备进行网络直播的过程中,电子设备可以对待直播内容进行录制,以生成待直播内容对应的初始直播资源;进一步的,电子设备可以确定待直播内容中目标对象的视线聚焦位置,以在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,可以对焦点对象进行处理后得到目标信息,并可以根据初始直播资源得到目标直播资源,以通过目标信息提示目标直播资源中包括的焦点对象,并将包括目标信息的目标直播资源发送至服务器。通过这种实现方式,可以在主播用户行网络直播的过程中,将电子设备生成的待直播内容对应的初始直播资源进行进一步处理,从而得到包括用于提示焦点对象的目标信息,以在目标直播资源中通过目标信息提示目标对象的视线聚焦位置。从而能够提高主播用户与观众用户之间进行交流互动的效率,提升用户的使用体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据本公开实施例示出的一种直播视频处理***示意图;
图2是根据本公开实施例示出的一种直播视频处理方法的流程示意图;
图3是根据本公开实施例示出的另一种直播视频处理方法的流程示意图;
图4是根据本公开实施例示出的又一种直播视频处理方法的流程示意图;
图5是根据本公开实施例示出的一种直播视频处理方法的直播画面示意图;
图6是根据本公开实施例示出的又一种直播视频处理方法的流程示意图;
图7是根据本公开实施例示出的另一种直播视频处理方法的直播画面示意图;
图8是根据本公开实施例示出的又一种直播视频处理方法的直播画面示意图;
图9是根据本公开实施例示出的又一种直播视频处理方法的流程示意图;
图10是根据本公开实施例示出的又一种直播视频处理方法的流程示意图;
图11是根据本公开实施例示出的又一种直播视频处理方法的流程示意图;
图12是根据本公开实施例示出的又一种直播视频处理方法的流程示意图;
图13是根据本公开实施例示出的一种直播视频处理装置的结构示意图;
图14是根据本公开实施例示出的另一种直播视频处理装置的结构示意图;
图15是根据本公开实施例示出的又一种直播视频处理装置的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
首先,对本公开实施例的应用场景进行介绍。在现有的技术方案中,主播用户在直播的过程中,需要不断的与观众用户进行互动(语言互动或手势互动)。具体的,主播用户可以通过手势或者鼠标点击电子设备屏幕中显示的内容与观众用户进行互动,但是在直播的过程中,大多数情况下主播用户无法抽出手去操作(即主播用户的双手已经被占用),特别是游戏直播的过程中,主播用户的双手一直是在操作游戏的,因此在多数情况下,主播用户仅仅能够通过语言的形式与观众用户进行互动,但是仅仅通过语言的形式与观众用户进行互动,在观众用户未查看到具体画面内容时,很难理解主播用户所描述的内容含义。因此在直播的过程中,主播用户与观众用户之间进行交流互动的效率较低。
为了解决上述问题,本公开实施例提供一种直播视频处理方法,在主播用户在通过对应的电子设备进行网络直播的过程中,电子设备可以对待直播内容进行录制,以生成待直播内容对应的初始直播资源;进一步的,电子设备可以确定待直播内容中目标对象的视线聚焦位置,以在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,可以对焦点对象进行处理后得到目标信息,并可以根据初始直播资源得到目标直播资源,以通过目标信息提示目标直播资源中包括的焦点对象,并将包括目标信息的目标直播资源发送至服务器。通过这种实现方式,可以在主播用户行网络直播的过程中,将电子设备生成的待直播内容对应的初始直播资源进行进一步处理,从而得到包括用于提示焦点对象的目标信息,以在目标直播资源中通过目标信息提示目标对象的视线聚焦位置。从而能够提高主播用户与观众用户之间进行交流互动的效率。
以下结合附图对本公开实施例提供的内容显示方法进行示例性说明:
图1是本公开实施例提供的一种直播视频处理***示意图,如图1所示,该直播视频处理***可以包括服务器11和客户端12(图1中仅示例性的给出一个客户端12,在具体实施时可以有更多的客户端,包括主播用户对应的客户端和观众用户对应的客户端)。其中,服务器11和客户端12之间可以建立通信连接。服务器11和客户端12之间可以采用有线方式连接,也可以采用无线方式连接,本公开实施例对此不作限定。
服务器11,用于接收并保存客户端12(主播用户对应的客户端)发送的直播资源,并根据客户端12(观众用户对应的客户端)的资源获取请求,将对应的直播资源发送至客户端12。
客户端12,包括主播用户对应的客户端和观众用户对应的客户端,主播用户对应的客户端用于生成直播资源,并向服务器11发送直播资源;观众用户对应的客户端用于从服务器11获取并播放直播资源。
在一种可实施的方式中,服务器11可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。服务器11可以包括处理器、存储器以及网络接口等。
在一种可实施的方式中,客户端12用于向用户提供语音、视频和/或数据连通***。客户端12可以有不同的名称,例如UE端、终端单元、终端站、移动站、移动台、远方站、远程终端、移动设备、无线通信设备、车辆用户设备、终端代理或终端装置等。
可选的,客户端12可以为各种具有通信功能的手持设备、车载设备、可穿戴设备、计算机,本公开实施例对此不作任何限定。例如,手持设备可以是智能手机。车载设备可以是车载导航***。可穿戴设备可以是智能手环。计算机可以是个人数字助理(personaldigital assistant,PDA)电脑、平板型电脑以及膝上型电脑(laptop computer)。
本公开实施例提供的直播视频处理方法可以应用于前述图1所示的直播视频处理***中的服务器11和客户端12。本公开涉及的电子设备可以是该服务器11或客户端12。以本公开的直播视频处理方法应用在执行业务的过程中的服务器上为例,对本公开实施例提供的直播视频处理方法进行详细介绍。
在介绍了本公开实施例的应用场景和直播视频处理***之后,下面结合图1所示的直播视频处理***,对本公开实施例提供的直播视频处理方法进行详细介绍。
如图2所示,根据一示例性实施例示出的一种直播视频处理方法的流程图,应用于电子设备,该电子设备可以为主播用户对应的电子设备。该直播视频处理方法可以包括S201-S203。
S201、生成待直播内容对应的初始直播资源。
可选的,主播用户可以通过电子设备进行网络直播,以将电子设备屏幕中显示的画面或主播用户当前对应的真实场景画面分享至网络,以使得观众用户可以查看到主播用户分享的画面。
具体的,在主播用户通过移动端电子设备进行网络直播时,可以通过电子设备中包括的摄像头获取主播用户当前对应的真实场景画面;在主播用户进行PC直播时,可以配置外接摄像头来取主播用户当前对应的真实场景画面。对此本公开不做具体的限定。
需要说明的是,上述待直播内容为现实中的主播用户场景和主播用户对应的电子设备屏幕画面;上述对待直播内容进行录制可以理解为:通过摄像头录制主播用户当前对应的真实场景画面,或者,获取主播用户对应的电子设备屏幕中显示的画面。
可以理解,上述初始直播资源为电子设备获取到的未经过处理的直播资源,该初始直播资源可以为,将电子设备屏幕中显示的画面和主播用户当前对应的真实场景画面,进行合成之后得到的直播资源。
S202、在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,根据初始直播资源和焦点对象得到目标信息和目标直播资源。
其中,目标信息为对焦点对象进行处理后得到的信息,焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象。
可选的,上述目标对象可以理解为主播用户,即目标对象的视线聚焦于焦点对象可以理解为:主播用户的实现聚焦与焦点对象。
示例性的,目标对象的视线聚焦于焦点对象可以为:主播用户的视线聚焦于某一个现实场景中的对象(例如书本),即主播用户注视着书本;或者,主播用户的视线聚焦于电子设备屏幕中显示的对象(例如电子设备屏幕中显示的目标动画人物),即主播用户注视着该目标动画人物。
进一步的,电子设备可以根据初始直播资源和焦点对象,对初始直播资源中的焦点对象进行处理,以得到焦点对象对应的目标信息,得到目标直播资源,从而在目标直播资源中通过目标信息指示焦点对象。
具体的,电子设备可以通过眼球追踪技术确定目标对象的视线聚焦位置,眼球追踪技术主要是研究眼球运动信息的获取、建模和模拟,用途广泛。可以通过红外线设备、图像采集设备等获取眼球运动信息,甚至电脑或手机上的摄像头,在软件的支持下也可以实现眼球跟踪功能。
眼球追踪技术的原理就是通过算法判断人眼的注视点位置,不管是局部渲染还是眼控交互都是基于注视点的判断进行的。当通过算法判断出注视点位置之后,可以对这个位置信息可以进行有效利用。眼球追踪技术分为浸入式和非浸入式两大类。目前,最流行的眼球追踪技术主要应用到光学技术、图像识别技术中。
例如,虚拟现实(Virtual Reality,VR)中眼球追踪模组工作原理是:首先通过传感器识别人眼的特征点,建立人眼的数学模型,在眼球转动过程中对转动动作进行捕捉,通过算法计算出人眼注视点的位置。
S203、将包括目标信息的目标直播资源发送至服务器。
其中,目标信息用于提示目标直播资源中包括的焦点对象。
具体的,在电子设备根据初始直播资源和焦点对象得到目标信息和目标直播资源之后,可以将包括目标信息的目标直播资源发送至服务器,以通过服务器将目标直播资源传输至其他电子设备(即观众用户对应的电子设备),并通过其他电子设备播放目标直播资源。
上述实施例提供的技术方案至少带来以下有益效果:在主播用户在通过对应的电子设备进行网络直播的过程中,电子设备可以对待直播内容进行录制,以生成待直播内容对应的初始直播资源;进一步的,电子设备可以确定待直播内容中目标对象的视线聚焦位置,以在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,可以对焦点对象进行处理后得到目标信息,并可以根据初始直播资源得到目标直播资源,以通过目标信息提示目标直播资源中包括的焦点对象,并将包括目标信息的目标直播资源发送至服务器。通过这种实现方式,可以在主播用户行网络直播的过程中,将电子设备生成的待直播内容对应的初始直播资源进行进一步处理,从而得到包括用于提示焦点对象的目标信息,以在目标直播资源中通过目标信息提示目标对象的视线聚焦位置。从而能够提高主播用户与观众用户之间进行交流互动的效率。
在一种可实施的方式中,结合图2,如图3所示,上述S202中的方法,具体可以包括S2021。
S2021、在确定待直播内容中目标对象的视线聚焦于焦点对象的时长大于或等于预设时长的情况下,对初始直播资源中包括的焦点对象进行处理,得到处理后的包括目标信息的目标直播资源。
其中,目标信息的形式为以下任一项:音频信息、图像资源。
可选的,可以进一步的设定预设时长,以通过预设时长进一步准确的确定目标对象的视线聚焦位置是否为焦点对象。
即,在检测到目标对象的视线聚焦于某一位置的时长小于预设时长时,不确定该视线聚焦位置为焦点对象,在这种情况下,目标对象的视线聚焦位置可以为主播用户的视线移动过程中对应的位置。
可选的,在在确定待直播内容中目标对象的视线聚焦于焦点对象的时长大于或等于预设时长的情况下,电子设备可以进一步的对初始直播资源中包括的焦点对象进行处理,以得到处理后的包括目标信息的目标直播资源。
可以理解,目标信息可以为在初始直播资源中添加的音频信息或图像资源,以得到目标直播资源。
上述实施例提供的技术方案至少带来以下有益效果:可以通过判断待直播内容中目标对象的视线聚焦于焦点对象的时长是否大于或等于预设时长,从而进一步准确的确定目标对象的视线聚焦位置的焦点对象,并对焦点对象进行处理,得到处理后的包括目标信息的目标直播资源。通过这种实现方式,可以进一步准确的确定目标对象的视线聚焦位置的焦点对象。
在一种可实施的方式中,焦点对象为电子设备屏幕中的目标区域中显示的目标图像,目标信息为目标区域的显示参数调整后得到的图像资源;结合图2,如图4所示,上述S202中的“根据初始直播资源和焦点对象得到目标信息和目标直播资源”方法,具体可以包括S2022。
S2022、在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,调整显示有目标图像的目标区域的显示参数,得到包括目标信息的目标直播资源。
其中,显示参数包括以下至少一项:图像亮度、图像清晰度、图像对比度。
可选的,在电子设备确定主播用户的视线聚焦于屏幕的目标区域中显示的目标图像时,电子设备可以提高初始直播资源中显示有目标图像的目标区域的显示参数。
可以理解,调整后的初始直播资源中的目标区域所显示的图像资源即为目标信息。
需要说明的是,通过眼部追踪及时感知主播用户视线所聚焦的区域,可以增加一种感知模式,用来提示观众用户当前主播用户的注意力所集中的区域,并使得观众用户更加容易理解主播用户的操作是如何做到的。
示例性的,如图5所示,为主播用户在进行游戏类型的网络直播的过程中的某一帧画面,此时主播用户的眼球聚焦区域的范围为游戏人物50(即焦点对象),从而在电子设备生成直播资源时,可以对该某一帧画面对应的直播片段进行处理,以提高直播资源中该游戏人物50对应的显示区域的图像亮度,图像清晰度等显示参数,从而使得在观众用户观看至该某一帧画面对应的直播片段时,可以将注意力集中至该游戏人物50。从而能让观众用户直观的了解到主播用户当前是怎么操作的,操作步骤的判断逻辑是什么,直播资源中的重点内容是什么。
上述实施例提供的技术方案至少带来以下有益效果:在焦点对象为电子设备屏幕中的目标区域中显示的目标图像时,可以调整显示有目标图像的目标区域的显示参数,并将目标区域的显示参数调整后得到的图像资源确定为目标信息。通过这种实现方式,可以将目标区域中显示的目标图像确定为焦点对象,确定焦点对象的灵活性较高。
在一种可实施的方式中,上述S202中的“根据初始直播资源和焦点对象得到目标信息和目标直播资源”方法,具体可以包括S2023。。
S2023、在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,调整其他显示区域的显示参数,得到包括目标信息的目标直播资源。
其中,其他显示区域为显示有目标图像的目标区域之外的显示区域。
可选的,在电子设备确定主播用户的视线聚焦于屏幕的目标区域中显示的目标图像时,电子设备还可以降低初始直播资源中,显示有目标图像的目标区域之外的其他显示区域的显示参数,并保持目标区域的显示参数不变。
在这种情况下,通过降低初始直播资源中目标区域之外的其他显示区域的显示参数,可以相对应的提高目标区域的显示参数,从而用来提示观众用户当前主播用户的注意力所集中的区域。
即可以理解,通过将目标区域之外的其他显示区域中显示的内容进行模糊化,可以相对应的提高目标区域中显示的内容的显示效果。
上述实施例提供的技术方案至少带来以下有益效果:可以通过调整显示有目标图像的目标区域之外的其他显示区域的显示参数,来相对的调整目标区域的显示参数。通过这种实现方式,可以灵活的调整目标区域的显示参数。
在一种可实施的方式中,焦点对象为电子设备屏幕中显示的目标弹幕信息;结合图2,如图6所示,上述S202中的“根据初始直播资源和焦点对象得到目标信息和目标直播资源”方法,具体可以包括S2024和S2025。
S2024、在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,对目标弹幕信息进行文本识别处理,得到目标弹幕信息对应的音频信息。
可选的,在确定主播用户的视线聚焦于观众用户所发送的目标弹幕信息时,电子设备可以自动识别目标弹幕信息,并对该目标弹幕信息进行文本识别处理,以生成该目标弹幕信息对应的音频信息。
具体的,当电子设备监测到主播用户的视线聚焦于目标弹幕信息的时长超过预设时长(例如2秒),则电子设备可以对该目标弹幕信息进行处理生成对应的语音信息,并通过语音播报的形式播放该目标弹幕信息对应的语音。
在这种情况下,当观众用户观看目标直播资源时,可以通过语音播报的内容确定主播用户所互动的内容为目标弹幕信息(即当前主播用户正在与目标弹幕信息进行互动)。以使得观众用户更加明确直播用户的意图。
S2025、将音频信息与初始直播资源进行合成处理,得到包括音频信息的目标直播资源。
进一步的,在电子设备对目标弹幕信息进行文本识别处理,得到目标弹幕信息对应的音频信息之后,需要将该目标弹幕信息对应的音频信息与初始直播资源进行合成处理,从而得到包括音频信息的目标直播资源,以在观众用户观看目标直播资源时,可以在直播内容中出现主播用户的视线聚焦于目标弹幕信息时,播报目标弹幕信息对应的音频信息。
示例性的,如图7所示,为主播用户在进行销售类型(即直播带货)的网络直播的过程中的某一帧画面,此时在电子设备的界面中包括有多条观众用户发送的弹幕信息,当主播用户发现该多条弹幕信息中的目标弹幕信息51时,想要对该目标弹幕信息51进行回复讲解时,则在主播用户的眼球聚焦于该目标弹幕信息51时,电子设备可以对该目标弹幕信息51进行文本识别处理,以生成该目标弹幕信息51对应的音频信息,并进行音频播报。从而在观众用户观看到该直播资源时,能够听到电子设备播报的该目标弹幕信息51的音频,从而了解主播用户当前正在针对该目标弹幕信息51进行回复。
上述实施例提供的技术方案至少带来以下有益效果:在焦点对象为电子设备屏幕中显示的目标弹幕信息时,可以识别该目标弹幕信息得到对应的音频信息,并将音频信息与初始直播资源进行合成处理,得到包括音频信息的目标直播资源。通过这种实现方式,可以在得到的目标直播资源中***目标弹幕信息对应的音频信息,从而可以提高目标直播资源中所包括的内容的多样性。
在一种可实施的方式中,焦点对象为现实场景中的对象;上述S202中的“根据初始直播资源和焦点对象得到目标信息和目标直播资源”方法,具体可以包括S2026。
S2026、在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,对现实场景中的对象添加目标图像资源,得到包括目标图像资源的目标直播资源。
其中,目标图像资源用于提示现实场景中的对象,图像资源包括以下至少一项:动态文字、魔法表情、特效图像。
可选的,在确定主播用户的视线聚焦于现实场景中的对象时,电子设备可以在生成的初始直播资源中,该现实场景中的对象上添加目标图像资源,从而在得到的目标直播资源中,通过目标图像资源指示直播画面中的现实场景中的对象。
示例性的,如图8所示,为主播用户在进行销售类型(即直播带货)的网络直播的过程中的某一帧画面,当电子设备检测到主播用户的视线聚焦于目标商品52时,电子设备可以在该目标商品52(例如书本)周围显示动态文字53(例如显示“买买买”),从而在观众用户观看到该直播资源时,可以通过显示的动态文字53,将注意力集中于该目标商品52。
上述实施例提供的技术方案至少带来以下有益效果:在焦点对象为现实场景中的对象时,可以对现实场景中的对象添加目标图像资源,以通过添加的目标图像资源提示现实场景中的对象。通过这种实现方式,可以提高目标直播资源与用户之间的交互能力。
如图9所示,根据一示例性实施例示出的一种直播视频处理方法的流程图,应用于电子设备,该电子设备可以为观众用户对应的电子设备。该直播视频处理方法可以包括S301-S302。
S301、从服务器获取包括目标信息的目标直播资源。
其中,目标信息用于提示目标直播资源中包括的焦点对象,目标信息为对焦点对象进行处理后得到的信息,焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象。
需要说明的是,上述服务器为网络直播平台对应的服务器,观众用户对应的电子设备可以通过服务器接入主播用户对应的直播间,从而显示直播画面,播放主播用户对应的目标直播资源。
S302、播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象。
可选的,在观众用户通过电子设备观看主播用户的网络直播时,观众用户对应的电子设备可以从服务器获取目标信息的目标直播资源,以通过直播画面播放该目标直播资源。
并且,在直播画面中显示焦点对象时,可以通过目标信息提示用户,直播画面中存在焦点对象,以使得观众用户可以将注意力集中于该焦点对象。
上述实施例提供的技术方案至少带来以下有益效果:在观众用户通过对应的电子设备观看从服务器获取的包括目标信息的目标直播资源的情况下,电子设备可以在直播画面中包括焦点对象时,通过目标信息提示用户在目标直播资源中包括的焦点对象。通过这种实现方式,可以通过目标信息提示用户在直播画面中包括的焦点对象,以提示用户当前直播画面的重点显示内容,提升目标直播资源与用户之间的交互能力。
在一种可实施的方式中,焦点对象为目标图像,目标信息为目标区域的显示参数调整后得到的图像资源;结合图9,如图10所示,上述S302中的方法,具体可以包括S3021和S3022。
S3021、在直播画面的目标区域中包括目标图像时,通过调整后的显示参数显示目标区域中的目标图像。
其中,目标区域内的显示参数不同于直播画面中的其他区域内的显示参数。
可选的,在电子设备通过直播间显示直播画面时,当直播画面的目标区域中出现主播用户的视线所聚焦的目标图像时,电子设备可以通过调整后的显示参数显示目标区域中的目标图像。
可以理解,在主播用户进行直播的过程中,若主播用户的视线聚焦于目标图像,则观众用户所查看到的直播画面中显示目标图像的目标区域,可以通过调整后的显示参数进行显示,从而使得观众用户所查看到的直播画面中显示的目标区域更突出,吸引观众用户的注意力。
可选的,电子设备可以通过提高直播画面中显示有目标图像的目标区域的显示参数,来调整目标区域中显示的目标图像的显示效果,从而吸引观众用户的注意力。
可选的,电子设备还可以通过降低直播画面中目标区域之外的其他显示区域的显示参数,并保持目标区域的显示参数不变的方式,来相对应的调整目标区域中显示的目标图像的显示效果,从而吸引观众用户的注意力。
S3022、在弹幕信息移动至目标区域的情况下,隐藏弹幕信息。
可选的,当观众用户在开启电子设备的弹幕功能时,当直播画面中的目标区域中包括目标图像时,电子设备可以隐藏目标区域中该所显示的弹幕信息,从而使得弹幕信息不遮挡目标区域中显示的目标图像。
上述实施例提供的技术方案至少带来以下有益效果:电子设备可以在直播画面中的目标区域中包括目标图像时,通过调整后的显示参数显示目标区域中的目标图像,并在弹幕信息移动至目标区域的情况下,隐藏弹幕信息。通过这种实现方式,可以通过调整目标区域的显示参数,明显的区分目标区域和其他区域,以使得用户可以集中注意力查看目标区域的显示内容,并通过隐藏目标区域的弹幕信息,使得弹幕信息不干扰用户,从而提高了电子设备显示目标图像的显示效果。
在一种可实施的方式中,焦点对象为目标弹幕信息,目标信息为目标弹幕信息对应的音频信息;结合图9,如图11所示,上述S302中的方法,具体可以包括S3023。
S3023、在直播画面中包括目标弹幕信息时,播放目标弹幕信息对应的音频信息。
其中,音频信息用于提示目标弹幕信息。
可选的,在电子设备通过直播间显示直播画面时,当直播画面中出现目标弹幕信息,并且主播用户的视线聚焦于该目标弹幕信息时,电子设备可以播报该目标弹幕信息对应的音频信息,从而提示观众用户,当前主播用户正在关注该目标弹幕信息。
可以理解,当主播用户关注目标弹幕信息时,主播用户当前所描述的内容大概率会与该目标弹幕信息相关,从而可以通过播报目标弹幕信息对应的音频信息可以提示观众用户,当前主播用户正在讲解的内容。
上述实施例提供的技术方案至少带来以下有益效果:电子设备可以在直播画面中包括有目标弹幕信息时,播放目标弹幕信息对应的音频信息,从而可以向用户重点提示该目标弹幕信息。通过这种实现方式,可以使得用户关注查看目标弹幕信息。
在一种可实施的方式中,焦点对象为现实场景中的对象,目标信息为目标图像资源;结合图9,如图12所示,上述S302中的方法,具体可以包括S3024。
S3024、在直播画面中包括现实场景中的对象时,则显示现实场景中的对象对应的目标图像资源。
其中,目标图像资源用于提示现实场景中的对象,图像资源包括以下至少一项:动态文字、魔法表情、特效图像。
可选的,在电子设备通过直播间显示直播画面时,当直播画面中出现主播用户的视线聚焦于现实场景中的对象时,电子设备可以在现实场景中的对象周围显示目标图像资源,以通过该目标图像资源提示观众用户,当前主播用户正在关注该现实场景中的对象。
可以理解,当主播用户关注(即视线聚焦于该对象)现实场景中的对象时,主播用户当前所描述的内容大概率会与该现实场景中的对象相关,从而可以通过显示目标图像资源提示观众用户,当前主播用户正在针对该现实场景中的对象进行讲解。
上述实施例提供的技术方案至少带来以下有益效果:电子设备可以在直播画面中包括现实场景中的对象时,通过显示目标图像资源提示用户,在直播画面中包括有该现实场景中的对象。通过这种实现方式,可以使得用户集中注意力查看直播画面中显示的现实场景中的对象。
在一种可实施的方式中,直播画面中还包括目标控件;上述S302中的方法,具体可以包括S3025;并且上述S302中的方法,还可以替换为S3026。
S3025、在目标控件处于开启状态时,播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象。
可选的,观众用户对应的电子设备所显示的直播画面中,可以包括有目标控件,从而观众用户可以通过触发该目标控件的开启状态,确定电子设备所播放的直播资源是否是处理后的直播资源(即是否包括目标信息)。
从而,在目标控件处于开启状态时,当直播画面中出现主播用户的视线聚焦于焦点对象时,可以显示目标信息,以提示观众用户直播画面中存在焦点对象。
S3026、在目标控件处于关闭状态时,播放初始直播资源;初始直播资源不包括目标信息,目标直播资源为对初始直播资源进行处理得到的。
可选的,在目标控件处于关闭状态时,直播画面所显示的直播资源为初始直播资源,在这种情况下,当直播画面中出现主播用户的视线聚焦于焦点对象时,不会显示目标信息指示直播画面中存在焦点对象。
上述实施例提供的技术方案至少带来以下有益效果:可以通过直播画面中包括的目标控件,控制直播画面中所播放的直播资源,以在目标控件处于开启状态时,在直播画面中播放对初始直播资源进行处理得到的目标直播资源,从而在直播画面中包括焦点对象时,通过目标信息提示焦点对象;或者在目标控件处于关闭状态时,在直播画面中播放不包括目标信息初始直播资源。通过这种实现方式,可以通过目标控件控制直播画面中播放的直播资源,以在用户需要通过目标信息提示焦点对象时,播放包括目标信息的目标直播资源,从而提高了电子设备播放直播资源的灵活性。
结合上述示例可知,本公开用于通过眼部追踪技术,识别出主播用户的实现聚焦位置,并结合魔法表情(即图像资源)和调整画面显示参数,提示观众用户当前直播画面中的焦点对象,丰富了直播画面。并且进一步的方便了主播用户与观众用户之间的交互,能在在主播用户的双手被占用的情况下,通过判断主播用户的视线聚焦区域,与观众用户进行交互。
可以理解的是,上述方法可以由直播视频处理装置实现。直播视频处理装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。
本公开实施例可以根据上述方法示例对上述直播视频处理装置等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图13是根据一示例性实施例示出的一种直播视频处理装置的结构示意图。参照图13,该直播视频处理装置100可以包括:生成单元1001、处理单元1002和发送单元1003。
生成单元1001,被配置为执行生成待直播内容对应的初始直播资源;例如,生成单元1001可以用于执行图2中的步骤201。
处理单元1002,被配置为执行在确定待直播内容中目标对象的视线聚焦于焦点对象的情况下,根据初始直播资源和焦点对象得到目标信息和目标直播资源;目标信息为对焦点对象进行处理后得到的信息,焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;例如,处理单元1002可以用于执行图2中的步骤202。
发送单元1003,被配置为执行将包括目标信息的目标直播资源发送至服务器;目标信息用于提示目标直播资源中包括的焦点对象。例如,发送单元1003可以用于执行图2中的步骤203。
可选地,处理单元1002,被配置为执行在确定待直播内容中目标对象的视线聚焦于焦点对象的时长大于或等于预设时长的情况下,对初始直播资源中包括的焦点对象进行处理,得到处理后的包括目标信息的目标直播资源;目标信息的形式为以下任一项:音频信息、图像资源。例如,处理单元1002可以用于执行图3中的步骤2021。
可选地,焦点对象为电子设备屏幕中的目标区域中显示的目标图像,目标信息为目标区域的显示参数调整后得到的图像资源;处理单元1002,被配置为执行调整显示有目标图像的目标区域的显示参数,得到包括目标信息的目标直播资源;显示参数包括以下至少一项:图像亮度、图像清晰度、图像对比度。例如,处理单元1002可以用于执行图4中的步骤2022。
可选地,处理单元1002,被配置为执行调整其他显示区域的显示参数,得到包括目标信息的目标直播资源;其他显示区域为显示有目标图像的目标区域之外的显示区域。
可选地,焦点对象为电子设备屏幕中显示的目标弹幕信息;处理单元1002,被配置为执行对目标弹幕信息进行文本识别处理,得到目标弹幕信息对应的音频信息;例如,处理单元1002可以用于执行图6中的步骤2024。
处理单元1002,被配置为执行将音频信息与初始直播资源进行合成处理,得到包括音频信息的目标直播资源。例如,处理单元1002可以用于执行图6中的步骤2025。
可选地,焦点对象为现实场景中的对象;处理单元1002,被配置为执行对现实场景中的对象添加目标图像资源,得到包括目标图像资源的目标直播资源;目标图像资源用于提示现实场景中的对象,图像资源包括以下至少一项:动态文字、魔法表情、特效图像。
图14是根据一示例性实施例示出的一种直播视频处理装置的结构示意图。参照图14,该直播视频处理装置110可以包括:获取单元1101和播放单元1102。
获取单元1101,被配置为执行从服务器获取包括目标信息的目标直播资源;目标信息用于提示目标直播资源中包括的焦点对象,目标信息为对焦点对象进行处理后得到的信息,焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;例如,获取单元1101可以用于执行图9中的步骤301。
播放单元1102,被配置为执行播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象。例如,播放单元1102可以用于执行图9中的步骤302。
可选地,焦点对象为目标图像,目标信息为目标区域的显示参数调整后得到的图像资源;播放单元1102,被配置为执行在直播画面的目标区域中包括目标图像时,通过调整后的显示参数显示目标区域中的目标图像,目标区域内的显示参数不同于直播画面中的其他区域内的显示参数;例如,播放单元1102可以用于执行图10中的步骤3021。
播放单元1102,被配置为执行在弹幕信息移动至目标区域的情况下,隐藏弹幕信息。例如,播放单元1102可以用于执行图10中的步骤3022。
可选地,焦点对象为目标弹幕信息,目标信息为目标弹幕信息对应的音频信息;播放单元1102,被配置为执行在直播画面中包括目标弹幕信息时,播放目标弹幕信息对应的音频信息,音频信息用于提示目标弹幕信息。例如,播放单元1102可以用于执行图11中的步骤3023。
可选地,焦点对象为现实场景中的对象,目标信息为目标图像资源;播放单元1102,被配置为执行在直播画面中包括现实场景中的对象时,则显示现实场景中的对象对应的目标图像资源;目标图像资源用于提示现实场景中的对象,图像资源包括以下至少一项:动态文字、魔法表情、特效图像。例如,播放单元1102可以用于执行图12中的步骤3024。
可选地,直播画面中还包括目标控件;播放单元1102,被配置为执行在目标控件处于开启状态时,播放目标直播资源,并在直播画面中包括焦点对象时,通过目标信息提示焦点对象。
播放单元1102,被配置为执行在目标控件处于关闭状态时,播放初始直播资源;初始直播资源不包括目标信息,目标直播资源为对初始直播资源进行处理得到的。
如上,本公开实施例可以根据上述方法示例对电子设备进行功能模块的划分。其中,上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。另外,还需要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。
关于上述实施例中的直播视频处理装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图15是本公开提供的一种直播视频处理装置60的结构示意图。如图15,该直播视频处理装置60可以包括至少一个处理器601以及用于存储处理器601可执行指令的存储器603。其中,处理器601被配置为执行存储器603中的指令,以实现上述实施例中的直播视频处理方法。
另外,直播视频处理装置60还可以包括通信总线602以及至少一个通信接口604。
处理器601可以是一个GPU,微处理单元,ASIC,或一个或多个用于控制本公开方案程序执行的集成电路。
通信总线602可包括一通路,在上述组件之间传送信息。
通信接口604,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器603可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理单元相连接。存储器也可以和处理单元集成在一起,为GPU中的易失性存储介质。
其中,存储器603用于存储执行本公开方案的指令,并由处理器601来控制执行。处理器601用于执行存储器603中存储的指令,从而实现本公开方法中的功能。
在具体实现中,作为一种实施例,处理器601可以包括一个或多个GPU,例如图15中的GPU0和GPU1。
在具体实现中,作为一种实施例,直播视频处理装置60可以包括多个处理器,例如图15中的处理器601和处理器607。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-GPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,直播视频处理装置60还可以包括输出设备605和输入设备606。输出设备605和处理器601通信,可以以多种方式来显示信息。例如,输出设备605可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emittingdiode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备606和处理器601通信,可以以多种方式接受用户的输入。例如,输入设备606可以是鼠标、键盘、触摸屏设备或传感设备等。
本领域技术人员可以理解,图15中示出的结构并不构成对直播视频处理装置60的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开还提供了一种计算机可读存储介质,计算机可读存储介质上存储有指令,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述本公开实施例提供的群组通信方法。
本公开实施例还提供了一种包含指令的计算机程序产品,当其在电子设备上运行时,使得电子设备执行上述本公开实施例提供的直播视频处理方法。
本公开实施例还提供一种通信***,如图1所示,该***包括服务器11和客户端12。其中服务器11和客户端12分别用于执行本公开上述实施例中的相应步骤,从而以使该通信***解决本公开实施例所解决的技术问题,以及实现本公开实施例所实现的技术效果,在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种直播视频处理方法,其特征在于,所述方法包括:
生成待直播内容对应的初始直播资源;
在确定所述待直播内容中目标对象的视线聚焦于焦点对象的情况下,根据所述初始直播资源和所述焦点对象得到目标信息和目标直播资源;所述目标信息为对所述焦点对象进行处理后得到的信息,所述焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;
将包括所述目标信息的所述目标直播资源发送至服务器;所述目标信息用于提示所述目标直播资源中包括的所述焦点对象。
2.根据权利要求1所述的方法,其特征在于,所述在确定所述待直播内容中目标对象的视线聚焦于焦点对象的情况下,根据所述初始直播资源和所述焦点对象得到目标信息和目标直播资源,包括:
在确定所述待直播内容中目标对象的视线聚焦于焦点对象的时长大于或等于预设时长的情况下,对所述初始直播资源中包括的所述焦点对象进行处理,得到处理后的包括所述目标信息的所述目标直播资源;所述目标信息的形式为以下任一项:音频信息、图像资源。
3.根据权利要求1或2所述的方法,其特征在于,所述焦点对象为电子设备屏幕中的目标区域中显示的目标图像,所述目标信息为所述目标区域的显示参数调整后得到的图像资源;
所述根据所述初始直播资源和所述焦点对象得到目标信息和目标直播资源,包括:
调整显示有所述目标图像的所述目标区域的显示参数,得到包括所述目标信息的所述目标直播资源;所述显示参数包括以下至少一项:图像亮度、图像清晰度、图像对比度。
4.根据权利要求3所述的方法,其特征在于,所述根据所述初始直播资源和所述焦点对象得到目标信息和目标直播资源,包括:
调整其他显示区域的显示参数,得到包括所述目标信息的所述目标直播资源;所述其他显示区域为显示有所述目标图像的所述目标区域之外的显示区域。
5.一种直播视频处理方法,其特征在于,所述方法包括:
从服务器获取包括目标信息的目标直播资源;所述目标信息用于提示所述目标直播资源中包括的焦点对象,所述目标信息为对所述焦点对象进行处理后得到的信息,所述焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;
播放所述目标直播资源,并在直播画面中包括所述焦点对象时,通过所述目标信息提示所述焦点对象。
6.一种直播视频处理装置,其特征在于,包括:
生成单元,被配置为执行生成待直播内容对应的初始直播资源;
处理单元,被配置为执行在确定所述待直播内容中目标对象的视线聚焦于焦点对象的情况下,根据所述初始直播资源和所述焦点对象得到目标信息和目标直播资源;所述目标信息为对所述焦点对象进行处理后得到的信息,所述焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;
发送单元,被配置为执行将包括所述目标信息的所述目标直播资源发送至服务器;所述目标信息用于提示所述目标直播资源中包括的所述焦点对象。
7.一种直播视频处理装置,其特征在于,包括:
获取单元,被配置为执行从服务器获取包括目标信息的目标直播资源;所述目标信息用于提示所述目标直播资源中包括的焦点对象,所述目标信息为对所述焦点对象进行处理后得到的信息,所述焦点对象为以下任一项:现实场景中的对象、电子设备屏幕中显示的对象;
播放单元,被配置为执行播放所述目标直播资源,并在直播画面中包括所述焦点对象时,通过所述目标信息提示所述焦点对象。
8.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-4中任一项或权利要求5所述的直播视频处理方法。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-4中任一项或权利要求5所述的直播视频处理方法。
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现权利要求1-4中任一项或权利要求5所述的直播视频处理方法。
CN202210048158.0A 2022-01-17 2022-01-17 一种直播视频处理方法、装置、电子设备及存储介质 Pending CN114422816A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210048158.0A CN114422816A (zh) 2022-01-17 2022-01-17 一种直播视频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210048158.0A CN114422816A (zh) 2022-01-17 2022-01-17 一种直播视频处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114422816A true CN114422816A (zh) 2022-04-29

Family

ID=81272677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210048158.0A Pending CN114422816A (zh) 2022-01-17 2022-01-17 一种直播视频处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114422816A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022729A (zh) * 2022-06-02 2022-09-06 上海哔哩哔哩科技有限公司 弹幕的播放方法及装置
CN115225927A (zh) * 2022-06-29 2022-10-21 北京达佳互联信息技术有限公司 提示方法、装置、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933784A (zh) * 2016-05-17 2016-09-07 乐视控股(北京)有限公司 弹幕播放、转换方法及弹幕播放器、服务器及播放***
CN107241612A (zh) * 2017-07-06 2017-10-10 北京潘达互娱科技有限公司 网络直播方法及装置
CN111133764A (zh) * 2017-09-26 2020-05-08 佳能株式会社 信息处理设备、信息提供设备、控制方法和程序
US10983591B1 (en) * 2019-02-25 2021-04-20 Facebook Technologies, Llc Eye rank

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933784A (zh) * 2016-05-17 2016-09-07 乐视控股(北京)有限公司 弹幕播放、转换方法及弹幕播放器、服务器及播放***
CN107241612A (zh) * 2017-07-06 2017-10-10 北京潘达互娱科技有限公司 网络直播方法及装置
CN111133764A (zh) * 2017-09-26 2020-05-08 佳能株式会社 信息处理设备、信息提供设备、控制方法和程序
US20200228775A1 (en) * 2017-09-26 2020-07-16 Canon Kabushiki Kaisha Information processing apparatus, information providing apparatus, control method, and storage medium
US10983591B1 (en) * 2019-02-25 2021-04-20 Facebook Technologies, Llc Eye rank

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022729A (zh) * 2022-06-02 2022-09-06 上海哔哩哔哩科技有限公司 弹幕的播放方法及装置
CN115225927A (zh) * 2022-06-29 2022-10-21 北京达佳互联信息技术有限公司 提示方法、装置、终端及存储介质
CN115225927B (zh) * 2022-06-29 2024-01-09 北京达佳互联信息技术有限公司 提示方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN109600678B (zh) 信息展示方法、装置及***、服务器、终端、存储介质
US7850306B2 (en) Visual cognition aware display and visual data transmission architecture
EP4068795A1 (en) Method and apparatus for displaying multimedia resources, device and storage medium
EP4262214A1 (en) Screen projection method and apparatus, and electronic device and storage medium
CN110898429B (zh) 一种游戏剧情展现方法、装置、电子设备及存储介质
JP7224554B1 (ja) インタラクション方法、装置、電子機器及びコンピュータ可読記録媒体
CN105450642A (zh) 一种基于在线直播的数据处理方法、相关装置及***
CN114422816A (zh) 一种直播视频处理方法、装置、电子设备及存储介质
CN111476871A (zh) 用于生成视频的方法和装置
US20180336069A1 (en) Systems and methods for a hardware agnostic virtual experience
CN106131700A (zh) 一种视频直播时的文件分享方法及装置
CN114205635A (zh) 一种直播评论展示方法、装置、设备、程序产品及介质
CN113141524A (zh) 资源传输方法、装置、终端及存储介质
KR20180038256A (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
CN113747199A (zh) 视频编辑方法、装置、电子设备、存储介质及程序产品
CN112528052A (zh) 多媒体内容输出方法、装置、电子设备和存储介质
CN114630057B (zh) 确定特效视频的方法、装置、电子设备及存储介质
CN114302160A (zh) 信息显示方法、装置、计算机设备及介质
CN112770177A (zh) 多媒体文件生成方法、多媒体文件发布方法及装置
CN111249723A (zh) 游戏中的显示控制的方法、装置、电子设备及存储介质
CN115086729B (zh) 一种连麦展示方法、装置、电子设备、计算机可读介质
CN113965768B (zh) 直播间信息展示方法、装置、电子设备及服务器
CN115225948A (zh) 直播间互动方法、装置、设备及介质
US20220394325A1 (en) Lyric video display method and device, electronic apparatus and computer-readable medium
KR20160045994A (ko) 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220429