CN112752116A - 直播视频画面的显示方法、装置、终端及存储介质 - Google Patents

直播视频画面的显示方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN112752116A
CN112752116A CN202011612821.2A CN202011612821A CN112752116A CN 112752116 A CN112752116 A CN 112752116A CN 202011612821 A CN202011612821 A CN 202011612821A CN 112752116 A CN112752116 A CN 112752116A
Authority
CN
China
Prior art keywords
live video
picture
video picture
live
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011612821.2A
Other languages
English (en)
Inventor
曾冠东
陈盛福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fanxing Huyu IT Co Ltd
Original Assignee
Guangzhou Fanxing Huyu IT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fanxing Huyu IT Co Ltd filed Critical Guangzhou Fanxing Huyu IT Co Ltd
Priority to CN202011612821.2A priority Critical patent/CN112752116A/zh
Publication of CN112752116A publication Critical patent/CN112752116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种直播视频画面的显示方法、装置、终端及存储介质,所述方法包括:显示目标直播间的直播视频画面,该直播视频画面是指对目标直播间的直播视频流进行解码得到的视频图像帧;响应于针对直播视频画面的调整触发操作,对直播视频画面中的人物区域进行标记;基于人物区域在直播视频画面中的位置,对直播视频画面进行调整,得到调整后的直播视频画面;显示调整后的直播视频画面。本申请使得观众用户在观看直播的过程中,能够对直播视频画面进行自定义调整,提升直播视频画面显示的灵活性。

Description

直播视频画面的显示方法、装置、终端及存储介质
技术领域
本申请实施例涉及计算机和互联网技术领域,特别涉及一种直播视频画面的显示方法、装置、终端及存储介质。
背景技术
视频直播应用受到了广大用户的喜爱。
在相关技术中,主播客户端将录制的直播视频流发送给服务器,再由服务器将该直播视频流发送给观众客户端,观众客户端播放该直播视频流。
目前,观众客户端显示的直播视频画面由服务器发送的直播视频流决定,缺乏灵活性。
发明内容
本申请实施例提供了一种直播视频画面的显示方法、装置、终端及存储介质,使得观众用户在观看直播的过程中,能够对直播视频画面进行自定义调整,提升直播视频画面显示的灵活性。所述技术方案如下:
根据本申请实施例的一个方面,提供了一种直播视频画面的显示方法,所述方法包括:
显示目标直播间的直播视频画面,所述直播视频画面是指对所述目标直播间的直播视频流进行解码得到的视频图像帧;
响应于针对所述直播视频画面的调整触发操作,对所述直播视频画面中的人物区域进行标记;
基于所述人物区域在所述直播视频画面中的位置,对所述直播视频画面进行调整,得到调整后的直播视频画面;
显示所述调整后的直播视频画面。
根据本申请实施例的一个方面,提供了一种直播视频画面的显示装置,所述装置包括:
画面显示模块,用于显示目标直播间的直播视频画面,所述直播视频画面是指对所述目标直播间的直播视频流进行解码得到的视频图像帧;
人物标记模块,用于响应于针对所述直播视频画面的调整触发操作,对所述直播视频画面中的人物区域进行标记;
画面调整模块,用于基于所述人物区域在所述直播视频画面中的位置,对所述直播视频画面进行调整,得到调整后的直播视频画面;
所述画面显示模块,还用于显示所述调整后的直播视频画面。
根据本申请实施例的一个方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述直播视频画面的显示方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述直播视频画面的显示方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品,当所述计算机程序产品在终端上运行时,使得终端执行上述直播视频画面的显示方法。
本申请实施例提供的技术方案可以包括如下有益效果:
通过在确定出直播视频画面中的人物区域之后,基于该人物区域在直播视频画面中的位置,对直播视频画面进行调整,使得观众用户在观看直播的过程中,能够对直播视频画面进行自定义调整,提升直播视频画面显示的灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的方案实施环境的示意图;
图2是本申请一个实施例提供的直播视频画面的显示方法的流程图;
图3至图11是本申请实施例涉及的界面示意图;
图12是本申请一个实施例提供的人物识别方法的流程图;
图13是本申请一个实施例提供的前景图片生成的示意图;
图14是本申请一个实施例提供的直播视频画面的显示装置的框图;
图15是本申请另一个实施例提供的直播视频画面的显示装置的框图;
图16是本申请一个实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1,其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以实现成为一个视频直播***。该方案实施环境可以包括:主播终端10、服务器20和观众终端30。
主播终端10中可以安装视频直播应用的客户端,该客户端可以称为主播客户端,为主播用户所使用。主播用户可以通过该主播客户端录制直播视频流,然后通过服务器20推送给观众用户进行观看。主播终端10的数量可以是多个,如不同的主播用户可以分别开展不同的视频直播。
观众终端30中可以安装视频直播应用的客户端,该客户端可以称为观众客户端,为观众用户所使用。观众用户可以通过该观众客户端从服务器20接收主播用户的直播视频流,并播放该直播视频流,以供观众用户查看。观众终端30的数量可以是多个,如不同的观众用户可以分别观看不同的视频直播。
服务器20可以是上述视频直播应用的后台服务器,用于为客户端提供后台服务。服务器20可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。服务器20分别与主播终端10和观众终端30通过网络建立通信连接。
上述主播终端10和观众终端30可以是诸如手机、平板电脑、多媒体播放设备、智能电视、PC(Personal Computer,个人计算机)等电子设备。另外,主播客户端和观众客户端可以是视频直播应用的两个不同版本的客户端,如一个版本具有录制直播视频流的功能,另一个版本具有显示直播视频流的功能;也可以是同一版本的客户端,如该版本既具有录制直播视频流的功能,又具有显示直播视频流的功能,本申请实施例对此不作限定。
请参考图2,其示出了本申请一个实施例提供的直播视频画面的显示方法的流程图。该方法可应用于图1所示实施环境的观众终端30中,如各步骤的执行主体可以是观众终端30中安装运行的观众客户端。该方法可以包括如下几个步骤(210~240):
步骤210,显示目标直播间的直播视频画面,该直播视频画面是指对目标直播间的直播视频流进行解码得到的视频图像帧。
目标直播间可以是任意一个视频直播间,直播视频画面是指对直播场景进行拍摄得到的视频画面,也即对目标直播间的直播视频流进行解码得到的视频图像帧。直播视频画面中包含的画面内容,由直播场景中包含的人物和物体决定。例如,直播场景中包括一个或多个人物,以及桌子和麦克风等物体,那么对该直播场景进行拍摄得到的视频画面中,也可以包括上述一个或多个人物,以及桌子和麦克风等物体。在本申请实施例中,对视频直播的类型不作限定,如可以是唱歌、跳舞、游戏、讲课、购物、旅行等等。
步骤220,响应于针对直播视频画面的调整触发操作,对直播视频画面中的人物区域进行标记。
直播视频画面中可以包括一个或者多个目标对象。例如,目标对象可以是人物,如主播用户。在一个直播视频画面中,可以包括一个或者多个人物,如包括一个或者多个主播用户。当然,在一些其他实施例中,目标对象还可以是除人物之外的其他画面内容,如直播视频画面中的某个或者某些特定的物体,如桌子、茶杯等物体,还可以是猫、狗等动物,本申请实施例对此不作限定。
调整触发操作是观众用户执行的用于触发对直播视频画面进行调整的操作。在本申请实施例中,对该调整触发操作的操作形式不作限定,如其可以是手指触摸操作,也可以是鼠标点击操作,还可以是语音、手势等形式的操作。在一个示例中,显示直播视频画面的用户界面中可以包括特定控件,用户通过手指或者鼠标点击该特定控件,执行上述调整触发操作。
观众客户端响应于针对直播视频画面的调整触发操作,对直播视频画面中的人物区域进行识别,然后将识别得到的人物区域进行标记。其中,人物区域是指直播视频画面中包含人物的画面局部区域。该人物区域可以是与人物的轮廓相重合或匹配的一个不规则形状的区域,也可以是包含人物的一个规则或不规则形状的区域,例如可以是一个包含人物的最小矩形框区域。可选地,观众客户端可以通过显示人物区域对应的标记框,或者显示人物区域对应的标记箭头等形式,对人物区域进行标记。在本申请实施例中,对标记的方式不作具体限定,任何能够起到将人物区域突出显示的方式均可。另外,有关针对人物区域的识别方法,请参见下文实施例中的介绍说明。
另外,观众客户端显示的用户界面可以包括画面显示层和控件显示层。其中,控件显示层的显示层级高于画面显示层的显示层级,即控件显示层位于画面显示层的上方。画面显示层用于显示直播视频画面,控件显示层用于显示用于实现人机交互的操作控件,如关闭控件、聊天控件、送礼控件等。另外,在本申请实施例中,控件显示层中还可以包括以供观众用户执行调整触发操作的特定控件,如该特定控件可以称为人物标记控件。
示例性地,如图3所示,以人物为主播用户为例,用户界面中显示有直播视频画面30,以及位于直播视频画面30上层的人物标记控件31。观众用户点击该人物标记控件31,观众客户端响应于该点击操作,将直播视频画面30中的主播用户32进行标记,如显示一个包围该主播用户32的矩形标记框33。
需要说明的是,直播视频画面中可能包括一个人物,也可能包括多个人物。可选地,在从直播视频画面中识别得到多个人物的情况下,可以对该多个人物均进行标记。观众用户可以根据实际需求,从中选择一个或者多个人物进行后续处理。
示例性地,如图4所示,仍然以人物为主播用户为例,直播视频画面40中包括3个主播用户,观众用户点击人物标记控件41,观众客户端响应于该点击操作,将直播视频画面40中的3个主播用户分别进行标记,如显示3个标记框,每一个标记框用于标记一个主播用户。可选地,如图4所示,观众用户点击中间一个标记框触发针对该目标标记框42的选择操作,观众客户端保留显示该目标标记框42,并将另外两个标记框取消显示。并且,该目标标记框42中的主播用户即为观众用户选择的目标主播用户。
步骤230,基于人物区域在直播视频画面中的位置,对直播视频画面进行调整,得到调整后的直播视频画面。
在本申请实施例中,在确定出人物区域之后,基于该人物区域在直播视频画面中的位置,对直播视频画面进行调整,从而使得观众用户在观看直播的过程中,能够对直播视频画面进行自定义调整,提升直播视频画面显示的灵活性。
在一个示例中,基于人物区域在直播视频画面中的位置,提取人物区域;将人物区域合成至目标背景图片中,得到调整后的直播视频画面。目标背景图片可以是用户从多个候选的背景图片中选择的一个背景图片,也可以是观众客户端确定出的一个背景图片,如采用随机等方式确定出的一个背景图片。另外,目标背景图片中包含的背景内容,可以是一些虚拟场景(如虚拟的高山、海洋等场景),也可以是对真实场景拍摄得到的,本申请实施例对此不作限定。示例性地,如图5所示,左上图示为原始的直播视频画面50,其背景内容是树木,左下图示为目标背景图片51,其背景内容是高楼,通过从原始的直播视频画面50中提取人物区域52,然后将该人物区域52合成至目标背景图片51中,得到调整后的直播视频画面53。在调整后的直播视频画面53中,背景内容即为高楼,也即直播视频画面的背景内容发生了更换。另外,在用户选择或随机选择了多张目标背景图片的情况下,可以按照一定的切换周期,切换使用不同的目标背景图片与人物区域进行合成,生成调整后的直播视频画面。例如,每隔1分钟切换一张目标背景图片。该切换周期可以由用户自定义设定,也可以由客户端默认设定,本申请实施例对此不作限定。
在另一个示例中,基于人物区域在直播视频画面中的位置,确定弹幕信息的显示位置;其中,弹幕信息的显示位置与人物区域的位置不重叠;基于弹幕信息的显示位置,在直播视频画面中添加弹幕信息,得到调整后的直播视频画面。弹幕信息是指观众用户在观看直播的过程中,发送的聊天消息、送礼消息或者其他信息所形成的弹幕,弹幕信息可以显示在直播视频画面的上层,如以从左往右移动的形式进行显示。在本申请实施例中,通过将弹幕信息的显示位置与人物区域的位置设置为不重叠,从而能够避免弹幕信息对人物区域(如主播用户)进行遮挡。示例性地,如图6所示,在从直播视频画面60中确定出目标主播用户61之后,弹幕信息62在显示过程中会避开目标主播用户61的显示位置,避免对目标主播用户61产生遮挡。在示例性实施例中,在对弹幕信息的显示位置进行控制时,可以控制弹幕信息的显示位置与人物区域中的脸部区域的位置不重叠,与人物区域中除脸部区域之外的其他区域可以出现位置重叠,从而保证弹幕信息有足够的显示空间。
在另一个示例中,基于人物区域在直播视频画面中的位置,对人物区域进行调整处理,得到调整后的人物区域;基于调整后的人物区域,得到调整后的直播视频画面。可选地,上述调整处理包括但不限于以下至少一项:缩放处理、拉伸处理、位置调整处理、移出直播视频画面、更换为其他显示元素、复制处理、镜像处理。
缩放处理是指对人物区域的显示尺寸进行缩小或放大。拉伸处理是指对人物区域的显示区域进行横向、纵向或者其他方向的拉伸。示例性地,如图7所示,以缩放处理为例,左侧图示为原始的直播视频画面70,通过对人物区域71进行缩小处理,得到右侧图示的调整后的直播视频画面72。需要说明的是,在对人物区域进行缩放处理或拉伸处理时,缩放比例或拉伸比例,可以由用户自定义设定,也可以由客户端默认设定,本申请实施例对此不作限定。另外,对于连续的多帧直播视频画面,各帧对应的缩放比例或拉伸比例可以相同,也可以不同,在各帧对应的缩放比例或拉伸比例不同的情况下,可以使得多帧调整后的直播视频画面呈现出人物跳变的视觉效果。
位置调整处理是指对人物区域的显示位置进行调整。示例性地,如图8所示,左侧图示为原始的直播视频画面80,通过对人物区域81在直播视频画面中的显示位置进行调整,得到右侧图示的调整后的直播视频画面82。其中,人物区域调整至的位置,可以由用户通过操作选择。在一个示例中,用户界面中显示多个候选的位置,用户从中选择一个或者多个位置,作为人物区域调整至的位置。在另一个示例中,用户通过点击或者滑动等操作,将点击位置或者滑动操作的终点位置,确定为人物区域调整至的位置。另外,对于连续的多帧直播视频画面,各帧对应的人物区域调整至的位置可以相同,也可以不同,在各帧对应的人物区域调整至的位置不同的情况下,可以使得多帧调整后的直播视频画面呈现出人物跳变的视觉效果。
移出直播视频画面是指将人物区域从直播视频画面中移除。示例性地,如图9所示,左侧图示为原始的直播视频画面90,其中包括3个人物区域,观众用户点击移除控件91,将最右侧的一个人物区域进行移除,保留剩下两个人物区域得到调整后的直播视频画面92。需要说明的是,在直播视频画面中包括多个人物区域的情况下,用户可以通过一步操作(如点击一个控件或者执行一次滑动操作)将直播视频画面的所有人物区域均进行移出,也可以通过一步操作(如点击一个控件或者执行一次滑动操作)将直播视频画面中选择的某一个人物区域进行移出。
更换为其他显示元素是指将人物区域更换为动物、虚拟人物、虚拟物品等其他显示元素,该其他显示元素可以由观众用户选择确定,也可以由观众客户端确定。示例性地,如图10所示,左侧图示为原始的直播视频画面100,通过将人物区域101更换为兔子103,得到右侧图示的调整后的直播视频画面102。另外,对于连续的多帧直播视频画面,各帧对应的更换为的显示元素可以相同,也可以不同,在各帧对应的更换为的显示元素不同的情况下,可以使得多帧调整后的直播视频画面呈现出显示元素动态切换的视觉效果。
复制处理是指对人物区域进行复制,如复制出2个相同的人物区域显示在直播视频画面中。示例性地,如图11所示,左侧图示为原始的直播视频画面110,通过对人物区域111进行复制处理,得到右侧图示的调整后的直播视频画面112。另外,复制数量可以由用户自定义设定,或者观众客户端确定,本申请实施例对此不作限定。在示例性实施例中,在检测到人物区域在前后两帧直播视频画面中的位置发生变化时,可以自动停止复制而只显示原有的人物区域,也可以将复制出的多个人物区域进行重叠显示,从而避免画面显示过于杂乱不清。
镜像处理是指对人物区域进行镜像,生成一个与原有的人物区域互为镜像的另一个人物区域,在调整后的直播视频画面中,可以同时显示原有的人物区域和镜像的另一个人物区域,也可以仅显示镜像的另一个人物区域而不显示原有的人物区域,或者将原有的人物区域和镜像的另一个人物区域按照某种切换频率,进行交替切换显示,本申请实施例对此不作限定。
本申请实施例提供了多种对直播视频画面进行调整的方式,在实际应用中,观众客户端可以仅向观众用户提供其中一种方式,也可以同时提供多种方式以供观众用户自行选择。在同时提供多种方式的情况下,观众客户端可以显示该多种方式分别对应的选项,观众用户通过上述选项来选择需要的调整方式。
步骤240,显示调整后的直播视频画面。
在得到调整后的直播视频画面之后,观众客户端将该调整后的直播视频画面进行显示。另外,观众客户端可以对连续多帧直播视频画面进行上述调整,并显示相应调整后的直播视频画面。例如,从观众用户执行上述调整触发操作之后,开始对直播视频流中的各帧直播视频画面进行调整,直至达到设定时长或者接收到观众用户的调整结束操作,停止对直播视频画面进行调整。
由于直播视频画面中的人物区域的位置可能会随时发生改变,因此对于连续多帧直播视频画面中的每一帧直播视频画面,逐帧进行上述调整,并显示相应调整后的直播视频画面,能够保证调整后的直播视频画面显示的合理性,避免出现穿帮的问题。
综上所述,本申请实施例提供的技术方案,通过在确定出直播视频画面中的人物区域之后,基于该人物区域在直播视频画面中的位置,对直播视频画面进行调整,使得观众用户在观看直播的过程中,能够对直播视频画面进行自定义调整,提升直播视频画面显示的灵活性。
另外,本申请实施例提供了多种调整方式,如更换背景、控制弹幕、缩放人物区域、移除人物区域等等,使得方案更具多样性,提升用户在观看直播过程中的互动体验。
为了实现上述直播视频画面的调整功能,需要对直播视频画面中的人物区域进行识别。传统的人物识别方法直接将直播视频画面输入至人物识别模型,由人物识别模型输出人物区域的位置信息,这种方式较为耗时,无法满足对连续多帧直播视频画面进行快速处理并显示的要求。在本申请实施例中,提供了一种高效且计算量小的人物识别方法,如图12所述,可以包括如下几个步骤:
步骤1210,响应于针对直播视频画面的调整触发操作,获取直播视频画面对应的直播视频画面图片。
直播视频画面图片可以是对直播视频画面进行截图得到的,也可以是从直播视频流中直接提取该直播视频画面对应的图像帧得到的,本申请实施例对直播视频画面图片的获取方式不作具体限定。
步骤1220,获取直播视频画面图片对应的背景模板图片。
在直播视频画面图片中,通常包括背景内容和前景内容。其中,前景内容包括人物(如主播用户),背景内容包括上述人物所处的环境(如主播用户所处的房间等环境)。
背景模板图片是指包括背景内容,但不包括人物的图片。直播视频画面图片与其对应的背景模板图片相比,背景内容可以相同或相似,但直播视频画面图片中的人物,在背景模板图片中并不存在。示例性地,如图13所示,左上图示是直播视频画面图片131,其可以是从直播视频流中提取的一个图像帧,左下图示是该直播视频画面图片131对应的背景模板图片132。
在示例性实施例中,通过如下方式获取背景模板图片:在获取到满足条件的直播视频画面图片的情况下,将该满足条件的直播视频画面图片保存为背景模板图片;其中,该满足条件的直播视频画面图片是指不存在人物区域的直播视频画面图片。在未得到背景模板图片的情况下,观众客户端可以采用传统的人物识别方法对直播视频画面图片进行人物识别,以确定该直播视频画面图片是否存在人物区域;如果该直播视频画面图片中不存在人物区域,那么将该直播视频画面图片保存为背景模板图片。以人物为主播用户为例,在主播用户刚开播的情况下或者在主播用户离开直播间的情况下,直播视频画面对应的直播视频画面图片中通常只包括背景内容,而不存在主播用户,那么可以将该直播视频画面图片保存为背景模板图片。
另外,如果该直播视频画面图片中存在人物区域,那么可以将该人物区域从直播视频画面图片中剔除,得到背景模板图片。例如,将人物区域在直播视频画面图片中对应像素点的像素值设为固定值,实现对人物区域的剔除,所得到的图片可以作为背景模板图片进行保存。
需要说明的是,考虑到直播用户在直播过程中,其背景内容可能会发生变化,因此可以定期获取新的背景模板图片,以实现对背景模板图片的更新,这有助于提升人物识别的鲁棒性。
步骤1230,基于直播视频画面图片和背景模板图片,生成前景图片。
在获取到直播视频画面图片及其对应的背景模板图片之后,通过对这两张图片进行作差,即可生成前景图片。
在示例性实施例中,本步骤可以包括如下几个子步骤:
1、对直播视频画面图片和背景模板图片进行配准处理,得到直播视频画面图片和背景模板图片中的对应像素;
配准处理的目的,是将直播视频画面图片和背景模板图片中的相同图像内容进行对齐,直播视频画面图片和背景模板图片中的每一组对应像素,是同一个图像内容在这两张图片中对应的像素。
在本申请实施例中,对图片配准所采用的方法不作限定,如可以采用基于角点的配准方法、基于特征点的配准方法、基于图像特征的配准方法,等等。通过图片配准可以消除摄像头抖动带来的噪声,提升后续前景提取的准确性。
2、对直播视频画面图片和背景模板图片中的对应像素进行差值计算,得到差值图片;
在将直播视频画面图片和背景模板图片进行配准处理之后,对于每一组对应像素,采用该像素在直播视频画面图片中的像素值,减去该像素在背景模板图片中的像素值,得到的差值即为该像素在差值图片中的像素值。
3、基于差值图片生成前景图片。
在得到差值图片之后,对该差值图片进行二值化处理,得到前景图片。例如,预先设定一个门限值,对于差值图片中的每一个像素,如果该像素的像素值小于该门限值,则将该像素的像素值设为第一数值;如果该像素的像素值大于该门限值,则将该像素的像素值设为第二数值。可选地,第一数值为0且第二数值为1,或者第一数值为1且第二数值为0。
在一个示例中,对差值图片进行二值化处理后得到的二值图片,可以直接作为前景图片使用。在另一个示例中,对差值图片进行二值化处理后得到二值图片之后,对该二值图片做进一步的腐蚀与膨胀处理,从而消除粘连和断连的问题,然后将经过腐蚀与膨胀处理后的图片作为前景图片使用。
如图13所示,通过对直播视频画面图片131及其对应的背景模板图片132进行作差,生成前景图片133。
步骤1240,对前景图片进行人物识别处理,得到人物区域的位置信息,该位置信息用于指示人物区域在直播视频画面中的位置。
可选地,通过人物识别模型对前景图片进行人物识别处理,得到人物区域的位置信息;其中,人物识别模型是用于识别人物区域的机器学习模型。例如,该人物识别模型可以是采用机器学习技术对神经网络进行训练得到的模型。
综上所述,本申请实施例提供的技术方案,通过对前景图片进行人物识别处理,相比于传统方法直接对原始的直播视频画面图片进行人物识别处理,由于前景图片中已经去除了与人物识别无关的背景内容,能够排除背景内容对图像识别的干扰和影响,减少图像识别所需的计算量,提高识别效率,从而满足对连续多帧直播视频画面进行快速处理并显示的要求。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图14,其示出了本申请一个实施例提供的直播视频画面的显示装置的框图。该装置1400具有实现上述方法实施例的功能,该功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置1400可以是上文介绍的用户终端,也可以设置在用户终端中。该装置1400可以包括:画面显示模块1410、人物标记模块1420和画面调整模块1430。
画面显示模块1410,用于显示目标直播间的直播视频画面,所述直播视频画面是指对所述目标直播间的直播视频流进行解码得到的视频图像帧。
人物标记模块1420,用于响应于针对所述直播视频画面的调整触发操作,对所述直播视频画面中的人物区域进行标记。
画面调整模块1430,用于基于所述人物区域在所述直播视频画面中的位置,对所述直播视频画面进行调整,得到调整后的直播视频画面。
所述画面显示模块1410,还用于显示所述调整后的直播视频画面。
在示例性实施例中,所述画面调整模块1430,用于:
基于所述人物区域在所述直播视频画面中的位置,提取所述人物区域;
将所述人物区域合成至目标背景图片中,得到所述调整后的直播视频画面。
在示例性实施例中,所述画面调整模块1430,用于:
基于所述人物区域在所述直播视频画面中的位置,确定弹幕信息的显示位置;其中,所述弹幕信息的显示位置与所述人物区域的位置不重叠;
基于所述弹幕信息的显示位置,在所述直播视频画面中添加所述弹幕信息,得到所述调整后的直播视频画面。
在示例性实施例中,所述画面调整模块1430,用于:
基于所述人物区域在所述直播视频画面中的位置,对所述人物区域进行调整处理,得到调整后的人物区域;
基于所述调整后的人物区域,得到所述调整后的直播视频画面。
可选地,所述调整处理包括以下至少一项:缩放处理、拉伸处理、位置调整处理、移出所述直播视频画面、更换为其他显示元素、复制处理、镜像处理。
在示例性实施例中,如图15所示,所述装置1400还包括:画面图片获取模块1440、模板图片获取模块1450、前景图片生成模块1460和人物识别模块1470。
画面图片获取模块1440,用于响应于针对所述直播视频画面的调整触发操作,获取所述直播视频画面对应的直播视频画面图片。
模板图片获取模块1450,用于获取所述直播视频画面图片对应的背景模板图片。
前景图片生成模块1460,用于基于所述直播视频画面图片和所述背景模板图片,生成前景图片。
人物识别模块1470,用于对所述前景图片进行人物识别处理,得到所述人物区域的位置信息,所述位置信息用于指示所述人物区域在所述直播视频画面中的位置。
可选地,所述前景图片生成模块1460,用于:
对所述直播视频画面图片和所述背景模板图片进行配准处理,得到所述直播视频画面图片和所述背景模板图片中的对应像素;
对所述直播视频画面图片和所述背景模板图片中的对应像素进行差值计算,得到差值图片;
基于所述差值图片生成所述前景图片。
可选地,所述前景图片生成模块1460,具体用于:
对所述差值图片进行二值化处理,得到二值图片;
对所述二值图片进行腐蚀与膨胀处理,得到所述前景图片。
可选地,所述人物识别模块1470,用于通过人物识别模型对所述前景图片进行人物识别处理,得到所述人物区域的位置信息;其中,所述人物识别模型是用于识别所述人物区域的机器学习模型。
在示例性实施例中,如图15所示,所述装置1400还包括:模板图片保存模块1480。
模板图片保存模块1480,用于在获取到满足条件的直播视频画面图片的情况下,将所述满足条件的直播视频画面图片保存为所述背景模板图片;其中,所述满足条件的直播视频画面图片是指不存在所述人物区域的直播视频画面图片。
综上所述,本申请实施例提供的技术方案,通过在确定出直播视频画面中的人物区域之后,基于该人物区域在直播视频画面中的位置,对直播视频画面进行调整,使得观众用户在观看直播的过程中,能够对直播视频画面进行自定义调整,提升直播视频画面显示的灵活性。
请参考图16,其示出了本申请一个实施例提供的终端1600的结构框图。该终端1600可以是诸如手机、平板电脑、多媒体播放设备、智能电视、PC等电子设备。该终端1600中安装有视频直播应用的客户端,可用于实施上述直播视频画面的显示方法。具体来讲:
通常,终端1600包括有:处理器1601和存储器1602。
处理器1601可以包括一个或多个处理核心,比如9核心处理器、16核心处理器等。处理器1601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1602中的非暂态的计算机可读存储介质用于存储计算机程序,所述计算程序经配置以由一个或者一个以上处理器执行,以实现上述直播视频画面的显示方法。
在一些实施例中,终端1600还可选包括有:***设备接口1603和至少一个***设备。处理器1601、存储器1602和***设备接口1603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1603相连。具体地,***设备包括:射频电路1604、触摸显示屏1605、摄像头组件1606、音频电路1607、定位组件1608和电源1609中的至少一种。
本领域技术人员可以理解,图16中示出的结构并不构成对终端1600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述直播视频画面的显示方法。
可选地,该计算机可读存储介质可以包括:ROM(Read-Only Memory,只读存储器)、RAM(Random-Access Memory,随机存储器)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)。
在示例性实施例中,还提供了一种计算机程序产品,当所述计算机程序产品在终端上运行时,使得终端执行上述直播视频画面的显示方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (13)

1.一种直播视频画面的显示方法,其特征在于,所述方法包括:
显示目标直播间的直播视频画面,所述直播视频画面是指对所述目标直播间的直播视频流进行解码得到的视频图像帧;
响应于针对所述直播视频画面的调整触发操作,对所述直播视频画面中的人物区域进行标记;
基于所述人物区域在所述直播视频画面中的位置,对所述直播视频画面进行调整,得到调整后的直播视频画面;
显示所述调整后的直播视频画面。
2.根据权利要求1所述的方法,其特征在于,所述基于所述人物区域在所述直播视频画面中的位置,对所述直播视频画面进行调整,得到调整后的直播视频画面,包括:
基于所述人物区域在所述直播视频画面中的位置,提取所述人物区域;
将所述人物区域合成至目标背景图片中,得到所述调整后的直播视频画面。
3.根据权利要求1所述的方法,其特征在于,所述基于所述人物区域在所述直播视频画面中的位置,对所述直播视频画面进行调整,得到调整后的直播视频画面,包括:
基于所述人物区域在所述直播视频画面中的位置,确定弹幕信息的显示位置;其中,所述弹幕信息的显示位置与所述人物区域的位置不重叠;
基于所述弹幕信息的显示位置,在所述直播视频画面中添加所述弹幕信息,得到所述调整后的直播视频画面。
4.根据权利要求1所述的方法,其特征在于,所述基于所述人物区域在所述直播视频画面中的位置,对所述直播视频画面进行调整,得到调整后的直播视频画面,包括:
基于所述人物区域在所述直播视频画面中的位置,对所述人物区域进行调整处理,得到调整后的人物区域;
基于所述调整后的人物区域,得到所述调整后的直播视频画面。
5.根据权利要求4所述的方法,其特征在于,所述调整处理包括以下至少一项:缩放处理、拉伸处理、位置调整处理、移出所述直播视频画面、更换为其他显示元素、复制处理、镜像处理。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
响应于针对所述直播视频画面的调整触发操作,获取所述直播视频画面对应的直播视频画面图片;
获取所述直播视频画面图片对应的背景模板图片;
基于所述直播视频画面图片和所述背景模板图片,生成前景图片;
对所述前景图片进行人物识别处理,得到所述人物区域的位置信息,所述位置信息用于指示所述人物区域在所述直播视频画面中的位置。
7.根据权利要求6所述的方法,其特征在于,所述基于所述直播视频画面图片和所述背景模板图片,生成前景图片,包括:
对所述直播视频画面图片和所述背景模板图片进行配准处理,得到所述直播视频画面图片和所述背景模板图片中的对应像素;
对所述直播视频画面图片和所述背景模板图片中的对应像素进行差值计算,得到差值图片;
基于所述差值图片生成所述前景图片。
8.根据权利要求7所述的方法,其特征在于,所述基于所述差值图片生成所述前景图片,包括:
对所述差值图片进行二值化处理,得到二值图片;
对所述二值图片进行腐蚀与膨胀处理,得到所述前景图片。
9.根据权利要求6所述的方法,其特征在于,所述对所述前景图片进行人物识别处理,得到所述人物区域的位置信息,包括:
通过人物识别模型对所述前景图片进行人物识别处理,得到所述人物区域的位置信息;
其中,所述人物识别模型是用于识别所述人物区域的机器学习模型。
10.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在获取到满足条件的直播视频画面图片的情况下,将所述满足条件的直播视频画面图片保存为所述背景模板图片;
其中,所述满足条件的直播视频画面图片是指不存在所述人物区域的直播视频画面图片。
11.一种直播视频画面的显示装置,其特征在于,所述装置包括:
画面显示模块,用于显示目标直播间的直播视频画面,所述直播视频画面是指对所述目标直播间的直播视频流进行解码得到的视频图像帧;
人物标记模块,用于响应于针对所述直播视频画面的调整触发操作,对所述直播视频画面中的人物区域进行标记;
画面调整模块,用于基于所述人物区域在所述直播视频画面中的位置,对所述直播视频画面进行调整,得到调整后的直播视频画面;
所述画面显示模块,还用于显示所述调整后的直播视频画面。
12.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至10任一项所述的直播视频画面的显示方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的直播视频画面的显示方法。
CN202011612821.2A 2020-12-30 2020-12-30 直播视频画面的显示方法、装置、终端及存储介质 Pending CN112752116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011612821.2A CN112752116A (zh) 2020-12-30 2020-12-30 直播视频画面的显示方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011612821.2A CN112752116A (zh) 2020-12-30 2020-12-30 直播视频画面的显示方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN112752116A true CN112752116A (zh) 2021-05-04

Family

ID=75649806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011612821.2A Pending CN112752116A (zh) 2020-12-30 2020-12-30 直播视频画面的显示方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112752116A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315987A (zh) * 2021-05-27 2021-08-27 北京达佳互联信息技术有限公司 视频直播方法和视频直播装置
CN113596561A (zh) * 2021-07-29 2021-11-02 北京达佳互联信息技术有限公司 视频流播放方法、装置、电子设备和计算机可读存储介质
CN113794831A (zh) * 2021-08-13 2021-12-14 维沃移动通信(杭州)有限公司 视频拍摄方法、装置、电子设备及介质
CN114449303A (zh) * 2022-01-26 2022-05-06 广州繁星互娱信息科技有限公司 直播画面生成方法和装置、存储介质及电子装置
CN114501051A (zh) * 2022-01-24 2022-05-13 广州繁星互娱信息科技有限公司 直播对象的标记显示方法和装置、存储介质及电子设备
CN114727043A (zh) * 2022-03-07 2022-07-08 国网山东省电力公司信息通信公司 一种会场镜头自动切换的控制方法及***
CN114881901A (zh) * 2022-04-29 2022-08-09 北京字跳网络技术有限公司 视频合成方法、装置、设备、介质及产品
CN115348468A (zh) * 2022-07-22 2022-11-15 网易(杭州)网络有限公司 直播互动方法、***、观众直播客户端及主播直播客户端
CN116600150A (zh) * 2023-05-29 2023-08-15 佛山市炫新智能科技有限公司 一种矩阵式直播展示***及其展示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151489A (zh) * 2018-08-14 2019-01-04 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
CN109460705A (zh) * 2018-09-26 2019-03-12 北京工业大学 基于机器视觉的输油管道监控方法
CN109862414A (zh) * 2019-03-22 2019-06-07 武汉斗鱼鱼乐网络科技有限公司 一种蒙版弹幕显示方法、装置及服务器
CN110290425A (zh) * 2019-07-29 2019-09-27 腾讯科技(深圳)有限公司 一种视频处理方法、装置及存储介质
CN110795595A (zh) * 2019-09-10 2020-02-14 安徽南瑞继远电网技术有限公司 基于边缘计算的视频结构化存储方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151489A (zh) * 2018-08-14 2019-01-04 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
CN109460705A (zh) * 2018-09-26 2019-03-12 北京工业大学 基于机器视觉的输油管道监控方法
CN109862414A (zh) * 2019-03-22 2019-06-07 武汉斗鱼鱼乐网络科技有限公司 一种蒙版弹幕显示方法、装置及服务器
CN110290425A (zh) * 2019-07-29 2019-09-27 腾讯科技(深圳)有限公司 一种视频处理方法、装置及存储介质
CN110795595A (zh) * 2019-09-10 2020-02-14 安徽南瑞继远电网技术有限公司 基于边缘计算的视频结构化存储方法、装置、设备及介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315987A (zh) * 2021-05-27 2021-08-27 北京达佳互联信息技术有限公司 视频直播方法和视频直播装置
WO2022247293A1 (zh) * 2021-05-27 2022-12-01 北京达佳互联信息技术有限公司 视频直播方法和视频直播装置
CN113596561A (zh) * 2021-07-29 2021-11-02 北京达佳互联信息技术有限公司 视频流播放方法、装置、电子设备和计算机可读存储介质
CN113794831B (zh) * 2021-08-13 2023-08-25 维沃移动通信(杭州)有限公司 视频拍摄方法、装置、电子设备及介质
CN113794831A (zh) * 2021-08-13 2021-12-14 维沃移动通信(杭州)有限公司 视频拍摄方法、装置、电子设备及介质
CN114501051A (zh) * 2022-01-24 2022-05-13 广州繁星互娱信息科技有限公司 直播对象的标记显示方法和装置、存储介质及电子设备
CN114501051B (zh) * 2022-01-24 2024-02-02 广州繁星互娱信息科技有限公司 直播对象的标记显示方法和装置、存储介质及电子设备
CN114449303A (zh) * 2022-01-26 2022-05-06 广州繁星互娱信息科技有限公司 直播画面生成方法和装置、存储介质及电子装置
CN114727043A (zh) * 2022-03-07 2022-07-08 国网山东省电力公司信息通信公司 一种会场镜头自动切换的控制方法及***
CN114881901A (zh) * 2022-04-29 2022-08-09 北京字跳网络技术有限公司 视频合成方法、装置、设备、介质及产品
CN115348468A (zh) * 2022-07-22 2022-11-15 网易(杭州)网络有限公司 直播互动方法、***、观众直播客户端及主播直播客户端
CN116600150A (zh) * 2023-05-29 2023-08-15 佛山市炫新智能科技有限公司 一种矩阵式直播展示***及其展示方法
CN116600150B (zh) * 2023-05-29 2024-02-06 佛山市炫新智能科技有限公司 一种矩阵式直播展示***及其展示方法

Similar Documents

Publication Publication Date Title
CN112752116A (zh) 直播视频画面的显示方法、装置、终端及存储介质
WO2022001593A1 (zh) 视频生成方法、装置、存储介质及计算机设备
US11741328B2 (en) Dynamic embedding of machine-readable codes within video and digital media
CN110119700B (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
CN111147880A (zh) 视频直播的互动方法、装置、***、电子设备及存储介质
US20140223474A1 (en) Interactive media systems
US12034996B2 (en) Video playing method, apparatus and device, storage medium, and program product
CN112437338B (zh) 虚拟资源转移方法、装置、电子设备以及存储介质
CN111970532A (zh) 视频播放方法、装置及设备
CN114095744B (zh) 视频直播方法、装置、电子设备及可读存储介质
WO2022089168A1 (zh) 具有三维效果的视频的生成方法、播放方法、装置及设备
CN110798615A (zh) 一种拍摄方法、装置、存储介质以及终端
CN111638784A (zh) 人脸表情互动方法、互动装置以及计算机存储介质
CN113485617A (zh) 动画展示方法、装置、电子设备及存储介质
CN113763242A (zh) 一种图像处理方法、装置及计算机可读存储介质
CN112509148A (zh) 一种基于多特征识别的交互方法、装置及计算机设备
CN113965665A (zh) 一种用于确定虚拟直播图像的方法与设备
CN113596574A (zh) 视频处理方法、视频处理装置、电子设备和可读存储介质
CN113411537A (zh) 视频通话方法、装置、终端及存储介质
CN113676692A (zh) 视频会议中视频的处理方法、装置、电子设备及存储介质
CN111667313A (zh) 广告展示方法、装置、客户端设备及存储介质
CN108898081B (zh) 图片处理方法、装置、移动终端及计算机可读存储介质
CN114584824A (zh) 数据处理方法、***、电子设备、服务端及客户端设备
CN112449249A (zh) 视频流处理方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210504