CN115002554A - 直播画面调整方法、***、装置及计算机设备 - Google Patents

直播画面调整方法、***、装置及计算机设备 Download PDF

Info

Publication number
CN115002554A
CN115002554A CN202210519242.6A CN202210519242A CN115002554A CN 115002554 A CN115002554 A CN 115002554A CN 202210519242 A CN202210519242 A CN 202210519242A CN 115002554 A CN115002554 A CN 115002554A
Authority
CN
China
Prior art keywords
live broadcast
picture
live
preset
broadcast picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210519242.6A
Other languages
English (en)
Other versions
CN115002554B (zh
Inventor
曾家乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Cubesili Information Technology Co Ltd
Priority to CN202210519242.6A priority Critical patent/CN115002554B/zh
Priority claimed from CN202210519242.6A external-priority patent/CN115002554B/zh
Publication of CN115002554A publication Critical patent/CN115002554A/zh
Application granted granted Critical
Publication of CN115002554B publication Critical patent/CN115002554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及网络直播技术领域,提出一种直播画面调整方法、***、装置及计算机设备,该方法包括:观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;第一直播画面为解析服务器发送的直播视频流得到的;观众客户端根据目标背景画面,调整第一直播画面中的背景区域,得到第二直播画面,将第二直播画面输出至直播间界面中。相对于现有技术,本申请能够在昏暗的直播观看环境下,改善观众的直播观看体验。

Description

直播画面调整方法、***、装置及计算机设备
技术领域
本申请实施例涉及网络直播技术领域,尤其涉及一种直播画面调整方法、***、装置及计算机设备。
背景技术
随着互联网技术和流媒体技术的快速发展,网络直播逐渐成为一种日渐普及的娱乐手段。越来越多的用户在直播间内体验与主播的线上互动,主播也可以通过网络直播获得经济收益,不仅能够缓解社会就业压力,还能够带动地区经济发展。
目前,对于网络直播观众来说,其所处的直播观看环境是不可控的,例如:观众可能会在光线极为昏暗的环境下观看直播,那么,在此种直播观看环境下,较亮的直播画面将对观众的眼部刺激较大,不利于提高观众的留存率和观看时长,也会影响其网络直播观看体验。
发明内容
本申请实施例提供了一种直播画面调整方法、***、装置及计算机设备,可以解决在昏暗的直播观看环境下,如何改善观众的直播观看体验,提高观众的留存率和观看时长的技术问题,该技术方案如下:
第一方面,本申请实施例提供了一种直播画面调整方法,包括步骤:
观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,所述直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及所述第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;所述第一直播画面为解析服务器发送的直播视频流得到的;
所述观众客户端根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,得到第二直播画面,将所述第二直播画面输出至直播间界面中。
第二方面,本申请实施例提供了一种直播画面调整***,包括:服务器和观众客户端;
所述观众客户端用于响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,所述直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及所述第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;所述第一直播画面为解析所述服务器发送的直播视频流得到的;
所述观众客户端用于根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,得到第二直播画面,将所述第二直播画面输出至直播间界面中。
第三方面,本申请实施例提供了一种直播画面调整装置,包括:
第一获取单元,用于观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,所述直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及所述第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;所述第一直播画面为解析服务器发送的直播视频流得到的;
第一调整单元,用于所述观众客户端根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,得到第二直播画面,将所述第二直播画面输出至直播间界面中。
第四方面,本申请实施例提供了一种计算机设备,处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述方法的步骤。
本申请实施例通过在当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时,生成直播画面调整指令,从而使观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面,利用目标背景画面调整第一直播画面中的背景区域,得到第二直播画面,将第二直播画面输出至直播间界面中,进而能够在昏暗的直播观看环境下,以调整直播画面中背景区域的方式,改善观众的直播观看体验,提高观众的留存率和观看时长。
为了更好地理解和实施,下面结合附图详细说明本申请的技术方案。
附图说明
图1为本申请实施例提供的直播画面调整方法的应用场景示意图;
图2为本申请第一实施例提供的直播画面调整方法的流程示意图;
图3为本申请第一实施例提供的直播画面调整方法的另一流程示意图;
图4为本申请第一实施例提供的直播画面调整方法中S101的流程示意图;
图5为本申请实施例提供的第一确认控件在直播间界面中的显示示意图;
图6为本申请第一实施例提供的直播画面调整方法中S101的另一流程示意图;
图7为本申请实施例提供的背景画面列表在直播间界面中的显示示意图;
图8为本申请第一实施例提供的直播画面调整方法中S102的流程示意图;
图9为本申请第一实施例提供的直播画面调整方法的又一流程示意图;
图10为本申请实施例提供的虚拟衣物列表在直播间界面中的显示示意图;
图11为本申请第二实施例提供的直播画面调整***的结构示意图;
图12为本申请第三实施例提供的直播画面调整装置的结构示意图;
图13为本申请第四实施例提供的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本领域技术人员可以理解,本申请所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(PersonalCommunications Service,个人通信***),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem,全球定位***)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的计算机设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
需要指出的是,本申请所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本申请的网络部署方式的实施方式。
请参阅图1,图1为本申请实施例提供的直播画面调整方法的应用场景示意图,该应用场景包括本申请实施例提供的主播客户端101、服务器102和观众客户端103,主播客户端101与观众客户端103通过服务器102进行交互。
本申请实施例提出的客户端包括该主播客户端101和该观众客户端103。
需要指出的是,在现有技术中会存在对“客户端”这一概念的多种理解,例如:可以将其理解为安装在计算机设备中的应用程序,或者,也可以将其理解为相对应于服务器的硬件设备。
在本申请实施例中,所称的“客户端”是指相对应于服务器的硬件设备,更具体来说,是指计算机设备,例如:智能手机、智能交互平板以及个人计算机等。
在客户端为智能手机、智能交互平板等移动设备时,用户可以在客户端上安装匹配的移动端应用程序,也可以在客户端上访问Web端应用程序。
在客户端为个人计算机(PC机)等非移动设备时,用户可以在客户端上安装匹配的PC端应用程序,同样也可以在客户端上访问Web端应用程序。
其中,移动端应用程序是指可安装在移动设备中的应用程序,PC端应用程序是指可安装在非移动设备中的应用程序,Web端应用程序是指需通过浏览器访问的应用程序。
具体地,Web端应用程序依据客户端类型的差异,又可以分为移动版本和PC版本,两者的页面布局方式以及可提供的服务器支持可能存在差别。
在本申请实施例中,提供至用户的直播应用程序的类型分为移动端直播应用程序、PC端直播应用程序和Web端直播应用程序。用户可以依据其采用客户端的类型不同,自主选择其参与网络直播的方式。
本申请依据采用客户端的用户身份的不同,可以将客户端分为主播客户端101和观众客户端103。
其中,主播客户端101是指发送网络直播视频的一端,通常来说是网络直播中主播(即,直播主播用户)所采用的客户端。
观众客户端103是指接收和观看网络直播视频的一端,通常来说是网络直播中观看视频的观众(即,直播观众用户)所采用的客户端。
主播客户端101和观众客户端103所指向的硬件,本质上是指计算机设备,具体地,如图1所示,其可以是智能手机、智能交互平板和个人计算机等类型的计算机设备。主播客户端101和观众客户端103均可以通过公知的网络接入方式接入互联网,与服务器102建立数据通信链路。
服务器102作为一个业务服务器,其可以负责进一步连接起相关音频数据服务器、视频流服务器以及其他提供相关支持的服务器等,以此构成逻辑上相关联的服务机群,来为相关的终端设备,例如图1中所示的主播客户端101和观众客户端103提供服务。
本申请实施例中,主播客户端101与观众客户端103可以加入同一个直播间(即直播频道),上述的直播间是指依靠互联网技术实现的一种聊天室,通常具备音视频播控功能。主播用户通过主播客户端101在直播间内进行直播,观众客户端103的观众可以登录服务器102进入直播间观看上直播。
在直播间内,主播与观众之间可通过语音、视频、文字等公知的线上交互方式来实现互动,一般是主播以音视频流的形式为观众用户表演节目,并且在互动过程中还可产生经济交易行为。当然,直播间的应用形态并不局限于在线娱乐,也可推广到其他相关场景中,例如视频会议场景、产品推介销售场景以及其他任何需要类似互动的场景中。
具体地,观众观看直播的过程如下:观众可以点击访问安装在观众客户端103上的直播应用程序,并选择进入任意一个直播间,触发观众客户端103为该观众加载直播间界面,该直播间界面内包括若干交互组件,例如:视频窗口、虚拟礼物栏以及公屏等,通过加载这些交互组件可以使观众在直播间内观看直播,并进行多种线上互动,线上互动的方式包括但不限于赠送虚拟礼物以及公屏发言等。
主播客户端101采集直播音视频流数据,发送直播间标识和直播音视频流数据至服务器102,服务器102将该直播音视频流数据下发至该直播间标识对应的直播间内的观众客户端103,该直播间内的观众客户端103将该直播音视频流数据输出,使观众能够通过观众客户端103实现直播的观看。由于观众可能会在光线极为昏暗的环境下观看直播,因此,较亮的直播画面将对观众的眼部刺激较大,不利于提高观众的留存率和观看时长,也会影响其网络直播体验。基于上述,本申请实施例提供了一种直播画面调整方法。请参阅图2,图2为本申请第一实施例提供的直播画面调整方法的流程示意图,该方法包括如下步骤:
S101:观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;第一直播画面为解析服务器发送的直播视频流得到的。
S102:观众客户端根据目标背景画面,调整第一直播画面中的背景区域,得到第二直播画面,将第二直播画面输出至直播间界面中。
在本实施例中,是以客户端和服务器两个执行主体对直播画面调整方法进行描述的。其中,客户端包括主播客户端和观众客户端。
关于步骤S101,观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面。
其中,第一直播画面为解析服务器发送的直播视频流得到的。观众客户端加入某一直播间时,服务器会获取直播间标识(即,频道标识)和该直播间标识对应的直播音视频流,发送该直播间标识对应的直播音视频流至该观众客户端。
该直播音视频流包括直播视频流和直播音频流,可以理解的是,在网络直播场景下,直播音视频流是由主播客户端采集并发送至服务器的,该主播客户端对应的主播创建了上述直播间标识对应的直播间。
目标背景画面为待用于调整第一直播画面的背景区域的背景画面。关于如何获取目标背景画面将在后续展开说明。
下面说明在何种条件下会生成直播画面调整指令。
直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的。
上述判断操作可以由服务器执行,也可以由观众客户端执行。
若由服务器执行,那么观众客户端获取当前观众所处的直播观看环境对应的环境亮度信息,至少发送该环境亮度信息至服务器,服务器一方面判断当前观众所处的直播观看环境对应的环境亮度信息是否满足预设的第一直播画面调整条件,另一方面获取第一直播画面中背景区域对应的画面亮度相关信息,判断第一直播画面中背景区域对应的画面亮度相关信息是否满足预设的第二直播画面调整条件,若均是,服务器生成并发送直播画面调整指令至该观众客户端。
若由观众客户端执行,那么观众客户端获取当前观众所处的直播观看环境对应的环境亮度信息后,直接根据环境亮度信息判断当前观众所处的直播观看环境对应的环境亮度信息是否满足预设的第一直播画面调整条件,并且,观众客户端获取第一直播画面中背景区域对应的画面亮度相关信息,判断第一直播画面中背景区域对应的画面亮度相关信息是否满足预设的第二直播画面调整条件,若均是,观众客户端生成该直播画面调整指令。
在一个可选的实施例中,当前观众所处的直播观看环境对应的环境亮度信息可以是基于摄像头采集的视频画面确认的,该摄像头可以为观众客户端自带的摄像头,也可以为观众客户端外接的摄像头。若摄像头采集的视频画面的亮度较高,那么也就意味着,环境亮度信息较高。
在另一个可选的实施例中,当前观众所处的直播观看环境对应的环境亮度信息可以是基于亮度感应器采集的亮度数据确认的,该亮度感应器可以为观众客户端自带的亮度感应器,也可以为观众客户端外接的亮度感应器。
其中,预设的第一直播画面调整条件用于判断当前环境亮度信息所指示的当前环境亮度是否较为昏暗。预设的第二直播画面调整条件用于判断第一直播画面中背景区域对应的画面亮度相关信息所指示的背景区域亮度是否较为明亮。
下面以观众客户端执行的角度进行展开说明,何时会生成该直播画面调整指令。
在一个可选的实施例中,请参阅图3,S101观众客户端响应于直播画面调整指令之前,包括步骤:
S103:观众客户端获取直播观看环境对应的环境亮度信息。
S104:若直播观看环境对应的环境亮度信息低于预设的第一亮度阈值,观众客户端解析直播视频流,得到第一直播画面。
S105:观众客户端从第一直播画面中分割出背景区域,获取背景区域对应的第一画面亮度相关信息和背景区域对应的第二画面亮度相关信息;其中,第一画面亮度相关信息为背景区域中各个像素点的亮度信息的平均值,第二画面亮度相关信息为目标背景像素点在背景区域中的占比,目标背景像素点为背景区域中亮度信息超过预设的第一亮度阈值的背景像素点。
S106:若第一画面亮度相关信息超过预设的第一亮度相关阈值且第二画面亮度相关信息超过预设的第二亮度相关阈值,观众客户端生成直播画面调整指令。
关于步骤S103,观众客户端获取直播观看环境对应的环境亮度信息。具体可以参照前述说明。
关于步骤S104,若直播观看环境对应的环境亮度信息低于预设的第一亮度阈值,观众客户端解析直播视频流,得到第一直播画面。也就是说,若直播观看环境对应的环境亮度信息低于预设的第一亮度阈值,表明当前环境亮度较为昏暗,那么,观众客户端解析直播视频流,得到第一直播画面。
关于步骤S105,观众客户端从第一直播画面中分割出背景区域,获取背景区域对应的第一画面亮度相关信息和背景区域对应的第二画面亮度相关信息。
观众客户端可以采用现有的躯干分割网络或者opencv的人体轮廓分割算法进行背景区域和人体躯干区域的分割,在此不进行详细限定。
其中,第一画面亮度相关信息为背景区域中各个像素点的亮度信息的平均值,第二画面亮度相关信息为目标背景像素点在背景区域中的占比,目标背景像素点为背景区域中亮度信息超过预设的第一亮度阈值的背景像素点。
若第一画面亮度相关信息超过预设的第一亮度相关阈值且第二画面亮度相关信息超过预设的第二亮度相关阈值,意味着背景区域亮度较为明亮,那么,观众客户端生成该直播画面调整指令。
需要说明的是,获取背景区域中各个像素点的亮度信息可以先将第一直播画面的色彩空间调整为hsv色彩空间,通过其中的明度值,得到像素点的亮度信息。
在一个可选的实施例中,S103观众客户端获取直播观看环境对应的环境亮度信息,包括步骤:
S1031:观众客户端通过摄像头采集视频画面,并获取直播观看环境对应的环境亮度信息。
S104:若直播观看环境对应的环境亮度信息低于预设的第一亮度阈值,观众客户端解析直播视频流,得到第一直播画面,包括步骤:
S1041:若视频画面中显示有人脸影像以及直播观看环境对应的环境亮度信息低于预设的第一亮度阈值,观众客户端解析直播视频流,得到第一直播画面。
观众客户端根据采集的视频画面以及预设的人脸检测算法,判断视频画面中是否显示有人脸影像,从而在视频画面中显示有人脸影像以及直播观看环境对应的环境亮度信息低于预设的第一亮度阈值,才会解析直播视频流,得到第一直播画面。
本实施例中通过人脸检测能够在观众正在观看直播时,再判断是否要进行相应的画面调整,以减少设备负担,提升运行速度,提高观众的直播体验。
在一个可选的实施中,请参阅图4,S101中观众客户端生成直播画面调整指令,包括步骤:
S1011:观众客户端获取第一确认控件数据,根据第一确认控件数据,在直播间界面中显示第一确认控件;其中,第一确认控件中至少显示有直播画面调整确认信息。
S1012:观众客户端响应于对第一确认控件的第一触发指令,生成直播画面调整指令。
其中,第一确认控件数据包括第一确认控件的显示数据和第一确认控件的功能数据。第一确认控件的显示数据用于确定第一确认控件的显示样式、显示位置以及显示尺寸等。第一确认控件的功能数据用于实现第一确认控件的信息显示功能和触发响应功能等。
请参阅图5,图5为本申请实施例提供的第一确认控件在直播间界面中的显示示意图。由图5可以看到,第一确认控件51显示在直播间界面中,第一确认控件51上显示有直播画面调整确认信息52、确认子控件53以及取消子控件54。
观众点击确认子控件53,则会触发观众客户端发出对第一确认控件的第一触发指令,进而,观众客户端响应于对第一确认控件的第一触发指令,生成直播画面调整指令。
观众点击取消子控件54,则会触发观众客户端发出对第一确认控件的第二触发指令,进而,观众客户端不会生成直播画面调整指令,并停止执行与直播画面调整相关的进程。
在本实施例中,观众可以自主选择是否对直播画面进行调整,从而进一步提升了观众的网络直播体验。
下面详细说明如何观众客户端如何获取目标背景画面。
在一个可选的实施例中,目标背景画面可以为默认配置的背景画面。
在另一个可选的实施例中,请参阅图6,S101中获取第一直播画面和目标背景画面的步骤,包括:
S1013:观众客户端生成并发送背景画面拉取请求至服务器。
S1014:服务器响应于背景画面拉取请求,获取背景画面列表数据,下发背景画面列表数据至观众客户端。
S1015:观众客户端接收背景画面列表数据,根据背景画面列表数据,加载背景画面列表;其中,背景画面列表中显示有若干幅背景画面对应的背景缩略图。
S1016:观众客户端响应于对目标背景缩略图的选中指令,获取目标背景画面。
关于步骤S1013,背景画面拉取指令中至少包括观众客户端标识,从而使服务器能够确认,为哪一观众客户端进行背景画面列表数据的拉取。并且,基于不同的观众客户端标识,也可以下发不同的背景画面列表数据。
关于步骤S1014,背景画面列表数据包括背景画面列表的显示数据和背景画面列表的功能数据。背景画面列表的显示数据用于确定背景画面列表的显示样式、显示位置以及显示尺寸等。背景画面列表的功能数据用于实现背景画面列表的展示、响应滑动指令以及响应选中指令等功能。
关于步骤S1015,背景画面列表中显示有若干幅背景画面对应的背景缩略图,从而使观众能够直观地看到可用于调整的背景画面的大致样式。
关于步骤S1016,观众可以滑动背景画面列表,对若干幅背景画面对应的背景缩略图进行浏览,并选中其中一幅背景缩略图为目标背景缩略图,生成对目标背景缩略图的选中指令,观众客户端响应于对目标背景缩略图的选中指令,获取目标背景画面。
请参阅图7,图7为本申请实施例提供的背景画面列表在直播间界面中的显示示意图。可以看到,背景画面列表71中显示有若干幅背景缩略图72,观众可以左右滑动浏览背景缩略图72,也可以点击第一翻页控件73进行浏览,观众可以通过点击某一背景缩略图72,选中目标背景缩略图,从而使观众客户端获取到目标背景画面。
在本实施例中,观众可以自主地浏览选择其想要应用的背景画面,从而进一步地提升了观众的画面调整体验,提高观众在直播间内的留存率和观看时长。
在一个可选的实施例中,在将直播画面调整后,观众也可以通过长按直播间界面中输出的第二直播画面的背景区域,触发观众客户端根据背景画面列表数据,加载背景画面列表,从而进行目标背景画面的更改。
其中,除了长按触发,也可以是双击触发等,在此不进行限定。
关于步骤S102,观众客户端根据目标背景画面,调整第一直播画面中的背景区域,得到第二直播画面,将第二直播画面输出至直播间界面中。
在一个可选的实施例中,观众客户端可以先分割出第一直播画面中的背景区域和人体躯干区域,并生成背景区域对应的图像遮罩,利用该图像遮罩对第一直播画面进行顾虑,得到第一过滤图像,再根据目标背景画面对第一过滤图像进行背景填充,从而得到第二直播画面,将第二直播画面输出至直播间界面中。
本申请实施例通过在当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时,生成直播画面调整指令,从而使观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面,利用目标背景画面调整第一直播画面中的背景区域,得到第二直播画面,将第二直播画面输出至直播间界面中,进而能够在昏暗的直播观看环境下,以调整直播画面中背景区域的方式,改善观众的直播观看体验,提高观众的留存率和观看时长。
对于直播画面调整来说,为了提升观众的直播观看体验,可以不仅仅调整直播画面中的背景区域,还可以对直播画面中呈现的主播影像,也即人体躯干区域进行调整。
在一个可选的实施中,请参阅图8,S102观众客户端根据目标背景画面,调整第一直播画面中的背景区域,得到第二直播画面,包括步骤:
S1021:观众客户端从第一直播画面中分割出人体躯干区域,并从人体躯干区域中分割出衣物区域。
S1022:观众客户端获取衣物区域对应的平均色彩信息以及平均色彩信息与预设的色彩信息之间的色彩差异信息。
S1023:观众客户端根据目标背景画面,调整第一直播画面中的背景区域,并根据色彩差异信息,调整第一直播画面中衣物区域内各个衣物像素点的色彩信息,得到第二直播画面。
观众客户端从第一直播画面中分割出人体躯干区域的方式可以参考前述,之后,观众客户端可以根据人体肤色和衣物色彩,从人体躯干区域中分割出衣物区域。
之后,观众客户端获取衣物区域对应的平均色彩信息以及平均色彩信息与预设的色彩信息之间的色彩差异信息。
预设的色彩信息为深色,关于其具体数据在此不进行限定。若直接将衣物区域内的像素点的像素值设置为预设的色彩信息,则会导致直播画面不自然,影响观众观看。
因此,本实施例中观众客户端获取衣物区域对应的平均色彩信息,也即,衣物区域内各个像素点的色彩信息的平均值,再根据衣物区域对应的平均色彩信息和预设的色彩信息,计算色彩差异信息,利用该色彩差异信息,调整第一直播画面中衣物区域内各个衣物像素点的色彩信息,得到第二直播画面。
举例来说,衣物区域对应的平均色彩信息为A,预设的色彩信息为B,那么,色彩差异信息为|A-B|,根据色彩差异信息,调整第一直播画面中衣物区域内各个衣物像素点的色彩信息,即是将各个衣物像素点的色彩信息C减去|A-B|。需要说明的是,若采用RGB色彩空间,那么色彩信息是具有三个通道值的,那么调整色彩信息也应能理解为调整三个通道值,并且,通道值的最小值为0,那么,各个衣物像素点的色彩信息C减去|A-B|之后的结果不能小于0。
在本实施例中,观众客户端通过调整主播衣物的色彩,能够进一步减少昏暗的观看环境下,明亮像素点对观众眼部的刺激,提升观看的直播观看体验,并且,由于是根据色彩差异信息,调整第一直播画面中衣物区域内各个衣物像素点的色彩信息,因此,调整后衣物的显示会较为自然,不易被观众察觉。
在一个可选的实施例中,S102将第二直播画面输出至直播间界面之后,包括步骤:
S107:观众客户端响应于衣物替换指令,将第二直播画面输入至预训练好的目标虚拟换衣模型,得到第三直播画面,将第三直播画面输出至直播间界面中;其中,预训练好的目标虚拟换衣模型用于将第二直播画面中呈现的真实衣物替换为目标虚拟衣物。
在本实施例中,可以通过预训练好的目标虚拟换衣模型,将第二直播画面中的呈现的真实衣物替换为目标虚拟衣物。
预训练好的目标虚拟换衣模型可以为任意一种现有的深度学习神经网络模型,在此不进行详细限定。
下面说明何时会生成衣物替换指令,以及如何确定目标虚拟衣物。在一个可选的实施例中,请参阅图9,S107观众客户端响应于衣物替换指令之前,包括步骤:
S108:观众客户端响应于对主播衣物区域的触发指令,获取若干个预训练好的虚拟换衣模型和虚拟衣物列表数据。
S109:观众客户端根据虚拟衣物列表数据,加载虚拟衣物列表;其中,虚拟衣物列表中显示有若干幅虚拟衣物缩略图,每幅虚拟衣物缩略图对应有一个预训练好的虚拟换衣模型。
S110:观众客户端响应于对目标虚拟衣物缩略图的选中指令,确定预训练好的目标虚拟换衣模型,生成并发出衣物替换指令。
关于步骤S108,观众可以对直播间界面中输出的第二直播画面的主播衣物区域进行触发,使观众客户端生成对主播衣物区域的触发指令,例如:长按第二直播画面的主播衣物区域。之后,观众客户端响应于对主播衣物区域的触发指令,获取若干个预训练好的虚拟换衣模型和虚拟衣物列表数据。
若观众客户端首次响应于对主播衣物区域的触发指令,则观众客户端需从服务器拉取若干个预训练好的虚拟换衣模型和虚拟衣物列表数据。
关于步骤S109,虚拟衣物列表数据包括虚拟衣物列表的显示数据和虚拟衣物列表的功能数据。虚拟衣物列表的显示数据用于确定虚拟衣物列表的显示样式、显示位置以及显示尺寸等。虚拟衣物列表的功能数据用于实现虚拟衣物列表的展示、响应滑动指令以及响应选中指令等功能。
虚拟衣物列表中显示有若干幅虚拟衣物缩略图,每幅虚拟衣物缩略图对应有一个预训练好的虚拟换衣模型。
也就是说,用户选中不同的虚拟衣物缩略图,则会用不同的预训练好的虚拟换衣模型对第二直播画面中呈现的真实衣物进行替换。
关于步骤S110,观众可以滑动虚拟衣物列表,对若干幅虚拟衣物缩略图进行浏览,并选中其中一幅虚拟衣物缩略图为目标虚拟衣物缩略图,生成对目标背景缩略图的选中指令,观众客户端响应于对目标背景缩略图的选中指令,确定预训练好的目标虚拟换衣模型,生成并发出衣物替换指令。
请参阅图10,图10为本申请实施例提供的虚拟衣物列表在直播间界面中的显示示意图。可以看到,虚拟衣物列表101中显示有若干幅虚拟衣物缩略图102,观众可以左右滑动浏览虚拟衣物缩略图102,也可以点击第二翻页控件103进行浏览,观众可以通过点击某一虚拟衣物缩略图102,选中目标虚拟衣物缩略图,从而使观众客户端预训练好的目标虚拟换衣模型,生成并发出衣物替换指令。需要说明的是,图10中虚拟衣物缩略图102未显示出衣物色彩,仅展示了衣物轮廓。
在一个可选的实施例中,虚拟换衣模型是由服务器进行训练的。具体地,服务器获取若干幅第一训练图像、第一训练图像对应的人体躯干数据和若干幅虚拟衣物图像;服务器根据若干幅第一训练图像、第一训练图像对应的人体躯干数据、每幅虚拟衣物图像、预设的优化算法和预设的损失函数,分别训练一个虚拟换衣模型,得到若干个预训练好的虚拟换衣模型。
其中,第一训练图像对应的人体躯干数据中至少包括人体躯干关键点的位置信息,可以采用现有的人体躯干识别算法获取得到。
基于第一训练图像对应的人体躯干数据,能够使虚拟换衣模型对虚拟衣物图像进行多种处理,例如:放大、缩小以及旋转等,并能够调整处理后的虚拟衣物图像的显示位置,从而使虚拟换衣模型能够达到更真实的衣物替换效果。
在本实施例中,针对不同幅虚拟衣物图像,会分别训练一个虚拟换衣模型,得到若干个预训练好的虚拟换衣模型,从而后续观众可以选择某一虚拟换衣模型,进行衣物替换,提升观众的互动体验。
下面先说明如何获取若干幅虚拟衣物图像,再说明具体的网络训练过程。
在一个可选的实施例中,服务器获取若干幅第一训练图像、第一训练图像对应的人体躯干数据和若干幅虚拟衣物图像的步骤,包括:
首先,服务器获取当前主播标识和当前主播标识对应的若干幅直播画面;其中,每幅直播画面中呈现的当前主播穿着的真实衣物不同。也就是说,服务器会获取当前主播在不同场网络直播中的直播画面,当前主播会穿着不同的真实衣物。
之后,服务器获取直播画面中衣物区域对应的第三画面亮度相关信息;其中,第三画面亮度相关信息为衣物区域中各个衣物像素点的亮度信息的平均值。
再之后,服务器根据直播画面中衣物区域对应的第三画面亮度相关信息和预设的第三亮度相关阈值,获取若干幅目标直播画面。具体地,服务器会获取直播画面中衣物区域对应的第三画面亮度相关信息低于预设的第三亮度相关阈值的直播画面为目标直播画面。
最后,服务器根据若干幅目标直播画面,得到若干幅虚拟衣物图像。可选的,服务器可以根据目标直播画面,在购物网站中搜索,从而获取到对应的虚拟衣物图像,或者,服务器也可以从目标直播画面中对衣物区域进行分割,从而得到对应的虚拟衣物图像。
在一个可选的实施例中,虚拟换衣模型和衣物鉴别模型共同构成对抗神经网络模型,服务器根据若干幅第一训练图像、第一训练图像对应的人体躯干数据、每幅虚拟衣物图像、预设的优化算法和预设的损失函数,分别训练一个虚拟换衣模型,得到若干个预训练好的虚拟换衣模型,包括步骤:
服务器将第一训练图像、第一训练图像对应的人体躯干数据和一幅虚拟衣物图像输入至虚拟换衣模型,得到若干幅第二训练图像。
其中,第一训练图像中呈现的是真实衣物,第二训练图像中真实衣物被替换为了虚拟衣物。该虚拟换衣模型为随机初始化后的虚拟换衣模型。
之后,第一训练图像的标签为真,第二训练图像的标签为假,服务器根据若干幅第一训练图像、若干幅第二训练图像、预设的第一损失函数和预设的第一优化算法,迭代训练衣物鉴别模型,优化衣物鉴别模型的可训练参数,直至第一损失函数的值满足预设的第一训练终止条件,得到当前训练好的衣物鉴别模型。
再之后,服务器将第二训练图像的标签修改为真,并将第二训练图像输入至当前训练好的衣物鉴别模型,获取第二训练图像的鉴别结果,若第二训练图像的鉴别结果满足预设的第二训练终止条件,得到预训练好的虚拟换衣模型和预训练好的衣物鉴别模型;若第二训练图像的鉴别结果不满足预设的第二训练终止条件,根据第二训练图像的鉴别结果、第二训练图像的标签和预设的第二损失函数,得到第二损失函数的值,根据第二损失函数的值和预设的第二优化算法,优化虚拟换衣模型的可训练参数,得到当前训练好的虚拟换衣模型。
在对抗神经网络模型中,当其判断第二训练图像为真的概率在0.5附近时,意味着虚拟换衣模型和衣物鉴别模型达到了一个比较好的对抗训练效果。因此,预设的第二训练终止条件为0.5附近的一个区间,当第二训练图像的鉴别结果在该区间内,则第二训练图像的鉴别结果满足预设的第二训练终止条件。
若第二训练图像的鉴别结果偏向于0,则表示衣物鉴别模型认为该第二训练图像为真的概率接近于0,这也就意味着虚拟换衣模型生成的第二训练图像易被观众识别出来其衣物是后生成的,虚拟换衣模型的换衣效果较差。由于,第二训练图像的标签修改为真,即为1,因而,根据第二训练图像的标签、第二训练图像的鉴别结果和预设的第二损失函数,所得到的第二损失函数的值较大,那么基于第二损失函数的值和预设的第二优化算法,就会大幅度地优化虚拟换衣模型的可训练参数,得到当前训练好的虚拟换衣模型。
若第二训练图像的鉴别结果偏向于1,则表示衣物鉴别模型认为该第二训练图像为真的概率接近于1,这也就意味着衣物鉴别模型的鉴别效果较差,其将假的第二训练图像判断为真,故,需要继续对衣物鉴别模型进行训练。
最后,服务器将若干幅第一训练图像、第一训练图像对应的人体躯干数据和虚拟衣物图像重新输入至当前训练好的虚拟换衣模型,重新获取第二训练图像,重复执行迭代训练衣物鉴别模型的步骤以及优化虚拟换衣模型的可训练参数的步骤,直至第二训练图像的鉴别结果满足预设的第二训练终止条件,得到预训练好的虚拟换衣模型和预训练好的衣物鉴别模型。
关于上述第一损失函数、第二损伤函数、第一优化算法和第二优化算法在此不进行限定,可以为任意一种现有的损失函数和神经网络优化算法。
在本实施例中,通过将虚拟换衣模型和衣物鉴别模型组成对抗神经网络模型,对虚拟换衣模型和衣物鉴别模型进行联合训练,能够使得虚拟衣物的可信度更高,更易于被观众认为是主播所穿着真实衣物,从而能够进一步提升观众的直播观看体验。
请参阅图11,图11为本申请第二实施例提供的直播画面调整***的结构示意图,该***11包括:服务器111和观众客户端112;
所述观众客户端112用于响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,所述直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及所述第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;所述第一直播画面为解析所述服务器111发送的直播视频流得到的;
所述观众客户端112用于根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,得到第二直播画面,将所述第二直播画面输出至直播间界面中。
上述实施例提供的直播画面调整***与直播画面调整方法属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
请参阅图12,为本申请第三实施例提供的直播画面调整装置的结构示意图。该装置可以通过软件、硬件或两者的结合实现成为计算机设备的全部或一部分。该装置12包括:
第一获取单元121,用于观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,所述直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及所述第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;所述第一直播画面为解析服务器发送的直播视频流得到的;
第一调整单元122,用于所述观众客户端根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,得到第二直播画面,将所述第二直播画面输出至直播间界面中。
需要说明的是,上述实施例提供的直播画面调整装置在执行直播画面调整方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分为不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的直播画面调整装置与直播画面调整方法属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
请参阅图13,为本申请第四实施例提供的计算机设备的结构示意图。如图13所示,该计算机设备13可以包括:处理器130、存储器131以及存储在该存储器131并可以在该处理器130上运行的计算机程序132,例如:直播画面调整程序;该处理器130执行该计算机程序132时实现上述第一实施例中的步骤。
其中,该处理器130可以包括一个或多个处理核心。处理器130利用各种接口和线路连接计算机设备13内的各个部分,通过运行或执行存储在存储器131内的指令、程序、代码集或指令集,以及调用存储器131内的数据,执行计算机设备13的各种功能和处理数据,可选的,处理器130可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programble LogicArray,PLA)中的至少一个硬件形式来实现。处理器130可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器130中,单独通过一块芯片进行实现。
其中,存储器131可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器131包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器131可用于存储指令、程序、代码、代码集或指令集。存储器131可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器131可选的还可以是至少一个位于远离前述处理器130的存储装置。
本申请实施例还提供了一种计算机存储介质,该计算机存储介质可以存储有多条指令,该指令适用于由处理器加载并执行上述实施例的方法步骤,具体执行过程可以参见上述实施例的具体说明,在此不进行赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明并不局限于上述实施方式,如果对本发明的各种改动或变形不脱离本发明的精神和范围,倘若这些改动和变形属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变形。

Claims (13)

1.一种直播画面调整方法,其特征在于,所述方法包括步骤:
观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,所述直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及所述第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;所述第一直播画面为解析服务器发送的直播视频流得到的;
所述观众客户端根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,得到第二直播画面,将所述第二直播画面输出至直播间界面中。
2.根据权利要求1所述的直播画面调整方法,其特征在于,所述观众客户端响应于直播画面调整指令之前,包括步骤:
所述观众客户端获取所述直播观看环境对应的环境亮度信息;
若所述直播观看环境对应的环境亮度信息低于预设的第一亮度阈值,所述观众客户端解析所述直播视频流,得到所述第一直播画面;
所述观众客户端从所述第一直播画面中分割出所述背景区域,获取所述背景区域对应的第一画面亮度相关信息和所述背景区域对应的第二画面亮度相关信息;其中,所述第一画面亮度相关信息为所述背景区域中各个像素点的亮度信息的平均值,所述第二画面亮度相关信息为目标背景像素点在所述背景区域中的占比,所述目标背景像素点为所述背景区域中所述亮度信息超过预设的第一亮度阈值的背景像素点;
若所述第一画面亮度相关信息超过预设的第一亮度相关阈值且所述第二画面亮度相关信息超过预设的第二亮度相关阈值,所述观众客户端生成所述直播画面调整指令。
3.根据权利要求2所述的直播画面调整方法,其特征在于,所述观众客户端获取所述直播观看环境对应的环境亮度信息,包括步骤:
所述观众客户端通过摄像头采集视频画面,并获取所述直播观看环境对应的环境亮度信息;
所述若所述直播观看环境对应的环境亮度信息低于预设的第一亮度阈值,所述观众客户端解析所述直播视频流,得到所述第一直播画面,包括步骤:
若所述视频画面中显示有人脸影像以及所述直播观看环境对应的环境亮度信息低于预设的第一亮度阈值,所述观众客户端解析所述直播视频流,得到所述第一直播画面。
4.根据权利要求1至3任意一项所述的直播画面调整方法,其特征在于,所述观众客户端根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,得到第二直播画面,包括步骤:
所述观众客户端从所述第一直播画面中分割出人体躯干区域,并从所述人体躯干区域中分割出衣物区域;
所述观众客户端获取所述衣物区域对应的平均色彩信息以及所述平均色彩信息与预设的色彩信息之间的色彩差异信息;
所述观众客户端根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,并根据所述色彩差异信息,调整所述第一直播画面中所述衣物区域内各个衣物像素点的色彩信息,得到所述第二直播画面。
5.根据权利要求1至3任意一项所述的直播画面调整方法,其特征在于,所述将所述第二直播画面输出至直播间界面之后,包括步骤:
所述观众客户端响应于衣物替换指令,将所述第二直播画面输入至预训练好的目标虚拟换衣模型,得到第三直播画面,将所述第三直播画面输出至所述直播间界面中;其中,所述预训练好的目标虚拟换衣模型用于将所述第二直播画面中呈现的真实衣物替换为目标虚拟衣物。
6.根据权利要求5所述的直播画面调整方法,其特征在于,所述观众客户端响应于衣物替换指令之前,包括步骤:
所述观众客户端响应于对所述主播衣物区域的触发指令,获取若干个预训练好的虚拟换衣模型和虚拟衣物列表数据;
所述观众客户端根据所述虚拟衣物列表数据,加载虚拟衣物列表;其中,所述虚拟衣物列表中显示有若干幅虚拟衣物缩略图,每幅所述虚拟衣物缩略图对应有一个所述预训练好的虚拟换衣模型;
所述观众客户端响应于对目标虚拟衣物缩略图的选中指令,确定所述预训练好的目标虚拟换衣模型,生成并发出所述衣物替换指令。
7.根据权利要求5所述的直播画面调整方法,其特征在于,所述观众客户端响应于衣物替换指令之前,包括步骤:
所述服务器获取若干幅第一训练图像、所述第一训练图像对应的人体躯干数据和若干幅虚拟衣物图像;
所述服务器根据若干幅所述第一训练图像、所述第一训练图像对应的人体躯干数据、每幅所述虚拟衣物图像、预设的优化算法和预设的损失函数,分别训练一个所述虚拟换衣模型,得到若干个所述预训练好的虚拟换衣模型。
8.根据权利要求7所述的直播画面调整方法,其特征在于,所述虚拟换衣模型和衣物鉴别模型共同构成对抗神经网络模型,所述服务器根据若干幅所述第一训练图像、所述第一训练图像对应的人体躯干数据、每幅所述虚拟衣物图像、预设的优化算法和预设的损失函数,分别训练一个所述虚拟换衣模型,得到若干个所述预训练好的虚拟换衣模型,包括步骤:
所述服务器将所述第一训练图像、所述第一训练图像对应的人体躯干数据和一幅所述虚拟衣物图像输入至所述虚拟换衣模型,得到若干幅第二训练图像;
所述服务器根据若干幅所述第一训练图像、若干幅所述第二训练图像、预设的第一损失函数和预设的第一优化算法,迭代训练所述衣物鉴别模型,优化所述衣物鉴别模型的可训练参数,直至所述第一损失函数的值满足预设的第一训练终止条件,得到当前训练好的衣物鉴别模型;
所述服务器将所述第二训练图像的标签修改为真,将所述第二训练图像输入至所述当前训练好的衣物鉴别模型,获取所述第二训练图像的鉴别结果;
若所述第二训练图像的鉴别结果满足预设的第二训练终止条件,所述服务器得到所述预训练好的虚拟换衣模型和预训练好的衣物鉴别模型;
若所述第二训练图像的鉴别结果不满足预设的第二训练终止条件,所述服务器根据所述第二训练图像的鉴别结果、所述第二训练图像的标签和预设的第二损失函数,得到第二损失函数的值,根据所述第二损失函数的值和预设的第二优化算法,优化所述虚拟换衣模型的可训练参数,得到当前训练好的虚拟换衣模型;
所述服务器将若干幅所述第一训练图像、所述第一训练图像对应的人体躯干数据和所述虚拟衣物图像重新输入至所述当前训练好的虚拟换衣模型,重新获取所述第二训练图像,重复执行迭代训练所述衣物鉴别模型的步骤以及优化所述虚拟换衣模型的可训练参数的步骤,直至所述第二训练图像的鉴别结果满足预设的第二训练终止条件,得到所述预训练好的虚拟换衣模型和所述预训练好的衣物鉴别模型。
9.根据权利要求7所述的直播画面调整方法,其特征在于,所述服务器获取若干幅第一训练图像、所述第一训练图像对应的人体躯干数据和若干幅虚拟衣物图像的步骤,包括:
所述服务器获取当前主播标识和所述当前主播标识对应的若干幅直播画面;其中,每幅所述直播画面中呈现的当前主播穿着的真实衣物不同;
所述服务器获取所述直播画面中衣物区域对应的第三画面亮度相关信息;其中,所述第三画面亮度相关信息为所述衣物区域中各个衣物像素点的亮度信息的平均值;
所述服务器根据所述直播画面中所述衣物区域对应的第三画面亮度相关信息和预设的第三亮度相关阈值,获取若干幅目标直播画面;
所述服务器根据若干幅所述目标直播画面,得到若干幅所述虚拟衣物图像。
10.一种直播画面调整***,其特征在于,包括:服务器和观众客户端;
所述观众客户端用于响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,所述直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及所述第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;所述第一直播画面为解析所述服务器发送的直播视频流得到的;
所述观众客户端用于根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,得到第二直播画面,将所述第二直播画面输出至直播间界面中。
11.一种直播画面调整装置,其特征在于,包括:
第一获取单元,用于观众客户端响应于直播画面调整指令,获取第一直播画面和目标背景画面;其中,所述直播画面调整指令为至少判断当前观众所处的直播观看环境对应的环境亮度信息满足预设的第一直播画面调整条件以及所述第一直播画面中背景区域对应的画面亮度相关信息满足预设的第二直播画面调整条件时生成的;所述第一直播画面为解析服务器发送的直播视频流得到的;
第一调整单元,用于所述观众客户端根据所述目标背景画面,调整所述第一直播画面中的所述背景区域,得到第二直播画面,将所述第二直播画面输出至直播间界面中。
12.一种计算机设备,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至9任意一项所述方法的步骤。
13.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任意一项所述方法的步骤。
CN202210519242.6A 2022-05-13 直播画面调整方法、***、装置、计算机设备及介质 Active CN115002554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210519242.6A CN115002554B (zh) 2022-05-13 直播画面调整方法、***、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210519242.6A CN115002554B (zh) 2022-05-13 直播画面调整方法、***、装置、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN115002554A true CN115002554A (zh) 2022-09-02
CN115002554B CN115002554B (zh) 2024-07-26

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116340813A (zh) * 2023-02-10 2023-06-27 深圳市快美妆科技有限公司 一种用于直播平台的用户行为分析***及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979400A (zh) * 2016-06-28 2016-09-28 乐视控股(北京)有限公司 屏幕亮度调节方法、装置及终端
CN107799093A (zh) * 2017-12-08 2018-03-13 深圳市金立通信设备有限公司 调节终端屏幕亮度的方法、终端及计算机可读存储介质
WO2019085980A1 (zh) * 2017-11-03 2019-05-09 腾讯科技(深圳)有限公司 视频字幕自动调整方法及装置、终端及可读存储介质
CN112133260A (zh) * 2019-06-24 2020-12-25 腾讯科技(深圳)有限公司 图像调节方法及装置
CN112598806A (zh) * 2020-12-28 2021-04-02 深延科技(北京)有限公司 基于人工智能的虚拟试穿方法、装置、计算机设备及介质
CN112788250A (zh) * 2021-02-01 2021-05-11 青岛海泰新光科技股份有限公司 一种基于fpga实现的自动曝光控制方法
CN113192464A (zh) * 2020-01-14 2021-07-30 华为技术有限公司 一种背光调节方法及电子设备
CN113395599A (zh) * 2020-12-03 2021-09-14 腾讯科技(深圳)有限公司 一种视频处理方法、装置、电子设备及介质
CN114285936A (zh) * 2020-09-17 2022-04-05 南京酷派软件技术有限公司 屏幕亮度调整方法、装置、存储介质以及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979400A (zh) * 2016-06-28 2016-09-28 乐视控股(北京)有限公司 屏幕亮度调节方法、装置及终端
WO2019085980A1 (zh) * 2017-11-03 2019-05-09 腾讯科技(深圳)有限公司 视频字幕自动调整方法及装置、终端及可读存储介质
CN107799093A (zh) * 2017-12-08 2018-03-13 深圳市金立通信设备有限公司 调节终端屏幕亮度的方法、终端及计算机可读存储介质
CN112133260A (zh) * 2019-06-24 2020-12-25 腾讯科技(深圳)有限公司 图像调节方法及装置
CN113192464A (zh) * 2020-01-14 2021-07-30 华为技术有限公司 一种背光调节方法及电子设备
CN114285936A (zh) * 2020-09-17 2022-04-05 南京酷派软件技术有限公司 屏幕亮度调整方法、装置、存储介质以及终端
CN113395599A (zh) * 2020-12-03 2021-09-14 腾讯科技(深圳)有限公司 一种视频处理方法、装置、电子设备及介质
CN112598806A (zh) * 2020-12-28 2021-04-02 深延科技(北京)有限公司 基于人工智能的虚拟试穿方法、装置、计算机设备及介质
CN112788250A (zh) * 2021-02-01 2021-05-11 青岛海泰新光科技股份有限公司 一种基于fpga实现的自动曝光控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116340813A (zh) * 2023-02-10 2023-06-27 深圳市快美妆科技有限公司 一种用于直播平台的用户行为分析***及方法
CN116340813B (zh) * 2023-02-10 2024-02-09 广州网优优数据技术股份有限公司 一种用于直播平台的用户行为分析***及方法

Similar Documents

Publication Publication Date Title
US20210019982A1 (en) Systems and methods for gesture recognition and interactive video assisted gambling
CN113395533B (zh) 虚拟礼物特效显示方法、装置、计算机设备及存储介质
US10068364B2 (en) Method and apparatus for making personalized dynamic emoticon
US20170105053A1 (en) Video display system
CN111510753B (zh) 显示设备
CN114286173A (zh) 一种显示设备及音画参数调节方法
JP2021517682A (ja) 意味処理および動的シーンモデリングに基づく向上された画像形成のための方法
KR20190024249A (ko) 광고를 제공하는 방법 및 전자 장치
US20210210049A1 (en) Methods, systems, and media for modifying user interface colors in connection with the presentation of a video
CN111343512B (zh) 信息获取方法、显示设备及服务器
CN112698905B (zh) 一种屏保显示方法、显示设备、终端设备及服务器
CN111861561A (zh) 广告信息定位、展示方法及其相应的装置、设备、介质
WO2017112520A1 (en) Video display system
CN113965813A (zh) 直播间内的视频播放方法、***及计算机设备
KR20230009806A (ko) 영상 처리 장치 및 그 동작 방법
CN113938696B (zh) 基于自定义虚拟礼物的直播互动方法、***及计算机设备
US20210248789A1 (en) Intelligent Real-time Multiple-User Augmented Reality Content Management and Data Analytics System
CN113489938B (zh) 虚拟会议控制方法、智能设备及终端设备
CN112289271B (zh) 显示设备及调光方式切换方法
CN115002554B (zh) 直播画面调整方法、***、装置、计算机设备及介质
CN112784137A (zh) 显示设备、显示方法及计算设备
CN115002554A (zh) 直播画面调整方法、***、装置及计算机设备
CN113875227A (zh) 信息处理设备、信息处理方法和程序
EP3848880A1 (en) Electronic device and method of operating the same
CN115065838A (zh) 直播间封面交互方法、***、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant