CN110062252A - 直播方法、装置、终端及存储介质 - Google Patents

直播方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110062252A
CN110062252A CN201910362000.9A CN201910362000A CN110062252A CN 110062252 A CN110062252 A CN 110062252A CN 201910362000 A CN201910362000 A CN 201910362000A CN 110062252 A CN110062252 A CN 110062252A
Authority
CN
China
Prior art keywords
video
frame image
terminal
live
crop box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910362000.9A
Other languages
English (en)
Inventor
梁衍鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201910362000.9A priority Critical patent/CN110062252A/zh
Publication of CN110062252A publication Critical patent/CN110062252A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种直播方法、装置、终端及存储介质,属于直播技术领域。本实施例提供了一种实现双流直播中两路直播流的图像画质一致、显示效果好的方法。通过采用图像分割的手段,将同一摄像头采集的一路视频,转换为两路屏幕模式不同的视频,根据这两路视频来合成为两路直播流。由于两路视频来自于同一摄像头,因此这两路视频的画面的画质一致,从而提高了直播效果。并且,通过在对视频进行图像分割之前,对视频进行美化处理,可以提升双流直播中的两个直播流的图像的显示效果。

Description

直播方法、装置、终端及存储介质
技术领域
本发明涉及直播技术领域,特别涉及一种直播方法、装置、终端及存储介质。
背景技术
随着直播技术的发展,双流直播技术应运而生,并得到了广泛应用。双流直播是指同一场直播中,主播使用终端同时向服务器推送两路直播流,以进行直播的技术。
目前,双流直播通过主播使用两个终端进行直播实现。以两个终端分别为电脑和手机为例,双流直播的过程包括:在开播过程中,主播使用电脑的摄像头,采集视频1,使用电脑的声卡,采集音频1,电脑对视频1以及音频1进行合成,得到直播流1,由电脑向服务器发送直播流1;同时,主播会使用手机的摄像头,采集视频2,使用手机的声卡,采集音频2,对视频2以及音频2进行合成,得到直播流2,由手机向服务器发送直播流2;服务器会接收到电脑发送的直播流1以及手机发送的直播流2,当观众用户向服务器请求直播流时,如果观众用户使用的终端是电脑,则服务器会将直播流1推送给观众用户的终端,如果观众用户使用的终端是手机,则服务器会将直播流2推送给观众用户的终端。
采用上述方法进行双流直播时,由于两个终端的摄像头在拍摄过程中光线、色调、图像处理方式等各个方面都天然存在区别,导致两个终端的摄像头采集的两路直播流的每帧图像的画质不一致,造成同一场直播的不同直播流的显示效果不一致,影响了直播效果。
发明内容
本发明实施例提供了一种直播方法、装置、终端及存储介质,能够解决相关技术中进行双流直播时不同直播流的画质不一致的技术问题。所述技术方案如下:
一方面,提供了一种直播方法,所述方法包括:
接收摄像头采集的第一视频;
对所述第一视频进行美化处理;
对所述第一视频中的每帧图像进行图像分割,得到第二视频,所述第二视频对应的屏幕模式与所述第一视频对应的屏幕模式不同,所述屏幕模式为竖屏模式或横屏模式;
对音频与所述第一视频进行合成,得到第一直播流;
对所述音频与所述第二视频进行合成,得到第二直播流;
向服务器发送所述第一直播流以及所述第二直播流。
可选地,所述对所述第一视频中的每帧图像进行图像分割,得到第二视频,包括:
从所述第一视频中的每帧图像中,分割出位于裁剪框的区域,作为所述第二视频的每帧图像,所述裁剪框的宽高比为所述第二视频对应的屏幕模式的宽高比。
可选地,所述从所述第一视频中的每帧图像中,分割出位于裁剪框的区域之前,所述方法还包括:
识别所述第一视频的屏幕模式;
所述从所述第一视频中的每帧图像中,分割出位于裁剪框的区域,包括下述任意一项:
当所述第一视频为横屏模式时,分割出位于第一裁剪框内的区域,所述第一裁剪框的宽小于高;
当所述第一视频为竖屏模式时,分割出位于第二裁剪框内的区域,所述第二裁剪框的宽大于高。
可选地,所述识别所述第一视频的屏幕模式,包括:
获取所述第一视频的任一帧图像的宽高比;
当所述宽高比大于1时,识别所述第一视频为横屏模式;
当所述宽高比小于1时,识别所述第一视频为竖屏模式。
可选地,所述从所述第一视频中的每帧图像中,分割出位于裁剪框的区域之前,所述方法还包括:
根据设置指令,获取所述裁剪框的尺寸以及所述裁剪框的位置中的至少一项。
可选地,所述根据设置指令,获取所述裁剪框的尺寸以及所述裁剪框的位置中的至少一项之前,所述方法还包括:
基于所述第一视频,显示预览界面,所述预览界面包括直播画面以及悬浮于所述直播画面的裁剪框;
在所述预览界面上,接收所述设置指令。
可选地,所述对所述第一视频中的每帧图像进行图像分割,得到第二视频之后,所述方法还包括下述任一项:
获取所述第二视频的分辨率,如果所述分辨率不符合预设分辨率,向所述第二视频的每帧图像的边缘填充边框;
如果边框填充选项处于开启状态,向所述第二视频的每帧图像的边缘填充边框。
可选地,所述对音频与所述第一视频进行合成之前,所述方法还包括:
接收声卡采集的音频。
可选地,所述第一直播流以及所述第二直播流携带屏幕模式标识,所述屏幕模式标识用于指示对应直播流的视频对应的屏幕模式,所述第一直播流的屏幕模式标识的取值与所述第二直播流的屏幕模式标识的取值不同。
可选地,所述对音频与所述第一视频进行合成之前,所述方法还包括:
采用第一编码器,对所述第一视频的每帧图像进行编码;
所述对所述音频与所述第二视频进行合成之前,所述方法还包括:
采用第二编码器,对所述第二视频的每帧图像进行编码,所述第二编码器与所述第一编码器不同。
可选地,所述对所述第一视频进行美化处理,包括下述至少一项:
对所述第一视频中每帧图像中的人脸进行美颜处理;
对所述第一视频中每帧图像的色调、亮度、对比度、曝光、白平衡、色阶的至少一项进行调整;
向所述第一视频中的每帧图像添加特效。
可选地,所述方法应用于第一终端,所述第一终端为主播用户使用的终端。
可选地,从所述第一视频中的每帧图像中,分割出位于裁剪框的区域之前,所述方法还包括:
访问历史图像分割记录;
从所述历史图像分割记录中,读取所述裁剪框的尺寸以及所述裁剪框的位置中的至少一项。
可选地,访问历史图像分割记录之前,所述方法还包括:
每当接收设置指令时,从所述设置指令中,获取所述裁剪框的尺寸以及所述裁剪框的位置中的至少一项;
将所述裁剪框的尺寸以及所述裁剪框的位置中的至少一项,写入所述历史图像分割记录。
可选地,从所述第一视频中的每帧图像中,分割出位于裁剪框的区域之前,所述方法还包括:
显示多个裁剪框模板;
根据选择指令,从所述多个裁剪框模板中选择目标裁剪框模板;
根据所述目标裁剪框模板,生成所述裁剪框。
可选地,对所述第一视频中的每帧图像进行图像分割,得到第二视频之后,所述方法还包括:
向所述第二视频的每帧图像的边缘填充边框。
可选地,向所述第二视频的每帧图像的边缘填充边框,包括:
根据的屏幕尺寸以及所述第一视频的分辨率中的至少一项,获取所述边框的尺寸;
根据所述边框的尺寸,向所述第二视频的每帧图像的边缘填充边框。
可选地,向所述第二视频的每帧图像的边缘填充边框,包括:
显示边框设置界面;
在所述边框设置界面上接收设置指令;
根据所述设置指令,获取所述边框的位置、尺寸以及样式中的至少一项。
可选地,向所述第二视频的每帧图像的边缘填充边框,包括:
访问的存储器存储的最近一次的边框填充记录;
从所述边框填充记录中,读取所述边框的位置、尺寸以及样式中的至少一项。
另一方面,提供了一种直播装置,所述装置包括:
采集模块,用于接收摄像头采集的第一视频;
美化模块,用于对所述第一视频进行美化处理;
图像分割模块,用于对所述第一视频中的每帧图像进行图像分割,得到第二视频,所述第二视频对应的屏幕模式与所述第一视频对应的屏幕模式不同,所述屏幕模式为竖屏模式或横屏模式;
合成模块,用于对音频与所述第一视频进行合成,得到第一直播流;
所述合成模块,还用于对所述音频与所述第二视频进行合成,得到第二直播流;
发送模块,用于向服务器发送所述第一直播流以及所述第二直播流。
可选地,所述图像分割模块,用于:从所述第一视频中的每帧图像中,分割出位于裁剪框的区域,作为所述第二视频的每帧图像,所述裁剪框的宽高比为所述第二视频对应的屏幕模式的宽高比。
可选地,所述装置还包括:
识别模块,用于识别所述第一视频的屏幕模式;
所述图像分割模块,用于执行下述任意一项:当所述第一视频为横屏模式时,分割出位于第一裁剪框内的区域,所述第一裁剪框的宽小于高;当所述第一视频为竖屏模式时,分割出位于第二裁剪框内的区域,所述第二裁剪框的宽大于高。
可选地,所述识别模块,用于:获取所述第一视频的任一帧图像的宽高比;当所述宽高比大于1时,识别所述第一视频为横屏模式;当所述宽高比小于1时,识别所述第一视频为竖屏模式。
可选地,所述装置还包括:获取模块,用于根据设置指令,获取所述裁剪框的尺寸以及所述裁剪框的位置中的至少一项。
可选地,所述装置还包括:
显示模块,用于基于所述第一视频,显示预览界面,所述预览界面包括直播画面以及悬浮于所述直播画面的裁剪框;
接收模块,用于在所述预览界面上,接收所述设置指令。
可选地,所述装置还包括:边框填充模块,用于执行下述任一项:
获取所述第二视频的分辨率,如果所述分辨率不符合预设分辨率,向所述第二视频的每帧图像的边缘填充边框;
如果边框填充选项处于开启状态,向所述第二视频的每帧图像的边缘填充边框。
可选地,所述装置还包括:音频采集模块,用于接收声卡采集的音频。
可选地,所述第一直播流以及所述第二直播流携带屏幕模式标识,所述屏幕模式标识用于指示对应直播流的视频对应的屏幕模式,所述第一直播流的屏幕模式标识的取值与所述第二直播流的屏幕模式标识的取值不同。
可选地,所述装置还包括:编码模块,用于采用第一编码器,对所述第一视频的每帧图像进行编码;采用第二编码器,对所述第二视频的每帧图像进行编码,所述第二编码器与所述第一编码器不同。
可选地,所述美化模块,用于执行下述至少一项:
对所述第一视频中每帧图像中的人脸进行美颜处理;
对所述第一视频中每帧图像的色调、亮度、对比度、曝光、白平衡、色阶的至少一项进行调整;
向所述第一视频中的每帧图像添加特效。
可选地,所述装置应用于第一终端,所述第一终端为主播用户使用的终端。
另一方面,提供了一种终端,所述终端包括处理器、存储器以及摄像头,所述摄像头用于采集视频,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现上述直播方法所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现上述直播方法所执行的操作。
本发明实施例提供的技术方案带来的有益效果至少可以包括:
本实施例提供了一种实现双流直播中两路直播流的图像画质一致、显示效果好的方法。通过采用图像分割的手段,将同一摄像头采集的一路视频,转换为两路屏幕模式不同的视频,根据这两路视频来合成为两路直播流;一方面实现了通过两路直播流进行直播的功能,能够让不同屏幕模式的观众端可以观看不同屏幕模式对应的直播,从而同时满足了竖屏观看直播的观众用户以及横屏观看直播的观众用户的需求;另一方面,由于两路视频来自于同一摄像头,因此这两路视频的画面的画质一致,从而提高了直播效果。并且,通过在对视频进行图像分割之前,对视频进行美化处理,可以提升双流直播中的两个直播流的图像的显示效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种直播方法的实施环境的示意图;
图2是本发明实施例提供的一种直播方法的流程图;
图3是本发明实施例提供的一种直播方法的工作流程示意图;
图4是本发明实施例提供的一种直播装置的结构示意图;
图5是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种直播方法的实施环境的示意图,该实施环境包括第一终端、服务器以及第二终端,该第一终端、服务器以及第二终端可以通过网络连接。
第一终端可以为主播用户使用的终端,第一终端用于将直播流推送给服务器,以便服务器将直播流发送至第二终端。第一终端可以包括摄像头以及声卡,摄像头用于采集视频,声卡用于采集音频,第一终端可以对摄像头采集的视频以及声卡采集的音频进行合成,以得到直播流。作为示例,第一终端可以个人计算机(英文全称:personal computer,英文简称:PC)、手机、平板电脑等。
服务器可以是流服务器,即流媒体服务器,服务器用于接收第一终端的直播流,将第一终端的直播流发送至第二终端。服务器可以是一个服务器、多个服务器的集合,或者是计算中心。在一些可能的实施例中,服务器可以提供为内容分发网络(英文全称:contentdelivery network,英文简称:CDN)。
第二终端可以为观众用户使用的终端。第二终端可以展示直播。作为示例,第二终端可以PC、手机、平板电脑等。
图2是本发明实施例提供的一种直播方法的流程图。该发明实施例的执行主体包括第一终端、服务器以及第二终端,参见图2,该方法包括:
201、第一终端接收摄像头采集的第一视频。
为了区分描述,本实施例将图像分割前后的视频分别称为第一视频与第二视频。第一终端可以开启本端的摄像头,通过本端的摄像头,采集第一视频。
202、第一终端对第一视频进行美化处理。
在一些可能的实施例中,第一终端采集到第一视频以后,可以对第一视频进行美颜处理,从而美化第一视频中每帧图像的显示效果,另外可以对第一视频进行图像识别等处理。
美化处理的方式包括而不限于下述方式一至方式四中的任一项或多项:
方式一、第一终端对该第一视频中每帧图像中的人脸进行美颜处理。
例如,第一终端美颜处理的过程可以包括下述(1)至(3)中的任一项或多项:
(1)第一终端根对第一视频中每帧图像中的人脸进行磨皮处理,得到第二视频。其中,磨皮参数可以用于调整人脸的清晰度,例如磨皮参数可以用于将人脸的清晰度从高调整为低,达到对人脸进行磨皮的美颜效果。
(2)第一终端根据美白参数,对第一视频中每帧图像中的人脸进行美白处理,得到第二视频。其中,美白参数可以用于调整人脸的亮度,例如,美白参数可以用于将人脸的亮度从暗调整为亮,达到对人脸进行美白的美颜效果。
(3)第一终端对第一视频中每帧图像中的人脸进行美形处理,得到第二视频。例如,可以对第一视频中每帧图像中的人脸进行瘦脸,又如放大第一视频中每帧图像中的眼睛,再如去除第一视频中每帧图像中的人脸的斑点、眼袋、痘痘等。
其中美形参数用于调整人脸的五官形状,例如美形参数可以包括瘦脸参数、大眼参数、瘦鼻参数中的至少一项。
方式二、第一终端对该第一视频中每帧图像的色调、亮度、对比度、曝光、白平衡、色阶的至少一项进行调整;
例如,第一终端可以根据色调参数,将第一视频中每帧图像的色调调整为冷色调或暖色调。又如,第一终端可以将第一视频中每帧图像的亮度调高或调低。
方式三、第一终端向该第一视频中的每帧图像添加特效。
例如,可以向第一视频中的每帧图像中人脸的五官添加对应的贴纸,例如向人脸的耳朵区域添加猫耳,向人脸的头顶添加王冠,向人脸的脸颊添加红晕、胡须等,又如添加碎屏特效等。
方式四、第一终端向该第一视频中的每帧图像添加滤镜。
例如,可以向第一视频中的每帧图像添加黑白滤镜、晨光滤镜、蓝调滤镜等。
203、第一终端接收声卡采集的音频。
在一些可能的实施例中,第一终端可以开启本端的声卡,通过本端的声卡,采集音频。其中,采集的音频可以是音频序列的形式。另外,可以对音频进行处理,例如添加音效等。另外,可以对采集的音频进行编码,使用编码后的音频执行下述步骤207以及步骤208。
需要说明的一点是,本实施例仅是以先描述步骤201至步骤202,再描述步骤203为例进行阐述,步骤201至步骤202,与步骤203可以并行执行,即,可以同时执行步骤201以及步骤202。
204、第一终端对第一视频的每帧图像进行图像分割,得到第二视频。
第一终端可以通过图像分割的技术手段,对视频的每帧图像按照屏幕模式进行转换,从而将某一种屏幕模式的视频,转换为另一种屏幕模式的视频,最终得到两种屏幕模式的视频。其中,屏幕模式为竖屏模式或横屏模式,竖屏模式的视频的宽高比小于1,竖屏模式的视频适于通过竖屏显示屏进行播放。横屏模式的视频的宽高比大于1,横屏模式的视频适于通过横屏显示屏进行播放。作为示例,竖屏显示屏可以是手机的显示屏,横屏显示屏可以是电脑、平板电脑的显示屏。
以图像分割后得到的视频称为第二视频为例,第二视频对应的屏幕模式与该第一视频对的屏幕模式不同。例如,第一视频可以是竖屏模式,第二视频可以是横屏模式;或者,第一视频可以是横屏模式,第二视频可以是竖屏模式。
通常来讲,如果第一终端是电脑,则由于电脑的显示屏为横屏,电脑的摄像头采集的第一视频的屏幕模式会为横屏模式,而第一终端通过进行图像分割,可以得到竖屏模式的第二视频,那么持有电脑的观众用户可以通过采集到的第一视频观看直播,持有手机的观众用户可以通过图像分割所得的第二视频观看直播。同理地,如果第一终端是手机,则由于手机的显示屏为竖屏,手机的摄像头采集的第一视频的屏幕模式会为竖屏模式,而第一终端通过进行图像分割,可以得到横屏模式的第二视频,那么持有电脑的观众用户可以通过图像分割得到的第二视频观看直播,持有手机的观众用户可以通过采集到的第一视频观看直播。也即是,通过图像分割的手段,实现了双流直播的功能,满足电脑用户以及手机用户的需求。
关于图像分割的具体过程,在一些可能的实施例中,第一终端可以获取裁剪框,对于第一视频的每帧图像,可以从该第一视频的每帧图像中,分割出位于裁剪框的区域,作为第二视频的每帧图像。裁剪框用于对每帧图像进行裁剪。裁剪框的宽高比可以为该第二视频的屏幕模式对应的宽高比。
通过采用裁剪框来对第一视频的每帧图像进行分割,得到的第二视频的每帧图像的宽高比等于裁剪框的宽高比,因此第二视频的每帧图像的宽高比会和第一视频的每帧图像的宽高比不同,如此,实现了对第一视频的每帧图像的宽高比进行转换的功能,能够得到两种宽高比的每帧图像。同理地,可以采用上述过程,将第一视频的每帧图像的宽高比依次进行转换,得到第二视频的每帧图像,也就得到了第二视频。其中,第二视频的每帧图像可以和第一视频的每帧图像一一对应。
在一种可能的实现中,第一终端可以在每次图像分割过程中,每当接收设置指令时,从该设置指令中,获取该裁剪框的尺寸以及该裁剪框的位置中的至少一项;将该裁剪框的尺寸以及该裁剪框的位置中的至少一项,写入该历史图像分割记录。第一终端可以访问历史图像分割记录,从该历史图像分割记录中,读取该裁剪框的尺寸以及该裁剪框的位置中的至少一项。从而按照主播用户的历史设置,自动地设置裁剪框。
在一种可能的实现中,图像分割的过程可以由主播用户根据自身需求自定义设置。具体来说,第一终端可以基于采集的第一视频,生成预览界面,展示预览界面,该预览界面用于呈现基于当前的裁剪框对第一视频的每帧图像进行裁剪后的显示效果,该预览界面包括直播画面以及悬浮于该直播画面的裁剪框。主播用户可以通过预览界面,实时预览图像分割后得到的直播画面,在该预览界面上,拖动裁剪框,使得裁剪框在直播画面上移动,从而调整裁剪框的位置。例如,主播用户可以将裁剪框从画面边缘拖动到画面中央,又如可以将裁剪框拖动到人物四周。另外,主播用户还可以通过预览界面,调整裁剪框的尺寸,例如将裁剪框放大或缩小。第一终端可以在预览界面上,接收设置指令,从设置指令中获取裁剪框的位置和/或尺寸,从而基于裁剪框的位置和/或尺寸,来进行图像分割。
通过在预览界面中实时呈现直播画面以及裁剪框,可以方便主播用户实时观看到裁剪后的视频的显示效果,从而根据自身需求灵活地调整裁剪框的位置和尺寸,如此,便捷了裁剪框的调整过程,可以保证第一终端图像分割出的第二视频的显示效果满足主播用户的需求。
在一种可能的实现中,第一终端可以显示多个裁剪框模板;主播用户可以对该多个裁剪框模板中的目标裁剪框模板触发选择操作,则第一终端可以接收到选择指令,第一终端可以根据选择指令,从该多个裁剪框模板中选择目标裁剪框模板;根据该目标裁剪框模板,生成该裁剪框。
在一些可能的实施例中,裁剪框可以包括第一裁剪框以及第二裁剪框中的任意一项或多项。第一裁剪框的宽小于高。第一裁剪框可以视为竖屏裁剪框,第一裁剪框能够裁剪出适于竖屏模式的每帧图像。通过采用第一裁剪框对第一视频的每帧图像进行分割,得到的区域的宽会小于高,即,第二视频的每帧图像的宽会小于高,因此能够将第一视频从横屏模式转换为竖屏模式,保证裁剪出的区域适于在竖屏模式的屏幕中展示。
第二裁剪框的宽大于高。第二裁剪框可以视为橫屏裁剪框,第二裁剪框能够裁剪出适于橫屏模式的每帧图像。通过采用第二裁剪框对第一视频的每帧图像进行分割,得到的区域的宽也会大于高,即,第二视频的每帧图像的宽会大于高,因此能够将第一视频从竖屏模式转换为横屏模式,从而保证裁剪出的区域适于在橫屏模式的屏幕中展示。
在一些可能的实施例中,第一终端可以预存有多个裁剪框,可以基于第一视频的屏幕模式,从多个裁剪框中选取与该屏幕模式匹配的裁剪框,采用该裁剪框对第一视频的每帧图像进行图像分割。其中,对于屏幕模式不同的每帧图像来说,第一终端采用的裁剪框可以不同。
具体来说,第一终端可以识别第一视频的屏幕模式,当第一视频为横屏模式时,则执行下述实现方式一,当第一视频为竖屏模式时,则执行下述实现方式二。
实现方式一、当第一视频为横屏模式时,第一终端可以从第一视频的每帧图像中,分割出位于第一裁剪框内的区域,得到第二视频的每帧图像。其中,由于第一裁剪框的宽小于高,通过采用第一裁剪框进行图像分割,第二视频的每帧图像的宽会小于高,因此可以得到竖屏模式的第二视频。
实现方式二、当第一视频为竖屏模式时,第一终端分割出位于第二裁剪框内的区域,得到第二视频的每帧图像。其中,由于第二裁剪框的宽大于高,通过采用第二裁剪框进行图像分割,第二视频的每帧图像的宽会大于高,因此可以得到横屏模式的第二视频。
其中,关于屏幕模式的识别方式,第一终端可以获取该第一视频的每帧图像的宽高比;如果该宽高比大于1,识别该第一视频为横屏模式;如果该宽高比小于1,识别该第一视频的每帧图像为竖屏模式。
可选地,第一终端还可以向该第二视频的每帧图像的边缘填充边框。在一些可能的实施例中,第一终端可以获取该第二视频的分辨率;如果该分辨率不符合预设分辨率,向该第二视频的每帧图像的边缘填充边框,填充了边框的第二视频的的分辨率可以为预设分辨率。通过填充边框,可以统一第二视频的分辨率。在另一些可能的实施例中,是否填充边框可以根据设置操作自定义设置,例如,可以设置边框填充选项,主播用户可以对边框填充选项触发开启操作或关闭操作,如果边框填充选项处于开启状态,则第一终端向该第二视频的每帧图像的边缘填充边框。其中,该边框可以是纯色边框,例如为灰色边框、黑色边框,或者根据需求配置为其他样式。
在一些可能的实施例中,第一终端可以显示边框设置界面;在该边框设置界面上接收设置指令;根据该设置指令,获取该边框的位置、尺寸以及样式中的至少一项。其中,第一终端可以访问最近一次的边框填充记录;从该边框填充记录中,读取该边框的位置、尺寸以及样式中的至少一项。
在一些可能的实施例中,裁剪框以及边框均可以由主播用户进行自定义设置,从而满足主播用户的自定义需求。具体来说,本实施例还可以包括下述步骤步骤(1)至步骤(2)。
步骤(1)第一终端显示设置界面。
步骤(2)第一终端根据在设置界面上的输入操作,对裁剪框或边框进行配置。
主播用户可以在设置界面上触发输入操作,输入裁剪框或边框相关的参数,第一终端可以根据主播用户在设置界面上的输入操作,获取主播用户输入的参数,以对裁剪框或边框进行配置。具体地,步骤(2)可以包括下述步骤(2.1)至步骤(2.3)中的任一项或多项的结合。
步骤(2.1)第一终端根据在设置界面上的输入操作,获取裁剪框的尺寸。
例如,主播用户可以在设置界面上触发拖拽操作,拖拽出一个裁剪框,第一终端可以根据主播用户的拖拽操作,获取拖拽出的裁剪框的尺寸。又如,主播用户可以在设置界面上触发输入操作,输入裁剪框的尺寸,第一终端可以获取主播用户输入的裁剪框的尺寸。
需要说明的一点是,如果主播用户拖拽或输入的裁剪框不符合比例,可以对主播用户拖拽或输入的裁剪框进行调整。具体地,第一终端可以判断裁剪框的宽高比是否符合预设比例,如果裁剪框的宽高比不符合预设宽高比,按照预设宽高比,对裁剪框的宽高比进行调整,调整后的裁剪框的宽高比可以符合预设宽高比。其中,该预设宽高比可以包括横屏模式对应的第一宽高比以及竖屏模式对应的第二宽高比,第一终端可以判断裁剪框为横屏模式还是竖屏模式,如果裁剪框为横屏模式,则判断裁剪框的宽高比是否符合第一宽高比,如果裁剪框的宽高比不符合第一宽高比,按照第一宽高比,对裁剪框的宽高比进行调整,调整后的裁剪框的宽高比可以符合第一宽高比。如果裁剪框为竖屏模式,则判断裁剪框的宽高比是否符合第二宽高比,如果裁剪框的宽高比不符合第二宽高比,则按照第二宽高比,对裁剪框的宽高比进行调整,调整后的裁剪框的宽高比可以符合第二宽高比。
步骤(2.2)第一终端根据在设置界面上的输入操作,确定为第二视频的每帧图像填充边框或不为第二视频的每帧图像填充边框。
例如,第一终端可以显示边框填充选项,主播用户可以对边框填充选项触发开启操作或关闭操作,如果主播用户对边框填充选项触发开启操作,则边框填充选项处于开启状态,因此第一终端确定为第二视频的每帧图像填充边框。如果主播用户对边框填充选项触发关闭操作,则边框填充选项处于关闭状态,第一终端确定不为第二视频的每帧图像填充边框。
步骤(2.3)第一终端根据在设置界面上的输入操作,获取边框的样式。
例如,第一终端可以显示多个候选样式,主播用户可以对多个候选样式中选择任一种候选样式,对该候选样式触发确认操作,则第一终端会选择触发了确认操作的该候选样式,作为边框的样式。
205、第一终端采用第一编码器,对第一视频的每帧图像进行编码。
206、第一终端采用第二编码器,对第二视频的每帧图像进行编码。
本实施例中,第一终端可以包括多个编码器,可以采用不同的编码器,分别对图像分割前的每帧图像以及图像分割后的每帧图像进行编码。为了区分描述,在此将对第一视频的每帧图像进行编码的编码器称为第一编码器,将对第二视频的每帧图像进行编码的编码器称为第二编码器。
第二编码器与第一编码器不同。具体地,第二编码器与第一编码器可以适于不同的屏幕模式,其中一个编码器适于对横屏模式的视频的每帧图像进行编码,另一个编码器适于对竖屏模式的视频的每帧图像进行编码。
具体来说,如果第一视频为横屏模式,第二视频的每帧图像为竖屏模式,则采用横屏模式对应的编码器,对第一视频的每帧图像进行编码,采用竖屏模式对应的编码器,对第二视频的每帧图像进行编码,其中,横屏模式对应的编码器即为第一编码器,竖屏模式对应的编码器即为第二编码器。
同理地,如果第一视频的每帧图像为竖屏模式,第二视频的每帧图像为横屏模式,则采用竖屏模式对应的编码器,对第一视频的每帧图像进行编码,则采用横屏模式对应的编码器,对第二视频的每帧图像进行编码,其中,竖屏模式对应的编码器即为第一编码器,横屏模式对应的编码器即为第二编码器。
通过采用不同的编码器分别对两路视频的每帧图像进行编码,编码后的两路视频可以适于不同的观众端解码,具体地,通过横屏模式对应的编码器编码的视频后续可以分发至横屏模式的观众端,横屏模式的观众端可以使用横屏模式对应的解码器进行解码,通过竖屏模式对应的编码器编码的视频后续可以分发至竖屏模式的观众端,竖屏模式的观众端可以使用竖屏模式对应的解码器进行解码,如此可以保证两路编码后的视频可以分别适于不同的观众端进行解码,进而适于通过不同的屏幕模式播放,灵活性高,能够满足两种屏幕模式的观众端的播放需求。
需要说明的一点是,步骤205与步骤206可以顺序执行。作为示例,可以先执行步骤205,再执行步骤206;也可以先执行步骤206,再执行步骤205,本实施例对步骤205与步骤206的先后顺序不做限定。步骤205与步骤206也可以并行执行,即,可以同时执行步骤205以及步骤206。本实施例对步骤205与步骤206的执行顺序不做限定。
207、第一终端对音频与第一视频进行合成,得到第一直播流。
208、第一终端对音频与第二视频进行合成,得到第二直播流。
通过使用同一声卡采集到的一路音频来执行上述步骤207以及步骤208,由于第一直播流以及第二直播流是根据同一音频合成的,可以保证第一直播流以及第二直播流的音频效果一致,那么接收到第一直播流的观众端以及接收到第二直播流的观众端在播放直播时的音频效果也就可以一致,从而保证竖屏模式的观众端与横屏模式的观众端在观看同一场直播时,可以达到一致的音频效果。
其中,步骤201中的摄像头以及步骤202涉及的声卡可以来自于同一设备,那么通过使用同一个设备的摄像头以及声卡,来分别采集视频以及音频,由于视频以及音频的来源一致,可以保证采集的视频的视频效果以及音频的音频效果也相一致,从而提升了直播效果。
在一些可能的实施例中,第一终端可以在第一直播流以及第二直播流中携带屏幕模式标识,例如可以在直播流的每个数据包中添加屏幕模式字段,在该屏幕模式字段上携带屏幕模式标识。其中,屏幕模式标识用于指示直播流的每帧图像的屏幕模式,例如可以指示每帧图像的宽高比。屏幕模式标识可以通过不同的取值来指示不同的屏幕模式。例如,屏幕模式标识可以为第一标识或第二标识,第一标识表示横屏模式,第二标识表示竖屏模式,第一标识以及第二标识可以为任两个不同的取值,例如,第一标识可以为1,第二标识可以为0。
通过在直播流中携带屏幕模式标识,可以指明直播流中视频到底是哪一种屏幕模式,从而帮助服务器识别和区分不同屏幕模式对应的直播流,避免不同屏幕模式的直播流相互混淆,提高了识别直播流的准确性。
需要说明的一点是,步骤207与步骤208可以顺序执行。作为示例,可以先执行步骤207,再执行步骤208;也可以先执行步骤208,再执行步骤207,本实施例对步骤207与步骤208的先后顺序不做限定。步骤207与步骤208也可以并行执行,即,可以同时执行步骤207以及步骤208。本实施例对步骤207与步骤208的执行顺序不做限定。
209、第一终端向服务器发送第一直播流以及第二直播流。
其中,第一终端可以向服务器分别发送第一直播流以及第二直播流,即,两路直播流的发送过程可以相互独立。第一终端也可以对第一直播流以及第二直播流进行组合,得到一路流,向服务器发送一路流,本实施例对发送第一直播流以及第二直播流的方式不做限定。
210、服务器接收第一终端的第一直播流以及第二直播流。
服务器可以根据第一直播流以及第二直播流中的屏幕模式标识,识别第一直播流以及第二直播流的屏幕模式,从而区分第一直播流以及第二直播流是竖屏模式的直播流还是横屏模式的直播流。例如,如果第一直播流以及第二直播流中的任一直播流的屏幕模式标识为第一标识,则服务器可以根据第一标识,确定该直播流的屏幕模式为横屏模式;如果第一直播流以及第二直播流中的任一直播流的屏幕模式标识为第二标识,则服务器可以根据第二标识,确定该直播流的屏幕模式为竖屏模式。
211、第二终端向服务器发送直播流请求。
212、服务器接收第二终端的直播流请求,向第二终端发送第一直播流或第二直播流。
213、第二终端接收服务器的第一直播流或第二直播流,基于第一直播流或第二直播流展示直播。
直播流请求用于请求直播流。在一些可能的实施例中,直播流请求可以包括第二终端的设备信息,服务器可以从直播流请求中,获取第二终端的设备信息,根据第二终端的设备信息,判断第二终端的屏幕为竖屏还是横屏,如果第二终端的屏幕为竖屏,则服务器从第一直播流以及第二直播流中,选择屏幕模式为竖屏模式的直播流,将该直播流发送至第二终端,那么第二终端接收到竖屏模式的直播流时,可以展示竖屏模式的直播画面。同理地,如果第二终端的屏幕模式为横屏模式,则服务器从第一直播流以及第二直播流中,选择屏幕模式为横屏模式的直播流,将该直播流发送至第二终端,那么第二终端接收到横屏模式的直播流时,可以展示横屏模式的直播画面。
如此,服务器可以按照第二终端的屏幕模式,向第二终端自动地推送与其屏幕模式相匹配的直播流,保证第二终端展示直播时,证直播画面与本端的屏幕匹配,提升了直播的展示效果。例如,对于PC用户来说,由于PC的显示屏幕宽大,PC用户通常习惯横屏观看直播,那么可以向这些用户的终端推送横屏模式的直播;对于手机用户来说,其通常习惯竖着拿手机观看直播,这样符合握持手机的习惯并比较具有亲切感。通过向两种用户分别推送不同屏幕模式的直播流,可以同时满足两种用户的不同需求,让他们在观看同一场直播时,可以分别具有不同的观看体验,同时,由于两路直播流是同一设备的同一摄像头采集的,画质可以保持一致,能够提升直播的显示效果。
综上所述,参见图3,其示出了一种直播过程中观众端、服务器以及主播端的工作流程图。主播端(即第一终端)可以包括音频采集模块、音频处理模块、音频编码模块、视频采集模块、视频分割模块、视频编码模块、组合模块以及发送模块等多个软件模块,主播端的音频采集模块用于采集音频,将音频输入音频处理模块,音频处理模块用于将音频进行处理后输入音频编码模块,音频编码模块用于将音频进行编码后输入组合模块;主播端的视频采集模块用于采集视频,将视频输入视频处理模块,视频处理模块用于将视频进行处理后输入视频分割模块,视频分割模块用于通过图像分割,将视频转换为两路视频,分别输入不同的视频编码模块,视频编码模块用于将视频进行编码后输入组合模块,组合模块用于将音频以及两路视频分别进行合成,得到两路直播流,发送模块用于与流服务器建立连接通道之后,推送组合模块输出的两路直播流;流服务器包括接收模块、分离模块以及分发模块,接收模块用于接收主播端推送的两路直播流,分离模块用于将分离两路直播流,将两路直播流分发至屏幕模式不同的观众端。观众端(即第二终端)可以包括请求模块、接收模块以及展示模块,请求模块用于向流服务器发送直播流请求,接收模块用于接收流服务器发送的直播流,展示模块用于基于直播流展示直播。
本实施例提供了一种实现双流直播中两路直播流的图像画质一致、显示效果好的方法。通过采用图像分割的手段,将同一摄像头采集的一路视频,转换为两路屏幕模式不同的视频,根据这两路视频来合成为两路直播流;一方面实现了通过两路直播流进行直播的功能,能够让不同屏幕模式的观众端可以观看不同屏幕模式对应的直播,从而同时满足了竖屏观看直播的观众用户以及横屏观看直播的观众用户的需求;另一方面,由于两路视频来自于同一摄像头,因此这两路视频的画面的画质一致,从而提高了直播效果。并且,通过在对视频进行图像分割之前,对视频进行美化处理,可以提升双流直播中的两个直播流的图像的显示效果。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
图4是本发明实施例提供的一种直播装置的结构示意图,该装置包括:
采集模块401,用于接收摄像头采集的第一视频;
美化模块402,用于对该第一视频进行美化处理;
图像分割模块403,用于对该第一视频中的每帧图像进行图像分割,得到第二视频,该第二视频对应的屏幕模式与该第一视频对应的屏幕模式不同,该屏幕模式为竖屏模式或横屏模式;
合成模块404,用于对音频与该第一视频进行合成,得到第一直播流;
该合成模块404,还用于对该音频与该第二视频进行合成,得到第二直播流;
发送模块405,用于向服务器发送该第一直播流以及该第二直播流。
本实施例提供了一种实现双流直播中两路直播流的图像画质一致、显示效果好的装置。通过采用图像分割的手段,将同一摄像头采集的一路视频,转换为两路屏幕模式不同的视频,根据这两路视频来合成为两路直播流;一方面实现了通过两路直播流进行直播的功能,能够让不同屏幕模式的观众端可以观看不同屏幕模式对应的直播,从而同时满足了竖屏观看直播的观众用户以及横屏观看直播的观众用户的需求;另一方面,由于两路视频来自于同一摄像头,因此这两路视频的画面的画质一致,从而提高了直播效果。并且,通过在对视频进行图像分割之前,对视频进行美化处理,可以提升双流直播中的两个直播流的图像的显示效果。
可选地,该图像分割模块402,用于:从该第一视频中的每帧图像中,分割出位于裁剪框的区域,作为该第二视频的每帧图像,该裁剪框的宽高比为该第二视频对应的屏幕模式的宽高比。
可选地,该装置还包括:
识别模块,用于识别该第一视频的屏幕模式;
该图像分割模块402,用于执行下述任意一项:当该第一视频为横屏模式时,分割出位于第一裁剪框内的区域,该第一裁剪框的宽小于高;当该第一视频为竖屏模式时,分割出位于第二裁剪框内的区域,该第二裁剪框的宽大于高。
可选地,该识别模块,用于:获取该第一视频的任一帧图像的宽高比;
当该宽高比大于1时,识别该第一视频为横屏模式;当该宽高比小于1时,识别该第一视频为竖屏模式。
可选地,该装置还包括:获取模块,用于根据设置指令,获取该裁剪框的尺寸以及该裁剪框的位置中的至少一项。
可选地,该装置还包括:
显示模块,用于基于该第一视频,显示预览界面,该预览界面包括直播画面以及悬浮于该直播画面的裁剪框;
接收模块,用于在该预览界面上,接收该设置指令。
可选地,该装置还包括:边框填充模块,用于执行下述任一项:
获取该第二视频的分辨率,如果该分辨率不符合预设分辨率,向该第二视频的每帧图像的边缘填充边框;
如果边框填充选项处于开启状态,向该第二视频的每帧图像的边缘填充边框。
可选地,该装置还包括:音频采集模块401,用于通过同一声卡,采集该音频。
可选地,该第一直播流以及该第二直播流携带屏幕模式标识,该屏幕模式标识用于指示对应直播流的视频对应的屏幕模式,该第一直播流的屏幕模式标识的取值与该第二直播流的屏幕模式标识的取值不同。
可选地,该装置还包括:编码模块,用于采用第一编码器,对该第一视频的每帧图像进行编码;采用第二编码器,对该第二视频的每帧图像进行编码,该第二编码器与该第一编码器不同。
可选地,该美化模块,用于执行下述至少一项:
对该第一视频中每帧图像中的人脸进行美颜处理;
对该第一视频中每帧图像的色调、亮度、对比度、曝光、白平衡、色阶的至少一项进行调整;
向该第一视频中的每帧图像添加特效。
可选地,该装置应用于第一终端,该第一终端为主播用户使用的终端。
需要说明的是:上述实施例提供的直播装置在直播时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的直播装置与直播方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5示出了本发明一个示例性实施例提供的终端500的结构框图。该终端500可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端500包括有:处理器501和存储器502。
处理器501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器501所执行以实现本发明中方法实施例提供的直播方法。
在一些实施例中,终端500还可选包括有:***设备接口503和至少一个***设备。处理器501、存储器502和***设备接口503之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口503相连。具体地,***设备包括:射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
***设备接口503可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器501和存储器502。在一些实施例中,处理器501、存储器502和***设备接口503被集成在同一芯片或电路板上;在一些其他实施例中,处理器501、存储器502和***设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路504包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本发明对此不加以限定。
显示屏505用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时,显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时,显示屏505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏505可以为一个,设置终端500的前面板;在另一些实施例中,显示屏505可以为至少两个,分别设置在终端500的不同表面或呈折叠设计;在再一些实施例中,显示屏505可以是柔性显示屏,设置在终端500的弯曲表面上或折叠面上。甚至,显示屏505还可以设置成非矩形的不规则图形,也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头506用于采集图像或视频。可选地,摄像头506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器501进行处理,或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于:加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号,控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度,陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时,可以检测用户对终端500的握持信号,由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时,由处理器501根据用户对触摸显示屏505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹,由处理器501根据指纹传感器514采集到的指纹识别用户的身份,或者,由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时,指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中,处理器501可以根据光学传感器515采集的环境光强度,控制触摸显示屏505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏505的显示亮度;当环境光强度较低时,调低触摸显示屏505的显示亮度。在另一个实施例中,处理器501还可以根据光学传感器515采集的环境光强度,动态调整摄像头506的拍摄参数。
接近传感器516,也称距离传感器,通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中,当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时,由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态;当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时,由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图5中示出的结构并不构成对终端500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由处理器执行以完成上述实施例中的直播方法。例如,计算机可读存储介质可以是只读存储器(Read-Only Memory,简称:ROM)、随机存取存储器(Random AccessMemory,简称:RAM)、只读光盘(Compact Disc Read-Only Memory,简称:CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (15)

1.一种直播方法,其特征在于,所述方法包括:
接收摄像头采集的第一视频;
对所述第一视频进行美化处理;
对所述第一视频中的每帧图像进行图像分割,得到第二视频,所述第二视频对应的屏幕模式与所述第一视频对应的屏幕模式不同,所述屏幕模式为竖屏模式或横屏模式;
对音频与所述第一视频进行合成,得到第一直播流;
对所述音频与所述第二视频进行合成,得到第二直播流;
向服务器发送所述第一直播流以及所述第二直播流。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一视频中的每帧图像进行图像分割,得到第二视频,包括:
从所述第一视频中的每帧图像中,分割出位于裁剪框的区域,作为所述第二视频的每帧图像,所述裁剪框的宽高比为所述第二视频对应的屏幕模式的宽高比。
3.根据权利要求2所述的方法,其特征在于,
所述从所述第一视频中的每帧图像中,分割出位于裁剪框的区域之前,所述方法还包括:
识别所述第一视频的屏幕模式;
所述从所述第一视频中的每帧图像中,分割出位于裁剪框的区域,包括下述任意一项:
当所述第一视频为横屏模式时,分割出位于第一裁剪框内的区域,所述第一裁剪框的宽小于高;
当所述第一视频为竖屏模式时,分割出位于第二裁剪框内的区域,所述第二裁剪框的宽大于高。
4.根据权利要求3所述的方法,其特征在于,所述识别所述第一视频的屏幕模式,包括:
获取所述第一视频的任一帧图像的宽高比;
当所述宽高比大于1时,识别所述第一视频为横屏模式;
当所述宽高比小于1时,识别所述第一视频为竖屏模式。
5.根据权利要求2所述的方法,其特征在于,所述从所述第一视频中的每帧图像中,分割出位于裁剪框的区域之前,所述方法还包括:
根据设置指令,获取所述裁剪框的尺寸以及所述裁剪框的位置中的至少一项。
6.根据权利要求5所述的方法,其特征在于,所述根据设置指令,获取所述裁剪框的尺寸以及所述裁剪框的位置中的至少一项之前,所述方法还包括:
基于所述第一视频,显示预览界面,所述预览界面包括直播画面以及悬浮于所述直播画面的裁剪框;
在所述预览界面上,接收所述设置指令。
7.根据权利要求1所述的方法,其特征在于,所述对所述第一视频中的每帧图像进行图像分割,得到第二视频之后,所述方法还包括下述任一项:
获取所述第二视频的分辨率,如果所述分辨率不符合预设分辨率,向所述第二视频的每帧图像的边缘填充边框;
如果边框填充选项处于开启状态,向所述第二视频的每帧图像的边缘填充边框。
8.根据权利要求1所述的方法,其特征在于,所述对音频与所述第一视频进行合成之前,所述方法还包括:
接收声卡采集的音频。
9.根据权利要求1至8任一项所述的方法,其特征在于,
所述第一直播流以及所述第二直播流携带屏幕模式标识,所述屏幕模式标识用于指示对应直播流的视频对应的屏幕模式,所述第一直播流的屏幕模式标识的取值与所述第二直播流的屏幕模式标识的取值不同。
10.根据权利要求1所述的方法,其特征在于,
所述对音频与所述第一视频进行合成之前,所述方法还包括:
采用第一编码器,对所述第一视频的每帧图像进行编码;
所述对所述音频与所述第二视频进行合成之前,所述方法还包括:
采用第二编码器,对所述第二视频的每帧图像进行编码,所述第二编码器与所述第一编码器不同。
11.根据权利要求1所述的方法,其特征在于,所述对所述第一视频进行美化处理,包括下述至少一项:
对所述第一视频中每帧图像中的人脸进行美颜处理;
对所述第一视频中每帧图像的色调、亮度、对比度、曝光、白平衡、色阶的至少一项进行调整;
向所述第一视频中的每帧图像添加特效;
向所述第一视频中的每帧图像添加滤镜。
12.根据权利要求1所述的方法,其特征在于,所述方法应用于第一终端,所述第一终端为主播用户使用的终端。
13.一种直播装置,其特征在于,所述装置包括:
采集模块,用于接收摄像头采集的第一视频;
美化模块,用于对所述第一视频进行美化处理;
图像分割模块,用于对所述第一视频中的每帧图像进行图像分割,得到第二视频,所述第二视频对应的屏幕模式与所述第一视频对应的屏幕模式不同,所述屏幕模式为竖屏模式或横屏模式;
合成模块,用于对音频与所述第一视频进行合成,得到第一直播流;
所述合成模块,还用于对所述音频与所述第二视频进行合成,得到第二直播流;
发送模块,用于向服务器发送所述第一直播流以及所述第二直播流。
14.一种终端,其特征在于,所述终端包括处理器、存储器以及摄像头,所述摄像头用于采集视频,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至权利要求12任一项所述的直播方法所执行的操作。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至权利要求12任一项所述的直播方法所执行的操作。
CN201910362000.9A 2019-04-30 2019-04-30 直播方法、装置、终端及存储介质 Pending CN110062252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910362000.9A CN110062252A (zh) 2019-04-30 2019-04-30 直播方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910362000.9A CN110062252A (zh) 2019-04-30 2019-04-30 直播方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN110062252A true CN110062252A (zh) 2019-07-26

Family

ID=67321834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910362000.9A Pending CN110062252A (zh) 2019-04-30 2019-04-30 直播方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110062252A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050204A (zh) * 2019-12-27 2020-04-21 北京达佳互联信息技术有限公司 视频裁剪方法、装置、电子设备和存储介质
CN111246253A (zh) * 2020-01-21 2020-06-05 北京三体云联科技有限公司 视频流传输方法和装置
CN111479162A (zh) * 2020-04-07 2020-07-31 广州酷狗计算机科技有限公司 直播数据传输方法、装置以及计算机可读存储介质
CN112055170A (zh) * 2020-08-05 2020-12-08 浙江大华技术股份有限公司 一种视频处理方法、装置以及计算机存储介质
CN112672174A (zh) * 2020-12-11 2021-04-16 咪咕文化科技有限公司 分屏直播方法、采集设备、播放设备及存储介质
CN112770173A (zh) * 2021-01-28 2021-05-07 腾讯科技(深圳)有限公司 直播画面处理方法、装置、计算机设备及存储介质
CN113342248A (zh) * 2021-06-24 2021-09-03 广州博冠信息科技有限公司 直播显示方法、装置、存储介质及电子设备
CN113452935A (zh) * 2021-08-31 2021-09-28 成都索贝数码科技股份有限公司 横屏和竖屏直播视频生成***及方法
CN113573117A (zh) * 2021-07-15 2021-10-29 广州方硅信息技术有限公司 视频直播方法、装置及计算机设备
CN114286136A (zh) * 2021-12-28 2022-04-05 咪咕文化科技有限公司 视频播放编码方法、装置、设备及计算机可读存储介质
CN114598902A (zh) * 2022-03-09 2022-06-07 安徽文香科技有限公司 一种视频帧处理方法、装置及电子设备
CN115767113A (zh) * 2022-09-22 2023-03-07 北京国际云转播科技有限公司 云转播方法、装置、介质及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229595A1 (en) * 2011-03-11 2012-09-13 Miller Michael L Synthesized spatial panoramic multi-view imaging
CN105068774A (zh) * 2015-07-24 2015-11-18 福州瑞芯微电子股份有限公司 一种基于wfd的影像分享方法和***
CN106303329A (zh) * 2016-08-11 2017-01-04 广州爱九游信息技术有限公司 录屏直播方法和装置、移动设备及直播***
CN106484349A (zh) * 2016-09-26 2017-03-08 腾讯科技(深圳)有限公司 直播信息的处理方法和装置
CN108650542A (zh) * 2018-05-09 2018-10-12 腾讯科技(深圳)有限公司 生成竖屏视频流、图像处理的方法、电子设备和视频***
CN108900859A (zh) * 2018-08-17 2018-11-27 广州酷狗计算机科技有限公司 直播方法及***
CN109547724A (zh) * 2018-12-21 2019-03-29 广州华多网络科技有限公司 一种视频流数据的处理方法、电子设备及存储装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229595A1 (en) * 2011-03-11 2012-09-13 Miller Michael L Synthesized spatial panoramic multi-view imaging
CN105068774A (zh) * 2015-07-24 2015-11-18 福州瑞芯微电子股份有限公司 一种基于wfd的影像分享方法和***
CN106303329A (zh) * 2016-08-11 2017-01-04 广州爱九游信息技术有限公司 录屏直播方法和装置、移动设备及直播***
CN106484349A (zh) * 2016-09-26 2017-03-08 腾讯科技(深圳)有限公司 直播信息的处理方法和装置
CN108650542A (zh) * 2018-05-09 2018-10-12 腾讯科技(深圳)有限公司 生成竖屏视频流、图像处理的方法、电子设备和视频***
CN108900859A (zh) * 2018-08-17 2018-11-27 广州酷狗计算机科技有限公司 直播方法及***
CN109547724A (zh) * 2018-12-21 2019-03-29 广州华多网络科技有限公司 一种视频流数据的处理方法、电子设备及存储装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050204A (zh) * 2019-12-27 2020-04-21 北京达佳互联信息技术有限公司 视频裁剪方法、装置、电子设备和存储介质
CN111246253A (zh) * 2020-01-21 2020-06-05 北京三体云联科技有限公司 视频流传输方法和装置
CN111479162B (zh) * 2020-04-07 2022-05-13 成都酷狗创业孵化器管理有限公司 直播数据传输方法、装置以及计算机可读存储介质
CN111479162A (zh) * 2020-04-07 2020-07-31 广州酷狗计算机科技有限公司 直播数据传输方法、装置以及计算机可读存储介质
CN112055170A (zh) * 2020-08-05 2020-12-08 浙江大华技术股份有限公司 一种视频处理方法、装置以及计算机存储介质
CN112672174A (zh) * 2020-12-11 2021-04-16 咪咕文化科技有限公司 分屏直播方法、采集设备、播放设备及存储介质
CN112672174B (zh) * 2020-12-11 2023-07-07 咪咕文化科技有限公司 分屏直播方法、采集设备、播放设备及存储介质
CN112770173A (zh) * 2021-01-28 2021-05-07 腾讯科技(深圳)有限公司 直播画面处理方法、装置、计算机设备及存储介质
CN113342248A (zh) * 2021-06-24 2021-09-03 广州博冠信息科技有限公司 直播显示方法、装置、存储介质及电子设备
CN113573117A (zh) * 2021-07-15 2021-10-29 广州方硅信息技术有限公司 视频直播方法、装置及计算机设备
CN113452935B (zh) * 2021-08-31 2021-11-09 成都索贝数码科技股份有限公司 横屏和竖屏直播视频生成***及方法
CN113452935A (zh) * 2021-08-31 2021-09-28 成都索贝数码科技股份有限公司 横屏和竖屏直播视频生成***及方法
CN114286136A (zh) * 2021-12-28 2022-04-05 咪咕文化科技有限公司 视频播放编码方法、装置、设备及计算机可读存储介质
CN114286136B (zh) * 2021-12-28 2024-05-31 咪咕文化科技有限公司 视频播放编码方法、装置、设备及计算机可读存储介质
CN114598902A (zh) * 2022-03-09 2022-06-07 安徽文香科技有限公司 一种视频帧处理方法、装置及电子设备
CN114598902B (zh) * 2022-03-09 2023-12-22 安徽文香科技股份有限公司 一种视频帧处理方法、装置及电子设备
CN115767113A (zh) * 2022-09-22 2023-03-07 北京国际云转播科技有限公司 云转播方法、装置、介质及***
CN115767113B (zh) * 2022-09-22 2023-09-01 北京国际云转播科技有限公司 云转播方法、装置、介质及***

Similar Documents

Publication Publication Date Title
CN110062252A (zh) 直播方法、装置、终端及存储介质
CN110233976B (zh) 视频合成的方法及装置
CN110336960B (zh) 视频合成的方法、装置、终端及存储介质
CN103702264B (zh) 相机驱动的音频空间化
CN110244998A (zh) 页面背景、直播页面背景的设置方法、装置及存储介质
CN110139142A (zh) 虚拟物品显示方法、装置、终端及存储介质
CN109982102A (zh) 直播间的界面显示方法和***、以及直播服务器和主播端
CN110336968A (zh) 视频录制方法、装置、终端设备及存储介质
CN108965757B (zh) 视频录制方法、装置、终端及存储介质
CN110290421A (zh) 帧率调整方法、装置、计算机设备及存储介质
CN109874043B (zh) 视频流发送方法、播放方法及装置
CN109191549A (zh) 显示动画的方法及装置
CN108833963A (zh) 显示界面画面的方法、计算机设备、可读存储介质和***
CN110533585B (zh) 一种图像换脸的方法、装置、***、设备和存储介质
CN109348247A (zh) 确定音视频播放时间戳的方法、装置及存储介质
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN110213587A (zh) 视频编码方法、装置、电子设备及存储介质
CN108965922A (zh) 视频封面生成方法、装置和存储介质
CN108449641A (zh) 播放媒体流的方法、装置、计算机设备和存储介质
CN109035180A (zh) 视频播放方法、装置、设备及存储介质
CN109688461A (zh) 视频播放方法及装置
CN110263617A (zh) 三维人脸模型获取方法及装置
CN109120933A (zh) 动态调整码率的方法、装置、设备及存储介质
CN108834037B (zh) 播放音频数据的方法和装置
CN110149517A (zh) 视频处理的方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726

RJ01 Rejection of invention patent application after publication