CN112383793A - 画面的合成方法、装置、电子设备及存储介质 - Google Patents

画面的合成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112383793A
CN112383793A CN202011264683.3A CN202011264683A CN112383793A CN 112383793 A CN112383793 A CN 112383793A CN 202011264683 A CN202011264683 A CN 202011264683A CN 112383793 A CN112383793 A CN 112383793A
Authority
CN
China
Prior art keywords
layer
picture
live broadcast
contents
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011264683.3A
Other languages
English (en)
Other versions
CN112383793B (zh
Inventor
刘文辉
易页
揭艳霞
万松
林勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202011264683.3A priority Critical patent/CN112383793B/zh
Publication of CN112383793A publication Critical patent/CN112383793A/zh
Application granted granted Critical
Publication of CN112383793B publication Critical patent/CN112383793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种画面的合成方法、装置、电子设备及存储介质,所述方法包括:接收各客户端发送的图层相关信息,图层相关信息包括直播间ID、图层ID、图层内容、帧序号SN和视频流ID;根据直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容;根据视频流ID和帧序号SN,从源视频文件中获取目标视频帧,并将图层合并内容与目标视频帧进行合并,得到合成画面。本发明实施例,各客户端可以在同步直播画面下实现多人的互动,不仅丰富了直播的互动方式,而且提高了互动和观看直播的用户体验。

Description

画面的合成方法、装置、电子设备及存储介质
技术领域
本发明涉及互联网技术领域,具体涉及一种画面的合成方法、装置、电子设备及存储介质。
背景技术
在视频直播领域,互动方式主要集中在聊天室文字互动、送礼互动等独立于视频直播流的方法。即互动对象(文字、送礼消息)从客户端发出后,通过服务端单独的服务,下发给直播间的其他客户端,其他客户端接收消息后将互动对象加以展现。此服务与视频直播流本身不产生交互。其中,用户通过文字、礼物消息等方式进行互动,互动的方式玩法尚不够丰富,缺乏自由度,无论互动如何进行,都不影响视频直播流画面本身;同时由于上述互动均由独立的服务承载,与视频直播流本身是双线运作,容易出现互动与画面不同步的情况。例如:在实时性较强的足球赛事直播中,几名观众想要讨论战术路线,就无法直接在直播间通过“画战术板”的方式直观互动;若用文字互动方式讨论,由于部分观众直播流存在延迟,则可能出现一端观众看到进球并文字互动,另一端直播流有延迟的观众会先看到文字互动说进球,过一段时间后才看到画面中进球。影响用户观看、互动体验。
发明内容
基于现有技术中存在的问题,本发明实施例提出一种画面的合成方法、装置、电子设备及存储介质。
第一方面,本发明实施例提供了一种画面的合成方法,包括:
接收各客户端发送的图层相关信息,其中,所述图层相关信息包括直播间ID、图层ID、图层内容、帧序号SN和视频流ID;
根据所述直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容;
根据所述视频流ID和所述帧序号SN,从源视频文件中获取目标视频帧,并将所述图层合并内容与所述目标视频帧进行合并,得到合成画面。
进一步地,所述根据所述直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容,包括:
判断直播间中是否存在所述图层ID;
如果存在所述图层ID,则对存储的图层内容进行更新;
对存储的图层内容进行叠加合并,得到所述图层合并内容。
进一步地,在判断直播间中是否存在所述图层ID之前,还包括:判断是否存在所述直播间ID对应的直播间;如果不存在所述直播间,则预先创建所述直播间。
进一步地,所述对存储的图层内容进行叠加合并,得到所述图层合并内容,包括:
获取各客户端对应的各用户信息,其中,所述用户信息包括用户类型、用户等级和本次播放时间;
根据所述用户类型、用户等级和本次播放时间对来自各客户端的图层内容进行排序,得到图层内容的排序结果;
根据所述图层内容的排序结果,对存储的图层内容进行叠加合并,得到所述图层合并内容。
进一步地,所述根据视频流ID和所述帧序号SN,从源视频文件中获取目标视频帧,并将所述图层合并内容与目标视频帧进行合并,得到合成画面,包括:
根据所述视频流ID,得到所述源视频文件;
从所述源视频文件中提取所述帧序号SN对应的视频帧,并将所述视频帧作为所述目标视频帧;
将所述图层合并内容与目标视频帧进行叠加合并,得到合成画面,并将所述合成画面推送给预先创建好的流地址中,以便各客户端从所述流地址中同步获取所述合成画面。
进一步地,在将所述合成画面推送给预先创建好的流地址中之前,还包括:
根据所述直播间ID,为所述直播间创建所述流地址,并向所述各客户端发送预定时间后从所述流地址中同步获取所述合成画面的通知。
进一步地,所述图层内容包括各客户端在对应的绘图画面中的涂鸦内容,其中,所述各客户端通过创建覆盖在直播画面区域上的绘图画面进行涂鸦得到所述涂鸦内容。
第二方面,本发明实施例还提供了一种画面的合成装置,包括:
接收模块,用于接收各客户端发送的图层相关信息,其中,所述图层相关信息包括直播间ID、图层ID、图层内容、帧序号SN和视频流ID;
图层合并模块,用于根据所述直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容;
画面合成模块,用于根据所述视频流ID和所述帧序号SN,从源视频文件中获取目标视频帧,并将所述图层合并内容与所述目标视频帧进行合并,得到合成画面。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的画面的合成方法。
第四方面,本发明实施例还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的画面的合成方法。
由上述技术方案可知,本发明实施例提供的画面的合成方法、装置、电子设备及存储介质,当用户在直播间中观看直播时,可以在直播画面进行任意涂鸦得到图层内容,服务器可以对各客户端的图层内容进行合并,并与直播画面一并下发给各客户端,由此,各客户端可以在同步直播画面下实现多人的互动,不仅丰富了直播的互动方式,而且提高了互动和观看直播的用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1是本发明一实施例提供的画面的合成方法的流程图;
图2是本发明一实施例提供的画面的合成方法的图层内容的存储结构示意图;
图3是本发明一实施例提供的画面的合成装置的结构框图;
图4是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
以下结合附图描述根据本发明实施例的画面的合成方法、装置、电子设备及存储介质。
图1示出了本发明一实施例提供的画面的合成方法的流程图。如图1所示,本发明实施例提供的画面的合成方法,具体包括如下内容:
S101:接收各客户端发送的图层相关信息,其中,图层相关信息包括直播间ID、图层ID、图层内容、帧序号SN和视频流ID。
本示例中,各客户端指进入同一直播间中参与直播的多个用户的客户端。客户端可以是一种安装在智能手机、平板电脑等设备上的应用程序APP,如直播软件。
作为一个具体的示例,多人通过各自的客户端连入直播间同看直播时,各客户端的画面包含直播画面与多人实时绘图画面,绘图画面叠加于直播画面。例如:
用户点击客户端中的绘图按钮,此时,客户端创建一个背景透明的绘图层(即:绘图画面)覆盖在直播画面的区域上,并定时上传绘图层中的信息(即:图层相关信息)到服务器。
在该示例中,用户可以在绘图层上任意涂鸦,即:图层内容包括各客户端在对应的绘图画面中的涂鸦内容,其中,各客户端通过创建覆盖在直播画面区域上的绘图画面进行涂鸦得到涂鸦内容。
客户端定时(如每间隔40毫秒,即:每秒产生25帧)上传一次图层相关信息到服务器。
其中,上传的图层相关信息包含但不限于:图层的ID(如由“直播间ID和用户ID组成)、经过压缩后的图层内容、当前帧序号(即视频流播放到了第几帧)、视频流ID、直播间ID、用户token等信息。其中,压缩可以数据传输量,提升传输效率。
S102:根据直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容。
在具体示例中,该步骤具体包括:判断直播间中是否存在所述图层ID;如果存在所述图层ID,则判断是否已存有所述图层ID对应的图层内容;如果未存储有所述图层内容,则对存储的图层内容进行更新;对存储的图层内容进行叠加合并,得到所述图层合并内容。
在该示例中,当确定未存储有图层内容,表示该图层内容为新的图层内容,因此,对图层内容进行更新,也就是说,存储更新后的图层内容,这样,后续可以读取出存储的图层内容,并进行叠加合并,进而得到图层合并内容。
进一步地,在判断直播间中是否存在所述图层ID之前,还包括:判断是否存在所述直播间ID对应的直播间;如果不存在所述直播间,则预先创建所述直播间。
作为一个具体的示例,当服务器收到客户端发送过来的图层相关信息后,首先取出直播间ID、图层ID、图层内容;判断内存中是否存在该直播间ID,即:判断是否存在该直播间ID对应的直播间,若没有则创建一个直播间;判断该直播间中是否存在该图层ID,如果有,则从内存中取出该图层ID对应的图层内容,判断与客户端传入的图层内容是否相同,如果不同,则更新图层内容,然后继续下一步;没有则将该图层内容存入该直播间的内存中,继续下一步;取出该直播间内的所有的画布内容,进行图层叠加合并,将合并后的内容(图层合并内容)存储到该直播间中。
其中,主要作用是将多人提交的画布层叠加混合在一起生成一个画布混合层。每当用户提交画布层内容时都会触发此算法来更新混合层内容。其存储结构如图2所示,在图2中,如对于直播间1来说,各客户端发送的图层内容称为画布层1内容、画布层2内容等,图层合并内容称为混合后的画布内容。即:在服务器的内存中以直播间ID进行分组,直播间内又存储了与该直播间相关的所有画布层信息和混合后的图层信息。
S103:根据视频流ID和帧序号SN,从源视频文件中获取目标视频帧,并将图层合并内容与目标视频帧进行合并,得到合成画面。
具体而言,该步骤具体包括:根据所述视频流ID,得到所述源视频文件;从所述源视频文件中提取所述帧序号SN对应的视频帧,并将所述视频帧作为所述目标视频帧;将所述图层合并内容与目标视频帧进行叠加合并,得到合成画面,并将合成画面推送给预先创建好的流地址中,以便各客户端从所述流地址中同步获取所述合成画面。
其中,在将所述合成画面推送给预先创建好的流地址中之前,还包括:根据所述直播间ID,为所述直播间创建所述流地址,并向所述各客户端发送预定时间后从所述流地址中同步获取所述合成画面的通知。
作为一个具体的示例,该步骤通过如下方式实施:
1、获取客户端传过来的帧序号SN、直播间ID、视频流ID。
2、为该直播间创建新的流地址,通知客户端40毫秒后从新的流地址中拉流。其中,40毫秒仅是示例性的,可以根据需要自行设定。
3、从源视频文件中抽取帧序号为SN的帧。
4、从内存中获取该直播间对应的混合后的画布内容。
5、将画布内容与帧内容进行叠加合并,将混合后的帧编码压缩后推送到新的流地址中。
6、将帧序号SN设置为:SN=SN+1。
7、循环执行上述的3-6步骤,直播处理完最后一帧为止。
由此,各客户端可以进行同步直播,并且,能够同步显示各客户端在直播间上进行的互动。
根据本发明实施例的画面的合成方法,当用户在直播间中观看直播时,可以在直播画面进行任意涂鸦得到图层内容,服务器可以对各客户端的图层内容进行合并,并与直播画面一并下发给各客户端,由此,各客户端可以在同步直播画面下实现多人的互动,不仅丰富了直播的互动方式,而且提高了互动和观看直播的用户体验。
在本发明的一个实施例中,所述对存储的图层内容进行叠加合并,得到所述图层合并内容,包括:获取各客户端对应的各用户信息,其中,所述用户信息包括用户类型、用户等级和本次播放时间;根据所述用户类型、用户等级和本次播放时间对来自各客户端的图层内容进行排序,得到图层内容的排序结果;根据所述图层内容的排序结果,对存储的图层内容进行叠加合并,得到所述图层合并内容。其中,根据所述图层内容的排序结果,对存储的图层内容进行叠加合并,得到所述图层合并内容,可以通过以下两种方式实现:
获取排序靠前的图层内容中与排序靠后的图层内容中发生重叠的内容,并由排序靠前的图层内容中的重叠的内容覆盖所述排序靠后的图层内容中的重叠的内容;或者,
图层内容除涂鸦部分,均为透明区域,并且,排序靠后的图层内容先进行叠加,然后再进行排序靠前的图层内容的叠加。由于图层内容除涂鸦部分,均为透明区域,因此,在叠加后的图层内容中,排序靠前的图层内容与排序靠后的图层内容发生重叠时,仅在重叠的部分显示出排序靠前的图层内容。例如:在同一区域,排序靠前的图层内容的涂鸦为“加油”,排序靠后的图层内容的涂鸦为“6666”,则叠加后,该区域只显示“加油”。
也就是说,各绘图层间有层级排列顺序的区别。排序越靠前,绘图层叠加时展现越靠上。例如:排序1、2、3的三个绘图层,3在最底层,2叠加在3上,1叠加在2上。上层的非透明部分绘图会对下层产生遮盖。
绘图层的排序由其关联的用户数据决定,由三个参数联合控制:是否为直播间房主,用户等级,用户最近一次进入直播间的时间点。
其中,直播间房主定义为开启本次直播间的用户,为本直播间的拥有者。
用户等级定义:用户在产品中的等级,该等级由用户在产品中的活跃度决定。等级随经验值累积提升,活跃行为可获得经验值。活跃行为包括但不限于观看直播,开启直播,聊天文字互动等。
三个参数的作用逻辑如下:若为直播间房主,则始终排序最靠前,为1;若非直播间房主,则进行下一步判断;非房主用户中,按用户等级由高至低排序,一一对应2、3、4等序号;若有用户等级相同者,对其进行下一步判断;用户等级相同者中,按其最近一次进入直播间的时间由早至晚排序,赋予对应序号,时间精确至秒;若时间也相同,则随机排序。所有绘图层尺寸均按直播流画面尺寸生成,二者宽高相等。设定直播画面左上角定位为锚点,坐标[0,0],使绘图层左上角顶点对齐[0,0],实现绘图层与直播画面区域重合。
图3示出了本发明一实施例提供的画面的合成装置的结构示意图,如图3所示,本发明实施例提供的画面的合成装置,包括:接收模块310、图层合并模块320和画面合成模块330。其中:
接收模块310,用于接收各客户端发送的图层相关信息,其中,所述图层相关信息包括直播间ID、图层ID、图层内容、帧序号SN和视频流ID;
图层合并模块320,用于根据所述直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容;
画面合成模块330,用于根据所述视频流ID和所述帧序号SN,从源视频文件中获取目标视频帧,并将所述图层合并内容与所述目标视频帧进行合并,得到合成画面。
根据本发明实施例的画面的合成装置,当用户在直播间中观看直播时,可以在直播画面进行任意涂鸦得到图层内容,服务器可以对各客户端的图层内容进行合并,并与直播画面一并下发给各客户端,由此,各客户端可以在同步直播画面下实现多人的互动,不仅丰富了直播的互动方式,而且提高了互动和观看直播的用户体验。
需要说明的是,本发明实施例的画面的合成装置的具体实现方式与本发明实施例的画面的合成方法的具体实现方式类似,具体请参见方法部分的描述,为了减少冗余,具体此处不做赘述。
基于相同的发明构思,本发明又一实施例提供了一种电子设备,参见图4,所述电子设备具体包括如下内容:处理器401、存储器402、通信接口403和通信总线404;
其中,所述处理器401、存储器402、通信接口403通过所述通信总线404完成相互间的通信;所述通信接口403用于实现各设备之间的信息传输;
所述处理器401用于调用所述存储器402中的计算机程序,所述处理器执行所述计算机程序时实现上述画面的合成方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:播间ID、图层ID、图层内容、帧序号SN和视频流ID;根据所述直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容;根据所述视频流ID和所述帧序号SN,从源视频文件中获取目标视频帧,并将所述图层合并内容与所述目标视频帧进行合并,得到合成画面。
基于相同的发明构思,本发明又一实施例提供了一种非暂态计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述画面的合成方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:播间ID、图层ID、图层内容、帧序号SN和视频流ID;根据所述直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容;根据所述视频流ID和所述帧序号SN,从源视频文件中获取目标视频帧,并将所述图层合并内容与所述目标视频帧进行合并,得到合成画面。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的指标监控方法。
此外,在本发明中,诸如“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
此外,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种画面的合成方法,其特征在于,包括:
接收各客户端发送的图层相关信息,其中,所述图层相关信息包括直播间ID、图层ID、图层内容、帧序号SN和视频流ID;
根据所述直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容;
根据所述视频流ID和所述帧序号SN,从源视频文件中获取目标视频帧,并将所述图层合并内容与所述目标视频帧进行合并,得到合成画面。
2.根据权利要求1所述的画面的合成方法,其特征在于,所述根据所述直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容,包括:
判断直播间中是否存在所述图层ID;
如果存在所述图层ID,则判断是否已存有所述图层ID对应的图层内容;
如果未存储有所述图层内容,则对存储的图层内容进行更新;
对存储的图层内容进行叠加合并,得到所述图层合并内容。
3.根据权利要求2所述的画面的合成方法,其特征在于,在判断直播间中是否存在所述图层ID之前,还包括:
判断是否存在所述直播间ID对应的直播间;
如果不存在所述直播间,则预先创建所述直播间。
4.根据权利要求2或3所述的画面的合成方法,其特征在于,所述对存储的图层内容进行叠加合并,得到所述图层合并内容,包括:
获取各客户端对应的各用户信息,其中,所述用户信息包括用户类型、用户等级和本次播放时间;
根据所述用户类型、用户等级和本次播放时间对来自各客户端的图层内容进行排序,得到图层内容的排序结果;
根据所述图层内容的排序结果,对存储的图层内容进行叠加合并,得到所述图层合并内容。
5.根据权利要求1所述的画面的合成方法,其特征在于,所述根据视频流ID和所述帧序号SN,从源视频文件中获取目标视频帧,并将所述图层合并内容与目标视频帧进行合并,得到合成画面,包括:
根据所述视频流ID,得到所述源视频文件;
从所述源视频文件中提取所述帧序号SN对应的视频帧,并将所述视频帧作为所述目标视频帧;
将所述图层合并内容与目标视频帧进行叠加合并,得到合成画面,并将所述合成画面推送给预先创建好的流地址中,以便各客户端从所述流地址中同步获取所述合成画面。
6.根据权利要求5所述的画面的合成方法,其特征在于,在将所述合成画面推送给预先创建好的流地址中之前,还包括:
根据所述直播间ID,为所述直播间创建所述流地址,并向所述各客户端发送预定时间后从所述流地址中同步获取所述合成画面的通知。
7.根据权利要求1所述的画面的合成方法,其特征在于,所述图层内容包括各客户端在对应的绘图画面中的涂鸦内容,其中,所述各客户端通过创建覆盖在直播画面区域上的绘图画面得到所述涂鸦内容。
8.一种画面的合成装置,其特征在于,包括:
接收模块,用于接收各客户端发送的图层相关信息,其中,所述图层相关信息包括直播间ID、图层ID、图层内容、帧序号SN和视频流ID;
图层合并模块,用于根据所述直播间ID和图层ID,对来自各客户端的图层内容进行合并,得到图层合并内容;
画面合成模块,用于根据所述视频流ID和所述帧序号SN,从源视频文件中获取目标视频帧,并将所述图层合并内容与所述目标视频帧进行合并,得到合成画面。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现根据权利要求1至7任一所述的画面的合成方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现根据权利要求1至7任一所述的画面的合成方法。
CN202011264683.3A 2020-11-12 2020-11-12 画面的合成方法、装置、电子设备及存储介质 Active CN112383793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011264683.3A CN112383793B (zh) 2020-11-12 2020-11-12 画面的合成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011264683.3A CN112383793B (zh) 2020-11-12 2020-11-12 画面的合成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112383793A true CN112383793A (zh) 2021-02-19
CN112383793B CN112383793B (zh) 2023-07-07

Family

ID=74583532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011264683.3A Active CN112383793B (zh) 2020-11-12 2020-11-12 画面的合成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112383793B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379250A (zh) * 2022-07-22 2022-11-22 广州博冠信息科技有限公司 视频处理方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187930A (zh) * 2015-09-18 2015-12-23 广州酷狗计算机科技有限公司 基于视频直播的互动方法及装置
CN107331222A (zh) * 2016-04-29 2017-11-07 北京学而思教育科技有限公司 一种图像数据处理方法及装置
US20180035169A1 (en) * 2016-07-28 2018-02-01 Beijing Xiaomi Mobile Software Co., Ltd. Method, apparatus, host terminal and system for processing live broadcasting information
WO2018094814A1 (zh) * 2016-11-28 2018-05-31 深圳Tcl数字技术有限公司 视频合成方法及装置
CN108966031A (zh) * 2017-05-18 2018-12-07 腾讯科技(深圳)有限公司 视频会话中实现播放内容控制的方法及装置、电子设备
CN111147880A (zh) * 2019-12-30 2020-05-12 广州华多网络科技有限公司 视频直播的互动方法、装置、***、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187930A (zh) * 2015-09-18 2015-12-23 广州酷狗计算机科技有限公司 基于视频直播的互动方法及装置
CN107331222A (zh) * 2016-04-29 2017-11-07 北京学而思教育科技有限公司 一种图像数据处理方法及装置
US20180035169A1 (en) * 2016-07-28 2018-02-01 Beijing Xiaomi Mobile Software Co., Ltd. Method, apparatus, host terminal and system for processing live broadcasting information
WO2018094814A1 (zh) * 2016-11-28 2018-05-31 深圳Tcl数字技术有限公司 视频合成方法及装置
CN108966031A (zh) * 2017-05-18 2018-12-07 腾讯科技(深圳)有限公司 视频会话中实现播放内容控制的方法及装置、电子设备
CN111147880A (zh) * 2019-12-30 2020-05-12 广州华多网络科技有限公司 视频直播的互动方法、装置、***、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379250A (zh) * 2022-07-22 2022-11-22 广州博冠信息科技有限公司 视频处理方法、装置、计算机设备及存储介质
CN115379250B (zh) * 2022-07-22 2024-06-11 广州博冠信息科技有限公司 视频处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112383793B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN109011574B (zh) 基于直播的游戏界面显示方法、***、终端及装置
CN102905170B (zh) 视频的弹幕方法及***
CN109327741B (zh) 游戏直播方法、装置和***
CN106658145B (zh) 一种直播数据处理方法和装置
CN104468623B (zh) 一种基于在线直播的信息展示方法、相关装置及***
US8522160B2 (en) Information processing device, contents processing method and program
CN104363475B (zh) 一种观众分组关联的方法、装置和***
CN108076389B (zh) 用户评论信息处理方法及装置
CN109407923B (zh) 一种直播连麦互动的方法、装置及可读存储介质
US20200252692A1 (en) Post providing server, post providing program, user program, post providing system, and post providing method
CN109195003B (zh) 基于直播进行游戏的互动方法、***、终端及装置
CN110719533A (zh) 虚拟形象直播方法和装置、服务器及存储介质
CN108769824A (zh) 一种视频混流方法、装置、***、设备及介质
CN114430494B (zh) 界面显示方法、装置、设备及存储介质
CN114007094A (zh) 直播间的语音连麦互动方法、***、介质以及计算机设备
CN114466213B (zh) 信息同步方法、装置、计算机设备、存储介质及程序产品
CN112383793A (zh) 画面的合成方法、装置、电子设备及存储介质
CN106792237B (zh) 一种消息显示方法和***
CN114025185A (zh) 一种视频回放方法、装置、电子设备及存储介质
US11178461B2 (en) Asynchronous video conversation systems and methods
CN115314729B (zh) 组队互动的直播方法、装置、计算机设备及存储介质
CN114268827B (zh) 观赛互动方法、装置、设备以及计算机可读存储介质
CN110444186A (zh) 一种多用户点播方法及存储介质
CN107071498B (zh) 寻物互动中显示查找进度的方法和装置
CN105120351A (zh) 在视频节目上显示互动入口的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant