CN115514989B - 一种数据传输方法、***及存储介质 - Google Patents
一种数据传输方法、***及存储介质 Download PDFInfo
- Publication number
- CN115514989B CN115514989B CN202210981927.2A CN202210981927A CN115514989B CN 115514989 B CN115514989 B CN 115514989B CN 202210981927 A CN202210981927 A CN 202210981927A CN 115514989 B CN115514989 B CN 115514989B
- Authority
- CN
- China
- Prior art keywords
- video
- terminal
- processed
- server
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000005540 biological transmission Effects 0.000 title claims abstract description 43
- 230000002194 synthesizing effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供一种数据传输方法、***及存储介质,应用于数据传输***,数据传输***包括:终端以及服务器,通过终端获取原始视频,并将原始视频中的人物数据与背景数据分离,终端提取人物数据,得到待合成视频,终端发送待合成视频至服务器,服务器将待合成视频与预设背景合成,得到待处理视频并发送至终端,终端合成待处理视频以及预先获取的待处理音频,得到直播音视频。通过这样的方式,不需要主播设置多台电子设备对直播视频进行处理,而是将待合成视频发送至服务器进行合成,能够实现在保证用户观看直播体验的前提下,降低直播的成本。
Description
技术领域
本发明涉及数据传输技术领域,尤其涉及一种数据传输方法、***及存储介质。
背景技术
随着网络技术的发展,直播已经成为人们休闲互动的场景之一,主播在直播的过程中,观看该主播的多个观众可以在直播界面看见主播以及主播对应的实际背景。
为了增强观众的体验感,可以将实际背景设置为虚拟背景,目前主播会采用绿幕直播的方式进行直播,即主播直播时的实际背景为绿幕,通过带GPU(Graphics ProcessingUnit,图形处理器)的电子设备对直播视频进行处理后,可以将包括主播以及虚拟背景的视频呈现给观众,并且绿幕直播可以节省布置实际场景的时间和成本。
但是,目前实现绿幕直播需要主播设置多台电子设备对直播视频进行处理,并且对电子设备的性能要求较高,即实现绿幕直播所需的成本较高。
发明内容
本发明提供一种数据传输方法、***及存储介质,用以解决现有技术中实现绿幕直播所需的成本较高的缺陷,实现在保证观看直播的用户观看直播体验的前提下,降低直播的成本。
本发明提供一种数据传输方法,应用于数据传输***,所述数据传输***包括:终端以及服务器;
所述方法包括:
所述终端获取原始视频,并将所述原始视频中的人物数据与背景数据分离;
所述终端提取所述人物数据,得到待合成视频;
所述终端发送所述待合成视频至所述服务器;
所述服务器将所述待合成视频与预设背景合成,得到待处理视频并发送至所述终端;
所述终端合成所述待处理视频以及预先获取的待处理音频,得到直播音视频。
可选的,所述终端包括第一终端以及第二终端;
在所述终端合成所述待处理视频以及预先获取的待处理音频,得到直播音视频之前,所述方法还包括:
所述第一终端发送待处理音频至所述服务器;
在所述服务器向所述第二终端发送所述待处理视频的情况下,所述服务器向所述第二终端发送所述待处理音频。
可选的,所述终端包括第一终端以及第二终端;
在所述终端合成所述待处理视频以及预先获取的待处理音频,得到直播音视频之前,所述方法还包括:
所述第一终端发送待处理音频至所述第二终端。
可选的,所述终端包括第一终端以及第二终端;
所述终端发送所述待合成视频至所述服务器,包括:
所述第一终端基于预先设置的第一推流地址,发送所述待合成视频至所述服务器。
可选的,所述服务器将所述待合成视频与预设背景合成,得到待处理视频并发送至所述终端,包括:
所述服务器基于与所述第一推流地址对应的第一拉流地址,获取所述待合成视频;
基于预先设置的第二推流地址,发送将所述待合成视频与预设背景合成所得到待处理视频至所述第二终端,其中,所述服务器存储有所述第一推流地址与所述第一拉流地址的对应关系。
可选的,在基于预先设置的第二推流地址,发送将所述待合成视频与预设背景合成所得到待处理视频之后,所述方法还包括:
所述第二终端基于与所述第二推流地址对应的第二拉流地址,获取所述待处理视频,其中,所述第二终端存储有所述第二推流地址与所述第二拉流地址的对应关系。
可选的,在得到直播音视频后,所述方法还包括:
所述终端接收待处理信息,并将所述待处理信息添加至所述直播音视频。
本发明还提供一种数据传输***,所述数据传输***包括:终端以及服务器;
所述终端,用于获取原始视频,并将所述原始视频中的人物数据与背景数据分离;提取所述人物数据,得到待合成视频;发送所述待合成视频至所述服务器;
所述服务器,用于将所述待合成视频与预设背景合成,得到待处理视频并发送至所述终端;
所述终端,还用于合成所述待处理视频以及预先获取的待处理音频,得到直播音视频。
可选的,所述终端包括第一终端和第二终端;
所述第一终端,用于在终端合成所述待处理视频以及预先获取的待处理音频,得到直播音视频之前,发送待处理音频至所述服务器;
所述服务器,用于在向所述第二终端发送所述待处理视频的情况下,向所述第二终端发送所述待处理音频。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种所述数据传输方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述数据传输方法的步骤。
本发明提供的一种数据传输方法、***及存储介质,应用于数据传输***,数据传输***包括:终端以及服务器,通过终端获取原始视频,并将原始视频中的人物数据与背景数据分离,终端提取人物数据,得到待合成视频,终端发送待合成视频至服务器,服务器将待合成视频与预设背景合成,得到待处理视频并发送至终端,终端合成待处理视频以及预先获取的待处理音频,得到直播音视频。通过这样的方式,不需要直播的用户设置多台电子设备对直播视频进行处理,而是将待合成视频发送至服务器进行合成,能够实现在保证观看直播的用户观看直播体验的前提下,降低直播的成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种数据传输方法的流程示意图之一;
图2是本发明提供的一种数据传输方法的流程示意图之二;
图3是本发明提供的一种数据传输方法的流程示意图之三;
图4是本发明提供的一种数据传输方法的流程示意图之四。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了在保证用户观看直播体验的前提下,降低绿幕直播的成本,本发明提供了一种数据传输方法、***、非暂存计算机可读存储介质。下面结合图1描述本发明的一种数据传输方法。
如图1所示,本发明公开了第一种数据传输方法,应用于数据传输***,所述数据传输***包括:终端以及服务器,方法包括:
S101,所述终端获取原始视频,并将所述原始视频中的人物数据与背景数据分离。
当直播的用户需要进行直播时,可以通过终端的图像采集设备采集视频,从而得到终端便可以获取到原始视频,也可以由图像采集设备采集视频,进而图像采集设备将采集到的视频发送中终端,这样终端便可以获取到原始视频,这都是合理的。其中,终端可以为电脑、平板电脑、手机等,在此不做具体限定。
在获取到原始视频后,终端可以将原始视频中的人物数据与背景数据分离,其中,人物数据即原始视频中的直播的用户对应的数据,背景数据即原始视频中直播的用户的实际背景(即绿幕)对应的数据。
在一种实施方式中,可以采用安装于终端的图像处理软件将原始视频中的人物数据与背景数据分离。例如,可以采用安装于终端的vmix(Video Mixer,视频混频器)将原始视频中的人物数据与背景数据分离,vmix可以对原始视频中的人物数据与绿幕背景分离,而得到可以得到人物数据,其中,人物数据中包含alpha信息,alpha信息为不透明度参数,用于后续将人物数据以及预设背景合成。
S102,所述终端提取所述人物数据,得到待合成视频。
为了能够在将原始视频中的人物数据与背景数据分离后,终端可以提取人物数据,将只包含人物数据的视频作为待合成视频。例如,采用vmix将原始视频中的人物数据与背景数据分离之后,可以将只包含人物数据的视频存储,从而得到待合成视频。
S103,所述终端发送所述待合成视频至所述服务器。
S104,所述服务器将所述待合成视频与预设背景合成,得到待处理视频并发送至所述终端。
在得到待合成视频后,为了能够得到待合成视频与预设背景合成后的视频,终端可以发送待合成视频至服务器,这样,服务器便可以将待合成视频与预设背景合成,得到待处理视频。其中,服务器为包含GPU的设备。
在一种实施方式中,可以采用安装于服务器的软件将待合成视频与预设背景合成,例如,可以采用安装于服务器的ue4(Unreal Engine 4,虚幻引擎4)将待合成视频与预设背景合成。
预设背景可以为直播的用户根据直播内容需求预先设置的背景,例如,针对直播销售场景,可以将商品对应的宣传报作为预设背景,以使观看直播的用户在观看直播时,能够更加直观地了解商品,从而提高观看直播的用户观看直播的体验,对商品销量的增加能够起到促进作用。
服务器得到待处理视频后,可以将待处理视频发送至终端。在一种实施方式中,服务器可以将待处理视频返回至发送待合成视频的终端,即终端将待合成视频发送至服务器,进而服务器返回待处理视频至该终端。在另一种实施方式中,服务器可以将待处理视频发送至其他预设的终端。这都是合理的。
S105,所述终端合成所述待处理视频以及预先获取的待处理音频,得到直播音视频。
终端接收到服务器发送的待处理视频后,可以合成待处理视频以及预先获取的待处理音频,从而便可以得到直播音视频。在一种实施方式中,终端可以将待处理视频以及待处理音频的时间轴对齐,从而使主播说话的口型与待处理音频的内容相对应,以便观看直播的用户能够看到音频与视频同步的直播音视频。
作为一种实施方式,为了能够进一步提高观看直播的用户观看直播的体验,终端可以接收待处理信息,并将所述待处理信息添加至直播音视频,其中,待处理信息可以为用户根据实际需求输入至终端的。待处理信息可以包括标题、广告等信息。这都是合理的,在此不作具体限定。
这样,终端便可以在直播音视频增加标题、广告等信息,进而将增加信息后的直播音视频推送至各个直播平台,观看直播的用户便可以看见主播、预设背景以及增加的信息。
由于上述方案不需要直播的用户设置多台电子设备对直播视频进行处理,而是将待合成视频发送至服务器进行合成,能够实现在保证观看直播的用户观看直播体验的前提下,降低绿幕直播的成本。并且直播的用户不需要设置包含GPU的设备,能够降低采购成本,还能够降低现场调试时间,缩短直播接入周期。并且由于可以采用安装于服务器的ue4进行合成,因此负责ue4应用程序与模型数据的异常处理、更新,运维、管理的工程师仅需在服务器端即可,而不需要每个主播都配置对应的工程师,降低了人力消耗。通过设置包含GPU的服务器,能够解耦直播场景中绿幕录制与直播接入多机部署在同一网络的强依赖,可以方便直播的用户在任意地点,通过终端进行直播接入。包含GPU的服务器能够支持不同时段的直播需求,能够降低成本,提升竞争力。
作为本发明的一种实施方式,上述终端可以包括第一终端以及第二终端,其中,第一终端以及第二终端可以为不包含GPU的设备,例如,第一终端以及第二终端可以为电脑、平板电脑、手机等,在此不做具体限定。
在上述终端合成所述待处理视频以及预先获取的待处理音频,得到直播音视频之前,上述方法还可以包括:
第一终端发送待处理音频至第二终端,这样,第二终端便可以获取到待处理音频。进而第二终端在接收到服务器发送的待处理视频后,可以执行上述合成所述待处理视频以及预先获取的待处理音频,得到直播音视频的步骤。
或者,第一终端可以发送待处理音频至服务器,服务器在向第二终端发送待处理视频的情况下,可以向第二终端发送待处理音频,从而第二终端可以执行上述合成所述待处理视频以及预先获取的待处理音频,得到直播音视频的步骤。
这样,当服务器未能将待合成视频与预设背景合成的情况下,也不会将待处理音频发送至第二终端,从而避免观众只能听见声音,而看不见视频的情况,可以进一步提高观看直播的用户观看直播的体验,还可以方便对待处理视频以及待处理音频的管理。
作为本发明的一种实施方式,在上述第一终端发送待处理音频至所述服务器的步骤之前,上述方法还可以包括:
第一终端获取原始音频,其中,第一终端可以通过第一终端的语音采集设备获取原始音频,也可以语音采集设备采集音频,进而语音采集设备将采集到的音频发送至第一终端,这样,第一终端便可以获取到原始音频。这都是合理的。
为了能够获取到满足预设频率条件的音频,第一终端对原始音频进行重采样处理,得到待处理音频,即待处理音频为满足预设频率条件的音频。其中,预设频率条件可以为主播根据实际需求所设置的,重采样处理可以包括上采样处理以及下采样处理。这样,便可以获取到满足预设频率条件的音频,以便后续第一终端可以传输待处理音频,从而使观看直播的用户能够观看直播。
作为本发明的一种实施方式,上述终端可以包括第一终端以及第二终端。
上述终端发送所述待合成视频至所述服务器,可以包括:
所述第一终端基于预先设置的第一推流地址,发送所述待合成视频至服务器,以便后续服务器可以获取待合成视频。在一种实施方式中,直播的用户可以在第一终端输入第一推流地址,这样第一终端便可以获取第一推流地址,进而,第一终端便可以基于预先设置的第一推流地址,发送待合成视频。
作为本发明的一种实施方式,上述服务器将所述待合成视频与预设背景合成,得到待处理视频并发送至所述终端,可以包括:
服务器基于与第一推流地址对应的第一拉流地址,获取待合成视频,并基于预先设置的第二推流地址,发送将待合成视频与预设背景合成所得到待处理视频至第二终端。其中,所述服务器存储有所述第一推流地址与所述第一拉流地址的对应关系。
作为本发明的一种实施方式,在基于预先设置的第二推流地址,发送将所述待合成视频与预设背景合成所得到待处理视频之后,上述方法还可以包括:
第二终端基于与第二推流地址对应的第二拉流地址,获取待处理视频,其中,第二终端存储有第二推流地址与第二拉流地址的对应关系。
直播的用户可以在第一终端输入第一推流地址,这样第一终端便可以获取第一推流地址,进而,第一终端便可以基于预先设置的第一推流地址,发送待合成视频。
例如,直播的用户与可以初始化obs(Open Broadcaster Software,直播录像软件)output插件,进而在obs输入trtc(Tencent Real-Time Communication,腾讯实时音视频)的第一相关参数,即第一推流地址。obs便可以启动推流。
进而,如图2所示,第一终端可以执行如下步骤:
S201,第一终端获取trtc的第一相关参数,其中,第一终端可以基于第一相关参数进入对应的第一房间。
S202,第一终端判断是否进入第一房间。如果否,说明第一终端未进入第一房间,则返回步骤S201;如果是,说明第一终端进入第一房间,则执行步骤S203。
在第一终端进入第一房间失败的情况下,说明第一相参数有误,因此,可以在第一终端显示进入第一房间失败的消息进行报错,以便后续用户输入正确的第一相关参数。
S203,第一终端判断所采集的数据是否为原始音频;如果是原始音频,则执行步骤S204。如果不是原始音频,则执行步骤S205。
在进入第一房间后,第一终端可以通过图像采集设备以及音频采集设备采集对应的数据,或第一终端可以接收图像采集设备以及音频采集设备发送的数据,这都是合理的。
S204,第一终端对原始音频进行重采样处理,并通过第一房间发送待处理音频至服务器。
在第一终端采集到音频的情况下,即第一终端获取到原始音频的情况下,第一终端可以对音频进行重采样处理,进而通过第一房间发送待处理音频至服务器,即基于预先设置的第一推流地址,发送待处理音频。
S205,第一终端对将原始视频中的人物数据与背景数据分离,提取人物数据,得到待合成视频,并通过第一房间将待合成视频发送至服务器。
在采集到视频的情况下,即第一终端获取到原始视频的情况下,可以将原始视频中的人物数据与背景数据分离,提取人物数据,从而获取到待合成视频,进而通过第一房间将待合成视频发送至服务器,即基于预先设置的第一推流地址,发送待合成视频。
服务器可以基于与第一推流地址对应的第一拉流地址,获取终端发送的待合成视频,其中,服务器存储有第一推流地址与第一拉流地址的对应关系。进而基于预先设置的第二推流地址,发送将待合成视频与预设背景合成所得到待处理视频。
例如,服务器对应的用户,可以初始化ue4插件,进而在安装于服务器的ue4输入trtc的第二相关参数,即与第一推流地址对应的第一拉流地址,安装于服务器的ue4便可以启动收流。服务器对应的用户可以在安装于服务器的ue4输入trtc的第三相关参数,即第二推流地址,进而安装于服务器的ue4便可以启动推流。
进而,如图3所示,服务器可以执行如下步骤:
S301,服务器获取trtc的相关参数,其中,服务器获取的trtc的相关参数包括第二相关参数以及第三相关参数,服务器可以基于第二相关参数进入对应的第一房间,服务器可以基于第三相关参数进入对应的第二房间。
S302,服务器判断是否进入第一房间以及第二房间,如果否,说明服务器未进入第一房间和/或第二房间,则返回步骤S301。如果是,则说明服务器进入第一房间以及第二房间,则执行步骤S303。
在服务器未进入第一房间和/或第二房间的情况下,说明第二相关参数或第三相关参数有误,因此,可以在服务器显示进入失败的消息进行报错,以便后续用户基于进入失败的消息,输入正确的且与进入失败的消息对应的trtc的相关参数。
S303,服务器判断第一终端发送的数据是否为待处理音频。如果是待处理音频,则执行步骤S304。如果不是待处理音频,则执行步骤S305。
在进入第一房间以及第二房间后,服务器可以基于通过第一房间接收到的数据,注册音视频收流回调,从而对接收到的数据进行收流回调。
S304,服务器将待处理音频发送至第二房间。
在服务器通过第一房间接收到待处理音频的情况下,且在向第二房间发送待处理视频的情况下,服务器可以将待处理音频发送至第二房间。
S305,服务器将待合成视频与预设背景合成,得到待处理视频,并将待处理视频发送至第二房间。
在服务器通过第一房间接收到待合成视频的情况下,可以复制待合成视频的视频帧,并将复制的待合成视频的视频帧发送至ue4视频处理线程,ue4视频处理线程接收到复制的待合成视频的视频帧后,采用回调函数将复制的待合成视频的视频帧与预设背景合成并存储,得到待处理视频,进而服务器将待处理视频发送至第二房间。
第二终端可以基于与第二推流地址对应的第二拉流地址,获取待处理视频,其中,第二终端存储有第二推流地址与第二拉流地址的对应关系。
例如,直播的用户可以初始化obs source插件,进而在obs输入trtc的第四相关参数,即第二推流地址对应的第二拉流地址,便可以启动收流。
进而,如图4所示,第二终端可以执行如下步骤:
S401,第二终端获取trtc的第四相关参数,其中,第二终端基于第四相关参数可以进入对应的第二房间。
S402,第二终端判断是否进入第二房间。如果否,说明第二终端未进入第二房间,则返回步骤S401;如果是,说明第二终端进入第二房间,则执行步骤S403。
在第二终端进入第二房间失败的情况下,说明第四相关参数有误,因此,可以在第二终端显示进入第二房间失败的消息进行报错,以便后续用户输入正确的第四相关参数。
S403,第二终端判断服务器发送的数据是否为待处理音频;如果是待处理音频,则执行步骤S404。如果不是待处理音频,则执行步骤S405。
S404,第二终端将待处理音频发送至obs core。
S405,第二终端将待处理视频发送至obs core。
在第二终端进入第二房间后,可以将接收到的待处理视频以及待处理音频发送obs core,obs core可以将合成待处理视频以及预先获取的待处理音频,得到直播音视频。obs可以通过虚拟摄像机的方式将直播音视频发送至直播工具,以便观看直播的用户观看直播。
目前obs仅支持基于rtmp(Real Time Messaging Protocol,实时消息传输协议)发送视频,其中,rtmp是基于tcp(Transmission Control Protocol,传输控制协议)的一种音视频传输协议。这种方式发送视频的延迟过高,并且针对4k视频传输延迟无法满足使用需要。以及ue4不具备对接云音视频服务的能力。针对上述问题,本发明在obs中以云音视频私有协议,即udp(User Datagram Protocol,用户数据报协议)方式发送音视频,从而能够降低延迟,针对4k视频传输延迟也可以降低,满足使用需求。本发明在ue4中支持了云音视频接收发送能力,使ue4可以在云端处理视频流数据。
具体地,本发明通过在ue4中集成sdk(Software Development Kit,软件开发工具包),从而使ue4可以快速高效的获取待处理音频以及待处理视频,方便后续直播。
作为一种实施方式,服务器可以采用预设规则对各个终端进行分时复用或分租户复用的方式,从而可以使直播的用户无需部署包含GPU的设备,便可以快速接入昂贵显卡提供的渲染场景的合成能力,能够降低直播成本,而服务器采用预设规则对各个终端进行合成,能够降低服务器的运营成本。
下面对本发明提供的数据传输***进行描述,下文描述的数据传输***与上文描述的一种数据传输方法可相互对应参照。
本发明公开了一种数据传输***,***可以包括终端和服务器,所述终端用于获取原始视频,并将所述原始视频中的人物数据与背景数据分离;提取所述人物数据,得到待合成视频;发送所述待合成视频至所述服务器;在接收到所述服务器发送的待处理视频后,合成所述待处理视频以及预先获取的待处理音频,得到直播音视频。
所述服务器用于接收终端发送的所述待合成视频;将所述待合成视频与预设背景合成,得到所述待处理视频;发送所述待处理视频至所述终端。
作为本发明的一种实施方式,上述终端可以包括第一终端以及第二终端。
上述第一终端,用于在终端合成所述待处理视频以及预先获取的待处理音频,得到直播音视频之前,发送待处理音频至所述服务器。
上述服务器,用于在向所述第二终端发送所述待处理视频的情况下,向所述第二终端发送所述待处理音频。
作为本发明的一种实施方式,上述终端可以包括第一终端以及第二终端;
上述第一终端,用于在终端合成所述待处理视频以及预先获取的待处理音频,得到直播音视频之前,发送待处理音频至所述第二终端。
作为本发明的一种实施方式,上述终端可以包括第一终端以及第二终端;
上述终端,具体用于第一终端基于预先设置的第一推流地址,发送所述待合成视频至所述服务器。
作为本发明的一种实施方式,上述服务器,具体用于基于与所述第一推流地址对应的第一拉流地址,获取所述待合成视频。基于预先设置的第二推流地址,发送将所述待合成视频与预设背景合成所得到待处理视频至所述第二终端。
其中,所述服务器存储有所述第一推流地址与所述第一拉流地址的对应关系。
作为本发明的一种实施方式,上述第二终端,具体用于在基于预先设置的第二推流地址,发送将所述待合成视频与预设背景合成所得到待处理视频之后,基于与所述第二推流地址对应的第二拉流地址,获取所述待处理视频。
其中,所述第二终端存储有所述第二推流地址与所述第二拉流地址的对应关系。
作为本发明的一种实施方式,上述终端,还用于在得到直播音视频后,接收待处理信息,并将所述待处理信息添加至所述直播音视频。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的一种数据传输方法。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的一种数据传输方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种数据传输方法,其特征在于,应用于数据传输***,所述数据传输***包括:终端以及服务器;所述终端包括第一终端以及第二终端;
所述方法包括:
所述第一终端获取trtc的第一相关参数,并基于所述第一相关参数进入第一房间;
所述第一终端获取原始视频,并将所述原始视频中的人物数据与背景数据分离;
所述第一终端提取所述人物数据,得到待合成视频;
所述第一终端通过所述第一房间发送所述待合成视频至所述服务器;
所述服务器获取trtc的第二相关参数和第三相关参数,所述服务器基于所述第二相关参数进入所述第一房间,所述服务器还基于所述第三相关参数进入对应的第二房间,所述服务器通过所述第一房间接收所述待合成视频,将所述待合成视频与预设背景合成,得到待处理视频,并发送至所述第二房间;
所述第二终端获取trtc的第四相关参数,并基于所述第四相关参数进入所述第二房间,并通过所述第二房间接收所述待处理视频,合成所述待处理视频以及预先获取的待处理音频,得到直播音视频;
所述第一相关参数用于表征所述trtc的第一推流地址,所述第二相关参数用于表征所述trtc的第一拉流地址,所述第一推流地址与所述第一拉流地址对应,且所述第一推流地址与所述第一拉流地址的对应关系存储于所述服务器中;
所述第三相关参数用于表征所述trtc的第二推流地址,所述第四相关参数用于表征所述trtc的第二拉流地址,所述第二推流地址和所述第二拉流地址对应,且所述第二推流地址和所述第二拉流地址的对应关系存储于所述第二终端中。
2.根据权利要求1所述的方法,其特征在于,在所述合成所述待处理视频以及预先获取的待处理音频,得到直播音视频之前,所述方法还包括:
所述第一终端发送待处理音频至所述服务器;
在所述服务器向所述第二终端发送所述待处理视频的情况下,所述服务器向所述第二终端发送所述待处理音频。
3.根据权利要求1所述的方法,其特征在于,在所述合成所述待处理视频以及预先获取的待处理音频,得到直播音视频之前,所述方法还包括:
所述第一终端发送待处理音频至所述第二终端。
4.根据权利要求1-3任一项所述的方法,其特征在于,在得到直播音视频后,所述方法还包括:
所述终端接收待处理信息,并将所述待处理信息添加至所述直播音视频。
5.一种数据传输***,其特征在于,所述数据传输***包括:终端以及服务器;所述终端包括第一终端以及第二终端;
所述第一终端,用于获取trtc的第一相关参数,并基于所述第一相关参数进入第一房间;获取原始视频,并将所述原始视频中的人物数据与背景数据分离;提取所述人物数据,得到待合成视频;通过所述第一房间发送所述待合成视频至所述服务器;
所述服务器,用于获取trtc的第二相关参数和第三相关参数,所述服务器基于所述第二相关参数进入所述第一房间,所述服务器还基于所述第三相关参数进入对应的第二房间,所述服务器通过所述第一房间接收所述待合成视频,将所述待合成视频与预设背景合成,得到待处理视频,并发送至所述第二房间;
所述第二终端,用于获取trtc的第四相关参数,并基于所述第四相关参数进入所述第二房间,并通过所述第二房间接收所述待处理视频,合成所述待处理视频以及预先获取的待处理音频,得到直播音视频;
所述第一相关参数用于表征所述trtc的第一推流地址,所述第二相关参数用于表征所述trtc的第一拉流地址,所述第一推流地址与所述第一拉流地址对应,且所述第一推流地址与所述第一拉流地址的对应关系存储于所述服务器中;
所述第三相关参数用于表征所述trtc的第二推流地址,所述第四相关参数用于表征所述trtc的第二拉流地址,所述第二推流地址和所述第二拉流地址对应,且所述第二推流地址和所述第二拉流地址的对应关系存储于所述第二终端中。
6.根据权利要求5所述的***,其特征在于,所述第一终端,还用于发送待处理音频至所述服务器;
所述服务器,用于在向所述第二终端发送所述待处理视频的情况下,向所述第二终端发送所述待处理音频。
7.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据传输方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210981927.2A CN115514989B (zh) | 2022-08-16 | 2022-08-16 | 一种数据传输方法、***及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210981927.2A CN115514989B (zh) | 2022-08-16 | 2022-08-16 | 一种数据传输方法、***及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115514989A CN115514989A (zh) | 2022-12-23 |
CN115514989B true CN115514989B (zh) | 2024-04-09 |
Family
ID=84502811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210981927.2A Active CN115514989B (zh) | 2022-08-16 | 2022-08-16 | 一种数据传输方法、***及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115514989B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116614650A (zh) * | 2023-06-16 | 2023-08-18 | 上海随幻智能科技有限公司 | 音画同步的私域直播方法、***、设备、芯片及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10260808A (ja) * | 1997-03-19 | 1998-09-29 | Agency Of Ind Science & Technol | 映像表示システムおよびその臨場感向上方法 |
CN1411277A (zh) * | 2001-09-26 | 2003-04-16 | Lg电子株式会社 | 视频通信*** |
CN107197139A (zh) * | 2017-04-13 | 2017-09-22 | 深圳电航空技术有限公司 | 全景相机的数据处理方法 |
CN110166794A (zh) * | 2018-04-26 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种直播音频处理方法、装置及*** |
WO2020160563A1 (en) * | 2019-01-22 | 2020-08-06 | MGM Resorts International Operations, Inc. | Systems and methods for customizing and compositing a video feed at a client device |
CN112291238A (zh) * | 2020-10-29 | 2021-01-29 | 腾讯科技(深圳)有限公司 | 一种数据通讯方法、装置、设备以及计算机可读存储介质 |
CN112637614A (zh) * | 2020-11-27 | 2021-04-09 | 深圳市创成微电子有限公司 | 网络直播音视频处理方法、处理器、装置及可读存储介质 |
-
2022
- 2022-08-16 CN CN202210981927.2A patent/CN115514989B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10260808A (ja) * | 1997-03-19 | 1998-09-29 | Agency Of Ind Science & Technol | 映像表示システムおよびその臨場感向上方法 |
CN1411277A (zh) * | 2001-09-26 | 2003-04-16 | Lg电子株式会社 | 视频通信*** |
CN107197139A (zh) * | 2017-04-13 | 2017-09-22 | 深圳电航空技术有限公司 | 全景相机的数据处理方法 |
CN110166794A (zh) * | 2018-04-26 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种直播音频处理方法、装置及*** |
WO2020160563A1 (en) * | 2019-01-22 | 2020-08-06 | MGM Resorts International Operations, Inc. | Systems and methods for customizing and compositing a video feed at a client device |
CN112291238A (zh) * | 2020-10-29 | 2021-01-29 | 腾讯科技(深圳)有限公司 | 一种数据通讯方法、装置、设备以及计算机可读存储介质 |
WO2022089183A1 (zh) * | 2020-10-29 | 2022-05-05 | 腾讯科技(深圳)有限公司 | 数据通讯方法、装置、设备、存储介质及计算机程序产品 |
CN112637614A (zh) * | 2020-11-27 | 2021-04-09 | 深圳市创成微电子有限公司 | 网络直播音视频处理方法、处理器、装置及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115514989A (zh) | 2022-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105991962B (zh) | 连接方法、信息展示方法、装置及*** | |
WO2019205886A1 (zh) | 字幕数据推送方法、字幕展示方法、装置、设备及介质 | |
CN107483460B (zh) | 一种多平台并行导播推流的方法及*** | |
CN110784730B (zh) | 直播视频数据的传输方法、装置、设备和存储介质 | |
EP3562163A1 (en) | Audio-video synthesis method and system | |
CN111010614A (zh) | 一种显示直播字幕的方法、装置、服务器及介质 | |
CN112738540B (zh) | 多设备直播切换方法、装置、***、电子设备和可读存储介质 | |
CN112752114B (zh) | 直播回放互动消息的生成方法、装置、服务器及存储介质 | |
CN112203106B (zh) | 直播教学方法、装置、计算机设备和存储介质 | |
CN111163330A (zh) | 直播视频的渲染方法、装置、***、设备及存储介质 | |
CN112135155B (zh) | 音视频的连麦合流方法、装置、电子设备及存储介质 | |
CN115514989B (zh) | 一种数据传输方法、***及存储介质 | |
CN108965746A (zh) | 视频合成方法及*** | |
CN103841466A (zh) | 屏幕投影方法、计算机端和移动终端 | |
CN112929681A (zh) | 视频流图像渲染方法、装置、计算机设备及存储介质 | |
CN113286190A (zh) | 一种跨网络同屏控制方法、装置和跨网络同屏*** | |
CN108174264B (zh) | 歌词同步显示方法、***、装置、介质及设备 | |
CN111432284A (zh) | 一种多媒体终端的弹幕交互方法及多媒体终端 | |
CN106792244A (zh) | 视频直播方法及装置 | |
CN113259762B (zh) | 音频处理方法及装置、电子设备和计算机可读存储介质 | |
CN111629223A (zh) | 视频同步方法及装置、计算机可读存储介质以及电子设备 | |
CN109842524B (zh) | 自动升级方法、装置、电子设备及计算机可读存储介质 | |
CN112738446B (zh) | 基于线上会议的同声传译方法及*** | |
CN112383794B (zh) | 直播方法、直播***、服务器和计算机存储介质 | |
CN112565799B (zh) | 视频数据处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |