CN110856009B - 网络k歌***、网络k歌的音视频播放方法及相关设备 - Google Patents
网络k歌***、网络k歌的音视频播放方法及相关设备 Download PDFInfo
- Publication number
- CN110856009B CN110856009B CN201911180493.0A CN201911180493A CN110856009B CN 110856009 B CN110856009 B CN 110856009B CN 201911180493 A CN201911180493 A CN 201911180493A CN 110856009 B CN110856009 B CN 110856009B
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- time stamp
- playing
- singing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 138
- 230000008569 process Effects 0.000 claims abstract description 69
- 230000001360 synchronised effect Effects 0.000 claims description 16
- 238000000926 separation method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 3
- 241001342895 Chorus Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2541—Rights Management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
本发明提供一种网络K歌***、网络K歌的音视频播放方法及相关设备,该***中的业务服务器用于当接收到对目标歌曲的演唱指令时,向客户端发送目标歌曲的资源地址;每个客户端用于当接收到业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有目标歌曲的演唱权限;若否,则依据资源地址在CDN服务器中获取目标歌曲对应的视频;当接收到推流服务器发送的目标歌曲在演唱过程中产生的音频及时间戳记录时,播放音频和视频,并按预设的时间间隔,获取音频在播放过程中的音频时间戳;在时间戳记录中确定该音频时间戳对应的目标显示时间戳;依据目标显示时间戳,调整视频的播放进度。本发明能够有效的降低推流服务器的负载,提升用户的体验。
Description
技术领域
本发明涉及音视频处理领域,尤其涉及一种网络K歌***、网络K歌的音视频播放方法及相关设备。
背景技术
近年来,随着网络技术的发展,人们越来越热衷于互联网中丰富多彩的娱乐活动,其中,网络直播深受广大用户的喜爱,人们可以在各个网络直播平台观看内容、形式丰富多彩的直播,观看网络直播已经成为了一部分人生活中重要的放松方式。
经研究发现,现有的网络直播K歌场景下,通常是由唱歌用户的客户端播放携带伴奏的音乐MV,并采集该唱歌用户的音频。唱歌用户的客户端将该音乐MV和音频组成视频流,通过推流服务器发送至各个听歌用户的客户端;然而,通过推流服务器将视频流发送至各个听歌用户的客户端时,会导致推流服务器负载变大,易导致数据的传输不稳定,给用户带来负面体验。
发明内容
本发明所要解决的技术问题是提供一种网络K歌***、网络K歌的音视频播放方法及相关设备,能够有效的降低推流服务器的负载,提升用户的体验。
为了实现上述目的,现提出的方案如下:
一种网络K歌***,包括:
业务服务器、推流服务器及多个客户端;
所述业务服务器,用于当接收到对目标歌曲的演唱指令时,向每个所述客户端发送目标歌曲的资源地址;所述目标歌曲为当前待演唱歌曲;
每个所述客户端,用于在接收到所述目标歌曲的资源地址时,判断是否具有所述目标歌曲的演唱权限,若该客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频,当接收到所述推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳与所述视频的显示时间戳之间的对应关系。
一种网络K歌的音视频播放方法,其特征在于,包括:
当接收到预置的业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有所述目标歌曲的演唱权限,所述目标歌曲为当前待演唱歌曲;
若所述当前客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频;
当接收到预置的推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳与所述视频的显示时间戳之间的对应关系;
在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;
依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放。
上述的方法,可选的,所述目标歌曲对应的视频预先存储在所述CDN服务器中;
所述视频存储至所述CDN服务器的过程,包括:
获取所述目标歌曲对应的音乐视频;
对所述音乐视频中的初始音频与视频画面进行分离,获得所述音乐视频对应的初始音频及未携带音频的视频;
将所述未携带音频的视频存储至所述CDN服务器中。
上述的方法,可选的,在获得所述音乐视频对应的初始音频后,还包括:
判断所述初始音频的音轨类型;
若所述初始音频的音轨类型为多音轨类型,则调用应用预先设置的FFMPEG工具对所述初始音频进行分离,得到所述初始音频中的伴奏音频和原唱音频;
若所述初始音频为单音轨类型,则应用预先设置的人声分离算法对所述初始音频进行分离,得到所述初始音频中的伴奏音频和原唱音频;
将已获取的所述伴奏音频和所述原唱音频与所述视频进行关联存储。
上述的方法,可选的,还包括:
若所述当前客户端具有所述目标歌曲的演唱权限,则依据所述资源地址在所述CDN服务器中获取所述目标歌曲对应的视频及伴奏音频;
在所述当前客户端中播放所述视频及所述伴奏音频,以使所述当前客户端对应的用户依据所述视频以及所述伴奏音频演唱所述目标歌曲;
在所述当前客户端对应的用户演唱所述目标歌曲的过程中,采集演唱所述目标歌曲所产生的音频,并为每个采集时刻采集到的音频分配音频时间戳,并确定每个所述采集时刻对应的所述视频的显示时间戳,将每个所述采集时刻对应的音频时间戳和显示时间戳进行关联,得到时间戳记录;
将采集到的音频及所述时间戳记录发送至所述推流服务器。
上述的方法,可选的,所述确定每个所述采集时刻对应的所述视频的显示时间戳,包括:
确定所述当前客户端的采集延迟时长;
基于所述采集延迟时长,确定每个所述采集时刻对应的所述视频的显示时间戳。
上述的方法,可选的,所述依据所述目标显示时间戳调整所述视频的播放进度,包括:
获取所述视频当前的播放时间戳;
判断所述目标显示时间戳是否大于所述播放时间戳;
若所述目标显示时间戳大于所述播放时间戳,则将当前的播放画面调整为所述视频中与所述目标显示时间戳对应的画面。
上述的方法,可选的,在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳,包括:
依据当前已获取的所述音频时间戳,遍历所述时间戳记录,以获取该音频时间戳对应的显示时间戳;
将该音频时间戳对应的显示时间戳确定为目标显示时间戳。
一种网络K歌的音视频播放装置,包括:
接收单元,用于当接收到预置的业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有所述目标歌曲的演唱权限,所述目标歌曲为当前待演唱歌曲;
获取单元,用于当所述当前客户端不具有所述目标歌曲的演唱权限时,依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频;
播放单元,用于当接收到预置的推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳,与所述视频的显示时间戳之间的对应关系;
确定单元,用于在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;
调整单元,用于依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放。
一种存储介质,其特征在于,所述存储介质包括存储指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如上述的网络K歌的音视频播放方法。
一种电子设备,其特征在于,包括存储器,以及一个或者一个以上的指令,其中一个或一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如上述的网络K歌的音视频播放方法。
与现有技术相比,本发明包括以下优点:
本发明提供的网络K歌***、网络K歌的音视频播放方法及相关设备,该网络K歌***包括业务服务器、推流服务器及多个客户端;所述业务服务器,用于当接收到对目标歌曲的演唱指令时,向每个所述客户端发送目标歌曲的资源地址;所述目标歌曲为当前待演唱歌曲;每个所述客户端,用于在接收到所述目标歌曲的资源地址时,判断是否具有所述目标歌曲的演唱权限,若该客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在所述CDN服务器中获取所述目标歌曲对应的视频,并在接收到推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳与所述视频的显示时间戳之间的对应关系。能够有效的降低推流服务器的负载,提升用户的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种网络K歌***的结构示意图;
图2为本发明提供的一种网络K歌的音视频播放方法的方法流程图;
图3为本发明提供的一种网络K歌的音视频播放方法的又一方法流程图;
图4为本发明提供的一种网络K歌的音视频播放方法的一示例图;
图5为本发明提供的一种网络K歌的音视频播放方法的又一示例图;
图6为本发明提供的一种网络K歌的音视频播放方法的又一方法流程图;
图7为本发明提供的一种网络K歌的音视频播放装置的结构示意图;
图8为本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
参见图1,为本发明提供的网络K歌***的结构示意图,该网络K歌***包括:业务服务器101、推流服务器102及多个客户端103。
业务服务器101和推流服务器102均可以为分别独立的服务器,也可以整合为同一服务器。
客户端103可以为个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
该业务服务器101通过网络与客户端103进行交互,推流服务器102通过网络与客户端103进行交互,CDN服务器104通过网络与客户端103进行交互,本发明实施例涉及的网络为提供通信链路的介质,该网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
所述业务服务器101,用于当接收到对目标歌曲的演唱指令时,向每个所述客户端发送目标歌曲的资源地址;所述目标歌曲为当前待演唱歌曲。
每个所述客户端103,用于在接收到所述目标歌曲的资源地址时,判断是否具有所述目标歌曲的演唱权限,若该客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频,当接收到所述推流服务器102发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳与所述视频的显示时间戳之间的对应关系。
本发明实施例提供的方法中,推流服务器102接收具有演唱权限的客户端发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,将该音频以及时间戳记录向除该具有演唱权限的客户端以外的各个客户端发送该音频以及时间戳记录。
应该理解,图1中的业务服务器、推流服务器以及客户端的数目仅是示意性的,可以根据实际需要进行设定。
应用本发明实施例提供的网络K歌***,能够有效的降低推流服务器的负载,提升用户的体验。
基于上述的网络K歌***,本发明实施例提供了一种网络K歌的音视频播放方法,该方法可以应用于网络K歌***,其执行主体可以为客户端的处理器,所述方法的方法流程图如图2所述,具体包括:
S201:当接收到预置的业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有所述目标歌曲的演唱权限,所述目标歌曲为当前待演唱歌曲。
本发明实施例提供的方法中,可以向业务服务器发送包含目标歌曲ID的请求,业务服务器在接收到请求的情况下,可以依据该请求中的目标歌曲ID,获取目标歌曲的资源地址,并将该资源地址发送至各个客户端,具体的,该演唱权限可以为麦序权限。
S202:若所述当前客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频。
具体的,该资源地址可以包含歌词资源、伴奏资源、视频资源等,通过该资源地址中的视频资源可以获取目标歌曲对应的视频,该视频预先存储于CDN服务器中,该视频为经过预处理的视频,该视频未携带音频信息。
S203:当接收到预置的推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳。
本发明实施例提供的方法中,所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳与所述视频的显示时间戳之间的对应关系,具体的,可以应用音频播放器对音频进行播放,应用视频播放器对该视频进行播放,即,播放音频的播放器和播放视频的播放器各不相同。
其中,该时间间隔的大小可以由技术人员依据实际情况进行设定,例如,可以为1s、5s或10s等。
S204:在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳。
本发明实施例提供的方法中,各个音频时间戳与各个显示时间戳一一对应,即,通过一个音频时间戳可以在时间戳记录中唯一确定一个显示时间戳。
S205:依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放。
具体的,依据目标显示时间戳调整视频的播放进度的一种方式为:确定该目标显示时间戳对应的视频帧,将该视频帧作为当前的播放画面,以实现对该视频的播放进度进行调整,使得音频与视频同步播放。
本发明实施例提供的网络K歌的音视频播放方法,包括:当接收到预置的业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有所述目标歌曲的演唱权限,所述目标歌曲为当前待演唱歌曲;若所述当前客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频;当接收到预置的推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳,与所述视频的显示时间戳之间的对应关系;在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放。能够通过推流服务器接收音频,通过CDN服务器接收视频,能够有效的降低推流服务器的负载,提升用户的体验。
本发明实施例提供的方法中,基于上述的实施过程,具体的,目标歌曲对应的视频预先存储在所述CDN服务器中;
所述视频存储至所述CDN服务器的过程,包括:
获取所述目标歌曲对应的音乐视频;
对所述音乐视频中的初始音频与视频画面进行分离,获得所述音乐视频对应的初始音频及未携带音频的视频;
将所述未携带音频的视频存储至所述CDN服务器中。
本发明实施例提供的方法中,该音乐视频即为MV视频,该音乐视频中包括原唱音频、伴奏音频以及视频画面等,可以通过FFMPEG工具对音乐视频中的初始音频与视频画面进行分离,得到该音乐视频中未携带音频的视频,确定该音乐视频的目标歌曲ID,将该目标歌曲ID与该视频进行关联保存。
具体的,将目标歌曲的视频存储在CDN服务器中,并记录该视频的存储地址,将存储地址作为视频资源,并与歌曲ID关联保存至业务服务器中,当业务服务器接收到任一客户端的点歌请求时,在该点歌请求中获取当前待演奏歌曲的歌曲ID,依据该歌曲ID获取到相应的视频存储地址,将该视频存储地址下发至各个客户端。
本发明实施例提供的方法中,基于上述的实施过程,具体的,在获得所述音乐视频对应的初始音频后,还包括:
判断所述初始音频的音轨类型;
若所述初始音频的音轨类型为多音轨类型,则应用预先设置的FFMPEG工具对所述初始音频进行分离,得到所述初始音频中的伴奏音频和原唱音频;
若所述初始音频为单音轨音频类型,则应用预先设置的人声分离算法对所述初始音频进行分离,得到所述初始音频中的伴奏音频和原唱音频;
将已获取的所述伴奏音频和所述原唱音频与所述视频进行关联存储。
本发明实施例提供的方法中,该初始音频包括伴奏音频和原唱音频,该原唱音频为原唱的人声音频;该伴奏音频和原唱音频可以在同一音轨或不同音频;若该初始音频的音轨类型为单音轨类型,则说明伴奏音频和原唱音频在同一音轨,在这种情况下,可以采用预设的人声分离AI算法对该初始音频进行分离,得到伴奏音频和原唱音频;若该初始音频的音轨类型为多音轨类型,则说明伴奏音频和原唱音频在不同音轨,在这种情况下,可以采用FFMPEG工具对该初始音频进行分离,得到伴奏音频和原唱音频。
具体的,在获取到该音乐视频中包含的伴奏音频和原唱音频之后,将该伴奏音频、原唱音频以及视频存储至CDN服务器,业务服务器记录该伴奏音频、原唱音频以及视频的资源地址,并在用户演唱该资源地址对应的歌曲之前,将该资源地址进行下发,使得用户在演奏过程中,可以选择伴奏模式或原唱模式进行演唱,当用户选择伴奏模式时,具有演唱权限的客户端在CDN服务器中获取伴奏音频以及视频;当用户选择原唱模式时,具有演唱权限的客户端在CDN服务器中获取伴奏音频、原唱音频以及视频,可以满足用户的网络K歌需求。
本发明实施例提供的方法中,基于上述的实施过程,具体的,还包括:
若所述当前客户端具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频及伴奏音频;
在所述当前客户端中播放所述视频及所述伴奏音频,以使所述当前客户端对应的用户依据所述视频以及所述伴奏音频演唱所述目标歌曲;
在所述当前客户端对应的用户演唱所述目标歌曲的过程中,采集演唱所述目标歌曲所产生的音频,并为每个采集时刻采集到的音频分配音频时间戳,并确定每个所述采集时刻对应的所述视频的显示时间戳,将每个所述采集时刻对应的音频时间戳和显示时间戳进行关联,得到时间戳记录;
将采集到的音频及所述时间戳记录发送至所述推流服务器。
本发明实施例提供的方法中,若当前客户端具有该歌曲的演唱权限后,可以确定当前所处的演唱模式,该演唱模式可以为原唱模式或伴奏模式,具体由用户进行设定,若当前所处的演唱模式为原唱模式,则依据资源地址在CDN服务器中获取视频、伴奏音频以及原唱音频,若当前所处的演唱模式为伴唱模式,则依据资源地址在CDN服务器中获取视频以及原唱音频。
其中,将采集到的音频及所述时间戳记录发送至所述推流服务器的方式可以为实时发送,也可以按预设的时间间隔发送,若按一定的时间间隔发送,则需要该时间间隔小于具有演唱权限的客户端与未具有演唱权限的客户端之间的延时时长。
具体的,该显示时间戳为当前时刻正在播放的视频的视频帧的时间戳,通过记录各个采集时刻的音频视频戳和显示时间戳的对应关系,从而得到时间戳记录,将采集到的音频以音频流的形式和该时间戳记录发送至推流服务器,使得推流服务器将该音频流和时间戳记录发送至该客户端当前所处的K歌房间中除该客户端以外的各个客户端中,其中,该客户端当前所处的K歌房间中可以包含多个具有演唱权限的客户端,每一具有演唱权限的客户端均可以将其演奏产生的音频通过推流服务器发送至其余的客户端。
本发明实施例提供的方法中,基于上述的实施过程,具体的,所述确定该采集时刻对应的所述视频的显示时间戳,包括:
确定当前客户端的采集延迟时长;
基于所述采集延迟时长,确定每个所述采集时刻对应的所述视频的显示时间戳。
本发明实施例提供的方法中,用户在视频、伴奏音频播放的同时演唱歌曲,客户端在采集到用户演唱歌曲产生的音频时,采集到的音频与伴奏音频、视频之间会存在延迟,因此需要确定当前客户端的采集延迟时长,基于该采集延迟时长,确定该采集时刻对应的视频的显示时间戳,以保证音频与伴奏音频的节奏对应,还可以依据该采集延迟时长将采集到的音频与伴奏音频进行混合,将混合后的音频通过推流服务器发送至其余的客户端。
本发明实施例提供的方法中,基于上述的实施过程,具体的,所述依据所述目标显示时间戳调整所述视频的播放进度,如图3所示,可以包括:
S301:获取所述视频当前的播放时间戳。
本发明实施例提供的方法中,获取视频当前的播放时间戳的一种方式为:确定该视频当前播放的视频帧,读取该视频帧上的播放时间戳。
S302:判断所述目标显示时间戳是否大于所述播放时间戳。
具体的,若该显示时间戳为[00:12:05],播放时间戳为[00:12:02],则确定该目标显示时间戳大于所述播放时间戳。
S303:若所述目标显示时间戳大于所述播放时间戳,则将当前的播放画面调整为所述视频中与所述目标显示时间戳对应的画面。
其中,在目标显示时间戳大于播放时间戳的情况下,在视频中确定该目标显示时间戳对应的视频帧,即,在该视频中确定与该目标显示时间戳一致的播放时间戳,对该播放时间戳所在的视频帧进行播放。
若所述目标显示时间戳等于所述播放时间戳,则可以不对该视频的播放画面进行调整。
若所述目标显示时间戳小于所述播放时间戳,则可以选择暂停播放该视频,直至新的目标显示时间戳大于等于所述播放时间戳;或,将当前播放画面调整为所述视频中与所述目标显示时间戳对应的画面。
具体的,在目标显示时间戳小于播放时间戳的情况下,调整视频的播放进度的一种方式可以为:先判断该目标显示时间戳与播放时间戳的差值是否大于预设的阈值,若是,则可以直接将当前播放画面调整为所述视频中与所述目标显示时间戳对应的画面,若否,则可以暂停播放该视频,直至新的目标显示时间戳大于等于所述播放时间戳;优选的方式为:直接将播放画面调整为所述视频中与所述目标显示时间戳对应的画面。
应用本发明实施例提供的方法,通过比较显示时间戳与播放时间戳的关系,可以确定该视频的播放进度与该音频的播放进度是否同步,在该显示时间戳大于播放时间戳的情况下,可以确定音频的播放进度快于视频的播放进度;在显示时间戳等于播放时间戳的情况下,可以确定音频的播放进度与视频的播放进度同步;在该显示时间戳小于播放时间戳的情况下,可以确定音频的播放进度慢于视频的播放进度;当视频的播放进度与音频的播放进度不同步时,对该视频的播放进度进行调整,使得该视频的播放进度与音频的播放进度一致。
本发明实施例提供的方法中,基于上述的实施过程,具体的,在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳,包括:
依据当前已获取的所述音频时间戳,遍历所述时间戳记录,以获取该音频时间戳对应的显示时间戳;
将该音频时间戳对应的显示时间戳确定为目标显示时间戳。
本发明实施例提供的方法中,该时间戳记录包含各个音频时间戳与视频的显示时间戳的对应关系,通过当前已获取的音频时间戳,遍历该时间戳记录,即可获取该时间戳对应的显示时间戳。
在本发明提供的一实施例中,为了清楚的说明本发明的实施过程,下面进行举例说明,如图4所示,为本发明提供的一示例图,假定用户1对应的主播端401为当前具有演唱权限的客户端,用户2对应的观众端403为当前未具有演唱权限的客户端,其中,主播端或观众端均可以向业务服务器405发送点歌请求以获取目标歌曲的资源地址,在获取到该资源地址后到CDN服务器404获取相应的歌曲资源。
主播端401在接收到CDN服务器404发送的视频和伴奏音频的情况下,对该视频以及伴奏音频进行播放,并采集用户1在演唱歌曲过程中产生的声音,并为每个采集时刻采集到的音频分配音频时间戳,并确定每个所述采集时刻对应的所述视频的显示时间戳,将每个所述采集时刻对应的音频时间戳和显示时间戳进行关联,得到时间戳记录;将采集到的音频及所述时间戳记录发送至推流服务器402。
观众端403接收CDN服务器404发送的视频,并在接收到推流服务器402发送的用户1在演唱目标歌曲产生的音频以及时间戳记录时,播放音频和视频,并按预设的时间间隔,获取音频在播放过程中的音频时间戳;在该时间戳记录中,确定当前已获取的音频时间戳对应的目标显示时间戳;依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放。
其中,主播端的数量可以为一个或多个,在主播端的数量为多个的情况下,每一主播端均可以采集其对应的用户在演唱目标歌曲过程中产生的音频,将采集到的音频通过推流服务器发送至其余的主播端,任一主播端在接收到推流服务器发送的音频时,将该音频与当前播放的伴奏音频进行混合播放,观众端在接收到各个主播端通过推流服务器发送的音频及时间戳记录时,将各个音频按第一预设的方式进行混合,得到合唱音频,将各个时间戳记录按第二预设的方式进行混合,得到该合唱音频对应的时间戳记录。
如图5所示,为本发明提供的又一示例图,示出了客户端在K歌过程中的一种显示界面,其中,多个客户端处于同一K歌房间中,当前未具有演唱权限的客户端接收当前具有演唱权限的客户端通过推流服务器发送的音频,在CDN服务器中获取视频,在当前未具有演唱权限的客户端中,通过时间戳记录同步播放该音频以及视频,其中,各个客户端可以排队等待歌曲演唱权限,在排队过程中,可以发送点歌请求,以获取该点歌请求相关的资源地址,并在用户开始演唱前,通过该资源地址获取伴奏音频、歌曲和视频等歌曲资源,将获取到的歌曲资源进行播放,以使用户依据获取到的歌曲资源演唱该用户所点的歌曲。
在本发明提供的一实施例中,如图6所示,为本发明提供的又一种网络K歌的音视频播放方法的方法流程图,具体包括:
S501:服务器对MV中包含的视频和初始音频进行分离。
其中,可以通过ffmpeng工具将MV中包含的视频以及初始音频进行分离,初始音频中包含伴奏音频以及原唱音频。
S502:判断初始音频中音轨类型是否为单音轨类型;若是,则执行步骤S503,若否,则执行步骤S504;
具体的,若该初始音频中的原唱音频以及伴奏音频处于同一音轨,则该初始音频的音轨类型为单音轨类型,若该初始音频中的原唱音频以及伴奏音频处于不同音轨,则该初始音频的音轨类型为多音轨类型。
S503:通过AI的方式进行人声分离,即,通过AI算法对该初始音频进行分离,得到该初始音频的伴奏音频以及原唱音频。
S504:通过ffmpeng工具对进行初始音频进行分离,得到该初始音频的伴奏音频以及原唱音频。
S505:用户选择对应的歌曲;具体的,用户可以通过其对应的客户端向业务服务器发送点歌请求,以选择想要演唱的歌曲。
S506:业务服务器根据歌曲ID获取伴奏音频、视频、原唱音频的资源链接,其中,业务服务器依据客户端发送的点歌请求中包含的歌曲ID获取该歌曲的资源链接。
S507:客户端可以应用播放器对通过资源链接获取到的资源进行播放。
S508:判断当前客户端是否为主播端,若是,则执行S509,若否,则执行S512。
其中,若当前客户端具有演唱权限,则说明当前客户端为主播端,若当前客户端不具有演唱权限,则说明当前客户端为观众端。
S509:主播端进入演唱状态,主播开始唱歌,具体的,主播端进入演唱状态时,实时采集主播在演唱歌曲产生的音频,得到音频流。
S510:获取各个唱歌时刻对应的MV的播放时间戳,以得到时间戳记录。
其中,该时间戳记录为每个唱歌时刻采集到的音频的音频时间戳与播放时间戳之间的对应关系。
S511:通过推流服务器传递音频流及时间戳记录给观众端。
S512:观众端依据音频时间戳对MV播放器的播放进度进行调整,以使音视频同步播放。其中,观众端获取到音频流时,会解出对应的时间戳信息,根据主播端的音频在播放时对应的MV的时间戳,调整观众端的MV播放的进度,进而达到MV播放的视频与主播的音频同步播放。
上述各个具体的实现方式,及各个实现方式的衍生过程,均在本发明保护范围内。
与图1所述的方法相对应,本发明实施例还提供了一种网络K歌的音视频播放装置,用于对图1中方法的具体实现,本发明实施例提供的网络K歌的音视频播放装置可以应用计算机终端或各种移动设备中,其结构示意图如图7所示,具体包括:
接收单元601,用于当接收到预置的业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有所述目标歌曲的演唱权限,所述目标歌曲为当前待演唱歌曲;
获取单元602,用于当所述当前客户端不具有所述目标歌曲的演唱权限时,依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频;
播放单元603,用于当接收到预置的推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳,与所述视频的显示时间戳之间的对应关系;
确定单元604,用于在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;
调整单元605,用于依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放。
本发明实施例提供的网络K歌的音视频播放装置,当接收到预置的业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有所述目标歌曲的演唱权限,所述目标歌曲为当前待演唱歌曲;若所述当前客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频;当接收到预置的推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳,与所述视频的显示时间戳之间的对应关系;在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放。能够通过推流服务器接收音频,通过CDN服务器接收视频,能够有效的降低推流服务器的负载,提升用户的体验。
在本发明提供的一实施例中,基于上述的方案,具体的,所述网络K歌的音视频播放装置,还包括:
存储单元,用于获取所述目标歌曲对应的音乐视频,按预先设置的分离方式,对所述音乐视频中的初始音频与视频画面进行分离,得到所述音乐视频对应的未携带音频的视频,将所述视频存储至CDN服务器中。
在本发明提供的一实施例中,基于上述的方案,具体的,所述存储单元,还包括:
第一判断子单元,用于判断所述初始音频的音轨类型;
第一分离单元,用于当所述初始音频的音轨类型为多音轨类型时,应用预先设置的FFMPEG工具对所述初始音频进行分离,得到所述初始音频中的伴奏音频和原唱音频;
第二分离单元,用于当所述初始音频为单音轨音频类型时,应用预先设置的人声分离算法对所述初始音频进行分离,得到伴奏音频和原唱音频;将已获取的伴奏音频和所述原唱音频与所述视频进行关联存储。
在本发明提供的一实施例中,基于上述的方案,具体的,所述网络K歌的音视频播放装置,还包括:
第二获取单元,用于当所述当前客户端具有所述目标歌曲的演唱权限时,依据所述资源地址在所述CDN服务器中获取所述目标歌曲对应的视频及伴奏音频;
第二播放单元,用于播放在所述当前客户端中播放所述视频及所述伴奏音频,以使所述当前客户端对应的用户依据所述视频以及所述伴奏音频演唱所述目标歌曲;
采集单元,用于在所述当前客户端对应的用户演唱所述目标歌曲的过程中,采集演唱所述目标歌曲所产生的音频,并为每个采集时刻采集到的音频分配音频时间戳,并确定每个所述采集时刻对应的所述视频的显示时间戳,将每个所述采集时刻对应的音频时间戳和显示时间戳进行关联,得到时间戳记录;
发送单元,用于将采集到的音频及所述时间戳记录发送至所述推流服务器。
在本发明提供的一实施例中,基于上述的方案,具体的,所述采集单元,包括:
第一确定子单元,用于确定当前客户端的采集延迟时长;
第二确定子单元,用于依据所述采集延迟时长,确定该采集时刻对应的所述视频的显示时间戳。
在本发明提供的一实施例中,基于上述的方案,具体的,所述确定单元604,包括:
查询子单元,用于依据当前已获取的音频时间戳,遍历所述时间戳记录,以获取该音频时间戳对应的显示时间戳;
第三确定子单元,用于将该音频时间戳对应的显示时间戳确定为目标显示时间戳。
在本发明提供的一实施例中,基于上述的方案,具体的,所述调整单元605,包括:
获取所述视频当前的播放时间戳;
判断所述目标显示时间戳是否大于所述播放时间戳;
若所述目标显示时间戳大于所述播放时间戳,则将当前的播放画面调整为所述视频中与所述目标显示时间戳对应的画面。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述的网络K歌的音视频播放方法。
本发明实施例还提供了一种电子设备,其结构示意图如图8所示,具体包括存储器701,以及一个或者一个以上的指令702,其中一个或者一个以上指令702存储于存储器701中,且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令702进行以下操作:
当接收到预置的业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有所述目标歌曲的演唱权限,所述目标歌曲为当前待演唱歌曲;
若所述当前客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频;
当接收到预置的推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳与所述视频的显示时间戳之间的对应关系;
在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;
依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种网络K歌的音视频播放方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种网络K歌***,其特征在于,包括:
业务服务器、推流服务器及多个客户端;
所述业务服务器,用于当接收到对目标歌曲的演唱指令时,向每个所述客户端发送目标歌曲的资源地址;所述目标歌曲为当前待演唱歌曲;
每个所述客户端,用于在接收到所述目标歌曲的资源地址时,判断是否具有所述目标歌曲的演唱权限,若该客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频,当接收到所述推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳与所述视频的显示时间戳之间的对应关系;
其中,所述音频由具有演唱权限的客户端依据其采集延时时长对采集到的音频以及所述目标歌曲的伴奏音频进行混合得到;
其中,依据所述目标显示时间戳,调整所述视频的播放进度,包括:确定该目标显示时间戳对应的视频帧,将该视频帧作为当前的播放画面,以实现对该视频的播放进度进行调整。
2.一种网络K歌的音视频播放方法,其特征在于,包括:
当接收到预置的业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有所述目标歌曲的演唱权限,所述目标歌曲为当前待演唱歌曲;
若所述当前客户端不具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频;
当接收到预置的推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳与所述视频的显示时间戳之间的对应关系;
在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;
依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放;
其中,所述音频由具有演唱权限的客户端依据其采集延时时长对采集到的音频以及所述目标歌曲的伴奏音频进行混合得到;
其中,依据所述目标显示时间戳,调整所述视频的播放进度,包括:确定该目标显示时间戳对应的视频帧,将该视频帧作为当前的播放画面,以实现对该视频的播放进度进行调整。
3.根据权利要求2所述的方法,其特征在于,所述目标歌曲对应的视频预先存储在所述CDN服务器中;
所述视频存储至所述CDN服务器的过程,包括:
获取所述目标歌曲对应的音乐视频;
对所述音乐视频中的初始音频与视频画面进行分离,获得所述音乐视频对应的初始音频及未携带音频的视频;
将所述未携带音频的视频存储至所述CDN服务器中。
4.根据权利要求3所述的方法,其特征在于,在获得所述音乐视频对应的初始音频后,还包括:
判断所述初始音频的音轨类型;
若所述初始音频的音轨类型为多音轨类型,则应用预先设置的FFMPEG工具对所述初始音频进行分离,得到所述初始音频中的伴奏音频和原唱音频;
若所述初始音频为单音轨类型,则应用预先设置的人声分离算法对所述初始音频进行分离,得到所述初始音频中的伴奏音频和原唱音频;
将已获取的所述伴奏音频和所述原唱音频与所述视频进行关联存储。
5.根据权利要求2所述的方法,其特征在于,还包括:
若所述当前客户端具有所述目标歌曲的演唱权限,则依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频及伴奏音频;
在所述当前客户端中播放所述视频及所述伴奏音频,以使所述当前客户端对应的用户依据所述视频以及所述伴奏音频演唱所述目标歌曲;
在所述当前客户端对应的用户演唱所述目标歌曲的过程中,采集演唱所述目标歌曲所产生的音频,并为每个采集时刻采集到的音频分配音频时间戳,并确定每个所述采集时刻对应的所述视频的显示时间戳,将每个所述采集时刻对应的音频时间戳和显示时间戳进行关联,得到时间戳记录;
将采集到的音频及所述时间戳记录发送至所述推流服务器。
6.根据权利要求5所述的方法,其特征在于,所述确定每个所述采集时刻对应的所述视频的显示时间戳,包括:
确定所述当前客户端的采集延迟时长;
基于所述采集延迟时长,确定每个所述采集时刻对应的所述视频的显示时间戳。
7.根据权利要求2所述的方法,其特征在于,所述依据所述目标显示时间戳调整所述视频的播放进度,包括:
获取所述视频当前的播放时间戳;
判断所述目标显示时间戳是否大于所述播放时间戳;
若所述目标显示时间戳大于所述播放时间戳,则将当前的播放画面调整为所述视频中与所述目标显示时间戳对应的画面。
8.根据权利要求2所述的方法,其特征在于,在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳,包括:
依据当前已获取的所述音频时间戳,遍历所述时间戳记录,以获取该音频时间戳对应的显示时间戳;
将该音频时间戳对应的显示时间戳确定为目标显示时间戳。
9.一种网络K歌的音视频播放装置,其特征在于,包括:
接收单元,用于当接收到预置的业务服务器发送的目标歌曲的资源地址时,判断当前客户端是否具有所述目标歌曲的演唱权限,所述目标歌曲为当前待演唱歌曲;
获取单元,用于当所述当前客户端不具有所述目标歌曲的演唱权限时,依据所述资源地址在预置的CDN服务器中获取所述目标歌曲对应的视频;
播放单元,用于当接收到预置的推流服务器发送的所述目标歌曲在演唱过程中产生的音频及时间戳记录时,播放所述音频和所述视频,并按预设的时间间隔,获取所述音频在播放过程中的音频时间戳;所述时间戳记录包括所述目标歌曲在播放过程中的各个音频时间戳,与所述视频的显示时间戳之间的对应关系;
确定单元,用于在所述时间戳记录中,确定当前已获取的所述音频时间戳对应的目标显示时间戳;
调整单元,用于依据所述目标显示时间戳,调整所述视频的播放进度,以实现所述音频与所述视频的同步播放;
其中,所述音频由具有演唱权限的客户端依据其采集延时时长对采集到的音频以及所述目标歌曲的伴奏音频进行混合得到;
其中,依据所述目标显示时间戳,调整所述视频的播放进度,包括:确定该目标显示时间戳对应的视频帧,将该视频帧作为当前的播放画面,以实现对该视频的播放进度进行调整。
10.一种存储介质,其特征在于,所述存储介质包括存储指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如权利要求2~8任意一项所述的网络K歌的音视频播放方法。
11.一种电子设备,其特征在于,包括存储器,以及一个或者一个以上的指令,其中一个或一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如权利要求2~8任意一项所述的网络K歌的音视频播放方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911180493.0A CN110856009B (zh) | 2019-11-27 | 2019-11-27 | 网络k歌***、网络k歌的音视频播放方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911180493.0A CN110856009B (zh) | 2019-11-27 | 2019-11-27 | 网络k歌***、网络k歌的音视频播放方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110856009A CN110856009A (zh) | 2020-02-28 |
CN110856009B true CN110856009B (zh) | 2021-02-26 |
Family
ID=69605162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911180493.0A Active CN110856009B (zh) | 2019-11-27 | 2019-11-27 | 网络k歌***、网络k歌的音视频播放方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110856009B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113747217A (zh) * | 2020-05-29 | 2021-12-03 | 聚好看科技股份有限公司 | 显示设备及提升合唱速度的方法 |
CN112489611A (zh) * | 2020-11-27 | 2021-03-12 | 腾讯音乐娱乐科技(深圳)有限公司 | 线上歌房实现方法及电子设备和计算机可读存储介质 |
CN113286183B (zh) * | 2021-05-10 | 2022-11-01 | 小叶子(北京)科技有限公司 | 演奏过程与曲谱同步显示的方法、装置、设备及存储介质 |
CN114466241A (zh) * | 2022-01-27 | 2022-05-10 | 海信视像科技股份有限公司 | 显示设备及音频处理方法 |
CN115412757A (zh) * | 2022-08-31 | 2022-11-29 | 海宁奕斯伟集成电路设计有限公司 | 视频播放方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4155185B2 (ja) * | 2003-12-11 | 2008-09-24 | 日本ビクター株式会社 | コンテンツ配信方法、コンテンツ配信サーバ、およびコンテンツ受信装置 |
CN104618786A (zh) * | 2014-12-22 | 2015-05-13 | 深圳市腾讯计算机***有限公司 | 音视频同步方法和装置 |
CN107124622A (zh) * | 2017-04-14 | 2017-09-01 | 武汉鲨鱼网络直播技术有限公司 | 一种音视频合流压制***及方法 |
CN109033335A (zh) * | 2018-07-20 | 2018-12-18 | 广州酷狗计算机科技有限公司 | 音频录制方法、装置、终端及存储介质 |
CN110264986A (zh) * | 2019-03-29 | 2019-09-20 | 深圳市即构科技有限公司 | 在线k歌装置、方法及计算机可读存储介质 |
-
2019
- 2019-11-27 CN CN201911180493.0A patent/CN110856009B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4155185B2 (ja) * | 2003-12-11 | 2008-09-24 | 日本ビクター株式会社 | コンテンツ配信方法、コンテンツ配信サーバ、およびコンテンツ受信装置 |
CN104618786A (zh) * | 2014-12-22 | 2015-05-13 | 深圳市腾讯计算机***有限公司 | 音视频同步方法和装置 |
CN107124622A (zh) * | 2017-04-14 | 2017-09-01 | 武汉鲨鱼网络直播技术有限公司 | 一种音视频合流压制***及方法 |
CN109033335A (zh) * | 2018-07-20 | 2018-12-18 | 广州酷狗计算机科技有限公司 | 音频录制方法、装置、终端及存储介质 |
CN110264986A (zh) * | 2019-03-29 | 2019-09-20 | 深圳市即构科技有限公司 | 在线k歌装置、方法及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110856009A (zh) | 2020-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110856009B (zh) | 网络k歌***、网络k歌的音视频播放方法及相关设备 | |
CN110944226B (zh) | 网络k歌***、k歌场景下的歌词显示方法及相关设备 | |
US11330316B2 (en) | Media streaming | |
CN105120304B (zh) | 信息显示方法、装置及*** | |
CN107027050B (zh) | 辅助直播的音视频处理方法及装置 | |
WO2020093883A1 (zh) | 获取视频片段的方法、装置、服务器和存储介质 | |
CN110910860B (zh) | 线上ktv实现方法、装置、电子设备及存储介质 | |
CN104023250B (zh) | 基于流媒体的实时互动方法和*** | |
US20090043870A1 (en) | Method and apparatus for identifying media content presented on a media playing device | |
CN104869467A (zh) | 媒体播放中的信息输出方法、装置和*** | |
CN102170591A (zh) | 内容播放装置 | |
CN102959544A (zh) | 用于同步媒体的方法和*** | |
CN109842804A (zh) | 音视频数据的处理方法及服务器、计算机存储介质 | |
WO2017045590A1 (zh) | 一种多媒体信息交互方法及*** | |
CN110536147B (zh) | 直播处理的方法、装置及*** | |
CN104168505B (zh) | 一种客户端播放控制方法及客户端 | |
CN111787353A (zh) | 多方音频的处理方法、装置、电子设备及存储介质 | |
Suzuki et al. | AnnoTone: Record-time audio watermarking for context-aware video editing | |
KR20190143599A (ko) | 이차원 코드를 기반으로 방송 서비스 서버와 접속하여 개인 방송을 가능하게 하는 노래반주기 및 그 동작 방법 | |
CN111741333B (zh) | 直播数据获取方法、装置、计算机设备及存储介质 | |
CN108196817B (zh) | 音频识别方法、装置及存储介质 | |
KR102452069B1 (ko) | 방송 동기화를 통한 서비스 제공 방법 | |
US20230291954A1 (en) | Stadium videograph | |
WO2022244364A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
CN112584180B (zh) | 基于点唱终端设备的直播方法、装置和点唱终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200228 Assignee: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Assignor: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. Contract record no.: X2021440000030 Denomination of invention: Network karaoke system, audio and video playing method of network karaoke and related equipment License type: Common License Record date: 20210125 |
|
GR01 | Patent grant | ||
GR01 | Patent grant |