发明内容
本发明实施例所要解决的技术问题在于,提供一种更快捷,更实时的制作及展示多媒体资源的方法:用户上传一组多媒体资源(如:照片或小视频),并指定背景音乐,***自动加载音乐、歌词字幕播放,并同时按预设显示方案播放用户上传的多媒体资源,该方法实现了多媒体MV制作与显示同步,同时,免除了用户手动制作包含多媒体资源的视频的繁琐步骤,更方便快捷的实现制作含多媒体资源的视频及分享视频。
为了解决上述技术问题,本发明提供了一种技术方案,用户指定需要显示的多媒体资源,以及音乐和歌词文件,***将实时播放音乐,并在显示终端播放多媒体资源并显示歌词文件。
具体技术方案为:一种在歌曲演唱中展示多媒体资源的方法,包括以下步骤:
实时获取歌曲的音频数据通过音频输出设备进行播放,所述音频数据为演唱音频,或演唱音频及歌曲伴奏音频的混合音频;
数字视听终端同步实时获取多媒体资源,并发送到显示终端;
在显示终端显示多媒体资源,并同步加载显示歌曲对应的歌词。
还包括实时获取歌曲对应的视频数据在显示终端进行显示的步骤,所述多媒体资源实时叠加显示在所述视频数据上。
进一步地,所述多媒体资源具体为以下一种或多种的结合:照片、图片、动画、视频、文字。
进一步地,所述数字视听终端同步实时获取多媒体资源的步骤包括:从移动终端选择要上传的多媒体资源。
所述在歌曲演唱中展示多媒体资源的方法,可以包括以下三种:
(一)当所述数字视听终端为场所的包厢终端,通过3G、4G网络应用在公共演唱场所,具体包括步骤:
所述在歌曲演唱中展示多媒体资源的方法具体为:
移动终端绑定场所包厢终端,获取场所及包厢终端ID,并与云端服务器建立连接;
从云端服务器或场所服务器获取曲库信息并选定播放歌曲;
从移动终端选择要上传的多媒体资源;
将包含多媒体资源、播放歌曲ID、场所及包厢终端ID的资源包发送到云端服务端,云端服务器接收后将资源包转发到场所服务器;
场所服务器接收并保存资源包,并将资源存储路径与播放歌曲ID发送到对应场所包厢终端;
包厢终端播放对应歌曲,并在显示终端显示多媒体资源,并同步加载显示歌曲对应的歌词。
进一步地,若场所服务器解压资源包失败,返回错误信息给移动终端。
进一步地,所述包厢终端实时播放对应歌曲,并在显示终端显示多媒体资源,具体包括:
将显示终端的显示图层从下到上分4层:音乐视频MV层、MV背景层、多媒体资源层、歌词字幕层;播放时按照歌词字幕层、多媒体资源层、MV背景层、音乐视频MV层依次叠加顺序播放。
进一步地,播放时,将MV背景层作为蒙版填充为半透明黑色蒙版。
进一步地,包厢终端内预设多个多媒体资源显示方案,每个多媒体资源显示方案指定需要的多媒体资源帧,每一个多媒体资源填充一个多媒体资源帧显示,该多媒体显示方案显示完后随机获取下一个显示方案,显示过程中,多媒体资源循环播放。
进一步地,选定歌曲播放前,加载歌词字幕文件,选定歌曲播放时,根据歌曲播放时间同步显示歌词字幕。
进一步地,播放选定歌曲时,包厢终端记录多媒体资源显示方案的显示顺序及每个多媒体资源显示方案对应的多媒体资源,歌曲播放结束后场所服务器保存该记录脚本。
进一步地,还包括多媒体资源的分享步骤,具体为:
在歌曲播放和多媒体资源显示结束后,场所服务器生成分享特征ID;
用户通过包厢终端获取分享特征ID,并由包厢终端向场所服务器发送上传指令;
场所服务器将演唱录音、多媒体资源包、记录脚本做为分享资源上传到云端服务器,云端服务器生成分享路径。
进一步地,还包括网页端,所述网页端通过分享路径访问云端服务器,在网页端使用播放器分享资源,或下载分享资源。
(二)当所述数字视听终端为场所的包厢终端,通过Wi-Fi网络应用在公共演唱场所,具体包括步骤:
移动终端绑定场所包厢,获取包厢终端ID,与云端服务器建立连接;
移动终端从场所服务器获取曲库信息并选定播放歌曲;
从移动终端选择要上传的多媒体资源;
将包含多媒体资源、播放歌曲ID,包厢终端ID的资源包发送到场所服务器;
场所服务器接收并保存资源,然后将对应资源存储路径及歌曲ID发送到对应的场所包厢终端;
包厢终端播放对应歌曲,并在显示终端展示多媒体资源,并同步加载显示歌曲对应的歌词。
进一步地,若场所服务器解压资源包失败,返回错误信息给移动终端。
进一步地,所述包厢终端实时播放对应歌曲,并在显示终端显示多媒体资源,具体包括:
将显示终端的显示图层从下到上分4层:音乐视频MV层、MV背景层、多媒体资源层、歌词字幕层;播放时按照歌词字幕层、多媒体资源层、MV背景层、音乐视频MV层依次叠加顺序播放。
进一步地,播放时,将MV背景层作为蒙版填充为半透明黑色蒙版。
进一步地,包厢终端或场所服务器内预设多个多媒体资源显示方案,每个多媒体资源显示方案指定需要的多媒体资源帧,每一个多媒体资源填充一个多媒体资源帧显示,该多媒体显示方案显示完后随机获取下一个显示方案,显示过程中,多媒体资源循环播放。
进一步地,选定歌曲播放前,加载歌词字幕文件,选定歌曲播放时,根据歌曲播放时间同步显示歌词字幕。
进一步地,播放选定歌曲时,包厢终端记录多媒体资源显示方案的显示顺序及每个多媒体资源显示方案对应的多媒体资源,歌曲播放结束后场所服务器保存该记录脚本。
进一步地,还包括多媒体资源的分享步骤,具体为:
在歌曲播放和多媒体资源显示结束后,场所服务器生成分享特征ID;
用户通过包厢终端获取分享特征ID,并由包厢终端向场所服务器发送上传指令;
场所服务器将演唱录音、多媒体资源包、记录脚本做为分享资源上传到云端服务器,云端服务器生成分享路径。
进一步地,还包括网页端,所述网页端通过分享路径访问云端服务器,在网页端使用播放器分享资源,或下载分享资源。
进一步地,若将资源包发送到场所服务器失败,则将所述资源包发送到云端服务器;云端服务器接收完成后,解析场所及包厢终端ID,转发到指定场所服务器。
(三)当所述数字视听终端为家庭播放设备,通过Wi-Fi网络应用在家庭播放设备,具体包括步骤:
移动终端绑定家庭播放设备,获取家庭播放设备ID,与云端服务器建立连接;
移动终端从云端服务器获取歌曲列表并选定播放歌曲;
从移动终端选择要上传的多媒体资源;
将包含多媒体资源、歌曲ID、家庭播放设备ID的资源包发送到云服务器;
家庭播放设备获取资源包,播放对应歌曲,并在显示终端展示多媒体资源,并同步加载显示歌曲对应的歌词。
进一步地,所述家庭播放设备实时播放对应歌曲,并在显示终端显示多媒体资源,具体包括:
将显示终端的显示图层从下到上分4层:音乐视频MV层、MV背景层、多媒体资源层、歌词字幕层;播放时按照歌词字幕层、多媒体资源层、MV背景层、音乐视频MV层依次叠加顺序播放。
进一步地,播放时,将MV背景层作为蒙版填充为半透明黑色蒙版。
进一步地,家庭播放设备内预设多个多媒体资源显示方案,每个多媒体资源显示方案指定需要的多媒体资源帧,每一个多媒体资源填充一个多媒体资源帧显示,该多媒体显示方案显示完后随机获取下一个显示方案,显示过程中,多媒体资源循环播放。
进一步地,选定歌曲播放前,加载歌词字幕文件,选定歌曲播放时,根据歌曲播放时间同步显示歌词字幕。
进一步地,播放选定歌曲时,家庭播放设备记录多媒体资源显示方案的显示顺序及每个多媒体资源显示方案对应的多媒体资源,歌曲播放结束后家庭播放设备保存该记录脚本。
进一步地,还包括多媒体资源的分享步骤,具体为:
在歌曲播放和多媒体资源显示结束后,家庭播放设备生成分享ID;
用户从家庭播放设备获取分享ID,并由家庭播放设备将演唱录音、记录脚本做为分享资源上传到云端服务器,云端服务器根据家庭播放设备ID,将演唱录音、多媒体资源包、演唱歌曲文件根据记录脚本制作成分享文件,并生成分享路径
进一步地,还包括网页端,所述网页端通过分享路径访问云端服务器,在网页端使用播放器分享资源,或下载分享资源。
相应地,本发明还提供一种在歌曲演唱中展示多媒体资源的装置,包括:
音频获取单元,用于实时获取歌曲的音频数据通过音频输出设备进行播放,所述音频数据为演唱音频,或演唱音频及歌曲伴奏音频的混合音频;
多媒体资源获取单元,用于数字视听终端同步实时获取多媒体资源,并发送到显示终端;
显示单元,用于在显示终端显示多媒体资源,并同步加载显示歌曲对应的歌词。
进一步地,还包括视频获取单元,用于实时获取歌曲对应的视频数据在显示终端进行显示的步骤,所述多媒体资源实时叠加显示在所述视频数据上。
相应地,本发明还提供一种在歌曲演唱中展示多媒体资源的***,可以包括以下两种技术方案来实现:
(一)应用在公共演唱场所时技术方案如下:
移动终端,分别与包厢终端、场所服务器和云端服务器建立数据连接,用于绑定包厢终端并获取场所及包厢终端ID,并向云端服务器或场所服务器发送包含多媒体资源、播放歌曲ID、场所及包厢终端ID的资源包;从云端服务器或场所服务器获取曲库信息并选定播放歌曲;
包厢终端,分别与移动终端和场所服务器建立数据连接,用于从场所服务器获取资源存储路径与歌曲ID、多媒体资源,向移动终端发送场所及包厢终端ID;实时播放对应歌曲,并控制显示终端显示多媒体资源;
场所服务器,分别与包厢终端、移动终端和云端服务器建立数据连接,用于接收移动终端或者云端服务器发送的资源包,并将资源存储路径与歌曲ID发送到对应包厢终端;
云端服务器,分别与移动终端和场所服务器建立数据连接,用于接收移动终端发送的场所及包厢终端ID、多媒体资源,并转发到指定的场所服务器。
进一步地,所述场所服务器在歌曲播放和多媒体资源显示结束后,生成分享ID;用户通过包厢终端获取分享ID,并由包厢终端向场所服务器发送上传指令;场所服务器将演唱录音、多媒体资源包、播放过程的记录脚本上传到云端服务器,云端服务器生成分享路径。
(二)应用在家庭娱乐演唱场所时技术方案如下:
移动终端,分别与家庭播放设备和云端服务器建立数据连接,用于绑定家庭播放设备,并向云端服务器发送包含多媒体资源、播放歌曲ID的资源包;从云端服务器获取曲库信息并选定播放歌曲;
家庭播放设备,分别与移动终端和云端服务器建立数据连接,用于从云端服务器获取资源存储路径与歌曲ID、多媒体资源;实时播放对应歌曲,并在显示终端显示多媒体资源;
云端服务器,与移动终端建立数据连接,用于接收移动终端发送的多媒体资源。
进一步地,所述场所服务器在歌曲播放和多媒体资源显示结束后,生成分享ID;用户从家庭播放设备获取分享ID,并由家庭播放设备将演唱录音、记录脚本做为分享资源上传到云端服务器,云端服务器根据家庭播放设备ID,将演唱录音、多媒体资源包、演唱歌曲文件根据记录脚本制作成分享文件,并生成分享路径。
本发明所采用的技术方案可以具体应用到数字视听场所中,如KTV场所,用户通过手机端传输多媒体资源(例如照片)到场所服务器或云端服务器,并从场所服务器或云端服务器的歌曲数据库中播放指定歌曲MV,同时使用音频输入设备录音,实时制作包含多媒体资源的视频。
移动终端将要演唱的歌曲信息及多媒体资源通过无线网络,例如3G、4G网络打包发送到云端服务器,云端服务器再转发资源包到场所服务器;另外,移动终端还可将要演唱的歌曲信息及多媒体资源通过Wi-Fi直接发送到场所服务器。场所服务器将资源存储路径与歌曲ID发送到包厢终端,包厢终端根据歌曲ID播放指定歌曲,并从指定资源存储路径下载对应多媒体资源,在播放指定歌曲MV的画面上叠加播放多媒体资源(照片),用户同时进行演唱。
另外,用户还可通过家庭播放设备将移动终端的多媒体资源叠加播放到指定歌曲的MV上。
在上述播放过程中,场所服务器或家庭播放设备还可以记录照片显示的显示时间及特效轨迹,生成记录脚本,分享时上传用户演唱录音、及记录脚本例如照片特效轨迹等到云端服务器,云端服务器生成分享路径,网页端通过分享路径访问云端服务器,在网页端使用播放器分享资源,或下载分享资源。用户可根据上传资源还原演唱时的音视频显示特效,让用户更方便更快捷的制作和展示自己的多媒体专辑,增加用户体验。
通过本发明的方法,用户可方便地将个人移动终端中的多媒体资源(例如照片、文字、视频等)实时叠加显示在播放的歌曲MV上,增加用户演唱过程的体验。还可将演唱时的音视频制作成专辑,进行上传分享等。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中的所述移动终端可以为手机、平板电脑等设备,而包厢终端则可以为数字视听场所(公共演唱场所或家庭演唱场所)的点唱机、个人电脑、智能电视机等具备Wi-Fi、蓝牙等接入功能的音视频播放机,本实施例以在公共演唱场所中的KTV场所为例,用户通过手机端传输照片资源到云端服务器或场所服务器,并从云端服务器或场所服务器的歌曲数据库中选定播放歌曲,同时使用音频输入设备录音,实时制作含多媒体资源的视频,并可通过云端服务器进行资源分享为应用场景,进行详细的说明。
如图1,是本发明所述的在歌曲演唱中展示多媒体资源的方法的流程示意图,包括以下步骤:
实时获取歌曲的音频数据通过音频输出设备进行播放,所述音频数据为演唱音频,或演唱音频及歌曲伴奏音频的混合音频;
数字视听终端同步实时获取多媒体资源,并发送到显示终端;
在显示终端显示多媒体资源,并同步加载显示歌曲对应的歌词。
还包括实时获取歌曲对应的视频数据在显示终端进行显示的步骤,所述多媒体资源实时叠加显示在所述视频数据上。
其中,所述多媒体资源具体为以下一种或多种的结合:照片、图片、动画、视频、文字。
如图2,是所述的在歌曲演唱中展示多媒体资源的装置的结构示意图,具体包括:
音频获取单元,用于实时获取歌曲的音频数据通过音频输出设备进行播放,所述音频数据为演唱音频,或演唱音频及歌曲伴奏音频的混合音频;
多媒体资源获取单元,用于数字视听终端同步实时获取多媒体资源,并发送到显示终端;
显示单元,用于在显示终端显示多媒体资源,并同步加载显示歌曲对应的歌词。
进一步地,还包括视频获取单元,用于实时获取歌曲对应的视频数据在显示终端进行显示的步骤,所述多媒体资源实时叠加显示在所述视频数据上。
如图3至图9,是本发明的多个具体实施例。其中,所述便捷制作并展示个性多媒体的方法,包括以下两个部分:
一、点播歌曲并上传照片操作,主要有以下三种方式:
(一)通过3G、4G网络在公共演唱场所点播歌曲并上传照片操作,具体的步骤如下:
参见图3,具体方法如下:
1、先在移动终端上安装具体用于客户端(例如具体的APP),然后登入移动终端的客户端绑定场所包厢。还可以通过移动终端扫描移动终端的二维码、声波信号等与场所包厢进行绑定。绑定后,移动终端获取包厢终端ID,及场所ID,并与云端服务器建立连接;
2、从云端服务器或场所服务器获取曲库信息并选定播放歌曲;
3、从移动终端选择要上传的多张图片;
4、将图片与歌曲ID打包并压缩成资源包,并将场所ID,包厢终端ID发送到云端服务器;
5、云端服务器接收完成后,解析场所及包厢ID,转发到指定场所服务器;
6、场所服务器解压资源包,若解压失败,返回错误信息给移动端,否则执行下一步;
7、场所服务器将资源存储路径与歌曲ID发送到对应包厢终端;
8、包厢终端实时播放对应歌曲,并在显示终端显示照片;
9、用户开始演唱。
通过上述方法,用户在可方便地将移动终端(如手机)中的多媒体资源(例如照片、文字、视频等)通过3G或者4G网络传输,实时叠加显示在正在实时播放的歌曲MV上,增加用户演唱过程的体验。
另外,用户还可以在演唱过程中,将个人移动终端中的多媒体资源及场所ID和包厢ID发送到云端服务器,云端服务器将多媒体资源发送给指定的场所服务器,场所服务器将接收的多媒体资源并直接叠加显示在当前演唱的歌曲MV。
(二)通过Wi-Fi网络在公共演唱场所点播歌曲并上传照片操作,具体的步骤如下:
参见图4,具体方法如下:
1、同样先在移动终端上安装具体用于客户端(例如具体的APP),然后登入移动终端的客户端绑定场所包厢。还可以通过移动终端扫描移动终端的二维码、声波信号等与场所包厢进行绑定。绑定后,移动终端获取包厢终端ID,及场所ID,并与云端服务器建立连接;
2、从场所服务器获取曲库信息并选定播放歌曲;
3、从移动终端选择要上传的多张图片;
4、将图片与歌曲ID打包并压缩成资源包,并将场所ID,包厢终端ID发送到指定场所服务器;
5、场所服务器接收完成后,解析场所及包厢ID,并解压资源包;若解压失败,返回错误信息给移动端,否则执行下一步;
6、场所服务器将资源存储路径与歌曲ID发送到对应包厢终端;
7、包厢终端实时播放对应歌曲,并在显示终端显示照片;
8、用户开始演唱。
通过上述方法,在数字视听场所具有Wi-Fi信号的情况下,直接可将多媒体资源发送给场所服务器,不需通过云端服务器转发,速度快,效率高。用户在可方便地将个人移动终端(如手机)中的多媒体资源(例如照片、文字、视频等)通过演唱场所的Wi-Fi网络传输到场所服务器,实时叠加显示在正在实时播放的歌曲MV或预点播的歌曲MV上,增加用户演唱过程的体验。
(三)还可以通过Wi-Fi网络在家庭播放设备上点播歌曲并上传照片操作;具体步骤如下:
参见图5,具体方法如下:
1、先在移动终端上安装具体用于客户端(例如具体的APP),然后登入移动终端的客户端绑定家庭播放设备;可以通过移动终端扫描二维码、声波信号等进行绑定。绑定后,移动终端获取家庭播放设备的ID,并与云端服务器建立连接;
2、从云端服务器获取歌曲列表并选定播放歌曲;
3、从移动终端选择要上传的多张图片;
4、将图片、歌曲ID和家庭播放设备ID打包并压缩成资源包发送到云端服务器,云端服务器生成资源存储路径并发送给家庭播放设备;
5、云端服务器接收完成后,解析家庭播放设备ID,并解压资源包;若解压失败,返回错误信息给移动端,否则执行下一步;
6、家庭播放设备通过资源存储路径从云端服务器获取多媒体资源与歌曲ID,实时播放对应歌曲,并在显示终端显示照片;
7、用户开始演唱。
在上述过程中,家庭播放设备通过资源存储路径主动从云端服务器获取多媒体资源与歌曲ID,通过上述方法,用户在可方便地将移动终端(如手机)中的多媒体资源(例如照片、文字、视频等)通过家庭的Wi-Fi或3G、4G网络传输到云端服务器,实现多媒体资源实时叠加显示在正在实时播放的歌曲MV或预点播的歌曲MV上,增加用户演唱过程的体验。
参见图6,是所述在歌曲演唱中展示多媒体资源的方法对应的***应用于公共演唱场所的一种实施例的技术方案如下:
移动终端,分别与包厢终端、场所服务器和云端服务器建立数据连接,用于绑定包厢终端并获取场所及包厢终端ID,并向云端服务器或场所服务器发送多媒体资源、播放歌曲ID、场所及包厢终端ID的资源包;从云端服务器或场所服务器获取曲库信息并选定播放歌曲;
包厢终端,分别与移动终端和场所服务器建立数据连接,用于从场所服务器获取资源存储路径与歌曲ID、多媒体资源;向移动终端发送场所及包厢终端ID;实时播放对应歌曲,并控制显示终端显示多媒体资源;
场所服务器,分别与包厢终端、移动终端和云端服务器建立数据连接,用于接收移动终端或者云端服务器发送的资源包,并在解压资源包后将资源存储路径与歌曲ID发送到对应包厢终端;
云端服务器,分别与移动终端和场所服务器建立数据连接,用于接收移动终端发送的场所及包厢终端ID、多媒体资源,并转发到指定的场所服务器。
参见图7,是所述在歌曲演唱中展示多媒体资源的方法对应的***应用于家庭视听娱乐场所时的另一种实施例的技术方案如下:
移动终端,分别与家庭播放设备和云端服务器建立数据连接,用于绑定家庭播放设备,并向云端服务器发送包含多媒体资源、播放歌曲ID的资源包;从云端服务器获取曲库信息并选定播放歌曲;
家庭播放设备,分别与移动终端和云端服务器建立数据连接,用于从云端服务器获取资源存储路径与歌曲ID、多媒体资源;实时播放对应歌曲,并控制显示终端显示多媒体资源;
云端服务器,与移动终端建立数据连接,用于接收移动终端发送的多媒体资源,并生成资源存储路径发送给家庭播放设备。
二、分享照片MV的部分。当含多媒体资源的视频制作完毕后,还可上传至云端服务器,其他用户从云端服务器获取照片MV进行播放或下载保存。具体步骤如下:
参见图8,具体方法如下:
1、演唱结束后,场所服务器生成分享特征信息;
2、用户在包厢终端通过二维码获取分享特征信息,向场所服务器发送上传指令;
3、场所服务器将演唱录音、图片资源包、照片特效脚本上传到云端服务器,云端服务器生成分享地址;
4、用户可通过网页访问分享地址,在网页端使用播放器还原播放场景,或者下载分享资源。
再请参见图9,是本发明实施例的一种便捷制作并展示个性多媒体的***的显示方案示意图,具体方案如下:将显示终端的显示图层从下到上分4层:音乐视频MV层、MV背景层、多媒体资源层、歌词字幕层;播放时从上到下按照歌词字幕层、多媒体资源层、MV背景层、音乐视频MV层依次叠加顺序播放。
在播放过程中,为了突出多媒体资源层,弱化音乐视频MV层,将MV背景层作为蒙版填充为半透明黑色蒙版。
同时,包厢终端或家庭播放设备内预设多个多媒体资源显示方案,每个多媒体资源显示方案指定需要的多媒体资源帧,每一个多媒体资源填充一个多媒体资源帧显示,该多媒体显示方案显示完后随机获取下一个显示方案,显示过程中,多媒体资源循环播放。采用这样的方案,多媒体资源可按预设的显示方案进行播放。因多媒体资源的播放时间可能短于歌曲演唱的时间,在这种情况出现时,将多媒体资源进行循环播放。
本发明在选定歌曲播放前,加载歌词字幕文件,选定歌曲播放时,根据歌曲播放时间同步显示歌词字幕。
播放选定歌曲时,包厢终端或家庭播放设备记录多媒体资源显示方案的显示顺序及每个多媒体资源显示方案对应的多媒体资源,歌曲播放结束后场所服务器或家庭播放设备保存该记录脚本。所述多媒体资源显示方案包括多媒体资源例如照片显示的显示时间及特效轨迹。
回放包含多媒体资源的视频时,只需要读取该记录脚本,则可轻易还原包含多媒体资源的视频的播放过程。
分享包含多媒体资源的视频时,只需要多媒体资源、音乐、歌词及记录脚本,即可。
本发明所采用的技术方案可以具体应用到带服务器的数字视听场所中,如KTV场所,用户通过移动终端例如手机端传输多媒体资源到服务器,并从服务器歌曲数据库中指定歌曲MV,同时播放时也可使用音频输入设备录音,实时制作含有自己的个性多媒体资源的视频。