CN111639226A - 一种歌词显示方法、装置及设备 - Google Patents
一种歌词显示方法、装置及设备 Download PDFInfo
- Publication number
- CN111639226A CN111639226A CN202010403687.9A CN202010403687A CN111639226A CN 111639226 A CN111639226 A CN 111639226A CN 202010403687 A CN202010403687 A CN 202010403687A CN 111639226 A CN111639226 A CN 111639226A
- Authority
- CN
- China
- Prior art keywords
- lyrics
- target
- information
- song segment
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/638—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本申请涉及音频技术领域,公开了一种歌词显示方法,该方法包括:获取目标歌曲段以及目标歌曲段的歌曲信息,目标歌曲段的歌曲信息包括所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息;根据所述歌词的目标时间信息以及所述和弦的目标时间信息,确定所述歌词与所述和弦之间的对应关系;根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定所述歌词对应的显示参数;在播放所述目标歌曲段时,按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。实施本申请,对歌曲段中对应不同和弦的歌词实现不同的显示效果,实现和弦视觉化,丰富了歌词显示方式。
Description
技术领域
本申请涉及音频技术领域,尤其是一种歌词显示方法、装置及设备。
背景技术
随着人们对娱乐休闲方式的需求不断增加以及计算机技术的不断发展,音视频等多媒体数据的产品越来越丰富,提供音乐播放、音乐改编等服务的音乐软件即为其中一种,为了提供更优化的服务,歌词显示方式也在不断变化和改进。
在现有技术中,歌词显示一般是按照音频文件的播放进度,使用颜色填充的办法将与播放进度相应的歌词进行填充显示,现有的技术方案只是简单地将待播放歌曲的歌词全部显示,使用颜色填充的办法区分在播放的歌词和未播放的歌词,现有歌词显示方案比较单一。
发明内容
基于上面所述的问题,本申请实施例提供了一种歌词显示方法,通过将显示参数与和弦之间建立映射关系,基于歌词与和弦之间的对应关系,确定歌词对应的显示参数,可以对目标歌曲段中包含的歌词按照对应的显示参数进行显示,实现和弦视觉化的效果,丰富歌词显示方式。
一方面,本申请实施例提供了一种歌词显示方法,所述方法包括:
获取目标歌曲段以及所述目标歌曲段的歌曲信息,所述歌曲信息包括所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息;
根据所述歌词的目标时间信息以及所述和弦的目标时间信息,确定所述歌词与所述和弦之间的对应关系;
根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定所述歌词对应的显示参数;
在播放所述目标歌曲段时,按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。
在一种可能的实施例中,所述获取目标歌曲段以及所述目标歌曲段的歌曲信息,包括:
获取原始歌曲段、与所述原始歌曲段对应的倍速因子以及所述原始歌曲段的歌曲信息,所述歌曲信息包括所述原始歌曲段包含的歌词、所述歌词的原始时间信息、所述原始歌曲段包含的和弦以及所述和弦的原始时间信息;
根据所述倍速因子,对所述原始歌曲段进行变速不变调处理,得到所述目标歌曲段;
将所述原始歌曲段包含的歌词作为所述目标歌曲段包含的歌词,以及根据所述倍速因子对所述歌词的原始时间信息进行处理,得到所述歌词的目标时间信息;将所述原始歌曲段包含的和弦作为所述目标歌曲段包含的和弦,根据所述倍速因子对所述和弦的原始时间信息进行处理,得到所述和弦的目标时间信息;其中所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息用于组合得到所述目标歌曲段的歌曲信息。
在一种可能的实现方式中,所述根据所述变速因子,对所述原始歌曲段进行变速不变调处理,得到所述目标歌曲段,包括:
对所述原始歌曲段进行分帧得到多个第一音频帧,并获得各个第一音频帧的时间信息;
根据各个第一音频帧的时间信息以及所述倍速因子,在所述原始歌曲段中确定与每个第一音频帧对应的第二音频帧;
在所述原始歌曲段中各个第二音频帧的预设邻域范围内查找与相应第一音频帧波形最相似的音频帧,作为各个第一音频帧的输出音频帧;
将所述各个第一音频帧的输出音频帧组合得到所述目标歌曲段;
在另一种可能的实施例中,所述获取目标歌曲段,包括:
获取原始歌曲段,其中所述原始歌曲段包括第一左声道信号和第一右声道信号;
根据所述第一左声道信号以及所述第一右声道信号,提取人声信息以及背景声信息;
对所述人声信息进行能量增强以得到增强后的人声信息,并对所述背景声信息进行能量抑制以得到抑制后的背景声信息;
使用所述增强后的人声信息以及所述抑制后的背景声信息,合成第二左声道信号以及第二右声道信号;
根据所述第二左声道信号和所述第二右声道信号得到所述目标歌曲段。
在一种可能的实现方式中,所述对所述人声信息进行能量增强以得到增强后的人声信息,并对所述背景声信息进行能量抑制以得到抑制后的背景声信息,包括:
将所述人声信息的幅值以第一预设数量值进行增强得到增强后的人声信息;
将所述背景声信息的幅值以第二预设数量值进行抑制得到抑制后的背景声信息。
在一种可能的实现方式中,获得所述目标歌曲段包含的和弦以及所述和弦的目标时间信息,包括:
对所述目标歌曲段进行分帧得到多个第三音频帧,对所述多个第三音频帧进行傅里叶变换,得到各个第三音频帧分别对应的所有频域信息,所述频域信息包括频率分量以及对应的能量值;
将每个第三音频帧各自对应的所有频率分量分别以对数的形式映射到音级轮廓特征中的12个频率带,从而确定每个第三音频帧中各个频率分量分别所属的频率带;
根据所述每个第三音频帧中各个频率分量分别所属的频率带,对同一个频率带中所有频率分量对应的能量值进行相加,分别得到各个第三音频帧的12维向量;
将所述各个第三音频帧的12维向量传输至和弦识别模型,以得到所述目标歌曲段包含的和弦以及所述和弦的目标时间信息。
进一步的,所述频域信息还包括至少两个采样点;
所述根据所述每个第三音频帧中各个频率分量分别所属的频率带,对同一个频率带中所有频率分量对应的能量值进行相加,分别得到各个第三音频帧的12维向量包括:
根据所述各个第三音频帧分别对应的频域信息中所有相邻两两采样点的能量差值,确定所述输出歌曲音频段的起音序列;
将所述起音序列进行自相关运算,得到自相关序列;
对所述自相关序列通过对数高斯分布函数进行加权,将经过加权后的自相关序列取最大值时对应的时间值作为拍子长度;所述拍子长度时间内包括至少一个第三音频帧;
对每个拍子长度时间内所有第三音频帧中各个频率分量进行频率带划分,对同一个频率带的所有频率分量对应的能量值进行相加取平均值之后,作为各个拍子长度时间内包括的所有第三音频帧的所述12维向量。
在一种可能的实现方式中,获取目标歌曲包含的歌词以及所述歌词的目标时间信息,包括:
获取原始歌曲段以及所述原始歌曲段的歌曲信息,所述歌曲信息包括所述原始歌曲段包含的原始歌词以及所述原始歌词的原始时间信息;
确定所述原始歌词中的待重复歌词,以及所述待重复歌词的重复次数;
根据所述待重复歌词以及所述待重复次数生成目标歌词,并将所述原始歌词中的待重复歌词替换为所述目标歌词,以得到所述目标歌曲段包含的歌词;
根据所述原始歌词的原始时间信息以及所述待重复歌词的重复次数,获得所述目标歌曲段包含的目标时间信息。
一方面的,本申请实施例还提供了一种歌词显示装置,所述歌词显示装置包括:
获取模块,用于获取目标歌曲段以及所述目标歌曲段的歌曲信息,所述歌曲信息包括所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息;
确定模块,用于根据所述歌词的目标时间信息以及所述和弦的目标时间信息,确定所述歌词与所述和弦之间的对应关系;
所述确定模块,还用于在根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定所述歌词对应的显示参数;
显示模块,用于在播放所述目标歌曲段时,按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。
一方面的,本申请实施例还提供了一种歌词显示设备,所述设备包括处理器和存储器,其中所述处理器用于执行所述存储器中存储的计算机程序,实现上面所述任意一种可能的实施例。
一方面,本申请实施例还提供了一种计算机可读存储介质,所述可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上面各方面所述的方法。
一方面,本申请实施例还提供了一种用户终端,所述用户终端包括所述歌词显示装置,使得所述用户终端实现上面任意一种可能的实施例。
本申请中,歌词显示装置获取目标歌曲段以及所述目标歌曲段的歌曲信息,所述歌曲信息包括所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息;根据所述歌词的目标时间信息以及所述和弦的目标时间信息,确定所述歌词与所述和弦之间的对应关系;根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定所述歌词对应的显示参数;在播放所述目标歌曲段时,按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。实施本申请,通过将显示参数与和弦之间建立映射关系,基于歌词与和弦之间的对应关系,确定歌词对应的显示参数,可以对目标歌曲段中包含的歌词按照对应的显示参数进行显示,实现和弦视觉化的效果,丰富歌词显示方式。
附图说明
图1为本申请实施例提供的一种歌词显示方法的流程示意图;
图2为本申请实施例提供的一种吉他谱示意图;
图3为本申请实施例提供的歌词显示的一些图形用户界面;
图4为本申请实施例提供的一种目标歌曲段的歌曲信息的生成方法的流程示意图;
图5为本申请实施例提供的一种目标歌曲段的歌曲信息生成的图形用户界面;
图6为本申请实施例提供的另一种目标歌曲段的歌曲信息生成的图形用户界面;
图7为本申请实施例提供的一种歌词显示装置的结构框图;
图8为本申请实施例提供的一种歌词显示设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面结合附图来对本申请的技术方案的实施作进一步的详细描述。
参见图1至图2,首先参见图1,图1为本申请实施例提供的一种歌词显示方法的流程示意图。如图1所示,本申请实施例的具体执行步骤如下:
S100、歌词显示装置获取目标歌曲段以及所述目标歌曲段的歌曲信息,所述歌曲信息包括所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息。
具体的,目标歌曲段可以是一首完整的歌曲,也可以是从一首歌曲中截取的部分段落。歌曲有歌词和旋律组成,而旋律可以简单理解为将不同声音频率的音符按照时间组合起来的序列,每个音符都有各自的起始时间、持续时间以及终止时间,通过不同的音符在不同的时间形成了我们平时听到的伴奏。其中也有一些音符是同时出现的,于是出现了和弦的概念,和弦是指同一时间弹奏三个或三个以上的音符,每一个和弦也具有各自的起始时间、持续时间以及终止时间。可以理解的是,歌词也是具有时间特性的,每一个歌词在什么时间出现、持续出现多长时间以及什么时候结束出现是由创作者在进行歌曲创作填词的时候预先设置好的。
下面结合附图对和弦以及歌词进行示例性说明。参见图2,图2为本申请实施例提供的一种吉他谱示意图。如图2所示,图2为本申请实施例提供的一种吉他谱示意图。如图2所示,以小星星歌曲段进行示例性介绍,在歌曲段“一闪一闪亮晶晶”中,所述歌曲信息包括至少一个歌词,各个歌词至少包括一个歌词文字,可以是一个歌词文字,也可以是两个歌词文字组成的一个词,当然也可以是一个句子,本申请不对歌词的具体表现形式作出限制。以“一闪一闪”、“亮晶”和“晶”分别作为一个歌词为例,“一闪一闪”的起始时间是第0s,终止时间是第4s,持续时间是4s;“亮晶”第一起始时间是第4s,第一终止时间是第6s,第一持续时间是2s;“晶”起始时间是第6s,终止时间是第7s,持续时间是1s。所述至少一个和弦为“A和弦以及D和弦”,A和弦对应的第一起始时间是第0s,第一终止时间是第4s,第一持续时间是4s;A和弦对应的第二起始时间是第6s,第二终止时间是第7s,第二持续时间是1s;D和弦对应的第一起始时间是第4s,第一终止时间是第6s,第一持续时间是2s。
S101、所述歌词显示装置根据所述歌词的目标时间信息以及所述和弦的目标时间信息,确定所述歌词与所述和弦之间的对应关系。
具体的,由步骤S100可知歌词具有时间特性,和弦也具有时间特性,歌词与和弦之间可以通过时间来建立对应关系。在一种可能的实现方式中,各个歌词的时间信息是预先设置好了之后放置在歌曲库中的,本实施例根据时间信息在所述歌曲库中查找到对应的歌词,以图2的目标歌曲段为例,根据第0s至第4s的时间信息,查找歌词是“一闪一闪”;根据第4s至第6s的时间信息,查找歌词是“亮晶”;根据第6s至第7s的时间信息,查找歌词是“晶”等等。而和弦对应的时间信息可以表现为一个文本信息,所述文本信息是与所述目标歌曲段包含的歌词之间具有链接关系的。示例性的,所述和弦对应的时间信息可以表示如表格1所示:
表格1
所述歌词显示装置将所述歌词对应的时间信息与和弦对应的时间信息进行匹配,若匹配成功,则确定所述歌词与所述和弦之间的对应关系,可选的,可以使用和弦标识来标记各个和弦,例如,所述歌词显示装置以第0s至第4s的时间信息为索引,在所述歌曲库中查找所述目标歌曲段的歌词“一闪一闪”,可选的,所述歌词显示装置可以通过检测处于播放状态的歌词确认所述目标歌曲。所述歌词显示装置还以目标歌曲“小星星”为索引,在多首歌曲和弦对应的文本信息中查找到“小星星”的和弦的文本信息,如表格1所示,然后所述歌词显示装置以第0s至第4s的时间信息为索引,在表格1中查找到和弦标识“1”,即确定歌词“一闪一闪”对应的和弦标识为“1”,确定歌词“一闪一闪”与A和弦之间的对应关系。同理的,所述歌词显示装置确定歌词“亮晶”对应的和弦标识为“2”;确定“晶”对应的和弦标识为“1”,确定歌词“亮晶”与D和弦之间的对应关系。也就是说,可以通过和弦的时间信息查找对应的歌词,也可以通过歌词的时间信息查找对应的和弦。
可以理解的是,歌词的时间信息是在歌曲创作的时候就已经形成的一个特性,所以在对歌曲以数字格式存储的时候,也可以相应地对歌词的时间信息进行了存储。
而对于和弦对应的时间信息,在一种可能实施例中,可以将每一首歌曲的和弦对应的时间信息制作成如表格1所示的文本信息,以使所述歌词显示装置可以实施步骤S101。
在另一种可能的实施例中,可以使用计算机来对歌曲信息进行和弦识别,示例性的,在所述歌词显示装置执行步骤S101之前,所述歌词显示装置对所述目标歌曲段进行分帧得到多个第三音频帧,对所述多个第三音频帧进行傅里叶变换,得到各个第三音频帧分别对应的所有频域信息,所述频域信息包括频率分量以及对应的能量值,所述歌词显示装置将每个第三音频帧各自对应的所有频率分量分别以对数的形式映射到音级轮廓特征中的12个频率带,从而确定每个第三音频帧中各个频率分量分别所属的频率带。
具体的,乐理知识中将一个八度内的音平均分为十二等份,每个等份表示半音音阶,十二个半音表示为{C,C#,D,D#,E,F,F#,G,G#,A,A#,B}。所述每个第三音频帧各自对应的所有频率分量与音级轮廓特征p(k)的关系表示为:
p(k)=12[log2(fs/N×k/fc)]mod12 公式1
其中fs为采样率;N为傅里叶变换后所有采样点个数;k是傅里叶变换后的采样点的序号;fc是十二平均律中用到音阶中的基音频率,为261/2;mod是求余运算,mod12表示除以12之后的余数。
所述歌词显示装置根据所述每个第三音频帧中各个频率分量分别所属的频率带,对同一个频率带中所有频率分量对应的能量值进行相加,分别得到各个第三音频帧的12维向量。具体的,所述12维向量表示为:
XPCP(i)=∑i:p(k)=i|XFFT(k)|2 公式2
其中i表示12维向量的索引,p(k)为公式1求得的音级轮廓特征,XFFT(k)表示该帧数据的傅里叶变换。
所述歌词显示装置将所述各个第三音频帧的12维向量传输至和弦识别模型,以得到所述目标歌曲段包含的和弦以及所述和弦的目标时间信息。具体的,所述和弦识别模块可以是已训练的隐马尔可夫模型(Hidden Markov Model,HMM),将所述12维向量传输至训练好的HMM模型,得到各个第三音频帧的和弦信息,所述和弦信息包括和弦以及和弦的标记,比如A和弦以及和弦标识“1”。示例性的,所述歌词显示装置对所述HMM模型的训练的步骤可以是按照和弦所在的不同音级比如C调、D调、E调、F调、G调、A调以及bB调,将和弦定义为49类状态,如表格2所示:
表格2
所述歌词显示装置将标签文件、49类和弦定义的状态以及训练歌曲传输至HMM模型,所述标签文件包括所述训练歌曲对应的和弦类型,所述HMM模型通过将所述49类和弦定义的状态对训练歌曲进行和弦注释,并将注释后的结果与标签文件内的结果进行比较,所述歌词显示装置根据比较后的结果对所述HMM模型的训练参数进行调整,由此得到训练好的HMM模型。
进一步的,和弦的改变往往发生在节拍处,为了避免在分割的音频数据段中包含两个或多个和弦,从而影响准确度,本实施例还可以对歌曲的节拍进行跟踪。可选的,所述频域信息还包括至少两个采样点;所述歌词显示装置根据所述各个第三音频帧分别对应的频域信息中所有相邻两两采样点的能量差值,确定所述输出歌曲音频段的起音序列;所述歌词显示装置将所述起音序列进行自相关运算,得到自相关序列。具体的,所述自相关运算是将起因序列x(t)和起因序列的时移信号x(t-τ)的乘积,公式表示为:
f(τ)=∑tx(t).x(t-τ) 公式3
所述歌词显示装置对所述自相关序列通过对数高斯分布函数进行加权:
其中,τ0为速度周期偏移量的中心值,στ为控制加权曲线的宽度,τ0和στ都是预设值,τ为偏移速度,也是预设值。
所述歌词显示装置将经过加权后的自相关序列f(τ)取最大值时对应的时间值作为拍子长度;比如f(τ)取最大值时的时间值为5s,则拍子长度为5s。所述拍子长度时间内包括至少一个第三音频帧;所述歌词显示装置对每个拍子长度时间内所有第三音频帧中的各个频率分量进行频率带划分,对同一个频率带的所有频率分量对应的能量值进行相加取平均值之后,作为各个拍子长度时间内包括的所有第三音频帧的所述12维向量。需要说明的是,本实施例只是对和弦对应的时间信息是如何确定的进行示例性说明,并不对此进行限制。
S102、所述歌词显示装置根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定所述歌词对应的显示参数。
具体的,预先为所述和弦设置的显示参数与和弦之间可以表现为显示参数映射表,是预先设置的。所述显示参数可以是字体色彩、字体亮度和/或字体粗细,示例性的,所述显示参数映射表可以如表格3所示:
表格3
所述歌词显示装置经过步骤S101确定了所述歌词与所述和弦之间的对应关系,例如确定“一闪一闪”对应A和弦,所述歌词显示装置在表格3中查找A和弦的显示参数为字体色彩“红”以及字体亮度“120%”,字体亮度120%可以理解为在所述歌词显示装置正常显示亮度的情况下乘以1.2倍。
在一种可能的实现方式中,字体亮度与目标歌曲段的播放速度有关,例如目标歌曲段播放速度越快,字体亮度越大。
S103、在播放所述目标歌曲段时,所述歌词显示装置按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。
本实施例中,歌词显示装置获取目标歌曲段以及所述目标歌曲段的歌曲信息,所述歌曲信息包括所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息;根据所述歌词的目标时间信息以及所述和弦的目标时间信息,确定所述歌词与所述和弦之间的对应关系;根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定所述歌词对应的显示参数;在播放所述目标歌曲段时,按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。实施本申请,通过将显示参数与和弦之间建立映射关系,基于歌词与和弦之间的对应关系,确定歌词对应的显示参数,可以对目标歌曲段中包含的歌词按照对应的显示参数进行显示,实现和弦视觉化的效果,丰富歌词显示方式。
在一种可能的实施例中,所述歌词显示装置获取原始歌曲段以及所述原始歌曲段的歌曲信息,所述歌曲信息包括所述原始歌曲段包含的原始歌词以及所述原始歌词的原始时间信息;确定所述原始歌词中的待重复歌词,以及所述待重复歌词的重复次数;根据所述待重复歌词以及所述重复次数生成目标歌词,并将所述原始歌词中的待重复歌词替换为所述目标歌词,以得到所述目标歌曲段包含的歌词;根据所述原始歌词的原始时间信息以及所述待重复歌词的重复次数,获得所述目标歌曲段包含的歌词的目标时间信息。
具体的,所述歌词显示装置确定所述原始歌词中的待重复歌词以及所述待重复歌词的重复次数,以所述待重复歌词是“亮”为例,所述重复次数为3,则生成所述目标歌词为“亮亮亮”。可选的,所述原始歌词的原始时间信息与目标歌曲段包含的歌词的目标时间信息相同,所述歌曲段“一闪一闪亮晶晶”的时间信息不变,在所述待重复歌歌词“亮”显示的时间内显示“亮亮亮”,实现所述待重复歌词显示得比较快的效果。可选的,所述目标歌曲段包含的歌词的目标时间信息大于所述原始歌词的原始时间信息,示例性的,所述歌曲段“一闪一闪亮晶晶”中“亮”之前的“一闪一闪”时间信息不变,所述待重复歌词“亮亮亮”的时间信息是原来的3倍,即将“亮”之后的“晶晶”时间信息进行往后调整。本申请不对重复显示歌词之后,如何对歌曲段包含歌词的时间信息进行调整进行限制。实施本实施例,还可以针对歌曲段的歌曲信息中包含的某一个歌词进行处理,可以增加改变歌词的功能。
下面结合附图对所述歌词显示方法的应用场景以及歌词显示后实现的一些图像用户界面进行详细的说明。参见图3,图3为本申请实施例提供的歌词显示的一些图形用户界面。如图3所示,图3分别包括3A、3B、3C及3D,3A可以是获取目标歌曲的一种图形用户界面,通过输入目标歌曲的歌名,得到符合输入歌名的所有歌曲列表,示例性的,输入“小星星”,得到包括3a、3b以及3c的歌曲列表,通过接收用户的点击,对用户所点击的歌曲3b进行播放,进入如3B所示的图形用户界面。歌词显示装置通过检测用户的点击选择来执行步骤S300获取目标歌曲段“一闪一闪亮晶晶”以及歌曲信息,所述歌曲信息包括各个歌词对应的时间信息,例如参考前文结合图2所述的实施例,“一闪一闪”对应的时间信息是第0s至第4s,“亮晶”对应的时间信息是第4s至第6s,“晶”对应的时间信息是第6s至第7s。所述歌词显示装置执行步骤S301,根据各个歌词的目标时间信息以及和弦的目标时间信息,确定每个歌词对应的和弦,例如确定“一闪一闪”对应A和弦,和弦标识为“1”,确定歌词“亮晶”对应D和弦,和弦标识为“2”;确定歌词“晶”对应A和弦,和弦标识为“1”。所述歌词显示装置执行步骤S302确定各个歌词对应的显示参数,示例性的,所述歌词显示装置在预先设置的显示参数映射表中查找和弦标识“1”的显示参数为“字体倾斜”,和弦标识“2”的显示参数为“字体放大为原来的两倍”,可选的,各个和弦标识对应的显示参数还可以包括多个,例如所述和弦标识“1”的显示参数可以包括“字体倾斜”和/或“加字体下划线”,即可以理解为和弦标识对应的显示参数可以有多种显示效果,由于不同的和弦被奏响时有不同的听觉效果,可以根据不同的听觉效果来制定不同的显示效果,以达到视听一致的体验。各种效果之间的切换可以是对各个显示参数循环依次显示,比如说A和弦对应的显示参数包括有“字体倾斜”和“加字体下划线”,参见3C的歌词显示效果图,歌词“一闪一闪”和“晶”对应都是A和弦,“一闪一闪”的显示参数是“字体倾斜”,“晶”的显示参数是“加字体下划线”;可选的,各种效果的显示也可以是预先设置好的显示规则,比如说将各个显示参数进行叠加,示例性的,歌词“一闪一闪”和“晶”对应都是A和弦,“一闪一闪”和“晶”的显示效果表现为“字体倾斜”并“加字体下划线”。本申请不对各个和弦与显示参数的个数之间的关系以及具体的显示效果进行限制。可选的,若所述歌词显示装置针对歌曲信息中包含某一个歌词进行重复显示,比如“亮”进行重复显示的设置,则所述歌词显示的效果图可以如3D所示。
在前文结合图1至图3所描述实施例的基础上,本申请还提供了一种得到目标歌曲段的歌曲信息的方法,参见图4,图4为本申请实施例提供的一种目标歌曲段的歌曲信息的生成方法的流程示意图。如图4所示,本实施例具体执行步骤如下:
S400、所述歌词显示装置获取原始歌曲段、与所述原始歌曲段对应的倍速因子以及所述原始歌曲段的歌曲信息,所述歌曲信息包括所述原始歌曲段包含的歌词、所述歌词的原始时间信息、所述原始歌曲段包含的和弦以及所述和弦的原始时间信息。
具体的,所述歌词显示装置可以从歌曲库中获取所述原始歌曲段以及所述原始歌曲段的歌曲信息。
S401、所述歌词显示装置根据所述倍速因子,对所述原始歌曲段进行变速不变调处理,得到所述目标歌曲段。
具体的,所述倍速因子是对所述原始歌曲段以及所述原始歌曲段的歌曲信息进行速度调整的参数,例如所述倍速因子是2,代表着对所述原始歌曲段在原始时间的基础上加快两倍播放,所述原始歌曲段包含的歌词在原始时间的基础上加快两倍显示;又例如所述倍速因子是0.8,代表对所述原始歌曲段在原始时间的基础上放慢至0.8倍播放,所述原始歌曲段包含的歌词在原始时间的基础上放慢至0.8倍显示。示例性的,所述原始歌曲段的原始时间信息是第1s进行播放的,所述倍速因子是0.8,则可以根据所述原始歌曲段的原始时间第1s和倍速因子0.8确定目标歌曲段的目标时间是第0.8s。在一种可能的实现方式中,所述歌词显示装置对所述原始歌曲段进行分帧得到多个第一音频帧,并获得各个第一音频帧的时间信息;根据各个第一音频帧对应的时间信息以及所述倍速因子,在所述原始歌曲段中确定与每个第一音频帧对应的第二音频帧,在所述原始歌曲音频段中各个第二音频帧的预设邻域范围内查找与相应第一音频帧波形最相似的音频帧,作为各个第一音频帧的输出音频帧。
具体的,所述预设领域范围为预先设置的值,所述预设邻域范围是所述第二音频帧的偏移量Δmax,可以表示为一个区间如[-Δmax,Δmax]。与各个第一音频帧波形最相似的音频帧由相关度C(m,δ)来表示:
其中|δ|≤Δmax,L为原始音频帧帧长,i为第m帧音频中的样点索引,Sa为倍速因子。
所述各个第一音频帧的输出音频帧为:
其中τ(Sa.m)=L.m,代表第一音频帧经过倍速因子映射后的各个第二音频帧,Δm=max{C(m,δ)},w(i-τ(Sa.m))为窗函数,例如汉明窗。
所述歌词显示装置将所述各个第一音频帧的输出音频帧组合得到所述目标歌曲段。具体的,所述歌词显示装置根据公式6可以确定所有原始音频帧经过所述倍速因子变速后的输出音频帧,输出音频帧组成输出歌曲音频段。
S402、所述歌词显示装置将所述原始歌曲段包含的歌词作为所述目标歌曲段包含的歌词,以及根据所述倍速因子对所述歌词的原始时间信息进行处理,得到所述歌词的目标时间信息。
示例性的,参考图2所描述的歌词对应的原始时间信息,所述倍速因子为0.8,歌词“一闪一闪”的时间由原来的第0s至第4s变为第0s至第5s,歌词“亮晶”的时间由原来的第4s至第6s变为第5s至第7.5s,歌词“晶”由原来的第6s至第7s变为第7.5s至第8.75s。
S403、所述歌词显示装置将所述原始歌曲段包含的和弦作为所述目标歌曲段包含的和弦,根据所述倍速因子对所述和弦的原始时间信息进行处理,得到所述和弦的目标时间信息。具体的,所述对应的和弦的原始时间信息可以表现为一个文本信息,如前文所描述的表格1所示,经过所述预设的倍速因子0.8,所述至少一个和弦的时间信息由表格2变为如表格4所示:
表格4
A和弦,对应的和弦标识“1”的时间信息由原来的第0s至第4s变为第0s至第5s,第6s至第7s变为第7.5s至第8.75s;D和弦,对应的和弦标识“2”的时间信息由原来的第4s至第6s变为第5s至第7.5s。
S404、所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息用于组合得到所述目标歌曲段的歌曲信息。
具体的,所述歌词显示装置由前面的步骤S401得到所述目标歌曲段,由步骤S402确定所述目标歌曲段包含的歌词的目标时间信息,由步骤S403确定所述原始歌曲段包含的和弦的目标时间信息,所述歌词显示装置根据所述目标歌曲段、所述目标歌曲段包含的歌词的目标时间信息以及所述原始歌曲段包含的和弦的目标时间信息组合得到所述目标歌曲段的歌曲信息。示例性的,所述预设倍速因子为0.8,所述原始歌曲段中的原始歌词为“一闪一闪亮晶晶”,其中的每一个歌词对应的时间信息均减慢了0.8倍。
在另一种可能的实现方式中,所述原始歌曲段可以包括多个,将多个原始歌曲段经过步骤S400至步骤S403之后分别生成每个原始歌曲段对应的调整后的歌曲信息,多个调整后的歌曲信息组合得到目标歌曲段的歌曲信息。
示例性的,第一原始歌曲段中的原始歌词为“一闪一闪”,预设倍速因子为0.8,所述歌词显示装置执行步骤S400至步骤S403,歌词“一闪一闪”的时间以及对应的音频由原来的第0s至第4s变为第0s至第5s,在和弦的原始时间信息中将第0s至第4s对应的A和弦的时间信息变为第0s至第5s;第二原始歌曲段为“亮晶”,预设倍速因子为2,所述歌词显示装置执行步骤S400至步骤S403,歌词“亮晶”的时间以及对应的音频由原来持续时间为2s变为持续1s,紧接在所述“一闪一闪”的时间之后,歌词“亮晶”的时间由原来的第4s至第6s变为第5s至第6s,在和弦的原始时间信息中将第4s至第6s对应的D和弦的时间信息变为第5s至第6s;第三原始歌曲段为“晶”,预设倍速因子为1.5,所述歌词显示装置执行步骤S400至步骤S403,歌词“晶”的时间以及对应的音频由原来持续时间为1s变为持续0.67s,紧接在所述“亮晶”的时间之后,歌词“晶”的时间由原来的第6s至第7s变为第6s至第6.67s,将所述第一原始歌曲段、第二原始歌曲段以及第三原始歌曲段分别按照不同的倍速因子得到的歌曲信息按照时间先后顺序进行组合,作为所述目标歌曲段的歌曲信息。
在播放所述目标歌曲段时,按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。具体显示过程可以参考前文结合图1所描述的实施例,此处不作赘述。可选的,在本实施例中,所述歌词显示装置还可以根据不同的倍速因子来选择不同的显示参数,进一步的,各个歌词对应的显示参数还可以与各自对应的音频声音大小或快慢等音频参数进行进一步的联系,不断地丰富歌词显示参数的种类。
实施本实施例,可以对原始歌曲段以及所述原始歌曲段的歌曲信息进行变速,调整歌曲段的播放速度以及歌词显示速度,在丰富歌词显示方式的基础上,进一步增加歌曲播放以及歌词显示的趣味性。
下面结合附图对所述目标歌曲段的歌曲信息生成的一些图形用户界面进行详细的说明。参见图5和图6,图5为本申请实施例提供的一种目标歌曲段的歌曲信息生成的图形用户界面,图6为本申请实施例提供的另一种目标歌曲段的歌曲信息生成的图形用户界面。
如图5所示,图5包括5A、5B及5C,5A可以是获取原始歌曲段的一种图形用户界面,通过接收用户的点击或长按,对所述原始歌曲段进行选择提取,进入如5B所示的图形用户界面。示例性的,歌词显示装置通过设置不同的歌曲改编的形式,接收用户通过点击来预先设定倍速因子,例如0.8倍速的预设倍速因子为0.8。当所述预设倍速因子确定后,所述歌词显示装置可以实施前文结合图4所描述的实施例,确定所述目标歌曲段、所述歌词的目标时间信息,以及所述和弦的目标时间信息,并生成所述目标歌曲段的歌曲信息。
示例性的,所述目标歌曲段的歌曲信息包括:歌词“一闪一闪”的时间以及对应的音频为第0s至第5s,歌词“亮晶”的时间以及对应的音频为第5s至第7.5s,歌词“晶”以及对应的音频为第7.5s至第8.75s;A和弦,示例性的,A和弦的和弦标识为“1”,A和弦的时间信息为第0s至第5s以及第7.5s至第8.75s;和弦标识“2”的时间信息为第5s至第7.5s。所述歌词显示装置根据各个歌词对应的时间信息以及和弦对应的时间信息,确定每个歌词对应的和弦,例如确定“一闪一闪”对应的A和弦,和弦标识为“1”,确定歌词“亮晶”对应的D和弦,和弦标识为“2”;确定歌词“晶”对应的A和弦,和弦标识为“1”。
所述歌词显示装置根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定各个歌词对应的显示参数,示例性的,所述歌词显示装置在预先设置的显示参数映射表中查找和弦标识“1”的显示参数为“字体倾斜”,和弦标识“2”的显示参数为“字体放大为原来的两倍”,可选的,各个和弦标识对应的显示参数还可以包括多个,例如所述和弦标识“1”的显示参数可以包括“字体倾斜”和/或“加字体下划线”,即可以理解为和弦标识对应的显示参数可以有多种显示效果,由于不同的和弦被奏响时有不同的听觉效果,可以根据不同的听觉效果来制定不同的显示效果,以达到视听一致的体验。
参见5C与前文所描述的3C的歌词显示效果可以是一样的,但是5C的歌词显示时长与所述3C的歌词显示时长是不一样的,例如所述预设倍速因子为0.8,则3C中的每个歌词的显示时长均为5C中的每个歌词的显示时长的0.8倍,即5C中的歌词显示时长长;又例如所述预设的倍速因子为2,则3C中的每个歌词的显示时长均为5C中的每个歌词的显示时长的2倍,即5C中的歌词显示时长短。
在另一种可能的实现方式中,所述原始歌曲段可以包括多个,将多个原始歌曲段经过前文结合图4所描述实施例中的步骤S400至步骤S403之后生成目标歌曲段的歌曲信息。示例性的,参见图6,图6包括6D、6E以及6F,如6D所示所述歌词显示装置通过接收用户的点击确定第一原始歌曲段中的原始歌词为“一闪一闪”,预设倍速因子为0.8;如6E所示,所述歌词显示装置通过接收用户的点击确定第二原始歌曲段为“亮晶”,预设倍速因子为2;如6F所示,所述歌词显示装置通过接收用户的点击确定第三原始歌曲段为“晶”,预设倍速因子为1.5,将所述第一原始歌曲段、第二原始歌曲段以及第三原始歌曲段分别按照不同的倍速因子得到的歌曲信息按照时间先后顺序进行组合,作为所述目标歌曲段的歌曲信息,实现如6G所示的显示效果。
在前文结合图1至图3所描述实施例的基础上,进一步的,本申请还可以对原始歌曲段进行改编,进一步地提高歌曲播放的趣味性。
在一种可能的实现方式中,所述歌词显示装置获取原始歌曲段,其中所述原始歌曲段包括第一左声道信号和第一右声道信号;根据所述第一左声道信号以及所述第一右声道信号,提取人声信息以及背景声信息,示例性的,所述歌词显示装置将所述第一左声道信号和所述第一右声道信号进行相加后除以二,得到所述音频信息中的人声信息。进一步的,所述歌词显示装置将所述人声信息的幅值以第一预设数量值进行增强得到增强后的人声信息。具体的,所述输出歌曲音频段符合立体声mid-side制式,即人声集中在中央,背景音乐分布在两侧。所述第一左声道信号为L1,所述第一右声道信号为R1,所述人声信息voice为:
以所述第一预设数量值是2为例,所述增强后的人声信息voice_new为:
voice_new=2×voice 公式8
所述歌词显示装置对所述人声信息进行能量增强以得到增强后的人声信息,并对所述背景声信息进行能量抑制以得到抑制后的背景声信息,示例性的,根据所述第一左声道信号和所述第一右声道信号进行相减后除以二,得到所述音频信息中的背景声信息,进一步的,所述歌词显示装置将所述背景声信息的幅值以第二预设数量值进行抑制得到抑制后的背景声信息。所述背景声信息back为:
以所述第二预设数量值是2为例,所述增强后的人声信息back_new为:
所述歌词显示装置使用所述增强后的人声信息以及所述抑制后的背景声信息,合成第二左声道信号以及第二右声道信号,示例性的,将所述增强后的人声信息与所述抑制后的背景声信息相加得到的结果作为第二左声道信号L2:
L2=voice_new+back_new 公式11
所述歌词显示装置将所述增强后的人声信息与所述抑制后的背景声信息相减后得到结果,作为第二右声道信号R2:
R2=voice_new-back_new 公式12
所述歌词显示装置根据公式11和公式12,由所述第二左声道信号L2和所述第二右声道信号R2得到所述目标歌曲段;
所述歌词显示装置在对所述目标歌曲段进行播放时,对所述歌曲段中包括的至少一个歌词按照各自对应的显示参数进行显示,即执行前文结合图1至图5所描述的任意一种可能的实施例。
可选的,将所述人声信息的幅值乘以比例因子得到增强后的人声信息,将第三预设数量减去所述比例因子得到抑制后的背景声信息。具体的,所述比例因子为预先设置的。将所述增强后的人声信息与所述抑制后的背景声信息之和作为所述第二左声道信号L2:
L2=beta×voice+(2-beta)×back 公式13
其中beta为所述比例因子,所述比例因子的数值范围可以在1至2之间,其数值越大,人声越突出,反之亦然。
所述歌词显示装置将所述增强后的人声信息与所述抑制后的背景声信息之差作为所述第二右声道信号R2:
L2=beta×voice-(2-beta)×back 公式14
实施本实施例,可以对歌曲段实现人声突出的效果,进一步提高歌曲播放显示的趣味性。具体的应用场景图可以参考前文所描述的图5中的5A至5B,所述歌词显示装置根据接收到的用户改编请求来执行本实施例。
本申请实施例还提供了一种歌词显示装置,参见图7,图7为本申请实施例提供的一种歌词显示装置的结构框图。如图7所示,所述歌词显示装置70包括:
获取模块700,用于获取目标歌曲段以及所述目标歌曲段的歌曲信息,所述歌曲信息包括所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息;
确定模块701,用于根据所述歌词的目标时间信息以及所述和弦的目标时间信息,确定所述歌词与所述和弦之间的对应关系;
所述确定模块701,还用于在根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定所述歌词对应的显示参数;
显示模块702,用于在播放所述目标歌曲段时,按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。
在一种可能的实施例中,所述获取模块700,还用于获取原始歌曲段、与所述原始歌曲段对应的倍速因子以及所述原始歌曲段的歌曲信息,所述歌曲信息包括所述原始歌曲段包含的歌词、所述歌词的原始时间信息、所述原始歌曲段包含的和弦以及所述和弦的原始时间信息;
所述获取模块700,还用于根据所述倍速因子,对所述原始歌曲段进行变速不变调处理,得到所述目标歌曲段;
所述获取模块700,还用于将所述原始歌曲段包含的歌词作为所述目标歌曲段包含的歌词,以及根据所述倍速因子对所述歌词的原始时间信息进行处理,得到所述歌词的目标时间信息;
所述获取模块700,还用于将所述原始歌曲段包含的和弦作为所述目标歌曲段包含的和弦,根据所述倍速因子对所述和弦的原始时间信息进行处理,得到所述和弦的目标时间信息;其中所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息用于组合得到所述目标歌曲段的歌曲信息。
可选的,所述歌词显示装置70还包括拆分模块702、查找模块704以及生成模块705;
所述拆分模块702,用于对所述原始歌曲段进行分帧得到多个第一音频帧,所述获取模块700获得各个第一音频帧对应的时间信息;
所述确定模块701,还用于根据各个第一音频帧对应的时间信息以及所述倍速因子,在所述原始歌曲音频段中确定与每个第一音频帧对应的第二音频帧;
所述查找模块704,还用于在所述原始歌曲音频段中各个第二音频帧的预设邻域范围内查找与相应第一音频帧波形最相似的音频帧,作为各个第一音频帧的输出音频帧;
所述生成模块705,用于将所述各个第一音频帧的输出音频帧组合得到所述目标歌曲段。
进一步的,所述获取模块700,还用于获取原始歌曲段,其中所述原始歌曲段包括第一左声道信号和第一右声道信号;
所述获取模块700,还用于根据所述第一左声道信号以及所述第一右声道信号,提取人声信息以及背景声信息;
所述歌词显示装置70还包括计算模块706;
所述计算模块706,用于对所述人声信息进行能量增强以得到增强后的人声信息,并对所述背景声信息进行能量抑制以得到抑制后的背景声信息;
所述生成模块705,还用于使用所述增强后的人声信息以及所述抑制后的背景声信息,合成第二左声道信号以及第二右声道信号;
所述生成模块705,还用于根据所述第二左声道信号和所述第二右声道信号得到所述目标歌曲段。
在一种可能的实现方式中,所述计算模块706,具体用于将所述人声信息的幅值以第一预设数量值进行增强得到增强后的人声信息;
将所述背景声信息的幅值以第二预设数量值进行抑制得到抑制后的背景声信息。
在另一种可能的实现方式中,所述计算模块706,具体用于将所述人声信息的幅值乘以比例因子得到增强后的人声信息;将第三预设数量减去所述比例因子得到抑制后的背景声信息。
在一种可能的实现方式中,所述拆分模块703,还用于对所述目标歌曲段进行分帧得到多个第三音频帧,对所述多个第三音频帧进行傅里叶变换,得到各个第三音频帧分别对应的所有频域信息,所述频域信息包括频率分量以及对应的能量值;
所述计算模块706,还用于将每个第三音频帧各自对应的所有频率分量分别以对数的形式映射到音级轮廓特征中的12个频率带,从而确定每个第三音频帧中各个频率分量分别所属的频率带;
所述计算模块706,还用于根据所述每个第三音频帧中各个频率分量分别所属的频率带,对同一个频率带中所有频率分量对应的能量值进行相加,分别得到各个第三音频帧的12维向量;
所述计算模块706,还用于将所述各个第三音频帧的12维向量传输至和弦识别模型,以得到所述目标歌曲段包含的和弦以及所述和弦的目标时间信息。
进一步的,所述频域信息还包括至少两个采样点;
所述确定模块701,还用于根据所述各个第三音频帧分别对应的频域信息中所有相邻两两采样点的能量差值,确定所述输出歌曲音频段的起音序列;
所述计算模块706,还用于将所述起音序列进行自相关运算,得到自相关序列;
所述计算模块706,还用于对所述自相关序列通过对数高斯分布函数进行加权;
所述确定模块701,还用于将经过加权后的自相关序列取最大值时对应的时间值作为拍子长度;所述拍子长度时间内包括至少一个第三音频帧;
所述确定模块701,还用于对每个拍子长度时间内包括的所有所述第三音频帧中各个频率分量进行频率带划分,对同一个频率带的所有频率分量对应的能量值进行相加取平均值之后,作为各个拍子长度时间内包括的所有所述第三音频帧的所述12维向量。
可选的,所述获取模块700,还用于获取原始歌曲段以及所述原始歌曲段的歌曲信息,所述歌曲信息包括所述原始歌曲段包含的原始歌词以及所述原始歌词的原始时间信息;
所述确定模块701,还用于确定所述原始歌词中的待重复歌词,以及所述待重复歌词的重复次数;
所述获取模块700,还用于根据所述待重复歌词以及所述重复次数生成目标歌词,并将所述原始歌词中的待重复歌词替换为所述目标歌词,以得到所述目标歌曲段包含的歌词;
所述获取模块700,还用于根据所述原始歌词的原始时间信息以及所述待重复歌词的重复次数,获得所述目标歌曲段包含的歌词的目标时间信息。
参见图8,图8为本申请实施例提供的一种歌词显示设备的结构框图。如图8所示,歌词显示设备80包括处理器801以及存储器802,其中:
所述处理器801可以是中央处理单元(central processing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器802中存储有指令,可以理解的是,所述存储器802中存储有所述显示参数映射表、歌曲段以及歌曲段的歌曲信息。示例性的,所述存储器802可以包括只读存储器和随机存取存储器,并向处理器801提供指令和数据。存储器802的一部分还可以包括非易失性随机存取存储器。例如,存储器802还可以存储设备类型的信息
所述处理器801,用于执行所述存储器中存储的计算机程序,实现前文所述的任意一种可能的实施例。
可选的,所述歌词显示设备还可以包括收发器800,用于将所述目标歌曲段以及所述目标歌曲段的歌曲信息发送至其他设备。
具体实现中,上述电子设备可通过其内置的各个功能模块执行如上述图1到图5中各个步骤所提供的实现方式,具体可参见上述图1到图5中各个步骤所提供的实现方式,在此不再赘述。
本申请提供了一种计算机可读存储介质,所述可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行前文所述的任意一种可能的实施例。
需要说明的是,上述术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置以及***,可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种歌词显示方法,其特征在于,所述方法包括:
获取目标歌曲段以及所述目标歌曲段的歌曲信息,所述歌曲信息包括所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息;
根据所述歌词的目标时间信息以及所述和弦的目标时间信息,确定所述歌词与所述和弦之间的对应关系;
根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定所述歌词对应的显示参数;
在播放所述目标歌曲段时,按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。
2.根据权利要求1所述的方法,其特征在于,所述获取目标歌曲段以及所述目标歌曲段的歌曲信息,包括:
获取原始歌曲段、与所述原始歌曲段对应的倍速因子以及所述原始歌曲段的歌曲信息,所述歌曲信息包括所述原始歌曲段包含的歌词、所述歌词的原始时间信息、所述原始歌曲段包含的和弦以及所述和弦的原始时间信息;
根据所述倍速因子,对所述原始歌曲段进行变速不变调处理,得到所述目标歌曲段;
将所述原始歌曲段包含的歌词作为所述目标歌曲段包含的歌词,以及根据所述倍速因子对所述歌词的原始时间信息进行处理,得到所述歌词的目标时间信息;将所述原始歌曲段包含的和弦作为所述目标歌曲段包含的和弦,根据所述倍速因子对所述和弦的原始时间信息进行处理,得到所述和弦的目标时间信息;其中所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息用于组合得到所述目标歌曲段的歌曲信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述倍速因子,对所述原始歌曲段进行变速不变调处理,得到所述目标歌曲段,包括:
对所述原始歌曲段进行分帧得到多个第一音频帧,并获得各个第一音频帧的时间信息;
根据各个第一音频帧的时间信息以及所述倍速因子,在所述原始歌曲段中确定与每个第一音频帧对应的第二音频帧;
在所述原始歌曲段中各个第二音频帧的预设邻域范围内查找与相应第一音频帧波形最相似的音频帧,作为各个第一音频帧的输出音频帧;
将所述各个第一音频帧的输出音频帧组合得到所述目标歌曲段。
4.根据权利要求1所述的方法,其特征在于,所述获取目标歌曲段,包括:
获取原始歌曲段,其中所述原始歌曲段包括第一左声道信号和第一右声道信号;
根据所述第一左声道信号以及所述第一右声道信号,提取人声信息以及背景声信息;
对所述人声信息进行能量增强以得到增强后的人声信息,并对所述背景声信息进行能量抑制以得到抑制后的背景声信息;
使用所述增强后的人声信息以及所述抑制后的背景声信息,合成第二左声道信号以及第二右声道信号;
根据所述第二左声道信号和所述第二右声道信号得到所述目标歌曲段。
5.根据权利要求4所述的方法,其特征在于,所述对所述人声信息进行能量增强以得到增强后的人声信息,并对所述背景声信息进行能量抑制以得到抑制后的背景声信息,包括:
将所述人声信息的幅值以第一预设数量值进行增强得到增强后的人声信息;
将所述背景声信息的幅值以第二预设数量值进行抑制得到抑制后的背景声信息。
6.根据权利要求4所述的方法,其特征在于,所述对所述人声信息进行能量增强以得到增强后的人声信息,并对所述背景声信息进行能量抑制以得到抑制后的背景声信息,包括:
将所述人声信息的幅值乘以比例因子得到增强后的人声信息;
将第三预设数量减去所述比例因子得到第一差值,将所述第一差值乘以所述背景声信息的幅值得到抑制后的背景声信息。
7.根据权利要求1所述的方法,其特征在于,获得所述目标歌曲段包含的和弦以及所述和弦的目标时间信息,包括:
对所述目标歌曲段进行分帧得到多个第三音频帧,对所述多个第三音频帧进行傅里叶变换,得到各个第三音频帧分别对应的所有频域信息,所述频域信息包括频率分量以及对应的能量值;
将每个第三音频帧各自对应的所有频率分量分别以对数的形式映射到音级轮廓特征中的12个频率带,从而确定每个第三音频帧中各个频率分量分别所属的频率带;
根据所述每个第三音频帧中各个频率分量分别所属的频率带,对同一个频率带中所有频率分量对应的能量值进行相加,分别得到各个第三音频帧的12维向量;
将所述各个第三音频帧的12维向量传输至和弦识别模型,以得到所述目标歌曲段包含的和弦以及所述和弦的目标时间信息。
8.根据权利要求7所述的方法,其特征在于,所述频域信息还包括至少两个采样点;
所述根据所述每个第三音频帧中各个频率分量分别所属的频率带,对同一个频率带中所有频率分量对应的能量值进行相加,分别得到各个第三音频帧的12维向量包括:
根据所述各个第三音频帧分别对应的频域信息中所有相邻两两采样点的能量差值,确定所述输出歌曲音频段的起音序列;
将所述起音序列进行自相关运算,得到自相关序列;
对所述自相关序列通过对数高斯分布函数进行加权,将经过加权后的自相关序列取最大值时对应的时间值作为拍子长度;所述拍子长度时间内包括至少一个第三音频帧;
对每个拍子长度时间内所有第三音频帧中的各个频率分量进行频率带划分,对同一个频率带的所有频率分量对应的能量值进行相加取平均值之后,作为各个拍子长度时间内包括的所有第三音频帧的12维向量。
9.根据权利要求1所述的方法,其特征在于,获取目标歌曲段包含的歌词以及所述歌词的目标时间信息,包括:
获取原始歌曲段以及所述原始歌曲段的歌曲信息,所述歌曲信息包括所述原始歌曲段包含的原始歌词以及所述原始歌词的原始时间信息;
确定所述原始歌词中的待重复歌词,以及所述待重复歌词的重复次数;
根据所述待重复歌词以及所述重复次数生成目标歌词,并将所述原始歌词中的待重复歌词替换为所述目标歌词,以得到所述目标歌曲段包含的歌词;
根据所述原始歌词的原始时间信息以及所述待重复歌词的重复次数,获得所述目标歌曲段包含的歌词的目标时间信息。
10.一种歌词显示装置,其特征在于,所述歌词显示装置包括:
获取模块,用于获取目标歌曲段以及所述目标歌曲段的歌曲信息,所述歌曲信息包括所述目标歌曲段包含的歌词、所述歌词的目标时间信息、所述目标歌曲段包含的和弦以及所述和弦的目标时间信息;
确定模块,用于根据所述歌词的目标时间信息以及所述和弦的目标时间信息,确定所述歌词与所述和弦之间的对应关系;
所述确定模块,还用于在根据所述歌词与所述和弦的对应关系以及预先为所述和弦设置的显示参数,确定所述歌词对应的显示参数;
显示模块,用于在播放所述目标歌曲段时,按照所述歌词对应的显示参数显示所述目标歌曲段包含的歌词。
11.一种歌词显示设备,其特征在于,所述设备包括处理器和存储器,其中所述处理器用于执行所述存储器中存储的计算机程序,实现如权利要求1至9中任意一项所述方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1至9中任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010403687.9A CN111639226A (zh) | 2020-05-13 | 2020-05-13 | 一种歌词显示方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010403687.9A CN111639226A (zh) | 2020-05-13 | 2020-05-13 | 一种歌词显示方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111639226A true CN111639226A (zh) | 2020-09-08 |
Family
ID=72329448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010403687.9A Pending CN111639226A (zh) | 2020-05-13 | 2020-05-13 | 一种歌词显示方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111639226A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112133266A (zh) * | 2020-09-21 | 2020-12-25 | 腾讯音乐娱乐科技(深圳)有限公司 | 歌词集合的生成方法及装置 |
CN112699269A (zh) * | 2020-12-30 | 2021-04-23 | 北京达佳互联信息技术有限公司 | 歌词显示方法、装置、电子设备、计算机可读存储介质 |
CN115134643A (zh) * | 2021-03-24 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 用于车载终端的弹幕显示方法、装置、终端以及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997046991A1 (en) * | 1996-06-07 | 1997-12-11 | Seedy Software, Inc. | Method and system for providing visual representation of music |
US6582235B1 (en) * | 1999-11-26 | 2003-06-24 | Yamaha Corporation | Method and apparatus for displaying music piece data such as lyrics and chord data |
CN101740034A (zh) * | 2008-11-04 | 2010-06-16 | 刘盛举 | 一种实现声音变速不变调方法及变速变调*** |
CN103714806A (zh) * | 2014-01-07 | 2014-04-09 | 天津大学 | 一种结合svm和增强型pcp特征的和弦识别方法 |
-
2020
- 2020-05-13 CN CN202010403687.9A patent/CN111639226A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997046991A1 (en) * | 1996-06-07 | 1997-12-11 | Seedy Software, Inc. | Method and system for providing visual representation of music |
US6582235B1 (en) * | 1999-11-26 | 2003-06-24 | Yamaha Corporation | Method and apparatus for displaying music piece data such as lyrics and chord data |
CN101740034A (zh) * | 2008-11-04 | 2010-06-16 | 刘盛举 | 一种实现声音变速不变调方法及变速变调*** |
CN103714806A (zh) * | 2014-01-07 | 2014-04-09 | 天津大学 | 一种结合svm和增强型pcp特征的和弦识别方法 |
Non-Patent Citations (1)
Title |
---|
中国融媒产业网: "春节玩"唱吧弹唱",钢琴、吉他等你拿!" * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112133266A (zh) * | 2020-09-21 | 2020-12-25 | 腾讯音乐娱乐科技(深圳)有限公司 | 歌词集合的生成方法及装置 |
CN112699269A (zh) * | 2020-12-30 | 2021-04-23 | 北京达佳互联信息技术有限公司 | 歌词显示方法、装置、电子设备、计算机可读存储介质 |
CN115134643A (zh) * | 2021-03-24 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 用于车载终端的弹幕显示方法、装置、终端以及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639226A (zh) | 一种歌词显示方法、装置及设备 | |
EP3843083A1 (en) | Method, system, and computer-readable medium for creating song mashups | |
Mion et al. | Score-independent audio features for description of music expression | |
CN112382257B (zh) | 一种音频处理方法、装置、设备及介质 | |
EP3223274B1 (en) | Information providing method and information providing device | |
US11521585B2 (en) | Method of combining audio signals | |
CN112185321B (zh) | 歌曲生成 | |
CN108766407B (zh) | 音频连接方法及装置 | |
Streich | Music complexity: a multi-faceted description of audio content | |
EP3489946A1 (en) | Real-time jamming assistance for groups of musicians | |
CN112289300A (zh) | 音频处理方法、装置及电子设备和计算机可读存储介质 | |
CN101930732B (zh) | 基于用户输入语音的乐曲生成方法及装置、智能终端 | |
JP2000047673A (ja) | カラオケ装置 | |
Zhang et al. | Influence of musical elements on the perception of ‘Chinese style’in music | |
Verfaille et al. | An interdisciplinary approach to audio effect classification | |
CN113196381A (zh) | 音响解析方法以及音响解析装置 | |
CN107025902B (zh) | 数据处理方法及装置 | |
US20230335090A1 (en) | Information processing device, information processing method, and program | |
Kitahara et al. | Instrogram: A new musical instrument recognition technique without using onset detection nor f0 estimation | |
JPH11237890A (ja) | 歌唱採点機能付きカラオケ装置における歌唱採点方法 | |
Lee et al. | Singing Voice Synthesis: Singer-Dependent Vibrato Modeling and Coherent Processing of Spectral Envelope. | |
KR20140054810A (ko) | 반주음악 제작 서비스 시스템 및 그 방법, 그리고 이에 적용되는 장치 | |
CN112071287A (zh) | 用于生成歌谱的方法、装置、电子设备和计算机可读介质 | |
CN113557565A (zh) | 乐曲解析方法及乐曲解析装置 | |
Desblancs | Self-supervised beat tracking in musical signals with polyphonic contrastive learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |