CN109524025B - 一种唱歌评分方法、装置、电子设备及存储介质 - Google Patents
一种唱歌评分方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109524025B CN109524025B CN201811418115.7A CN201811418115A CN109524025B CN 109524025 B CN109524025 B CN 109524025B CN 201811418115 A CN201811418115 A CN 201811418115A CN 109524025 B CN109524025 B CN 109524025B
- Authority
- CN
- China
- Prior art keywords
- vector
- scored
- audio data
- elements
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013077 scoring method Methods 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 478
- 230000033764 rhythmic process Effects 0.000 claims abstract description 49
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 108090000623 proteins and genes Proteins 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本申请实施例提供了一种唱歌评分方法、装置、电子设备及存储介质,所述方法包括:获取待评分音频数据及基准音频数据;分别计算待评分音频数据及基准音频数据的基音频率;基于基音频率生成待评分向量及基准向量;通过动态时间规划算法计算待评分向量与基准向量的规整路径距离及待评分向量与基准向量的元素对应关系;基于该对应关系,确定待评分音频数据与基准音频数据的对齐度;根据规整路径距离确定待评分音频数据的音准得分,基于对齐度确定待评分音频数据的节奏得分,并根据音准得分及节奏得分确定待评分音频数据的评分。由于无需进行最佳偏移帧数的搜索,而是采用音准得分和节奏得分综合得到最终的评分,评分复杂度低,且准确度更高。
Description
技术领域
本申请涉及音频数据处理技术领域,特别是涉及一种唱歌评分方法、装置、电子设备及存储介质。
背景技术
近些年来,随着线上线下K歌的兴起,唱歌评分技术受到越来越广泛的重视和应用。唱歌评分可以应用于演唱评价、内容推荐、唱歌练习和社交分享等领域。
目前唱歌评分方式一般为:首先获取演唱者所演唱的歌曲的录音数据以及对应的标准乐谱数据,在包含当前句子的录音数据的起始位置的搜索窗长范围内查找最佳偏移帧数,然后根据最佳偏移帧数对当前句子的录音数据进行平移,使得当前句子的录音数据与标准乐谱数据在时间上同步,进而对平移后的当前句子的录音数据进行评分,最后根据演唱者所演唱的歌曲的每个句子的评分得到演唱者的最终评分结果。
但是,采用上述唱歌评分方式中需要搜索最佳偏移帧数,而最佳偏移帧数的搜索不能做到足够准确的,且复杂度很高,导致唱歌评分的准确度较低。
发明内容
为克服相关技术中存在的问题,本申请实施例提供一种唱歌评分方法、装置、电子设备及存储介质。具体技术方案如下:
根据本申请实施例的第一方面,提供一种唱歌评分方法,所述方法包括:
获取待评分音频数据及基准音频数据;
分别计算所述待评分音频数据及所述基准音频数据的基音频率;
基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量;
通过动态时间规划算法计算所述待评分向量与所述基准向量的规整路径距离及所述待评分向量与所述基准向量的元素对应关系;
基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度;
根据所述规整路径距离确定所述待评分音频数据的音准得分,基于所述对齐度确定所述待评分音频数据的节奏得分,并根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分。
作为一种实施方式,所述分别计算所述待评分音频数据及所述基准音频数据的基音频率的步骤,包括:
按照预设时间长分别将所述待评分音频数据及所述基准音频数据分成多段;
计算每段所述待评分音频数据的平均基音频率,以及计算每段所述基准音频数据的平均基音频率。
作为一种实施方式,所述基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量的步骤,包括:
将每段所述待评分音频数据的平均基音频率,作为待评分向量的一个元素,得到所述待评分向量;
将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量。
作为一种实施方式,所述基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量的步骤,包括:
将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量;
将每段所述待评分音频数据的平均基音频率,作为一个待对齐元素,并对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量;
所述预设处理包括:
将前N个所述待对齐元素确定为备选向量,其中,N为大于1的正整数;
将前n个所述基准向量的元素确定为对齐向量,其中,n为小于N的正整数;
将所述对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量为N;
通过动态时间规划算法计算所述备选向量与所述添加后的对齐向量的元素对应关系;
根据所述备选向量与所述添加后的对齐向量的元素对应关系,将所述备选向量中与所述添加后的对齐向量的非0元素相对应的元素,确定为目标元素;
将所述目标元素以及其后的待对齐元素确定为待评分向量的元素,得到所述待评分向量。
作为一种实施方式,在所述将前N个所述待对齐元素确定为备选向量的步骤之前,所述方法还包括:
按照预设时间区间将所述待对齐元素划分为多组;
按照所述预设时间区间将所述基准向量的元素划分为多组,得到基准向量的元素组;
所述对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量的步骤,包括:
对每组所述待对齐元素及其对应的基准向量的元素组进行所述预设处理,得到待评分向量。
作为一种实施方式,所述基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度的步骤,包括:
根据公式dist=sum(w(p1)-w(p0))2计算所述待评分音频数据与所述基准音频数据的对齐度;
其中,dist为所述待评分音频数据与所述基准音频数据的对齐度,w(p1)为所述待评分向量中元素的序号,w(p0)为所述基准向量中与所述待评分向量中序号为w(p1)的元素相对应的元素的序号。
作为一种实施方式,所述根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分的步骤,包括:
按照预设权重对所述音准得分及所述节奏得分进行加权求和得到所述待评分音频数据的评分。
根据本申请实施例的第二方面,提供一种唱歌评分装置,所述装置包括:
音频数据获取模块,被配置为获取待评分音频数据及基准音频数据;
基音频率计算模块,被配置为分别计算所述待评分音频数据及所述基准音频数据的基音频率;
向量生成模块,被配置为基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量;
对应关系确定模块,被配置为通过动态时间规划算法计算所述待评分向量与所述基准向量的规整路径距离及所述待评分向量与所述基准向量的元素对应关系;
对齐度确定模块,被配置为基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度;
评分确定模块,被配置为根据所述规整路径距离确定所述待评分音频数据的音准得分,基于所述对齐度确定所述待评分音频数据的节奏得分,并根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分。
作为一种实施方式,所述基音频率计算模块包括:
划分子模块,被配置为按照预设时间长分别将所述待评分音频数据及所述基准音频数据分成多段;
基音频率计算子模块,被配置为计算每段所述待评分音频数据的平均基音频率,以及计算每段所述基准音频数据的平均基音频率。
作为一种实施方式,所述向量生成模块包括:
第一待评分向量确定子模块,被配置为将每段所述待评分音频数据的平均基音频率,作为待评分向量的一个元素,得到所述待评分向量;
第一基准向量确定子模块,被配置为将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量。
作为一种实施方式,所述向量生成模块包括:
第二基准向量确定子模块,被配置为将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量;
第二待评分向量确定子模块,被配置为将每段所述待评分音频数据的平均基音频率,作为一个待对齐元素,并通过预设处理模块对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量;
所述预设处理模块,被配置为将前N个所述待对齐元素确定为备选向量,其中,N为大于1的正整数;将前n个所述基准向量的元素确定为对齐向量,其中,n为小于N的正整数;将所述对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量为N;通过动态时间规划算法计算所述备选向量与所述添加后的对齐向量的元素对应关系;根据所述备选向量与所述添加后的对齐向量的元素对应关系,将所述备选向量中与所述添加后的对齐向量的非0元素相对应的元素,确定为目标元素;将所述目标元素以及其后的待对齐元素确定为待评分向量的元素,得到所述待评分向量。
作为一种实施方式,所述装置还包括:
第一分组模块,被配置为在所述将前N个所述待对齐元素确定为备选向量的步骤之前,按照预设时间区间将所述待对齐元素划分为多组;
第二分组模块,被配置为按照所述预设时间区间将所述基准向量的元素划分为多组,得到基准向量的元素组;
所述第二待评分向量确定子模块包括:
第二待评分向量确定单元,被配置为对每组所述待对齐元素及其对应的基准向量的元素组进行所述预设处理,得到待评分向量。
作为一种实施方式,所述对齐度确定模块包括:
对齐度确定子模块,被配置为根据公式dist=sum(w(p1)-w(p0))2计算所述待评分音频数据与所述基准音频数据的对齐度;
其中,dist为所述待评分音频数据与所述基准音频数据的对齐度,w(p1)为所述待评分向量中元素的序号,w(p0)为所述基准向量中与所述待评分向量中序号为w(p1)的元素相对应的元素的序号。
作为一种实施方式,所述评分确定模块包括:
评分确定子模块,被配置为按照预设权重对所述音准得分及所述节奏得分进行加权求和得到所述待评分音频数据的评分。
根据申请开实施例的第三方面,提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一所述的唱歌评分方法步骤。
根据本申请实施例的第四方面,提供一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一所述的唱歌评分方法步骤。
根据本申请实施例的第五方面,提供一种应用程序产品,该应用程序产品用于在运行时执行上述任一所述的唱歌评分方法步骤。
本申请实施例所提供的方案中,电子设备首先可以获取待评分音频数据及基准音频数据,然后分别计算待评分音频数据及基准音频数据的基音频率,基于待评分音频数据的基音频率生成待评分向量,并基于基准音频数据的基音频率生成基准向量,再通过动态时间规划算法计算待评分向量与基准向量的规整路径距离及待评分向量与基准向量的元素对应关系,基于待评分向量与基准向量的元素对应关系,确定待评分音频数据与基准音频数据的对齐度,进而根据规整路径距离确定待评分音频数据的音准得分,基于对齐度确定待评分音频数据的节奏得分,并根据音准得分及节奏得分确定待评分音频数据的评分。由于无需进行最佳偏移帧数的搜索,而是采用音准得分和节奏得分综合得到最终的评分,评分复杂度低,且准确度更高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种唱歌评分方法的流程图;
图2是根据图1实施例示出的一种唱歌评分方法中的步骤S102的具体流程图;
图3是根据图1实施例示出的一种唱歌评分方法中的预设处理的方式的具体流程图;
图4是根据一示例性实施例示出的一种唱歌评分装置的结构示意框图;
图5是根据一示例性实施例示出的一种电子设备的结构示意框图;
图6是根据图5实施例示出的一种电子设备的具体结构示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为了提高唱歌评分的准确度,本申请实施例提供了一种唱歌评分方法、装置、电子设备及非临时性计算机可读存储介质。
下面首先对本申请实施例所提供的一种唱歌评分方法进行介绍。
本申请实施例所提供的一种唱歌评分方法可以应用于任意需要进行唱歌评分的电子设备,例如,手机、电脑、平板电脑等,在此不做具体限定。为了描述方便,以下简称电子设备。
如图1所示,一种唱歌评分方法,所述方法包括以下步骤:
在步骤S101中,获取待评分音频数据及基准音频数据;
在步骤S102中,分别计算所述待评分音频数据及所述基准音频数据的基音频率;
在步骤S103中,基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量;
在步骤S104中,通过动态时间规划算法计算所述待评分向量与所述基准向量的规整路径距离及所述待评分向量与所述基准向量的元素对应关系;
在步骤S105中,基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度;
在步骤S106中,根据所述规整路径距离确定所述待评分音频数据的音准得分,基于所述对齐度确定所述待评分音频数据的节奏得分,并根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分。
可见,本申请实施例所提供的方案中,电子设备首先可以获取待评分音频数据及基准音频数据,然后分别计算待评分音频数据及基准音频数据的基音频率,基于待评分音频数据的基音频率生成待评分向量,并基于基准音频数据的基音频率生成基准向量,再通过动态时间规划算法计算待评分向量与基准向量的规整路径距离及待评分向量与基准向量的元素对应关系,基于待评分向量与基准向量的元素对应关系,确定待评分音频数据与基准音频数据的对齐度,进而根据规整路径距离确定待评分音频数据的音准得分,基于对齐度确定待评分音频数据的节奏得分,并根据音准得分及节奏得分确定待评分音频数据的评分。由于无需进行最佳偏移帧数的搜索,而是采用音准得分和节奏得分综合得到最终的评分,评分复杂度低,且准确度更高。
在上述步骤S101中,电子设备可以获取待评分音频数据及基准音频数据。其中,待评分音频数据即为需要对其进行评分的音频数据。例如,可以为用户演唱歌曲的音频数据。基准音频数据即为待评分音频数据对应的原唱版本的音频数据。例如,待评分音频数据为用户演唱的歌曲A的音频数据,那么基准音频数据即为歌曲A的原唱版本的音频数据。
在一种实施方式中,电子设备可以通过自身设置的麦克风等音频采集器件采集待评分音频数据。在另一种实施方式中,电子设备可以获取本地或者其他电子设备存储的音频数据,作为待评分音频数据,这都是合理的。电子设备可以通过网络下载等方式获取基准音频数据,在此不做具体限定。
由于基音是音频数据的代表性特征,而基音频率是衡量演唱者音准的重要因素,所以电子设备在获取待评分音频数据及基准音频数据后,可以分别计算待评分音频数据及基准音频数据的基音频率,即执行上述步骤S102。其中,计算待评分音频数据及基准音频数据的基音频率的方式可以采用音频数据处理领域的任意能够确定音频数据的基音频率的方式,在此不做具体限定及说明。例如,可以采用自相关法、平均幅度差法、倒谱法等。
接下来在上述步骤S103中,电子设备可以基于待评分音频数据的基音频率生成待评分向量,基于基准音频数据的基音频率生成基准向量,以便后续计算待评分音频数据的节奏得分和音准得分。作为一种实施方式,基准向量和待评分向量中的元素的顺序可以表示音频数据对应的时间,元素的值可以表示时间对应的基因频率。
确定待评分向量和基准向量后,点电子设备可以执行上述步骤S104,即通过动态时间规划算法计算生成待评分向量与基准向量的规整路径距离及待评分向量与基准向量的元素对应关系。电子设备可以将待评分向量和基准向量作为动态时间规划算法(DynamicTime Warping)的输入,进而得到生成待评分向量与基准向量的规整路径距离,以及待评分向量与基准向量的元素对应关系。
其中,规整路径距离越小,表示待评分音频数据与基准音频数据相比,音准差异越小,相反的,规整路径距离越大,表示待评分音频数据与基准音频数据相比,音准差异越大。
由于基因频率的位置可以衡量演唱者演唱歌曲的节奏,因此在上述步骤S105中,电子设备可以基于上述待评分向量与基准向量的元素对应关系,确定待评分音频数据与基准音频数据的对齐度,该对齐度也就表示了评分音频数据与基准音频数据相比的节奏差异程度。
进而,在上述步骤S106中,电子设备便可以根据上述规整路径距离确定待评分音频数据的音准得分,并基于上述对齐度确定待评分音频数据的节奏得分,然后基于音准得分及节奏得分的综合考虑,确定待评分音频数据的评分。
作为本申请实施例的一种实施方式,如图2所示,上述分别计算所述待评分音频数据及所述基准音频数据的基音频率的步骤,可以包括:
步骤S201,按照预设时间长分别将所述待评分音频数据及所述基准音频数据分成多段;
由于音频信号是持续的信号,音频数据也是一段时长的数据,因此为了方便计算基音频率,电子设备可以将待评分音频数据及基准音频数据,按照预设时长划分为多段。其中预设时长可以根据评分音频数据及基准音频数据的总时长等因素确定,例如,可以为10秒、20秒、25秒等,在此不做具体限定。
步骤S202,计算每段所述待评分音频数据的平均基音频率,以及计算每段所述基准音频数据的平均基音频率。
将待评分音频数据及基准音频数据分成多段后,电子设备可以计算每段待评分音频数据的平均基音频率,以及计算每段基准音频数据的平均基音频率。
可见,在本实施例中,电子设备可以按照预设时间长分别将待评分音频数据及基准音频数据分成多段,然后计算每段待评分音频数据的平均基音频率,以及计算每段基准音频数据的平均基音频率。这样,可以快速准确地确定待评分音频数据及基准音频数据的基音频率。
针对上述按照预设时间长分别将待评分音频数据及基准音频数据分成多段的情况而言,作为本申请实施例的一种实施方式,上述基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量的步骤,可以包括:
将每段所述待评分音频数据的平均基音频率,作为待评分向量的一个元素,得到所述待评分向量;将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量。
计算得到每段待评分音频数据的平均基音频率后,可以将每段待评分音频数据的平均基音频率,作为待评分向量的一个元素,进而得到待评分向量。例如,将待评分音频数据分为5段,该5段待评分音频数据的平均基音频率分别为a、b、c、d及e,那么待评分向量即为[a,b,c,d,e]。
同理的,计算得到每段基准音频数据的平均基音频率后,可以将每段基准音频数据的平均基音频率,作为基准向量的一个元素,进而得到基准向量。例如,将基准音频数据分为5段,该5段基准音频数据的平均基音频率分别为a0、b0、c0、d0及e0,那么基准向量即为[a0,b0,c0,d0,e0]。
在待评分向量和基准向量中,元素的顺序是与音频数据的时间顺序是一致的,待评分向量中元素的顺序即可以反映演唱者的节奏。例如,基准向量[a0,b0,c0,d0,e0]中,a0为基准音频数据中时间最靠前的一段音频数据的平均基因频率,也就是分段后的第一段基准音频数据的平均基因频率。
可见,在本实施例中,电子设备可以将每段待评分音频数据的平均基音频率作为待评分向量的一个元素,得到待评分向量,将每段基准音频数据的平均基音频率作为基准向量的一个元素,进而得到基准向量。这样,待评分向量及基准向量中的元素的值为平均基因频率,可以反映演唱者的音准;元素的顺序与音频数据的时间对应,可以反映演唱者的节奏。
针对上述按照预设时间长分别将待评分音频数据及基准音频数据分成多段的情况而言,作为本申请实施例的另一种实施方式,上述基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量的步骤,可以包括:
将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量;将每段所述待评分音频数据的平均基音频率,作为一个待对齐元素,并对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量。
在本实施方式中,电子设备可以将每段评分音频数据的平均基音频率作为一个待对齐元素,然后对这些待对齐元素及上述基准向量的元素进行预设处理,得到待评分向量。
如图3所示,对待对齐元素及上述基准向量的元素进行预设处理的方式,可以包括:
步骤S301,将前N个所述待对齐元素确定为备选向量;
由于对于待评分音频数据来说,其为持续的音频信号,往往不能准确确定其中哪一时刻对应的音频信号为演唱者开始演唱时发出的音频信号,那么如果开始时刻的音频信号确定错误,将会导致整个待评分音频数据与基准音频数据都无法对齐,那么评分准确度会明显下降。
所以为了在这种情况下将待评分音频数据与基准音频数据进行对齐,电子设备首先可以从所有待对齐元素中选取前N个作为备选向量。其中,N为大于1的正整数,例如,5、10、17等。可以理解的是,待对齐元素中的前N个元素即为待评分音频数据最开始一段时间对应的基因频率。
步骤S302,将前n个所述基准向量的元素确定为对齐向量;
接下来,为了确定备选向量中从哪个元素开始与基准向量的元素对齐,电子设备可以将前n个基准向量的元素确定为对齐向量。其中,n为小于N的正整数。例如,备选向量包括12个元素,电子设备可以将前4个基准向量的元素确定为对齐向量。
步骤S303,将所述对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量为N;
为了方便通过动态时间规划算法进行计算,可以将对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量为N。也就是说,可以在对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量与备选向量的元素数量相同。
例如,备选向量为[A,B,C,D,E,F,G,H,I,J,K,L],对齐向量为[A0,B0,C0,D0],那么可以在对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量与备选向量的元素数量相同,即12个。示例性的,添加后的对齐向量可以为[0,0,0,A0,B0,C0,D0,0,0,0,0,0]。
步骤S304,通过动态时间规划算法计算所述备选向量与所述添加后的对齐向量的元素对应关系;
将上述备选向量以后添加后的对其向量作为动态时间规划算法的输入进行计算,便可以得到备选向量与添加后的对齐向量的元素对应关系。
步骤S305,根据所述备选向量与所述添加后的对齐向量的元素对应关系,将所述备选向量中与所述添加后的对齐向量的非0元素相对应的元素,确定为目标元素;
由于基准音频数据是原唱版本的饮片数据,基准向量即为原唱版本的基因频率所组成的向量。那么与上述添加后的对齐向量中非零元素对应的元素,也就是与原唱版本的基因频率最接近的元素,因此,得到上述备选向量与添加后的对齐向量的元素对应关系后,电子设备便可以基于该对应关系,将备选向量中与添加后的对齐向量的非0元素相对应的元素确定为目标元素。目标元素即为与基准音频数据的最开始一段时间的基因频率相对应的元素。
例如,备选向量[A,B,C,D,E,F,G,H,I,J,K,L]中,与添加后的对齐向量[0,0,0,A0,B0,C0,D0,0,0,0,0,0]中的非0元素A0、B0、C0、D0对应的元素为D、E、F、G,那么D、E、F、G即为目标元素。
步骤S306,将所述目标元素以及其后的待对齐元素确定为待评分向量的元素,得到所述待评分向量。
由于目标元素为与基准音频数据的最开始一段时间的基因频率相对应的元素,那么也就说明在目标元素之前的待对齐元素为与本次评分无关的音频数据所对应的基因频率,可能是采集音频数据时采集到的杂音等。
进而,电子设备便可以将上述目标元素以及其后的待对齐元素确定为待评分向量的元素,得到待评分向量。例如,备选向量[A,B,C,D,E,F,G,H,I,J,K,L]中D、E、F、G为目标元素,那么电子设备便可以将D、E、F、G以及其后的待对齐元素确定为待评分向量的元素,也就得到了待评分向量。
在一些情况下,添加后的对齐向量的非0元素所对应的备选向量中的元素可能不是唯一的,例如,添加后的对齐向量的非0元素A0对应备选向量中的元素C和元素D。那么为了准确确定目标元素,电子设备可以通过动态时间规划算法计算不同对应关系的备选向量与对齐向量的规整路径距离,将最小距离对应的对应关系确定为最终对应关系,进而,确定目标元素。
例如,添加后的对齐向量的非0元素A0对应备选向量中的元素C和元素D,电子设备可以计算向量[C,D,E,F]与对齐向量[A0,B0,C0,D0]的规整路径距离,以及向量[D,E,F,G]与对齐向量[A0,B0,C0,D0]的规整路径距离,如果向量[C,D,E,F]与对齐向量[A0,B0,C0,D0]的规整路径距离较小,说明向量[C,D,E,F]与对齐向量[A0,B0,C0,D0]对应的音准更加接近,那么便可以确定目标元素为C,D,E,F。
可见,在本实施例中,电子设备可以采用将对齐向量的元素前后添加多个元素0的方式,延长对齐向量,进而通过动态时间规划算法确定备选向量与添加后的对齐向量的元素对应关系,找到与基准向量对齐的待评分向量中的目标元素,可以使后续计算规整路径距离以及待评分向量与基准向量的元素对应关系的结果更加转准确,进一步提高对唱歌评分的准确度。
由于在实际场景中采集待评分音频数据时可能存在很多干扰因素,使得待评分音频数据存在延时,即使待评分向量与基准向量的最开始部分是对齐的,后面的其他元素也可能会因为延时出现偏移问题。为了解决该问题,作为本申请实施例的一种实施方式,在上述将前N个所述待对齐元素确定为备选向量的步骤之前,上述方法还可以包括:
按照预设时间区间将所述待对齐元素划分为多组;按照所述预设时间区间将所述基准向量的元素划分为多组,得到基准向量的元素组。
电子设备可以按照预设时间区间将上述待对齐元素划分为多组,同样按照该预设时间区间将上述基准向量的元素划分为多组,得到基准向量的元素组。其中,预设时间区间可以根据待评分音频数据的总时长、基准音频数据的总时长等因素确定,例如,可以为0.5分钟、1分钟、1.5分钟等,在此不做具体限定。
相应的,上述对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量的步骤,可以包括:
对每组所述待对齐元素及其对应的基准向量的元素组进行预设处理,得到待评分向量。
将待对齐元素及基准向量的元素划分为多组后,电子设备便可以对每组待对齐元素及其对应的基准向量的元素组进行上述预设处理,进而得到待评分向量。
可见,在本实施例中,电子设备可以按照预设时间区间将待对齐元素划分为多组,按照预设时间区间将基准向量的元素划分为多组,得到基准向量的元素组,然后对每组待对齐元素及其对应的基准向量的元素组进行预设处理,进而得到待评分向量。这样,可以将多个时间区间对应的待评分音频数据与基准数据进行对齐,达到全局最优对齐的效果,使得最终的评分结果更加准确。
作为本申请实施例的一种实施方式,上述基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度的步骤,可以包括:
根据公式dist=sum(w(p1)-w(p0))2计算所述待评分音频数据与所述基准音频数据的对齐度。
其中,dist为待评分音频数据与基准音频数据的对齐度,w(p1)为待评分向量中元素的序号,w(p0)为基准向量中与待评分向量中序号为w(p1)的元素相对应的元素的序号。
根据得到的待评分向量与基准向量的元素对应关系,电子设备可以确定基准向量中与待评分向量中序号为w(p1)的元素相对应的元素的序号。可以理解的是,如果演唱者演唱的歌曲与原唱版本的歌曲完全一致,那么待评分向量与基准向量的元素应该是一一对应的,上述对齐度即为0。而现实情况下,演唱者演唱的歌曲与原唱版本的歌曲不可能完全一致,因此会出现待评分向量与基准向量的元素出现不是一一对应的情况,也就是二者的基因频率的位置不完全对应的情况,上述对齐度即不为0。
由于欧氏距离可以表示两个位置之间的距离,所以可以采用待评分向量与基准向量的元素序号之间的欧氏距离可以表示二者的基因频率的位置的差异,因此可以采用上述公式计算待评分音频数据与基准音频数据的对齐度。对齐度的值越小,则表示待评分音频数据与基准音频数据的基因频率的位置的差异越小,待评分音频数据的节奏越准确;对齐度的值越大,则表示待评分音频数据与基准音频数据的基因频率的位置的差异越大,待评分音频数据的节奏越不准确。
例如,待评分向量为[m1,m2,m3,m4],基准向量为[n1,n2,n3,n4],待评分向量与基准向量的元素对应关系为m1对应n1,m2和m3对应n2,m4对应n3和n4,那么待评分向量中元素的序号1所对应的基准向量中元素的序号即为1,待评分向量中元素的序号2所对应的基准向量中元素的序号即为2,待评分向量中元素的序号3所对应的基准向量中元素的序号也为2,待评分向量中元素的序号4所对应的基准向量中元素的序号即为3和4。
那么,待评分向量为[m1,m2,m3,m4]与基准向量为[n1,n2,n3,n4]的对齐度即为dist=sum(w(p1)-w(p0))2=[(1-1)2+(2-2)2+(3-2)2+(4-3)2+(4-4)2]=2。
可见,在本实施例中,电子设备可以采用公式dist=sum(w(p1)-w(p0))2计算待评分音频数据与基准音频数据的对齐度,进而根据该对齐度确定节奏得分,可以快速准确地确定待评分音频数据的节奏准确度。
作为本申请实施例的一种实施方式,上述根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分的步骤,可以包括:
按照预设权重对所述音准得分及所述节奏得分进行加权求和得到所述待评分音频数据的评分。
在确定待评分音频数据的音准得分和节奏得分后,电子设备可以按照预设权重对音准得分和节奏得分进行加权求和,进而得到待评分音频数据的评分。其中,预设权重可以为预先根据待评分音频数据的节奏和音准的重要程度等因素确定的。
对于节奏比较重要的待评分音频数据,可以将节奏得分对应的预设权重设置的高一些,对于音准比较重要的待评分音频数据,可以将音准得分对应的预设权重设置的高一些,而对于音准和节奏均比较重要的待评分音频数据,可以将音准得分和节奏得分对应的预设权重设置为相同的数值,即0.5。
例如,假设节奏得分对应的预设权重为0.45,音准得分对应的预设权重为0.55,节奏得分为85分,音准得分为90分,那么该待评分音频数据的评分为85×0.45+90×0.55=87.75分。
可见,在本实施例中,电子设备可以按照预设权重对音准得分及节奏得分进行加权求和得到待评分音频数据的评分。这样对于不同类型的待评分音频数据可以设置不同的预设权重,使得对于待评分音频数据的评分更加合理。
图4是根据一示例性实施例示出的一种唱歌评分装置框图。如图4所示,一种唱歌评分装置,所述装置包括:
音频数据获取模块410,被配置为获取待评分音频数据及基准音频数据;
基音频率计算模块420,被配置为分别计算所述待评分音频数据及所述基准音频数据的基音频率;
向量生成模块430,被配置为基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量;
对应关系确定模块440,被配置为通过动态时间规划算法计算所述待评分向量与所述基准向量的规整路径距离及所述待评分向量与所述基准向量的元素对应关系;
对齐度确定模块450,被配置为基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度;
评分确定模块460,被配置为根据所述规整路径距离确定所述待评分音频数据的音准得分,基于所述对齐度确定所述待评分音频数据的节奏得分,并根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分。
可见,本申请实施例所提供的方案中,电子设备首先可以获取待评分音频数据及基准音频数据,然后分别计算待评分音频数据及基准音频数据的基音频率,基于待评分音频数据的基音频率生成待评分向量,并基于基准音频数据的基音频率生成基准向量,再通过动态时间规划算法计算待评分向量与基准向量的规整路径距离及待评分向量与基准向量的元素对应关系,基于待评分向量与基准向量的元素对应关系,确定待评分音频数据与基准音频数据的对齐度,进而根据规整路径距离确定待评分音频数据的音准得分,基于对齐度确定待评分音频数据的节奏得分,并根据音准得分及节奏得分确定待评分音频数据的评分。由于无需进行最佳偏移帧数的搜索,而是采用音准得分和节奏得分综合得到最终的评分,评分复杂度低,且准确度更高。
作为本申请实施例的一种实施方式,上述基音频率计算模块420可以包括:
划分子模块(图4中未示出),被配置为按照预设时间长分别将所述待评分音频数据及所述基准音频数据分成多段;
基音频率计算子模块(图4中未示出),被配置为计算每段所述待评分音频数据的平均基音频率,以及计算每段所述基准音频数据的平均基音频率。
作为本申请实施例的一种实施方式,上述向量生成模块430可以包括:
第一待评分向量确定子模块(图4中未示出),被配置为将每段所述待评分音频数据的平均基音频率,作为待评分向量的一个元素,得到所述待评分向量;
第一基准向量确定子模块(图4中未示出),被配置为将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量。
作为本申请实施例的一种实施方式,上述向量生成模块430可以包括:
第二基准向量确定子模块(图4中未示出),被配置为将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量;
第二待评分向量确定子模块(图4中未示出),被配置为将每段所述待评分音频数据的平均基音频率,作为一个待对齐元素,并通过预设处理模块(图4中未示出)对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量;
所述预设处理模块,被配置为将前N个所述待对齐元素确定为备选向量,其中,N为大于1的正整数;将前n个所述基准向量的元素确定为对齐向量,其中,n为小于N的正整数;将所述对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量为N;通过动态时间规划算法计算所述备选向量与所述添加后的对齐向量的元素对应关系;根据所述备选向量与所述添加后的对齐向量的元素对应关系,将所述备选向量中与所述添加后的对齐向量的非0元素相对应的元素,确定为目标元素;将所述目标元素以及其后的待对齐元素确定为待评分向量的元素,得到所述待评分向量。
作为本申请实施例的一种实施方式,上述装置还可以包括:
第一分组模块(图4中未示出),被配置为在所述将前N个所述待对齐元素确定为备选向量的步骤之前,按照预设时间区间将所述待对齐元素划分为多组;
第二分组模块(图4中未示出),被配置为按照所述预设时间区间将所述基准向量的元素划分为多组,得到基准向量的元素组;
所述第二待评分向量确定子模块包括:
第二待评分向量确定单元(图4中未示出),被配置为对每组所述待对齐元素及其对应的基准向量的元素组进行所述预设处理,得到待评分向量。
作为本申请实施例的一种实施方式,上述对齐度确定模块450可以包括:
对齐度确定子模块(图4中未示出),被配置为根据公式dist=sum(w(p1)-w(p0))2计算所述待评分音频数据与所述基准音频数据的对齐度;
其中,dist为所述待评分音频数据与所述基准音频数据的对齐度,w(p1)为所述待评分向量中元素的序号,w(p0)为所述基准向量中与所述待评分向量中序号为w(p1)的元素相对应的元素的序号。
作为本申请实施例的一种实施方式,上述评分确定模块460可以包括:
评分确定子模块(图4中未示出),被配置为按照预设权重对所述音准得分及所述节奏得分进行加权求和得到所述待评分音频数据的评分。
本申请实施例还提供了一种电子设备,如图5所示,电子设备可以包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现如下步骤:
获取待评分音频数据及基准音频数据;
分别计算所述待评分音频数据及所述基准音频数据的基音频率;
基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量;
通过动态时间规划算法计算所述待评分向量与所述基准向量的规整路径距离及所述待评分向量与所述基准向量的元素对应关系;
基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度;
根据所述规整路径距离确定所述待评分音频数据的音准得分,基于所述对齐度确定所述待评分音频数据的节奏得分,并根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分。
可见,本申请实施例所提供的方案中,电子设备首先可以获取待评分音频数据及基准音频数据,然后分别计算待评分音频数据及基准音频数据的基音频率,基于待评分音频数据的基音频率生成待评分向量,并基于基准音频数据的基音频率生成基准向量,再通过动态时间规划算法计算待评分向量与基准向量的规整路径距离及待评分向量与基准向量的元素对应关系,基于待评分向量与基准向量的元素对应关系,确定待评分音频数据与基准音频数据的对齐度,进而根据规整路径距离确定待评分音频数据的音准得分,基于对齐度确定待评分音频数据的节奏得分,并根据音准得分及节奏得分确定待评分音频数据的评分。由于无需进行最佳偏移帧数的搜索,而是采用音准得分和节奏得分综合得到最终的评分,评分复杂度低,且准确度更高。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中,上述分别计算所述待评分音频数据及所述基准音频数据的基音频率的步骤,可以包括:
按照预设时间长分别将所述待评分音频数据及所述基准音频数据分成多段;
计算每段所述待评分音频数据的平均基音频率,以及计算每段所述基准音频数据的平均基音频率。
其中,上述基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量的步骤,可以包括:
将每段所述待评分音频数据的平均基音频率,作为待评分向量的一个元素,得到所述待评分向量;
将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量。
其中,上述基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量的步骤,可以包括:
将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量;
将每段所述待评分音频数据的平均基音频率,作为一个待对齐元素,并对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量;
所述预设处理包括:
将前N个所述待对齐元素确定为备选向量,其中,N为大于1的正整数;
将前n个所述基准向量的元素确定为对齐向量,其中,n为小于N的正整数;
将所述对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量为N;
通过动态时间规划算法计算所述备选向量与所述添加后的对齐向量的元素对应关系;
根据所述备选向量与所述添加后的对齐向量的元素对应关系,将所述备选向量中与所述添加后的对齐向量的非0元素相对应的元素,确定为目标元素;
将所述目标元素以及其后的待对齐元素确定为待评分向量的元素,得到所述待评分向量。
其中,在上述将前N个所述待对齐元素确定为备选向量的步骤之前,上述方法还可以包括:
按照预设时间区间将所述待对齐元素划分为多组;
按照所述预设时间区间将所述基准向量的元素划分为多组,得到基准向量的元素组;
所述对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量的步骤,包括:
对每组所述待对齐元素及其对应的基准向量的元素组进行所述预设处理,得到待评分向量。
其中,上述基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度的步骤,可以包括:
根据公式dist=sum(w(p1)-w(p0))2计算所述待评分音频数据与所述基准音频数据的对齐度;
其中,dist为所述待评分音频数据与所述基准音频数据的对齐度,w(p1)为所述待评分向量中元素的序号,w(p0)为所述基准向量中与所述待评分向量中序号为w(p1)的元素相对应的元素的序号。
其中,上述根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分的步骤,可以包括:
按照预设权重对所述音准得分及所述节奏得分进行加权求和得到所述待评分音频数据的评分。
图6是根据一示例性实施例示出的一种电子设备600的框图。例如,电子设备600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,电子设备600可以包括以下一个或多个组件:处理组件602,存储器604,电力组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制电子设备600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理***,一个或多个电源,及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当电子设备600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为电子设备600提供各个方面的状态评估。例如,传感器组件614可以检测到电子设备600的打开/关闭状态,组件的相对定位,例如所述组件为电子设备600的显示器和小键盘,传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变,用户与电子设备600接触的存在或不存在,电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由电子设备600的处理器620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述实施例中任一所述的唱歌评分方法。
本申请实施例还提供了一种应用程序产品,该应用程序产品用于在运行时执行上述实施例中任一所述的唱歌评分方法。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由上面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (14)
1.一种唱歌评分方法,其特征在于,所述方法包括:
获取待评分音频数据及基准音频数据;
分别计算所述待评分音频数据及所述基准音频数据的基音频率;
基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量;
通过动态时间规划算法计算所述待评分向量与所述基准向量的规整路径距离及所述待评分向量与所述基准向量的元素对应关系;
基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度;
根据所述规整路径距离确定所述待评分音频数据的音准得分,基于所述对齐度确定所述待评分音频数据的节奏得分,并根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分;
所述基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度的步骤,包括:
根据公式dist=sum(w(p1)-w(p0))2计算所述待评分音频数据与所述基准音频数据的对齐度;
其中,dist为所述待评分音频数据与所述基准音频数据的对齐度,w(p1)为所述待评分向量中元素的序号,w(p0)为所述基准向量中与所述待评分向量中序号为w(p1)的元素相对应的元素的序号。
2.如权利要求1所述的方法,其特征在于,所述分别计算所述待评分音频数据及所述基准音频数据的基音频率的步骤,包括:
按照预设时间长分别将所述待评分音频数据及所述基准音频数据分成多段;
计算每段所述待评分音频数据的平均基音频率,以及计算每段所述基准音频数据的平均基音频率。
3.如权利要求2所述的方法,其特征在于,所述基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量的步骤,包括:
将每段所述待评分音频数据的平均基音频率,作为待评分向量的一个元素,得到所述待评分向量;
将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量。
4.如权利要求2所述的方法,其特征在于,所述基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量的步骤,包括:
将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量;
将每段所述待评分音频数据的平均基音频率,作为一个待对齐元素,并对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量;
所述预设处理包括:
将前N个所述待对齐元素确定为备选向量,其中,N为大于1的正整数;
将前n个所述基准向量的元素确定为对齐向量,其中,n为小于N的正整数;
将所述对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量为N;
通过动态时间规划算法计算所述备选向量与所述添加后的对齐向量的元素对应关系;
根据所述备选向量与所述添加后的对齐向量的元素对应关系,将所述备选向量中与所述添加后的对齐向量的非0元素相对应的元素,确定为目标元素;
将所述目标元素以及其后的待对齐元素确定为待评分向量的元素,得到所述待评分向量。
5.如权利要求4所述的方法,其特征在于,在所述将前N个所述待对齐元素确定为备选向量的步骤之前,所述方法还包括:
按照预设时间区间将所述待对齐元素划分为多组;
按照所述预设时间区间将所述基准向量的元素划分为多组,得到基准向量的元素组;
所述对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量的步骤,包括:
对每组所述待对齐元素及其对应的基准向量的元素组进行所述预设处理,得到待评分向量。
6.如权利要求1-5任一项所述的方法,其特征在于,所述根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分的步骤,包括:
按照预设权重对所述音准得分及所述节奏得分进行加权求和得到所述待评分音频数据的评分。
7.一种唱歌评分装置,其特征在于,所述装置包括:
音频数据获取模块,被配置为获取待评分音频数据及基准音频数据;
基音频率计算模块,被配置为分别计算所述待评分音频数据及所述基准音频数据的基音频率;
向量生成模块,被配置为基于所述待评分音频数据的基音频率生成待评分向量,并基于所述基准音频数据的基音频率生成基准向量;
对应关系确定模块,被配置为通过动态时间规划算法计算所述待评分向量与所述基准向量的规整路径距离及所述待评分向量与所述基准向量的元素对应关系;
对齐度确定模块,被配置为基于所述待评分向量与所述基准向量的元素对应关系,确定所述待评分音频数据与所述基准音频数据的对齐度;
评分确定模块,被配置为根据所述规整路径距离确定所述待评分音频数据的音准得分,基于所述对齐度确定所述待评分音频数据的节奏得分,并根据所述音准得分及所述节奏得分确定所述待评分音频数据的评分;
所述对齐度确定模块包括:
对齐度确定子模块,被配置为根据公式dist=sum(w(p1)-w(p0))2计算所述待评分音频数据与所述基准音频数据的对齐度;
其中,dist为所述待评分音频数据与所述基准音频数据的对齐度,w(p1)为所述待评分向量中元素的序号,w(p0)为所述基准向量中与所述待评分向量中序号为w(p1)的元素相对应的元素的序号。
8.如权利要求7所述的装置,其特征在于,所述基音频率计算模块包括:
划分子模块,被配置为按照预设时间长分别将所述待评分音频数据及所述基准音频数据分成多段;
基音频率计算子模块,被配置为计算每段所述待评分音频数据的平均基音频率,以及计算每段所述基准音频数据的平均基音频率。
9.如权利要求8所述的装置,其特征在于,所述向量生成模块包括:
第一待评分向量确定子模块,被配置为将每段所述待评分音频数据的平均基音频率,作为待评分向量的一个元素,得到所述待评分向量;
第一基准向量确定子模块,被配置为将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量。
10.如权利要求8所述的装置,其特征在于,所述向量生成模块包括:
第二基准向量确定子模块,被配置为将每段所述基准音频数据的平均基音频率,作为基准向量的一个元素,得到所述基准向量;
第二待评分向量确定子模块,被配置为将每段所述待评分音频数据的平均基音频率,作为一个待对齐元素,并通过预设处理模块对所述待对齐元素及所述基准向量的元素进行预设处理,得到待评分向量;
所述预设处理模块,被配置为将前N个所述待对齐元素确定为备选向量,其中,N为大于1的正整数;将前n个所述基准向量的元素确定为对齐向量,其中,n为小于N的正整数;将所述对齐向量的元素前后添加多个元素0,使得添加后的对齐向量的元素数量为N;通过动态时间规划算法计算所述备选向量与所述添加后的对齐向量的元素对应关系;根据所述备选向量与所述添加后的对齐向量的元素对应关系,将所述备选向量中与所述添加后的对齐向量的非0元素相对应的元素,确定为目标元素;将所述目标元素以及其后的待对齐元素确定为待评分向量的元素,得到所述待评分向量。
11.如权利要求10所述的装置,其特征在于,所述装置还包括:
第一分组模块,被配置为在所述将前N个所述待对齐元素确定为备选向量的步骤之前,按照预设时间区间将所述待对齐元素划分为多组;
第二分组模块,被配置为按照所述预设时间区间将所述基准向量的元素划分为多组,得到基准向量的元素组;
所述第二待评分向量确定子模块包括:
第二待评分向量确定单元,被配置为对每组所述待对齐元素及其对应的基准向量的元素组进行所述预设处理,得到待评分向量。
12.如权利要求7-11任一项所述的装置,其特征在于,所述评分确定模块包括:
评分确定子模块,被配置为按照预设权重对所述音准得分及所述节奏得分进行加权求和得到所述待评分音频数据的评分。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行权利要求1-6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811418115.7A CN109524025B (zh) | 2018-11-26 | 2018-11-26 | 一种唱歌评分方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811418115.7A CN109524025B (zh) | 2018-11-26 | 2018-11-26 | 一种唱歌评分方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109524025A CN109524025A (zh) | 2019-03-26 |
CN109524025B true CN109524025B (zh) | 2021-12-14 |
Family
ID=65779147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811418115.7A Active CN109524025B (zh) | 2018-11-26 | 2018-11-26 | 一种唱歌评分方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109524025B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110277106B (zh) * | 2019-06-21 | 2021-10-22 | 北京达佳互联信息技术有限公司 | 音频质量确定方法、装置、设备及存储介质 |
CN115394317A (zh) * | 2022-08-24 | 2022-11-25 | 广州趣丸网络科技有限公司 | 一种音频评测方法和装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430876B (zh) * | 2007-11-08 | 2012-03-14 | 中国科学院声学研究所 | 一种演唱的评分***和方法 |
CN101894552B (zh) * | 2010-07-16 | 2012-09-26 | 安徽科大讯飞信息科技股份有限公司 | 基于语谱切分的唱歌评测*** |
CN102664016B (zh) * | 2012-04-23 | 2014-05-14 | 安徽科大讯飞信息科技股份有限公司 | 唱歌评测方法及*** |
KR102212225B1 (ko) * | 2012-12-20 | 2021-02-05 | 삼성전자주식회사 | 오디오 보정 장치 및 이의 오디오 보정 방법 |
CN103971674B (zh) * | 2014-05-22 | 2017-02-15 | 天格科技(杭州)有限公司 | 一种演唱实时评分方法 |
CN106157976B (zh) * | 2015-04-10 | 2020-02-07 | 科大讯飞股份有限公司 | 一种唱歌评测方法及*** |
CN106157977B (zh) * | 2015-04-10 | 2019-11-15 | 科大讯飞股份有限公司 | 一种唱歌评测方法及*** |
CN106531185B (zh) * | 2016-11-01 | 2019-12-13 | 云知声(上海)智能科技有限公司 | 基于语音相似度的语音评测方法及*** |
-
2018
- 2018-11-26 CN CN201811418115.7A patent/CN109524025B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109524025A (zh) | 2019-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI781359B (zh) | 人臉和人手關聯檢測方法及裝置、電子設備和電腦可讀儲存媒體 | |
CN107105314B (zh) | 视频播放方法及装置 | |
CN109859730B (zh) | 一种音频处理方法及装置 | |
CN111145756B (zh) | 一种语音识别方法、装置和用于语音识别的装置 | |
CN109670077B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
CN110033784B (zh) | 一种音频质量的检测方法、装置、电子设备及存储介质 | |
CN108831508A (zh) | 语音活动检测方法、装置和设备 | |
US11335348B2 (en) | Input method, device, apparatus, and storage medium | |
CN109524025B (zh) | 一种唱歌评分方法、装置、电子设备及存储介质 | |
WO2021103994A1 (zh) | 用于信息推荐的模型训练方法、装置、电子设备以及介质 | |
CN111199730B (zh) | 语音识别方法、装置、终端及存储介质 | |
RU2721181C1 (ru) | Способ построения суперсети, способ использования, устройство и носитель информации | |
CN113707113A (zh) | 用户歌声的修音方法、装置及电子设备 | |
CN111294704B (zh) | 音频处理方法、装置及存储介质 | |
KR20160005671A (ko) | 사용자 데이터 업데이트 방법, 장치, 프로그램 및 기록매체 | |
CN111461151A (zh) | 一种多元组样本构建方法及装置 | |
CN116310633A (zh) | 一种关键点检测模型训练方法及关键点检测方法 | |
CN114462410A (zh) | 实体识别方法、装置、终端及存储介质 | |
CN110428828B (zh) | 一种语音识别方法、装置和用于语音识别的装置 | |
CN109712629B (zh) | 音频文件的合成方法及装置 | |
CN110113256B (zh) | 信息互动方法、装置、服务器、用户终端及可读存储介质 | |
CN110929055A (zh) | 多媒体质量检测方法、装置、电子设备及存储介质 | |
CN107886956B (zh) | 音频识别方法、装置及计算机存储介质 | |
CN112951405A (zh) | 一种实现特征排序的方法、装置及设备 | |
CN112925466A (zh) | 触控控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |