CN114970651A - 和弦生成模型的训练方法、和弦生成方法、装置及设备 - Google Patents
和弦生成模型的训练方法、和弦生成方法、装置及设备 Download PDFInfo
- Publication number
- CN114970651A CN114970651A CN202110217833.3A CN202110217833A CN114970651A CN 114970651 A CN114970651 A CN 114970651A CN 202110217833 A CN202110217833 A CN 202110217833A CN 114970651 A CN114970651 A CN 114970651A
- Authority
- CN
- China
- Prior art keywords
- sequence
- chord
- sample
- melody
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 title claims abstract description 52
- 238000003062 neural network model Methods 0.000 claims abstract description 87
- 230000006870 function Effects 0.000 claims description 222
- 108091026890 Coding region Proteins 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 21
- 230000000873 masking effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 abstract description 14
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001256 tonic effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本公开关于一种和弦生成模型的训练方法、和弦生成方法、装置,和弦生成模型的训练方法,包括:获取样本序列集合;包括:样本旋律序列以及样本调性序列、样本和弦序列以及样本和弦功能序列;将样本序列集合输入待训练的神经网络模型;神经网络模型用于根据样本序列集合中的样本旋律序列、样本调性序列、样本和弦序列中以及样本和弦功能序列中的部分序列位,预测完整的和弦序列以及和弦功能序列,并输出预测和弦序列以及预测和弦功能序列;基于预测和弦序列与样本和弦序列,预测和弦功能序列与样本和弦功能序列,确定当前神经网络模型的损失值;若小于预设的损失阈值,将当前神经网络模型作为和弦生成模型。本公开可以提高得到的和弦的和谐程度。
Description
技术领域
本公开涉及音频处理技术领域,尤其涉及一种和弦生成模型的训练方法、和弦生成方法、装置、电子设备及存储介质。
背景技术
随着音频处理技术的发展,出现了一种旋律搭配和弦生成乐曲的方法,基于设定的旋律,可以搭配适当的和弦,可以使得生成的乐曲和谐悦耳。
相关技术中,和弦与旋律的匹配大多是通过采用人为定义的规则生成,例如可以是人为定义旋律搭配和弦的规律,总结和弦语法,或者统计采集的音频数据中和弦相对于旋律音的概率进行匹配。然而,目前的和弦生成方法,生成的和弦和谐程度较低。
发明内容
本公开提供一种和弦生成模型的训练方法、和弦生成方法、装置、电子设备及存储介质,以至少解决相关技术中生成的和弦和谐程度较低的问题。本公开的技术方案如下:
第一方面,提供一种和弦生成模型的训练方法,包括:
获取样本序列集合;所述样本序列集合包括:样本旋律对应的样本旋律序列以及样本调性序列、样本和弦对应的样本和弦序列以及样本和弦功能序列;所述样本和弦为所述样本旋律对应的和弦;所述样本和弦功能序列用于标识所述样本和弦序列对应的和弦功能;
将所述样本序列集合输入待训练的神经网络模型;所述神经网络模型用于根据所述样本序列集合中的样本旋律序列、样本调性序列、样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测完整的和弦序列以及完整的和弦功能序列,并输出预测和弦序列以及预测和弦功能序列;
基于所述预测和弦序列与所述样本和弦序列,以及所述预测和弦功能序列与所述样本和弦功能序列,确定当前神经网络模型的损失值;
若所述损失值小于预设的损失阈值,将当前神经网络模型作为和弦生成模型。
在可选的一个实施例中,所述部分序列位为除末位外的序列位;
所述神经网络模型中包含序列位遮蔽层,用于对输入的所述样本序列集合中的样本和弦序列以及样本和弦功能序列进行末位遮蔽处理,以得到样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位。
在可选的一个实施例中,所述预测完整的和弦序列以及完整的和弦功能序列,包括:基于所述样本旋律序列、所述样本调性序列,以及样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测所述样本和弦序列的末位以及所述样本和弦功能序列的末位;将所述样本和弦序列中的部分序列位与所述样本和弦序列的末位进行组合,得到所述预测和弦序列,以及将所述样本和弦功能序列中的部分序列位与所述样本和弦功能序列的末位进行组合得到所述预测和弦功能序列。
在可选的一个实施例中,所述样本调性序列包括:样本主音序列以及样本调式序列;所述基于所述样本旋律序列、所述样本调性序列,以及样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测所述样本和弦序列的末位以及所述样本和弦功能序列的末位,包括:将所述样本旋律序列、所述样本主音序列以及所述样本调式序列进行叠加,得到第一样本编码序列;将所述样本和弦序列中的部分序列位以及所述样本和弦功能序列中的部分序列位进行叠加,得到第二样本编码序列;基于所述第一样本编码序列与所述第二样本编码序列生成对应的注意力向量,利用所述神经网络模型对所述注意力向量进行解码,得到所述样本和弦序列的末位以及所述样本和弦功能序列的末位。
在可选的一个实施例中,所述神经网络模型包括第一预测层,以及第二预测层;所述将所述样本序列集合输入待训练的神经网络模型,包括:将所述样本旋律序列、所述样本调性序列,以及所述样本和弦功能序列中的部分序列位输入所述第一预测层,所述第一预测层用于基于所述样本旋律序列、所述样本调性序列,以及所述样本和弦功能序列中的部分序列位预测完整的和弦功能序列,并输出所述预测和弦功能序列;将所述预测和弦功能序列与所述样本和弦序列中的部分序列位输入所述第二预测层;所述第二预测层用于基于所述预测和弦功能序列与所述样本和弦序列中的部分序列位预测完整的和弦序列,并输出所述预测和弦序列。
在可选的一个实施例中,所述确定所述和弦生成模型的损失值,包括:获取所述预测和弦序列与所述样本和弦序列的第一损失值,以及获取所述预测和弦功能序列与所述样本和弦功能序列的第二损失值;将所述第一损失值与所述第二损失值的和作为所述和弦匹配模型的损失值;或若所述第一损失值小于预设的第一阈值,且所述第二损失值小于预设的第二阈值,则将当前神经网络模型作为所述和弦生成模型。
第二方面,提供一种和弦生成方法,包括:
针对于待生成和弦的旋律,获取所述旋律对应的旋律序列以及调性序列;
将所述旋律序列以及所述调性序列输入训练好的和弦生成模型,通过所述和弦生成模型得到所述旋律对应的和弦序列;所述和弦生成模型通过如第一方面所述的和弦生成模型训练方法得到;
根据所述和弦序列生成所述待生成和弦。
在可选的一个实施例中,所述获取所述旋律对应的旋律序列以及调性序列,包括:获取所述旋律的旋律特征以及调性特征;按照预设的采样频率,对所述旋律特征以及所述调性特征进行采样,得到所述旋律序列以及调性序列。
第三方面,提供一种和弦生成模型的训练装置,包括:
样本序列获取单元,被配置为执行获取样本序列集合;所述样本序列集合包括:样本旋律对应的样本旋律序列以及样本调性序列、样本和弦对应的样本和弦序列以及样本和弦功能序列;所述样本和弦为所述样本旋律对应的和弦;所述样本和弦功能序列用于标识所述样本和弦序列对应的和弦功能;
网络模型训练单元,被配置为执行将所述样本序列集合输入待训练的神经网络模型;所述神经网络模型用于根据所述样本序列集合中的样本旋律序列、样本调性序列、样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测完整的和弦序列以及完整的和弦功能序列,并输出预测和弦序列以及预测和弦功能序列;
模型损失确定单元,被配置为执行基于所述预测和弦序列与所述样本和弦序列,以及所述预测和弦功能序列与所述样本和弦功能序列,确定当前神经网络模型的损失值;
预测模型获取单元,被配置为执行若所述损失值小于预设的损失阈值,将当前神经网络模型作为和弦生成模型。
在可选的一个实施例中,所述部分序列位为除末位外的序列位;所述神经网络模型中包含序列位遮蔽层,用于对输入的所述样本序列集合中的样本和弦序列以及样本和弦功能序列进行末位遮蔽处理,以得到样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位。
在可选的一个实施例中,所述网络模型训练单元,进一步被配置为执行基于所述样本旋律序列、所述样本调性序列,以及样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测所述样本和弦序列的末位以及所述样本和弦功能序列的末位;将所述样本和弦序列中的部分序列位与所述样本和弦序列的末位进行组合,得到所述预测和弦序列,以及将所述样本和弦功能序列中的部分序列位与所述样本和弦功能序列的末位进行组合得到所述预测和弦功能序列。
在可选的一个实施例中,所述样本调性序列包括:样本主音序列以及样本调式序列;所述网络模型训练单元,进一步被配置为执行将所述样本旋律序列、所述样本主音序列以及所述样本调式序列进行叠加,得到第一样本编码序列;将所述样本和弦序列中的部分序列位以及所述样本和弦功能序列中的部分序列位进行叠加,得到第二样本编码序列;基于所述第一样本编码序列与所述第二样本编码序列生成对应的注意力向量,利用所述神经网络模型对所述注意力向量进行解码,得到所述样本和弦序列的末位以及所述样本和弦功能序列的末位。
在可选的一个实施例中,所述神经网络模型包括第一预测层,以及第二预测层;所述网络模型训练单元,还被配置为执行将所述样本旋律序列、所述样本调性序列,以及所述样本和弦功能序列中的部分序列位输入所述第一预测层,所述第一预测层用于基于所述样本旋律序列、所述样本调性序列,以及所述样本和弦功能序列中的部分序列位预测完整的和弦功能序列,并输出所述预测和弦功能序列;将所述预测和弦功能序列与所述样本和弦序列中的部分序列位输入所述第二预测层;所述第二预测层用于基于所述预测和弦功能序列与所述样本和弦序列中的部分序列位预测完整的和弦序列,并输出所述预测和弦序列。
在可选的一个实施例中,所述模型损失确定单元,进一步被配置为执行获取所述预测和弦序列与所述样本和弦序列的第一损失值,以及获取所述预测和弦功能序列与所述样本和弦功能序列的第二损失值;将所述第一损失值与所述第二损失值的和作为所述和弦匹配模型的损失值;或被配置为执行若所述第一损失值小于预设的第一阈值,且所述第二损失值小于预设的第二阈值,则将当前神经网络模型作为所述和弦生成模型。
第四方面,提供一种和弦生成装置,包括:
旋律序列获取单元,被配置为执行针对于待生成和弦的旋律,获取所述旋律对应的旋律序列以及调性序列;
和弦序列获取单元,被配置为执行将所述旋律序列以及所述调性序列输入训练好的和弦生成模型,通过所述和弦生成模型得到所述旋律对应的和弦序列;所述和弦生成模型通过如第一方面所述的和弦生成模型训练方法得到;
和弦生成单元,被配置为执行根据所述和弦序列生成所述待生成和弦。
在可选的一个实施例中,所述旋律序列获取单元,进一步被配置为执行获取所述旋律的旋律特征以及调性特征;按照预设的采样频率,对所述旋律特征以及所述调性特征进行采样,得到所述旋律序列以及调性序列。
第五方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的和弦生成模型的训练方法,或者如第二方面所述的和弦生成方法。
第六方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面所述的和弦生成模型的训练方法,或者如第二方面所述的和弦生成方法。
第七方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的和弦生成模型的训练方法,或者如第二方面所述的和弦生成方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过获取样本序列集合;样本序列集合包括:样本旋律对应的样本旋律序列以及样本调性序列、样本和弦对应的样本和弦序列以及样本和弦功能序列;样本和弦为样本旋律对应的和弦;样本和弦功能序列用于标识样本和弦序列对应的和弦功能;将样本序列集合输入待训练的神经网络模型;神经网络模型用于根据样本序列集合中的样本旋律序列、样本调性序列、样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测完整的和弦序列以及完整的和弦功能序列,并输出预测和弦序列以及预测和弦功能序列;基于预测和弦序列与样本和弦序列,以及预测和弦功能序列与样本和弦功能序列,确定当前神经网络模型的损失值;若损失值小于预设的损失阈值,将当前神经网络模型作为和弦生成模型。本公开提供的和弦生成模型,训练过程中除了考虑和弦序列本身,还考虑了和弦功能序列的影响,在通过和弦生成模型获取和弦时可以提高得到的和弦的和谐程度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种和弦生成模型的训练方法的流程图。
图2是根据一示例性实施例示出的预测完整的和弦序列以及和弦功能序列的流程图。
图3是根据一示例性实施例示出的预测和弦序列与和弦功能序列的末位的流程图。
图4是根据一示例性实施例示出的输出预测和弦序列与预测和弦功能序列的流程图。
图5是根据一示例性实施例示出的一种和弦生成方法的流程图。
图6是根据另一示例性实施例示出的一种和弦生成方法的流程图。
图7是根据一示例性实施例示出的序列神经网络的结构示意图。
图8是根据一示例性实施例示出的一种和弦生成模型的训练装置的框图。
图9是根据一示例性实施例示出的一种和弦生成装置的框图。
图10是根据一示例性实施例示出的一种电子设备的内部结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种和弦生成模型的训练方法的流程图,如图1所示,和弦生成模型的训练方法用于终端中,包括以下步骤。
在步骤S101中,终端获取样本序列集合;样本序列集合包括:样本旋律对应的样本旋律序列以及样本调性序列、样本和弦对应的样本和弦序列以及样本和弦功能序列;样本和弦为样本旋律对应的和弦;样本和弦功能序列用于标识样本和弦序列对应的和弦功能。
其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,样本序列集合则可以是存储有用于训练和弦生成模型的样本序列的集合,该集合可以包括有样本旋律对应的样本旋律序列与样本调性序列,以及样本和弦对应的样本和弦序列与样本和弦功能序列。而样本旋律和样本和弦可以是终端通过读取预设的和弦数据集得到,和弦数据集中可以存储有多种旋律文件,以及预先制作好的与该旋律文件对应的和弦文件,分别作为样本旋律与样本和弦。
具体地,终端可以通过预设的和弦数据集得到其存储的样本旋律与样本和弦,并分别基于样本旋律提取对应的旋律序列与调性序列,以及基于样本和弦提取对应的和弦序列与和弦功能序列,和弦功能序列主要是用于标识和弦的功能,例如不同和弦的和弦功能可以分为主和弦,属和弦以及下属和弦等多种,提取样本和弦功能序列的方法则可以是用户通过终端对和弦序列按照不同的和弦功能进行标识得到。终端在得到样本旋律提取的旋律序列以及调性序列,以及样本和弦提取的和弦序列与和弦功能序列之后,可将得到的序列进行存储,形成样本序列集合。
在步骤S102中,终端将样本序列集合输入待训练的神经网络模型;神经网络模型用于根据样本序列集合中的样本旋律序列、样本调性序列、样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测完整的和弦序列以及完整的和弦功能序列,并输出预测和弦序列以及预测和弦功能序列。
样本和弦序列中的部分序列位指的是完整的样本和弦序列中的一部分序列位,而样本和弦功能序列中的部分序列位则指的是完整的样本功能和弦序列中的一部分序列位,由于输入神经网络模型的样本和弦序列以及样本功能和弦序列的序列位可以包括多个,终端可以从多个序列位的样本和弦序列以及样本功能和弦序列中提取出其中任意数量的序列位,作为样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位。提供的神经网络模型则主要是用于根据部分序列位和输入的样本旋律序列以及样本调性序列,去预测对应的和弦序列以及和弦功能序列,即预测和弦序列以及预测和弦功能序列作为神经网络模型的输出。
例如:输入的完整的样本和弦序列可能包括3个序列位,可以是序列位A,序列位B以及序列位C,终端将完整的样本和弦序列输入神经网络模型后,可以对完整的样本和弦序列的序列位进行提取,可以是只提取该完整的样本和弦序列的前两个序列位,即序列位A和序列位B,作为样本和弦序列中的部分序列位。之后,终端则可以利用样本旋律序列、样本调性序列,和得到的样本和弦序列中的部分序列位,即序列位A和序列位B,预测完整的和弦序列,即可以是预测该和弦序列的最后一位,从而得到最终的预测和弦序列。而预测和弦功能序列的预测原理也和得到预测和弦序列的原理类似,通过提取样本和弦功能序列的部分序列位,利用得到的部分序列位以及样本旋律序列与样本调性序列预测完整的和弦功能序列,作为预测和弦功能序列。
在步骤S103中,终端基于预测和弦序列与样本和弦序列,以及预测和弦功能序列与样本和弦功能序列,确定当前神经网络模型的损失值;
在步骤S104中,若损失值小于预设的损失阈值,终端将当前神经网络模型作为和弦生成模型。
由于通过神经网络模型输出得到的预测和弦序列以及预测和弦功能序列可能不是正确的样本和弦序列以及样本和弦功能序列,终端则可以分别根据预测和弦序列与样本和弦序列之间的差异损失,以及根据预测和弦功能序列与样本和弦功能序列之间的差异损失,该差异损失可以是预测错误的和弦序列或者和弦功能序列占总的和弦序列或者和弦功能序列的比例,终端可以根据得到的两个差异损失确定当前神经网络模型的损失值,如果该损失值小于终端预先设定的某个损失阈值,那么终端可以将当前使用的神经网络模型作为最终的和弦生成模型,而如果该损失值大于设定的损失阈值,终端则需要对神经网络模型进行进一步的训练,直到得到的损失值小于该设定的损失阈值。
上述和弦生成模型的训练方法中,终端通过获取样本序列集合;样本序列集合包括:样本旋律对应的样本旋律序列以及样本调性序列、样本和弦对应的样本和弦序列以及样本和弦功能序列;样本和弦为样本旋律对应的和弦;样本和弦功能序列用于标识样本和弦序列对应的和弦功能;将样本序列集合输入待训练的神经网络模型;神经网络模型用于根据样本序列集合中的样本旋律序列、样本调性序列、样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测完整的和弦序列以及完整的和弦功能序列,并输出预测和弦序列以及预测和弦功能序列;基于预测和弦序列与样本和弦序列,以及预测和弦功能序列与样本和弦功能序列,确定当前神经网络模型的损失值;若损失值小于预设的损失阈值,将当前神经网络模型作为和弦生成模型。本公开提供的和弦生成模型,训练过程中除了考虑和弦序列本身,还考虑了和弦功能序列的影响,在通过和弦生成模型获取和弦时可以提高得到的和弦的和谐程度。
在一示例性实施例中,部分序列位为除末位外的序列位;神经网络模型中包含序列位遮蔽层,用于对输入的所述样本序列集合中的样本和弦序列以及样本和弦功能序列进行末位遮蔽处理,以得到样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位。
本实施例中,部分序列位指的是序列中除了最后一个序列位,即除末位外的其他序列位。本实施例提供的神经网络模型中,携带有用于将输入的样本和弦序列以及样本和弦功能序列的最后一个序列位进行遮蔽处理的序列位遮蔽层。在终端将样本序列集合输入神经网络模型后,神经网络模型可以利用序列位遮蔽层对输入的样本序列集合中的样本和弦序列以及样本和弦功能序列的最后一个序列位进行遮蔽处理,从而得到上述样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位。
进一步地,如图2所示,步骤S102可以进一步包括:
在步骤S201中,终端基于样本旋律序列、样本调性序列,以及样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测和弦序列的末位以及样本和弦功能序列的末位。
在神经网络模型通过序列位遮蔽层得到样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位之后,终端可以利用输入该神经网络模型的样本旋律序列与样本调性序列,和样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,分别对该样本和弦序列与样本和弦功能序列的末位进行预测。
在步骤S202中,终端将样本和弦序列中的部分序列位与样本和弦序列的末位进行组合,得到预测和弦序列,以及将样本和弦功能序列中的部分序列位与样本和弦功能序列的末位进行组合得到预测和弦功能序列。
终端在步骤S201中得到样本和弦序列与样本和弦功能序列的末位的预测结果后,则可以将该预测结果分别和样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位进行组合,从而分别得到预测和弦序列以及预测和弦功能序列。
例如,针对于包含序列位A、序列位B以及序列位C的样本和弦序列,终端可以利用样本和弦序列中的部分序列位,即序列位A和序列位B,以及样本旋律序列和样本调性序列对该样本和弦序列的末位进行预测,得到的预测结果可能是序列位D,之后终端则可以结合样本和弦序列中的部分序列位,以及预测的样本和弦序列的末位进行组合,即形成序列位A、序列位B以及序列位D的和弦序列,作为预测和弦序列。同理,可以通过同样的方式对样本和弦功能序列的末位进行预测,并组合样本和弦功能序列中的部分序列位以及预测得到的样本和弦功能序列的末位,从而得到最终的预测和弦功能序列。
进一步地,样本调性序列可以包括:样本主音序列以及样本调式序列;如图3所示,步骤S201可以进一步通过如下步骤实现:
在步骤S301中,终端将样本旋律序列、样本主音序列以及样本调式序列进行叠加,得到第一样本编码序列。
其中,调性指的是调的主音和调式类别的总称,可以包括主音高度与调式类别,因此调性序列一般是由主音序列以及调式序列所构成。在终端将样本序列集合输入神经网络模型后,神经网络模型可以从输入的样本调性序列中提取出对应的样本主音序列以及样本调式序列,再将样本主音序列以及样本调式序列与样本旋律序列进行叠加,从而形成与样本旋律对应的编码序列,作为第一样本编码序列。
在步骤S302中,终端将样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位进行叠加,得到第二样本编码序列。
同理,终端也可以将通过神经网络模型的序列位遮蔽层得到的样本和弦序列中的部分序列位,以及样本和弦功能序列中的部分序列位进行相应的叠加,从而得到与样本和弦对应的编码序列,作为第二样本编码序列。
在步骤S303中,终端基于第一样本编码序列与第二样本编码序列生成对应的注意力向量,利用神经网络模型对注意力向量进行解码,得到样本和弦序列的末位以及样本和弦功能序列的末位。
其中,注意力向量主要是为了通过注意序列前后信息,从而解决旋律的结构性问题,因此本实施例中采取了包含注意力机制的序列化模型作为神经网络模型,该神经网络模型可以通过类似机器翻译的方式,将输入的旋律相关的序列转化为和弦相关的序列,其翻译过程采用的注意力向量则是由步骤S301中得到的第一样本编码序列以及步骤S302中的第二样本编码序列组成。
具体地,终端可以将第一样本编码序列与第二样本编码序列进行组合,生成用于进行解码处理的注意力向量,之后可利用神经网络模型的解码器,对得到的注意力向量进行解码处理,从而分别得到样本和弦序列的末位以及样本和弦功能序列的末位。
上述实施例中,终端可以通过序列位遮蔽层,对样本和弦序列以及样本和弦功能序列的末位进行遮蔽处理,并且可将遮蔽处理后得到的样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,作为模型输入形成注意力向量的一部分,在进行解码时,可以通过考虑样本和弦序列以及样本和弦功能序列的部分序列位形成的注意力向量以实现末位的预测,可以解决长时间旋律的结构性问题,提高生成的和弦的结构工整度,从而利用该和弦生成模型生成的和弦与旋律的匹配度。
在一示例性实施例中,神经网络模型包括第一预测层,以及第二预测层;如图4所示,步骤S102可以进一步包括:
在步骤S401中,终端将样本旋律序列、样本调性序列,以及样本和弦功能序列中的部分序列位输入第一预测层,第一预测层用于基于样本旋律序列、样本调性序列,以及样本和弦功能序列中的部分序列位预测完整的和弦功能序列,并输出预测和弦功能序列。
本实施例中,神经网络模型可以由两个预测层,即第一预测层与第二预测层组成,可以分别用于预测并输出预测和弦功能序列,以及预测和弦序列。具体来说,终端在步骤S101中得到样本序列集合后,可以首先将样本序列集合中的样本旋律序列、样本调性序列以及样本和弦功能序列中的部分序列位输入第一预测层,并通过第一预测层对完整的和弦功能序列进行预测,从而得到预测和弦功能序列并将预测和弦功能序列进行输出。
在步骤S402中,终端将预测和弦功能序列与样本和弦序列中的部分序列位输入第二预测层;第二预测层用于基于预测和弦功能序列与样本和弦序列中的部分序列位预测完整的和弦序列,并输出预测和弦序列。
在步骤S401终端得到预测和弦功能序列后,终端可以将得到的预测和弦功能序列与样本和弦序列中的部分序列位输入至第二预测层,并通过第二预测层对完整的和弦序列进行预测,从而得到预测和弦序列并将预测和弦序列进行输出。
本实施例中,使用的神经网络模型可以包括两个预测层,其中第一预测层用于根据输入的样本旋律序列与样本调性序列得到预测和弦功能序列,而第二预测层则可以基于预测和弦功能序列得到预测和弦序列,本实施例通过预测和弦功能序列对预测和弦序列进行预测,可以进一步考虑了和弦功能序列对和弦序列的影响,从而在通过和弦生成模型获取和弦时进一步提高得到的和弦的和谐程度。
在一示例性实施例中,步骤S103可以进一步包括:终端获取预测和弦序列与样本和弦序列的第一损失值,以及获取预测和弦功能序列与样本和弦功能序列的第二损失值;将第一损失值与第二损失值的和作为和弦匹配模型的损失值。
其中,第一损失值指的是神经网络模型得到的预测和弦序列与样本和弦序列之间的损失值,而第二损失值则指的是神经网络模型得到的预测和弦功能序列与样本和弦功能序列之间的损失值。具体来说,终端可以分别计算第一损失值与第二损失值,并将得到的第一损失值和第二损失值进行求和处理,将得到的第一损失值和第二损失值的和作为当前使用的神经网络模型的损失值。只有当该损失值小于预先设定的损失阈值时,终端才会将当前神经网络模型作为和弦生成模型。
另外,终端在得到第一损失值和第二损失值之后,也可以基于第一损失值和第二损失值,分别与预先设定的两个损失阈值进行比对,只有当第一损失值小于预先设定的第一阈值,且第二损失值也小于预先设定的第二阈值的情况下,终端才会将当前神经网络模型作为和弦生成模型。
本实施例中,神经网络模型的损失值的确定是分别通过计算预测和弦序列与样本和弦序列的第一损失值以及预测和弦功能序列与样本和弦功能序列的第二损失值得到,同时也可以分别比对第一损失值与第一阈值,以及第二损失值与第二阈值,只有第一损失值小于预设的第一阈值,且第二损失值小于预设的第二阈值,终端才将当前神经网络模型作为和弦生成模型,可以同时保证得到的和弦序列与和弦功能序列的准确性,从而进一步提高得到的和弦生成模型的准确性。通过本实施得到的神经网络模型通过损失值可以保证在使用该神经网络模型作为和弦生成模型预测和弦的时候,得到的和弦序列会同时受到和弦功能序列的约束,因此可以进一步提高得到的和弦的和谐程度。
图5是根据一示例性实施例示出的一种和弦生成方法的流程图,如图5所示,和弦生成用于终端中,包括以下步骤。
在步骤S501中,终端针对于待生成和弦的旋律,获取旋律对应的旋律序列以及调性序列。
其中,待生成和弦指的是需要通过和弦生成模型生成的和弦,该和弦可以用于匹配对应的旋律。当终端得到需要生成和弦的旋律时,可以首先根据该旋律提取出与旋律对应的旋律序列以及调性序列。
在步骤S502中,终端将旋律序列以及调性序列输入训练好的和弦生成模型,通过和弦生成模型得到旋律对应的和弦序列;和弦生成模型通过如上任一项实施例所述的和弦生成模型训练方法得到;
在步骤S503中,终端根据和弦序列生成待生成和弦。
具体地,在步骤S501得到旋律的旋律序列以及调性序列后,终端可以将得到的旋律序列与调性序列输入至预先由上述实施例中使用的和弦生成模型训练方法得到的和弦生成模型,并由该模型输出得到与输入的旋律序列以及调性序列对应的和弦序列,最后,终端可以基于得到的和弦序列生成与旋律对应的待生成和弦。
上述和弦生成方法中,终端针对于待生成和弦的旋律,获取旋律对应的旋律序列以及调性序列;将旋律序列以及调性序列输入训练好的和弦生成模型,通过和弦生成模型得到旋律对应的和弦序列;和弦生成模型通过如上任一项实施例所述的和弦生成模型训练方法得到;根据和弦序列生成待生成和弦。本公开提供的和弦生成方法,终端可以通过如上任一项实施例所述的和弦生成模型训练方法得到的和弦生成模型生成对应的和弦,由于该和弦生成模型,训练过程中除了考虑和弦序列本身,还考虑了和弦功能序列的影响,因此在通过和弦生成模型获取和弦时可以提高得到的和弦的和谐程度。
在一示例性实施例中,步骤S501可以进一步包括:终端获取旋律的旋律特征以及调性特征;按照预设的采样频率,对旋律特征以及调性特征进行采样,得到旋律序列以及调性序列。
具体来说,在终端得到需要生成和弦的旋律后,可以基于该旋律提取出其对应的旋律,以及主音和调式,并将主音和调式作为该旋律的调性特征,之后可以通过采样的方式,例如对在每个4/4拍小节的每一拍上进行采样,从而分别得到旋律序列以及调性序列。
本实施例中,终端可以通过采样的方式得到旋律对应的旋律序列以及调性序列,通过将旋律序列化的方式,可以提升和弦序列与旋律序列的搭配程度,在生成乐曲时,通过序列匹配的方式可以进一步提高生成乐曲的和谐程度。
在一示例性实施例中,还提供了一种和弦生成方法,如图6所示,图6是根据一示例性实施例示出的一种和弦生成方法的流程图,和弦生成用于终端中,包括以下步骤。
在步骤S601中,终端获取样本序列集合;样本序列集合包括:样本旋律对应的样本旋律序列、样本主音序列以及样本调式序列、样本和弦对应的样本和弦序列以及样本和弦功能序列;样本和弦为样本旋律对应的和弦;样本和弦功能序列用于标识样本和弦序列对应的和弦功能;
在步骤S602中,终端将样本序列集合输入待训练的神经网络模型;神经网络模型中包含序列位遮蔽层,用于对输入的样本序列集合中的样本和弦序列以及样本和弦功能序列进行末位遮蔽处理,以得到样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位;
在步骤S603中,终端将样本旋律序列、样本主音序列以及样本调式序列进行叠加,得到第一样本编码序列;将样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位进行叠加,得到第二样本编码序列;
在步骤S604中,终端基于第一样本编码序列与第二样本编码序列生成对应的注意力向量,利用神经网络模型对注意力向量进行解码,得到样本和弦序列的末位以及样本和弦功能序列的末位;
在步骤S605中,终端将样本和弦序列中的部分序列位与样本和弦序列的末位进行组合,得到预测和弦序列,以及将样本和弦功能序列中的部分序列位与样本和弦功能序列的末位进行组合得到预测和弦功能序列;
在步骤S606中,终端获取预测和弦序列与样本和弦序列的第一损失值,以及获取预测和弦功能序列与样本和弦功能序列的第二损失值;将第一损失值与第二损失值的和作为和弦匹配模型的损失值;
在步骤S607中,若损失值小于预设的损失阈值,终端将当前神经网络模型作为和弦生成模型;
在步骤S608中,终端获取旋律的旋律特征以及调性特征;按照预设的采样频率,对旋律特征以及调性特征进行采样,得到旋律序列以及调性序列;
在步骤S609中,终端将旋律序列以及调性序列输入训练好的和弦生成模型,通过和弦生成模型得到旋律对应的和弦序列;根据和弦序列生成待生成和弦。
上述和弦生成方法中,终端在训练和弦生成模型过程中除了考虑和弦序列本身,还考虑了和弦功能序列的影响,在通过和弦生成模型获取和弦时可以提高得到的和弦的和谐程度。并且,终端可以通过序列位遮蔽层,对样本和弦序列以及样本和弦功能序列的末位进行遮蔽处理,还可将遮蔽处理后得到的样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,作为模型输入形成注意力向量的一部分,在进行解码时,可以通过考虑样本和弦序列以及样本和弦功能序列的部分序列位形成的注意力向量以实现末位的预测,可以解决长时间旋律的结构性问题,使得搭配的和弦结构工整,提高生成的和弦与旋律的匹配度。最后。终端可以通过采样的方式得到旋律对应的旋律序列以及调性序列,通过将旋律序列化的方式,可以提升和弦序列与旋律序列的搭配程度,在生成乐曲时,通过序列匹配的方式可以进一步提高生成乐曲的和谐程度。
在一示例性实施例中,还提供了一种和弦生成方法,该方法可以结合调性与和弦功能,利用序列神经网络生成和弦,使用的序列神经网络的网络结构可如图7所示,该方法可以包括如下步骤:
1.训练语料准备:准备训练集和测试集:包含信息:调性,旋律音高(例如C4),和弦符号(例如Dm)。对于MIDI和Music XML文件格式,采用music21工具包提取序列。
序列化:在每个4/4拍小节的每一拍上进行采样,即每小节四个token,模型最大长度为240。其中,序列包括:调性序列,包含主音(Tonic)序列和调式(Mode)序列;和弦功能序列,对和弦进行主(T),属(D),下属(SD),非调内(N)的标注,生成和弦功能序列。最终使用的序列:主音序列,调式序列,旋律序列,和弦序列,功能序列。
2.模型训练环节:基于transformer模型,在编码器输入中加入主音序列,调式序列,旋律序列表示的叠加,然后在解码器输出和弦序列和功能序列的叠加。训练端到端的旋律配和弦模型。训练中,损失函数为输出和弦和输出功能的损失之和。
3.模型推理环节:给定旋律,主音,调性序列,拼接生成编码序列。将编码序列输入模型,并基于之前的预测结果,循环预测出两个序列:和弦序列和和弦功能序列。合并旋律与和弦生成完整的乐曲。
本实施例通过使用Transformer模型,一种包含注意力机制的序列化模型,并将旋律和和弦进行序列化处理,类比于翻译,完成旋律配和弦的任务。此模型可以通过注意序列前后信息有效解决旋律结构性问题,使搭配的和弦序列结构工整,与旋律乐句的发展相呼应。同时,还将调性信息和和弦功能信息提取成序列,提升了生成的搭配和弦序列的和谐程度。
应该理解的是,虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图8是根据一示例性实施例示出的一种和弦生成模型的训练装置框图。参照图8,该装置包括样本序列获取单元801,网络模型训练单元802,模型损失确定单元803和预测模型获取单元804。
样本序列获取单元801,被配置为执行获取样本序列集合;样本序列集合包括:样本旋律对应的样本旋律序列以及样本调性序列、样本和弦对应的样本和弦序列以及样本和弦功能序列;样本和弦为样本旋律对应的和弦;样本和弦功能序列用于标识样本和弦序列对应的和弦功能;
网络模型训练单元802,被配置为执行将样本序列集合输入待训练的神经网络模型;神经网络模型用于根据样本序列集合中的样本旋律序列、样本调性序列、样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测完整的和弦序列以及完整的和弦功能序列,并输出预测和弦序列以及预测和弦功能序列;
模型损失确定单元803,被配置为执行基于预测和弦序列与样本和弦序列,以及预测和弦功能序列与样本和弦功能序列,确定当前神经网络模型的损失值;
预测模型获取单元804,被配置为执行若损失值小于预设的损失阈值,将当前神经网络模型作为和弦生成模型。
在一示例性实施例中,部分序列位为除末位外的序列位;神经网络模型中包含序列位遮蔽层,用于对输入的样本序列集合中的样本和弦序列以及样本和弦功能序列进行末位遮蔽处理,以得到样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位。
在一示例性实施例中,网络模型训练单元802,进一步被配置为执行基于样本旋律序列、样本调性序列,以及样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测样本和弦序列的末位以及样本和弦功能序列的末位;将样本和弦序列中的部分序列位与样本和弦序列的末位进行组合,得到预测和弦序列,以及将样本和弦功能序列中的部分序列位与样本和弦功能序列的末位进行组合得到预测和弦功能序列。
在一示例性实施例中,样本调性序列包括:样本主音序列以及样本调式序列;网络模型训练单元802,进一步被配置为执行将样本旋律序列、样本主音序列以及样本调式序列进行叠加,得到第一样本编码序列;将样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位进行叠加,得到第二样本编码序列;基于第一样本编码序列与第二样本编码序列生成对应的注意力向量,利用神经网络模型对注意力向量进行解码,得到样本和弦序列的末位以及样本和弦功能序列的末位。
在一示例性实施例中,神经网络模型包括第一预测层,以及第二预测层;网络模型训练单元802,还被配置为执行将样本旋律序列、样本调性序列,以及样本和弦功能序列中的部分序列位输入第一预测层,第一预测层用于基于样本旋律序列、样本调性序列,以及样本和弦功能序列中的部分序列位预测完整的和弦功能序列,并输出预测和弦功能序列;将预测和弦功能序列与样本和弦序列中的部分序列位输入第二预测层;第二预测层用于基于预测和弦功能序列与样本和弦序列中的部分序列位预测完整的和弦序列,并输出预测和弦序列。
在一示例性实施例中,模型损失确定单元803,进一步被配置为执行获取预测和弦序列与样本和弦序列的第一损失值,以及获取预测和弦功能序列与样本和弦功能序列的第二损失值;将第一损失值与第二损失值的和作为和弦匹配模型的损失值;或被配置为执行若第一损失值小于预设的第一阈值,且第二损失值小于预设的第二阈值,则将当前神经网络模型作为和弦生成模型。
图9是根据一示例性实施例示出的一种和弦生成装置框图。参照图9,该装置包括旋律序列获取单元901,和弦序列获取单元902和和弦生成单元903。
旋律序列获取单元901,被配置为执行针对于待生成和弦的旋律,获取旋律对应的旋律序列以及调性序列;
和弦序列获取单元902,被配置为执行将旋律序列以及调性序列输入训练好的和弦生成模型,通过和弦生成模型得到旋律对应的和弦序列;和弦生成模型通过如上任一项实施例所述的和弦生成模型训练方法得到;
和弦生成单元903,被配置为执行根据和弦序列生成待生成和弦。
在一示例性实施例中,旋律序列获取单元901,进一步被配置为执行获取旋律的旋律特征以及调性特征;按照预设的采样频率,对旋律特征以及调性特征进行采样,得到旋律序列以及调性序列。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种用于和弦生成模型的训练或者用于和弦生成的设备1000的框图。例如,设备1000可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图10,设备1000可以包括以下一个或多个组件:处理组件1002、存储器1004、电源组件1006、多媒体组件1008、音频组件1010、输入/输出(I/O)的接口1012、传感器组件1014以及通信组件1016。
处理组件1002通常控制设备1000的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1002可以包括一个或多个模块,便于处理组件1002和其他组件之间的交互。例如,处理组件1002可以包括多媒体模块,以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在设备1000的操作。这些数据的示例包括用于在设备1000上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件1006为设备1000的各种组件提供电力。电源组件1006可以包括电源管理***,一个或多个电源,及其他与为设备1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述设备1000和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1008包括一个前置摄像头和/或后置摄像头。当设备1000处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如,音频组件1010包括一个麦克风(MIC),当设备1000处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中,音频组件1010还包括一个扬声器,用于输出音频信号。
I/O接口1012为处理组件1002和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器,用于为设备1000提供各个方面的状态评估。例如,传感器组件1014可以检测到设备1000的打开/关闭状态,组件的相对定位,例如所述组件为设备1000的显示器和小键盘,传感器组件1014还可以检测设备1000或设备1000一个组件的位置改变,用户与设备1000接触的存在或不存在,设备1000方位或加速/减速和设备1000的温度变化。传感器组件1014可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1014还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件1016被配置为便于设备1000和其他设备之间有线或无线方式的通信。设备1000可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件1016经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1016还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1004,上述指令可由设备1000的处理器1020执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种和弦生成模型的训练方法,其特征在于,包括:
获取样本序列集合;所述样本序列集合包括:样本旋律对应的样本旋律序列以及样本调性序列、样本和弦对应的样本和弦序列以及样本和弦功能序列;所述样本和弦为所述样本旋律对应的和弦;所述样本和弦功能序列用于标识所述样本和弦序列对应的和弦功能;
将所述样本序列集合输入待训练的神经网络模型;所述神经网络模型用于根据所述样本序列集合中的样本旋律序列、样本调性序列、样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测完整的和弦序列以及完整的和弦功能序列,并输出预测和弦序列以及预测和弦功能序列;
基于所述预测和弦序列与所述样本和弦序列,以及所述预测和弦功能序列与所述样本和弦功能序列,确定当前神经网络模型的损失值;
若所述损失值小于预设的损失阈值,将当前神经网络模型作为和弦生成模型。
2.根据权利要求1所述的方法,其特征在于,所述部分序列位为除末位外的序列位;
所述神经网络模型中包含序列位遮蔽层,用于对输入的所述样本序列集合中的样本和弦序列以及样本和弦功能序列进行末位遮蔽处理,以得到样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位。
3.根据权利要求2所述的方法,其特征在于,所述预测完整的和弦序列以及完整的和弦功能序列,包括:
基于所述样本旋律序列、所述样本调性序列,以及样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测所述样本和弦序列的末位以及所述样本和弦功能序列的末位;
将所述样本和弦序列中的部分序列位与所述样本和弦序列的末位进行组合,得到所述预测和弦序列,以及将所述样本和弦功能序列中的部分序列位与所述样本和弦功能序列的末位进行组合得到所述预测和弦功能序列。
4.根据权利要求3所述的方法,其特征在于,所述样本调性序列包括:样本主音序列以及样本调式序列;
所述基于所述样本旋律序列、所述样本调性序列,以及样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测所述样本和弦序列的末位以及所述样本和弦功能序列的末位,包括:
将所述样本旋律序列、所述样本主音序列以及所述样本调式序列进行叠加,得到第一样本编码序列;
将所述样本和弦序列中的部分序列位以及所述样本和弦功能序列中的部分序列位进行叠加,得到第二样本编码序列;
基于所述第一样本编码序列与所述第二样本编码序列生成对应的注意力向量,利用所述神经网络模型对所述注意力向量进行解码,得到所述样本和弦序列的末位以及所述样本和弦功能序列的末位。
5.一种和弦生成方法,其特征在于,包括:
针对于待生成和弦的旋律,获取所述旋律对应的旋律序列以及调性序列;
将所述旋律序列以及所述调性序列输入训练好的和弦生成模型,通过所述和弦生成模型得到所述旋律对应的和弦序列;所述和弦生成模型通过如权利要求1至6任一项所述的和弦生成模型训练方法得到;
根据所述和弦序列生成所述待生成和弦。
6.一种和弦生成模型的训练装置,其特征在于,包括:
样本序列获取单元,被配置为执行获取样本序列集合;所述样本序列集合包括:样本旋律对应的样本旋律序列以及样本调性序列、样本和弦对应的样本和弦序列以及样本和弦功能序列;所述样本和弦为所述样本旋律对应的和弦;所述样本和弦功能序列用于标识所述样本和弦序列对应的和弦功能;
网络模型训练单元,被配置为执行将所述样本序列集合输入待训练的神经网络模型;所述神经网络模型用于根据所述样本序列集合中的样本旋律序列、样本调性序列、样本和弦序列中的部分序列位以及样本和弦功能序列中的部分序列位,预测完整的和弦序列以及完整的和弦功能序列,并输出预测和弦序列以及预测和弦功能序列;
模型损失确定单元,被配置为执行基于所述预测和弦序列与所述样本和弦序列,以及所述预测和弦功能序列与所述样本和弦功能序列,确定当前神经网络模型的损失值;
预测模型获取单元,被配置为执行若所述损失值小于预设的损失阈值,将当前神经网络模型作为和弦生成模型。
7.一种和弦生成装置,其特征在于,包括:
旋律序列获取单元,被配置为执行针对于待生成和弦的旋律,获取所述旋律对应的旋律序列以及调性序列;
和弦序列获取单元,被配置为执行将所述旋律序列以及所述调性序列输入训练好的和弦生成模型,通过所述和弦生成模型得到所述旋律对应的和弦序列;所述和弦生成模型通过如权利要求1至6任一项所述的和弦生成模型训练方法得到;
和弦生成单元,被配置为执行根据所述和弦序列生成所述待生成和弦。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至4中任一项所述的和弦生成模型的训练方法,或者如权利要求5所述的和弦生成方法。
9.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至4中任一项所述的和弦生成模型的训练方法,或者如权利要求5所述的和弦生成方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的和弦生成模型的训练方法,或者如权利要求5所述的和弦生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110217833.3A CN114970651A (zh) | 2021-02-26 | 2021-02-26 | 和弦生成模型的训练方法、和弦生成方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110217833.3A CN114970651A (zh) | 2021-02-26 | 2021-02-26 | 和弦生成模型的训练方法、和弦生成方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114970651A true CN114970651A (zh) | 2022-08-30 |
Family
ID=82972647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110217833.3A Pending CN114970651A (zh) | 2021-02-26 | 2021-02-26 | 和弦生成模型的训练方法、和弦生成方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114970651A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102236423A (zh) * | 2010-04-30 | 2011-11-09 | 北京搜狗科技发展有限公司 | 一种字符自动补充的方法、装置和输入法*** |
CN107644630A (zh) * | 2017-09-28 | 2018-01-30 | 清华大学 | 基于神经网络的旋律生成方法及装置 |
CN109902678A (zh) * | 2019-02-12 | 2019-06-18 | 北京奇艺世纪科技有限公司 | 模型训练方法、文字识别方法、装置、电子设备及计算机可读介质 |
CN109935222A (zh) * | 2018-11-23 | 2019-06-25 | 咪咕文化科技有限公司 | 一种构建和弦转换向量的方法、装置及计算机可读存储介质 |
CN110264987A (zh) * | 2019-06-18 | 2019-09-20 | 王子豪 | 基于深度学习的和弦进行生成方法 |
CN110782880A (zh) * | 2019-10-22 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种韵律生成模型的训练方法及装置 |
CN110827253A (zh) * | 2019-10-30 | 2020-02-21 | 北京达佳互联信息技术有限公司 | 一种目标检测模型的训练方法、装置及电子设备 |
CN111681631A (zh) * | 2020-04-30 | 2020-09-18 | 平安科技(深圳)有限公司 | 搭配和声的方法、装置、电子设备及计算机可读介质 |
CN112037760A (zh) * | 2020-08-24 | 2020-12-04 | 北京百度网讯科技有限公司 | 语音频谱生成模型的训练方法、装置及电子设备 |
CN116863893A (zh) * | 2023-07-17 | 2023-10-10 | 成都潜在人工智能科技有限公司 | 一种基于旋律生成和弦的方法和*** |
WO2023245389A1 (zh) * | 2022-06-20 | 2023-12-28 | 北京小米移动软件有限公司 | 歌曲生成方法、装置、电子设备和存储介质 |
-
2021
- 2021-02-26 CN CN202110217833.3A patent/CN114970651A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102236423A (zh) * | 2010-04-30 | 2011-11-09 | 北京搜狗科技发展有限公司 | 一种字符自动补充的方法、装置和输入法*** |
CN107644630A (zh) * | 2017-09-28 | 2018-01-30 | 清华大学 | 基于神经网络的旋律生成方法及装置 |
CN109935222A (zh) * | 2018-11-23 | 2019-06-25 | 咪咕文化科技有限公司 | 一种构建和弦转换向量的方法、装置及计算机可读存储介质 |
CN109902678A (zh) * | 2019-02-12 | 2019-06-18 | 北京奇艺世纪科技有限公司 | 模型训练方法、文字识别方法、装置、电子设备及计算机可读介质 |
CN110264987A (zh) * | 2019-06-18 | 2019-09-20 | 王子豪 | 基于深度学习的和弦进行生成方法 |
CN110782880A (zh) * | 2019-10-22 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种韵律生成模型的训练方法及装置 |
CN110827253A (zh) * | 2019-10-30 | 2020-02-21 | 北京达佳互联信息技术有限公司 | 一种目标检测模型的训练方法、装置及电子设备 |
CN111681631A (zh) * | 2020-04-30 | 2020-09-18 | 平安科技(深圳)有限公司 | 搭配和声的方法、装置、电子设备及计算机可读介质 |
CN112037760A (zh) * | 2020-08-24 | 2020-12-04 | 北京百度网讯科技有限公司 | 语音频谱生成模型的训练方法、装置及电子设备 |
WO2023245389A1 (zh) * | 2022-06-20 | 2023-12-28 | 北京小米移动软件有限公司 | 歌曲生成方法、装置、电子设备和存储介质 |
CN116863893A (zh) * | 2023-07-17 | 2023-10-10 | 成都潜在人工智能科技有限公司 | 一种基于旋律生成和弦的方法和*** |
Non-Patent Citations (1)
Title |
---|
王浩, 陈桂林, 徐良贤: "一种基于实例学习的高精度英文未登录词发音的自动预测方法", 计算机研究与发展, no. 05, 16 May 2004 (2004-05-16) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106024009B (zh) | 音频处理方法及装置 | |
CN111524521B (zh) | 声纹提取模型训练方法和声纹识别方法、及其装置和介质 | |
CN111261144B (zh) | 一种语音识别的方法、装置、终端以及存储介质 | |
CN110909815B (zh) | 神经网络训练、图像处理方法、装置及电子设备 | |
CN107146631B (zh) | 音乐识别方法、音符识别模型建立方法、装置及电子设备 | |
CN109558599B (zh) | 一种转换方法、装置和电子设备 | |
CN111461304B (zh) | 分类神经网络的训练方法、文本分类方法、装置及设备 | |
CN109961094B (zh) | 样本获取方法、装置、电子设备及可读存储介质 | |
US11335348B2 (en) | Input method, device, apparatus, and storage medium | |
CN105447109A (zh) | 关键字词搜索方法及装置 | |
CN112836058A (zh) | 医疗知识图谱建立方法及装置、医疗知识图谱查询方法及装置 | |
CN114429611B (zh) | 视频合成方法、装置、电子设备及存储介质 | |
CN112735396A (zh) | 语音识别纠错方法、装置及存储介质 | |
CN114333804B (zh) | 音频分类识别方法、装置、电子设备及存储介质 | |
CN114446318A (zh) | 音频数据分离方法、装置、电子设备及存储介质 | |
CN112035651B (zh) | 语句补全方法、装置及计算机可读存储介质 | |
CN105243051A (zh) | 酒店订单短信模板的创建方法、提取方法及装置 | |
CN113177419A (zh) | 文本改写方法、装置、存储介质及电子设备 | |
CN111538998A (zh) | 文本定密方法和装置、电子设备及计算机可读存储介质 | |
CN113115104B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN113923517B (zh) | 一种背景音乐生成方法、装置及电子设备 | |
CN114970651A (zh) | 和弦生成模型的训练方法、和弦生成方法、装置及设备 | |
CN112951202B (zh) | 语音合成方法、装置、电子设备以及程序产品 | |
CN115394283A (zh) | 语音合成方法、装置、电子设备及存储介质 | |
CN114036937A (zh) | 场景布局预测网络的训练方法及场景布局的估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |