CN107993636A - 基于递归神经网络的乐谱建模与生成方法 - Google Patents

Abstract

本发明属于人工智能、数据挖掘和机器翻译领域，为提出一种自动化音乐创作方法，能够有效克服传统音乐创作方法中自动对乐谱进行建模与生成时发生的乐谱格式的错乱、节奏与标注的不一致及旋律的不恰当等问题。本发明，基于递归神经网络的乐谱建模与生成方法，步骤如下：步骤一：调研乐谱的电子表达形式，选择最适用于电子乐谱建模与生成的表达形式；步骤二：构建用于ABC格式电子乐谱建模与生成的递归神经网络模型；步骤四：生成从音乐角度和文法角度都满足要求的ABC格式乐谱；步骤五：比较分析两个模型在乐谱建模学习能力与生成效果上的差别。本发明主要应用于自动化音乐创作场合。

Description

基于递归神经网络的乐谱建模与生成方法

技术领域

本发明属于人工智能、数据挖掘和机器翻译领域，涉及自动化音乐创作技术，尤其是一种基于深度神经网络的乐谱建模与生成方法。

背景技术

根据算法的结构和处理数据方法的不同，自动化音乐创作方式通常可以分为以下八个类别：

1.翻译模型：将已有非音乐媒介信息“翻译”成为声音的音乐合成方法。

2.数学模型：基于数学公式和随机事件的生成方法来进行音乐创作。

3.基于知识的***：从特定音乐流派中提取音乐特征并创建相似音乐作品。

4.语法模型：根据音乐的特殊语法构造易于理解的音乐片段。

5.演化方法：一种基于遗传算法的自动谱曲方法。通过突变和自然选择这两种演化过程，各种解决方案朝着最恰当的音乐片段表现形式不断演化。

6.演化发育方法：将演化方法与发育过程结合而成的一种方法。

7.混合***法：混合不同算法来综合各算法的长处和减少各自的缺陷。

上述方法尽管能够获得简单的、易于理解的音乐曲段和整个音乐结构，但是计算复杂度高、易出错，且不能很好的探索音乐的创作过程。随着深度学习在各科学领域取得的巨大成功，基于深度神经网络的自动乐谱建模和生成方法开始受到人们极大关注。

8.***学习法：***不需要知道正在处理音乐的流派等先验知识，而是通过算法从样例素材中自动收集和学习信息，并生成与样例音乐类似的音乐曲段。

近年来，人们关于结合深度神经网络的***学习法提出了很多改进方法。其中，马尔科夫模型、演化算法的融入虽然可以很好的按照正确的音乐结构来生成旋律，但其生成的旋律过于简单；具有长短时记忆(Long Short-Term Memory，LSTM)单元的递归神经网络(Recurrent Neural Network,RNN)虽然能够很好的生成音乐，但由于研究中将乐谱进行类似分词的操作打破了原有的乐谱格式，使得生成的乐谱在音符与音符之间失去了联系，即丧失了乐谱原有的复杂特征。

发明内容

为克服现有技术的不足，本发明旨在提出一种自动化音乐创作方法，能够有效克服传统音乐创作方法中自动对乐谱进行建模与生成时发生的乐谱格式的错乱、节奏与标注的不一致及旋律的不恰当等问题。本发明采用的技术方案是，基于递归神经网络的乐谱建模与生成方法，步骤如下：

步骤一：调研乐谱的电子表达形式，选择最适用于电子乐谱建模与生成的表达形式；

步骤二：获取大量规范的ABC格式的电子乐谱资源，并对数据做相应简化规整等预处理；

步骤三：在具有长短时记忆单元的递归神经网络的基础上，将网络深层化，并融入关注度模型、丢弃层和嵌入层三个目前流行的用于辅助优化递归神经网络的方法，构建用于ABC格式电子乐谱建模与生成的递归神经网络模型；

步骤四：将处理后的数据分别应用到本发明的ABC-RNN(the RNN to generateABC formatmusic)模型和目前流行的Folk-RNN(the RNN to generate Folk stylemusic)模型中进行同等规模的训练，使其准确学习不同的音乐结构和电子乐谱的ABC格式规范，生成从音乐角度和文法角度都满足要求的ABC格式乐谱；

步骤五：比较两个模型在使用同一训练集进行相同次数训练后的网络在验证集和测试集上的平均损失值，以及训练后生成的ABC格式电子乐谱的效果，分析两个模型在乐谱建模学习能力与生成效果上的差别；

测试与验证步骤，在相同数据集的情况下，测试ABC-RNN模型与Folk-RNN模型下ABC格式电子乐谱建模的准确度与乐谱生成的效果；

同时，使用以上两种模型在训练集、验证集和测试集上的平均损失值作为模型学习能力的评价标准，其中，损失函数如下公式(1)所示：

其中，p_targeti表示输出的概率向量，其代表的是目标字符target_i的概率，N表示目标字符的个数，损失值loss的值越小越好；

另一方面，采用比较生成乐谱脚本是否能够顺利转化为规范乐谱的方式来评价生成乐谱的可靠性与健壮性。

一个实例中的具体步骤是：

步骤S0101：首先选择乐谱的电子表达形式：确定采用ABC格式的乐谱；

步骤S0201：从网络资源获取一定数目的ABC格式的电子乐谱，并将其前面的包括作者信息、曲谱序号、乐谱来源以及乐曲类别信息的标志做相应处理，形成极简且有效完整的实验数据；

步骤S0301：构建用于ABC格式电子乐谱建模与生成的递归神经网络ABC-RNN模型，该模型除了加入长短时记忆单元之外，也加入了丢弃层、嵌入层以及关注度模型三个用来优化递归神经网络的方法，形成学习能力更健壮的神经网络；

步骤S0401：设计ABC-RNN网络的初始参数与损失函数，并选择对网络参数更新调优的优化方案，实行反向传播网络来完成梯度修剪，构建精确完整的ABC-RNN模型，并利用处理过的数据在其之上做大规模的训练；

步骤S0501：对比ABC-RNN模型和Folk-RNN模型的建模学习能力和乐谱生成质量，分析本发明提出的乐谱建模与生成方法的可行性与高效性。

本发明的特点及有益效果是：

本发明的ABC-RNN模型在递归神经网络中加入了擅于处理时序问题的长短时记忆单元，可以协助长短时记忆网络更好地识别不同类型的上下文元素的关注度模型，能够解决网络中经常存在的过拟合问题的丢弃层以及使输入数据得到更好的向量表现的嵌入层。上述网络的加入使得ABC-RNN模型比其他现有技术有更健壮的乐谱建模能力与更优秀的乐谱生成效果。

附图说明：

图1整体示意图。

图2ABC-RNN和Folk-RNN的损失值比较图。

图3ABC-RNN模型和Folk-RNN模型生成曲谱质量比较图。

具体实施方式

本发明提出一种用于ABC格式电子乐谱建模与生成的递归神经网络(ABC-RNN)模型的算法方案。ABC格式是一种使用字母A到G来表示给定音符的简写形式的乐谱。包含以下步骤：

步骤一：调研乐谱的电子表达形式，选择最适用于电子乐谱建模与生成的表达形式。总结目前最为流行的三种形式：MIDI(Musical Instrument Digital Interface，乐器数字接口)格式、MusicXML(Music Extensible Markup Language，音乐扩展标记语言)格式和ABC(一种使用字母A到G来表示给定音符的简写形式的乐谱)格式在乐谱建模和生成应用中的优缺点，从中选择能够完整表达乐曲内容且性能最优的电子表达形式。

步骤二：获取大量规范的ABC格式的电子乐谱资源，并对数据做相应简化规整等预处理。

步骤三：在具有长短时记忆单元的递归神经网络的基础上，将网络深层化，并融入关注度模型、丢弃层和嵌入层三个目前流行的用于辅助优化递归神经网络的方法，构建用于ABC格式电子乐谱建模与生成的递归神经网络模型。

步骤四：将处理后的数据分别应用到本发明的ABC-RNN模型和目前流行的Folk-RNN模型中进行同等规模的训练，使其准确学习不同的音乐结构和电子乐谱的ABC格式规范，生成从音乐角度和文法角度都满足要求的ABC格式乐谱。

步骤五：比较两个模型在使用同一训练集进行相同次数训练后的网络在验证集和测试集上的平均损失值，以及训练后生成的ABC格式电子乐谱的效果，分析两个模型在乐谱建模学习能力与生成效果上的差别。

实验在相同数据集的情况下，测试ABC-RNN模型与Folk-RNN模型下ABC格式电子乐谱建模的准确度与乐谱生成的效果。

同时，本发明一方面使用以上两种模型在训练集、验证集和测试集上的平均损失值作为模型学习能力的评价标准。其中，损失函数如下公式(1)所示：

其中，表示输出的概率向量代表的是目标字符target_i的概率，loss的值越小越好。

另一方面，为了更加客观的判断出生成乐谱的质量好坏，本发明采用比较生成乐谱脚本是否能够顺利转化为规范乐谱的方式来评价生成乐谱的可靠性与健壮性。

实验结果表明，在经过相同规模的训练后，本发明的ABC-RNN模型相比流行的Folk-RNN模型损失值更小，不仅如此，ABC-RNN模型在验证集和测试集上也具有更加优秀的表现。因此可以说明本发明提出的ABC-RNN模型能够显著地优于Folk-RNN模型，可以更好地对ABC格式的电子乐谱进行建模学习。

另外，通过比较以上两个模型生成的电子乐谱效果，统计其中不满足ABC格式规范的个数，对生成乐谱错误加以比较和分析得到ABC-RNN模型生成的ABC格式电子乐谱效果远远胜于Folk-RNN模型。

本发明的ABC-RNN模型在递归神经网络中加入了擅于处理时序问题的长短时记忆单元，可以协助长短时记忆网络更好地识别不同类型的上下文元素的关注度模型，能够解决网络中经常存在的过拟合问题的丢弃层以及使输入数据得到更好的向量表现的嵌入层。上述网络的加入使得ABC-RNN模型比其他现有技术有更健壮的乐谱建模能力与更优秀的乐谱生成效果。

表1 ABC-RNN和Folk-RNN的损失值表

在图2和表1中，通过比较可知在训练后，ABC-RNN模型相比Folk-RNN具有更低的损失值，且在训练集、验证集、测试集上，ABC-RNN的损失情况分别优于Folk-RNN约9.041％、10.62％、8.159％。这说明，ABC-RNN模型能够显著地优于Folk-RNN模型，并且可以更好地对ABC格式的电子乐谱进行建模学习。

表2 ABC-RNN和Folk-RNN的生成乐谱质量比较表

在图3和表2中，在各自生成的50首乐谱中，ABC-RNN的正确乐谱数达到了43首，而Folk-RNN的正确乐谱数仅有27首。除此之外，ABC-RNN较Folk-RNN的错误种类相对少一些，且其出现的错误乐谱的数量也显著少于后者，而ABC-RNN所犯的错误，如缺音或多音、少量多余符号、反复记号错误，都是由一个或两个字符生成失误所导致的，并没有出现如Folk-RNN中发生的乱码这样严重的生成错误。由此可见，利用ABC-RNN网络训练生成的ABC格式电子乐谱在准确度、规范性等条件上都优于Folk-RNN模型。

本发明提供了一种基于递归神经网络的乐谱建模与生成方法，如图1所示，为本发明的递归神经网络模型的整体示意图，包括：

步骤S0101：首先选择乐谱的电子表达形式。在此过程中，本发明比较了MusicXML格式、MIDI格式和ABC格式在乐谱建模与生成过程中的优缺点。依据格式规范简练、内容完整、计算复杂度低等因素的考量，最终本发明确定采用ABC格式的乐谱进行实验。

步骤S0201：从网络资源获取一定数目的ABC格式的电子乐谱，并将其前面的作者信息、曲谱序号、乐谱来源以及乐曲类别信息等标志做相应处理，形成极简且有效完整的实验数据。

步骤S0301：构建用于ABC格式电子乐谱建模与生成的递归神经网络(ABC-RNN)模型，该模型除了加入长短时记忆单元之外，也加入了丢弃层、嵌入层以及关注度模型三个可用来优化递归神经网络的方法，形成学习能力更健壮的神经网络。

步骤S0401：设计ABC-RNN网络的初始参数与损失函数，并选择对网络参数更新调优的优化方案，实行反向传播网络来完成梯度修剪，构建精确完整的ABC-RNN模型，并利用处理过的数据在其之上做大规模的训练。

步骤S0501：对比ABC-RNN模型和Folk-RNN模型的建模学习能力和乐谱生成质量，分析本发明提出的乐谱建模与生成方法的可行性与高效性。

本发明引进深度神经网络中的长短时记忆单元和关注度模型、丢弃层、嵌入层，为用户创造从音乐角度和文法角度都满足要求的新音乐提供了帮助，为深度神经网络在音乐的自动化创作上提供了新的思路。

Claims (3)

1.一种基于递归神经网络的乐谱建模与生成方法，其特征是，步骤如下：

步骤一：调研乐谱的电子表达形式，选择最适用于电子乐谱建模与生成的表达形式；

步骤二：获取大量规范的ABC格式的电子乐谱资源，并对数据做相应简化规整等预处理；

步骤三：在具有长短时记忆单元的递归神经网络的基础上，将网络深层化，并融入关注度模型、丢弃层和嵌入层三个用于辅助优化递归神经网络的方法，构建用于ABC格式电子乐谱建模与生成的递归神经网络模型；

步骤四：将处理后的数据分别应用到ABC-RNN(the RNN to generate ABC formatmusic)模型和目前流行的Folk-RNN(the RNN to generate Folk style music)模型中进行同等规模的训练，使其准确学习不同的音乐结构和电子乐谱的ABC格式规范，生成从音乐角度和文法角度都满足要求的ABC格式乐谱；

步骤五：比较两个模型在使用同一训练集进行相同次数训练后的网络在验证集和测试集上的平均损失值，以及训练后生成的ABC格式电子乐谱的效果，分析两个模型在乐谱建模学习能力与生成效果上的差别。

2.如权利要求1所述的基于递归神经网络的乐谱建模与生成方法，其特征是，测试与验证步骤，在相同数据集的情况下，测试ABC-RNN模型与Folk-RNN模型下ABC格式电子乐谱建模的准确度与乐谱生成的效果；

同时，使用以上两种模型在训练集、验证集和测试集上的平均损失值作为模型学习能力的评价标准，其中，损失函数如下公式(1)所示：

(1)

其中，表示输出的概率向量，其代表的是目标字符target_i的概率，N表示目标字符的个数，损失值loss的值越小越好；

另一方面，采用比较生成乐谱脚本是否能够顺利转化为规范乐谱的方式来评价生成乐谱的可靠性与健壮性。

3.如权利要求1所述的基于递归神经网络的乐谱建模与生成方法，其特征是，一个实例中的具体步骤是：

步骤S0101：首先选择乐谱的电子表达形式：确定采用ABC格式的乐谱；

步骤S0201：从网络资源获取一定数目的ABC格式的电子乐谱，并将其前面的包括作者信息、曲谱序号、乐谱来源以及乐曲类别信息的标志做相应处理，形成极简且有效完整的实验数据；

步骤S0301：构建用于ABC格式电子乐谱建模与生成的递归神经网络ABC-RNN模型，该模型除了加入长短时记忆单元之外，也加入了丢弃层、嵌入层以及关注度模型三个用来优化递归神经网络的方法，形成学习能力更健壮的神经网络；

步骤S0401：设计ABC-RNN网络的初始参数与损失函数，并选择对网络参数更新调优的优化方案，实行反向传播网络来完成梯度修剪，构建精确完整的ABC-RNN模型，并利用处理过的数据在其之上做大规模的训练；

步骤S0501：对比ABC-RNN模型和Folk-RNN模型的建模学习能力和乐谱生成质量，分析本发明提出的乐谱建模与生成方法的可行性与高效性。