CN112528631B - 一种基于深度学习算法的智能伴奏*** - Google Patents
一种基于深度学习算法的智能伴奏*** Download PDFInfo
- Publication number
- CN112528631B CN112528631B CN202011411392.2A CN202011411392A CN112528631B CN 112528631 B CN112528631 B CN 112528631B CN 202011411392 A CN202011411392 A CN 202011411392A CN 112528631 B CN112528631 B CN 112528631B
- Authority
- CN
- China
- Prior art keywords
- accompaniment
- midi
- user
- fragment
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 239000012634 fragment Substances 0.000 claims abstract description 64
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 22
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012550 audit Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- IJJWOSAXNHWBPR-HUBLWGQQSA-N 5-[(3as,4s,6ar)-2-oxo-1,3,3a,4,6,6a-hexahydrothieno[3,4-d]imidazol-4-yl]-n-(6-hydrazinyl-6-oxohexyl)pentanamide Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)NCCCCCC(=O)NN)SC[C@@H]21 IJJWOSAXNHWBPR-HUBLWGQQSA-N 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明公开了一种基于深度学习算法的智能伴奏***，包括用户端和服务端，所述用户端和服务端通信连接，所述用户端为用户提供可视化界面，接收用户长传的midi片段并显示和播放基于midi片段生成的1个伴奏片段；所述服务端利用基于深度学习算法构建的伴奏生成器根据midi片段生成伴奏，并发送给用户端以显示。通过服务端存储的伴奏生成器能够自动分析mini片段的旋律轨道，并生成伴奏片段，该伴奏片段通过用户端可视化显示和播放以供用户鉴赏和选择，由于该伴奏片段是自动生成的，所以不了解乐理知识的非音乐专业人士也可以实现音乐创造，提升了音乐创造的应用广泛性和创造效率。
Description
技术领域
本发明属于音乐智能创作领域，具体涉及一种基于深度学习算法的智能伴奏UI***。
背景技术
近年来，随着人工智能技术的发展，计算机在艺术领域的创造力大幅提升。在计算机音乐领域，通过机器学习，深度学习方法，智能创作出与人类相媲美的音乐作品。如
Hadjeres等人发布的DeepBach模型，可以模仿生成具有巴赫风格的复调音乐。再如JI-Sung Kim等人发布的DeepJazz模型，可以生成具有爵士节奏型，旋律线的多乐器音乐。智能伴奏是计算机艺术创作能力的应用场景，它可以为任何音乐爱好者的音乐创作赋能。若用户是专业音乐人，智能伴奏可以为其提供丰富的编曲灵感，大大缩短编曲时间；而若用户是非专业音乐人，智能伴奏功能可以为其直接打造第一首专属于自己的完整歌曲。
智能伴奏是一个很有应用前景的领域，近年来在学界也有越来越多论文对该领域进行了深入研究，典型的工作如Hao-Wen Dong等人的MuseGAN，OpenAI的MuseNet等。然而它们任何一种工作均没有制作能满足用户需求的UI***。MuseGAN仅在自己的项目主页上放置了几首试听音乐，没有任何用户交互的方式。MuseNet做了一个简易的UI界面，其中包括可选的音乐风格，前奏，乐器，长度等参数，但它没有办法实现用户上传一段旋律，从头生成伴奏的功能。而在工业界，同样也有一些软件做了类似的尝试。Captain Plugin提供了一系列智能作曲编曲插件，例如Captain Chords，Captain Melody等。用户通过调节插件中指定的参数，可以自动生成一段旋律或是和弦进行。然而这样的做法对非专业音乐人来说门槛还是很高，因为所有的参数均是与乐理相关，只有拥有作曲编曲背景的人才能体会其中的含义。其次，调节的参数数量很多，用户需要不断的尝试才能得到满意的片段。同时这些插件还有一个最大的缺点是，插件之间没有联动性，也即用户需要自己去掌握所生成的旋律与和弦进行的和谐性，才能得到完整的曲子。插件并无法分析已有的旋律段落来给它配上合适的乐器编排。
综上所述，市面上没有这样一套能够通过给定的旋律智能生成其伴奏的UI***。
发明内容
鉴于上述，本发明的目的是提供一种基于深度学习算法的智能伴奏***，能够实现与用户交互，为用户上传的mini片段自动生成伴奏片段。
为实现上述发明目的，本发明提供以下技术方案：
一种基于深度学习算法的智能伴奏***，包括用户端和服务端，所述用户端和服务端通信连接，所述用户端为用户提供可视化界面，接收用户长传的midi片段并显示和播放基于midi片段生成的1个伴奏片段；
所述服务端利用基于深度学习算法构建的伴奏生成器根据midi片段生成伴奏片段，并发送给用户端以显示。
与现有技术相比，本发明具有的有益效果至少包括：
本发明提供的基于深度学习算法的智能伴奏***，通过服务端存储的伴奏生成器能够自动分析mini片段的旋律轨道，并生成伴奏片段，该伴奏片段通过用户端可视化显示和播放以供用户鉴赏和选择，由于该伴奏片段是自动生成的，所以不了解乐理知识的非音乐专业人士也可以实现音乐创造，提升了音乐创造的应用广泛性和创造效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的基于深度学习算法的智能伴奏***的结构示意图；
图2是本发明实施例提供的训练框架的结构示意图；
图3、图4以及图5是本发明实施例提供的用户端的三种应用场景下的可视化界面示意图；
图6是本发明实施例提供的八小节的midi片段。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是本发明实施例提供的基于深度学习算法的智能伴奏***的结构示意图。如图1所示，智能伴奏***包括用户端和服务端，所述用户端和服务端通信连接，所述用户端为用户提供可视化界面，接收用户长传的midi片段并显示和播放基于midi片段生成的1个伴奏片段；所述服务端利用基于深度学习算法构建的伴奏生成器根据midi片段生成伴奏，并发送给用户端以显示。
具体地，用户端通过可视化界面为用户提供midi片段调整操作和智能伴奏触发操作，用户通过midi片段调整操作调整midi旋律开始的时间，通过智能伴奏触发操作发出为mini片段生成智能伴奏的请求。
用户端通过可视化界面还为用户提供伴奏片段选择和播放操作、删除操作，用户通过选择和播放操作选择并播放伴奏片段，通过删除操作删除伴奏片段。
用户端通过可视化界面还为用户提供试听伴奏片段操作，用户通过试听伴奏片段操作试听选择的伴奏片段，试听时，显示播放时间和总时长，试听停止和试听结束后，伴奏片段恢复为未播放状态。
服务端包含有用于根据midi片段生成伴奏片段的伴奏生成器，该伴奏生成器的构建方法包括：
(a)构建样本集，样本集的每个样本由midi片段和伴奏片段组成，具体构建过程为：采用爬虫的方法在互联网上收集有体裁标签的MIDI数据集，其中，体裁包括流行，乡村，爵士；对MIDI数据经旋律抽取、轨道压缩、数据过滤、整曲分割、和弦识别后，获得MIDI片段，MIDI片段打乱，获得各体裁标签对应的样本集。
(b)构建训练框架，如图2所示，训练框架包括编码单元、基础单元、语义表征单元以及域对抗单元。
编码单元采用Mu MIDI模型，对输入的MIDI片段进行编码，将离散序列的符号化音乐编码成词条，该Mu MIDI模型的网络参数确定的，因此在训练时，不对该Mu MIDI模型进行优化，且在图2中没有显示。根据不同的任务将词条分成目标词条和条件词条，目标词条和条件词条唯一的区别是条件词条是已知的，目标词条是未知的，目标词条是根据条件词条预测得到。在本发明中，将已知的midi片段对应的词条作为条件词条，将即将生成的伴奏片段对应的词条作为目标词条。编码的维度包括：小节序数、音符位置、轨道序数、音符属性(音高，持续时间，响度)、和弦以及元属性；这种编码方法可以学习不同轨道之间音符的相关依赖，从而提高生成音乐的整体和谐性。所述元属性中加入“体裁”符号，编码数据集的体裁信息，具体来讲，仅考虑三种体裁：流行、乡村、爵士，因此，分别给这三种体裁一个体裁符号：0、1、2。这个信息将会作为元属性之一被编码。
语义表征单元包含两个第一表征支路和第二表征支路，其中，第一表征支路用于对输入的条件词条进行语义表征输出对应的全局语义概率，具体地，第一表征支路包括依次连接的递归编码器、条件词条的隐藏层、线性层，递归编码器的输入为条件词条，线性层的输出为全局语义概率；第二表征支路用于对输入的目标词条进行语义表征输出对应的全局语义概率，具体地，第二表征支路包括依次连接的递归参考编码器和多头语义注意力层，递归参考编码器的输入为目标词条，多头语义注意力层的输出为全局语义概率。具体地，递归参考编码器与递归编码器具有相同的结构，且有独立的超参数和梯度，多头语义注意力层用于提取通过递归参考编码器的目标词条所含有的语义信息，最终输出全局语义逻辑值。虽然在推理阶段没有目标词条的输入，但仍旧希望保留语义信息，因此用一个线性层对条件词条进行编码，其输出维度与多头语义注意力层的输出相同。
基础单元用于对输入的条件词条编码后与目标词条对应的全局语义概率进行解码并输出语言模型概率。具体地，基础单元包含依次连接的递归编码器、条件词条的隐层、融合操作，递归解码器，递归编码器的输入为条件词条，融合操作对条件词条的隐层的输出图与目标词条对应的全局语义概率经目标词条的隐层的输出图进行融合处理，融合处理结果输入至递归解码器，经解码处理后输出语言模型概率。该基础单元增加了递归的部分，这意味着编码器可以保存上个时间步的词条隐层，并将其与当前时间步的词条隐层连接。
MIDI的伴奏中通常含有许多与体裁相关的语义信息，这会在推理阶段造成体裁元属性与全局语义逻辑预测中体裁信息的冲突，导致体裁预测的混乱。因此，设计了域对抗单元来解决这种混乱，域对抗单元用于对输入的目标词条对应的全局语义概率进行特征映射并输出域体概率值。具体地，域对抗单元包括依次连接的梯度反转层、线性层、一维小批次正则层、Relu激活函数和线性层，梯度反转层的输入为目标词条对应的全局语义概率，最后一个线性层的输出为域体概率值。
具体地，上述训架构中，注意力层数为4，注意力头数为8，编码器层数为4，编码器头数为8，解码器层数为8，解码器头数为8，编码器参数与语义表征组件编码器参数相同，且共享梯度；所述参数为所有隐层的大小均为256，词嵌入维度为256，训练输入词条的长度和记忆长度均为512。
(c)构建训练框架的训练损失函数，该训练损失函数包括全局语义损失函数、体裁损失函数以及语言模型损失函数，其中，全局语义损失函数为语义表征单元输出的两个全局语义概率的交叉熵，体裁损失函数为域对抗单元输出的域体概率值与目标词条的体裁标签的交叉熵，语言模型损失函数为由基础单元输出的语言模型概率计算得到。
(d)将样本数据输入训练框架，并训练损失函数收敛为目标，优化训练架构的网络参数；训练结束后，提取参数确定的编码单元、语义表征单元中目标词条对应的表征支路、基础单元组成伴奏生成器。
在伴奏生成器构建好之后，该伴奏生成器封装在服务端，利用伴奏生成器根据midi片段生成伴奏片段时，midi片段经过编码单元编码后输出条件词条，该条件词条输入至基础单元，同时训练框架训练时优化确定的体裁标签对应的全局语义概率值作为目标词条输入至语义表征单元中目标词条对应的表征支路，经过表征支路和基础单元处理后，输出的语言模型概率作为伴奏片段。
实施例中，服务端还包括midi片段判断模块，判断接收的midi片段的长度，当midi片段超过8小节时，生成提示信息并发送至用户端以显示。
实施例中，服务端还包括伴奏片段判断模块，判断生成的伴奏片段的长度，当伴奏片段的长度小于伴奏长度最小阈值时，则舍弃该伴奏片段，伴奏生成器依据midi判断重新生成伴奏片段；
当伴奏片段的长度大于伴奏长度最大阈值时，会生成等待提示信息并发送至用户端以显示。
实施例中，生成的伴奏片段至多包括5种乐器轨道信息，且每次生成伴奏片段被保存在列表中，5种乐器轨道包括钢琴、鼓、贝斯、吉他以及弦乐。
下面详细说明上述基于深度学习算法的智能伴奏***搭载在国内首款完全自主研发的音虫数字音乐工作站上实施运行，该智能伴奏***的具体应用过程包括：
(1)用户打开轨道编辑器。
用户在打开音虫数字音乐工作站后将显示音乐编辑主界面，如图3所示。其中方框区域表示用户输入的midi片段，midi片段会被放置在音轨中，其可以左右滑动以选择合适的旋律开始时间。
(2)用户选择想要生成伴奏的旋律轨道，并显示智能伴奏按钮。
当用户移动鼠标到某片段上时，在该片段上浮动显示智能伴奏按钮；移走鼠标时，隐藏智能伴奏按钮。
(3)用户点击智能伴奏按钮并生成并显示伴奏结果列表。
用户通过点击midi片段上的智能伴奏按钮来触发生成伴奏片段请求并发送至服务端，服务端的伴奏生成器基于请求和选择的midi片段生成伴奏片段，该伴奏片段总共包含至多五种乐器，分别是钢琴，鼓，贝斯，吉他，弦乐。在音虫数字音乐工作站中，其人机交互形式表现为当点击智能伴奏按钮后，编辑器右侧展示伴奏结果：
a)每次生成1个伴奏结果，
b)生成所选的MIDI片段不能超过8个小节，若超过，***会提示“您所选择的MIDI片段超过8个小节，请重新选择！”
c)生成的伴奏时长若小于5秒，通常是质量不好的片段，算法会自动重新生成，***此时不会有提示
d)生成的伴奏时长若大于25秒，通常是音符较多编排较丰富的片段，***此时会提示：正在为您生成编排丰富的片段！请耐心等待！
e)每个伴奏结果是一个包含至多5种乐器轨道的MIDI文件
f)每次生成的伴奏结果都会保存在列表中
g)点删除按钮，可以删除伴奏；点清空全部按钮，可以清空所有伴奏
图4所展示的是一个已经生成五首伴奏的结果列表，其中前四首是由MIDI片段1生成的，第五首是由MIDI片段2生成的。图5展示的是删除伴奏片段场景的可视化界面图，可以选择单个伴奏片段删除按钮，也可以选择清空全部按钮。
(4)用户可以点击伴奏进行试听，如果觉得不好听可以重新点击智能伴奏按钮进行生成。
点击智能伴奏按钮后，编辑器右侧展示伴奏结果：
a)点击右侧的播放按钮，可以试听单个伴奏
b)试听时，按钮变为停止按钮，并显示播放时间和总时长
c)点击停止按钮时，停止播放，恢复为未播放状态
d)试听结束后，恢复为未播放状态
e)试听时，如果点击另一个伴奏的播放按钮，则停止播放当前伴奏，并开始播放新的伴奏
(5)如图6所示，用户将最终喜欢的伴奏片段拖动到主编辑界面中。
a)拖动伴奏到编辑器，松手后，会将该伴奏所包含的5个乐器片段从当前轨道开始向下依次添加到5个MIDI轨道上
b)添加其中的MIDI片段到某轨道时：
当MIDI轨道不存在时，自动创建对应的MIDI轨道；
当轨道为MIDI轨道时，添加到该MIDI轨道；
当轨道为音频轨道时，跳过该音频轨道，尝试向下一个轨道添加
c)MIDI片段的添加位置自动对齐生成伴奏所选的MIDI片段的初始位置。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度学习算法的智能伴奏***，包括用户端和服务端，所述用户端和服务端通信连接，其特征在于，所述用户端为用户提供可视化界面，接收用户长传的midi片段并显示和播放基于midi片段生成的1个伴奏片段；
所述服务端利用基于深度学习算法构建的伴奏生成器根据midi片段生成伴奏片段，并发送给用户端以显示；
所述伴奏生成器的构建方法为：
构建由midi片段和伴奏片段组成的样本；
构建训练框架，该训练框架包括编码单元、基础单元、语义表征单元以及域对抗单元，其中，编码单元用于对样本进行编码，将midi片段编码成条件词条，将伴奏片段编码成目标词条，语义表征单元包含两个表征支路，分别对输入的条件词条和目标词条进行语义提取并输出对应的两个全局语义概率，基础单元用于对输入的条件词条编码后与目标词条对应的全局语义概率进行解码并输出语言模型概率；域对抗单元用于对输入的目标词条对应的全局语义概率进行特征映射并输出域体概率值；
构建训练框架的训练损失函数，该训练损失函数包括全局语义损失函数、体裁损失函数以及语言模型损失函数，其中，全局语义损失函数为语义表征单元输出的两个全局语义概率的交叉熵，体裁损失函数为域对抗单元输出的域体概率值与目标词条的体裁标签的交叉熵，语言模型损失函数为由基础单元输出的语言模型概率计算得到；
将样本数据输入训练框架，并训练损失函数收敛为目标，优化训练架构的网络参数；训练结束后，提取参数确定的编码单元、语义表征单元中目标词条对应的表征支路、基础单元组成伴奏生成器；
其中，所述语义表征单元包含的第一表征支路用于对输入的条件词条进行语义表征输出对应的全局语义概率，其中，第一表征支路包括依次连接的递归编码器、条件词条的隐藏层、线性层，递归编码器的输入为条件词条，线性层的输出为全局语义概率；
所述语义表征单元包含的第二表征支路用于对输入的目标词条进行语义表征输出对应的全局语义概率，其中，第二表征支路包括依次连接的递归参考编码器和多头语义注意力层，递归参考编码器的输入为目标词条，多头语义注意力层的输出为全局语义概率；
所述域对抗单元包括依次连接的梯度反转层、线性层、一维小批次正则层、Relu激活函数和线性层，梯度反转层的输入为目标词条对应的全局语义概率，最后一个线性层的输出为域体概率值。
2.如权利要求1所述的基于深度学习算法的智能伴奏***，其特征在于，所述用户端通过可视化界面为用户提供midi片段调整操作和智能伴奏触发操作，用户通过midi片段调整操作调整midi旋律开始的时间，通过智能伴奏触发操作发出为midi片段生成智能伴奏的请求。
3.如权利要求1所述的基于深度学习算法的智能伴奏***，其特征在于，所述用户端通过可视化界面为用户提供伴奏片段选择和播放操作、删除操作，用户通过选择和播放操作选择并播放伴奏片段，通过删除操作删除伴奏片段。
4.如权利要求1所述的基于深度学习算法的智能伴奏***，其特征在于，所述用户端通过可视化界面为用户提供试听伴奏片段操作，用户通过试听伴奏片段操作试听选择的伴奏片段，试听时，显示播放时间和总时长，试听停止和试听结束后，伴奏片段恢复为未播放状态。
5.如权利要求1所述的基于深度学习算法的智能伴奏***，其特征在于，所述编码单元采用Mu MIDI模型；
所述基础单元包含依次连接的递归编码器、条件词条的隐层、融合操作，递归解码器，递归编码器的输入为条件词条，融合操作对条件词条的隐层的输出图与目标词条对应的全局语义概率经目标词条的隐层的输出图进行融合处理，融合处理结果输入至递归解码器，经解码处理后输出语言模型概率。
6.如权利要求1所述的基于深度学习算法的智能伴奏***，其特征在于，利用伴奏生成器根据midi片段生成伴奏片段时，midi片段经过编码单元编码后输出条件词条，该条件词条输入至基础单元，同时训练框架训练时优化确定的体裁标签对应的全局语义概率值作为目标词条输入至语义表征单元中目标词条对应的表征支路，经过表征支路和基础单元处理后，输出的语言模型概率作为伴奏片段。
7.如权利要求1所述的基于深度学习算法的智能伴奏***，其特征在于，所述服务端还包括midi片段判断模块，判断接收的midi片段的长度，当midi片段超过8小节时，生成提示信息并发送至用户端以显示。
8.如权利要求1所述的基于深度学习算法的智能伴奏***，其特征在于，所述服务端还包括伴奏片段判断模块，判断生成的伴奏片段的长度，当伴奏片段的长度小于伴奏长度最小阈值时，则舍弃该伴奏片段，伴奏生成器依据midi判断重新生成伴奏片段；
当伴奏片段的长度大于伴奏长度最大阈值时，会生成等待提示信息并发送至用户端以显示。
9.如权利要求1～8任一项所述的基于深度学习算法的智能伴奏***，其特征在于，生成的伴奏片段至多包括5种乐器轨道信息，且每次生成伴奏片段被保存在列表中，5种乐器轨道包括钢琴、鼓、贝斯、吉他以及弦乐。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011411392.2A CN112528631B (zh) | 2020-12-03 | 2020-12-03 | 一种基于深度学习算法的智能伴奏*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011411392.2A CN112528631B (zh) | 2020-12-03 | 2020-12-03 | 一种基于深度学习算法的智能伴奏*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528631A CN112528631A (zh) | 2021-03-19 |
| CN112528631B true CN112528631B (zh) | 2022-08-09 |
Family
ID=74997720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011411392.2A Active CN112528631B (zh) | 2020-12-03 | 2020-12-03 | 一种基于深度学习算法的智能伴奏*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528631B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107301857A (zh) * | 2016-04-15 | 2017-10-27 | 青岛海青科创科技发展有限公司 | 一种给旋律自动配伴奏的方法及*** |
| CN109902798A (zh) * | 2018-05-31 | 2019-06-18 | 华为技术有限公司 | 深度神经网络的训练方法和装置 |
| CN110991649A (zh) * | 2019-10-28 | 2020-04-10 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 深度学习模型搭建方法、装置、设备和存储介质 |
| CN111554255A (zh) * | 2020-04-21 | 2020-08-18 | 华南理工大学 | 基于循环神经网络的midi演奏风格自动转换*** |
| CN111653256A (zh) * | 2020-08-10 | 2020-09-11 | 浙江大学 | 一种基于编码-解码网络的音乐伴奏自动生成方法及其*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11037537B2 (en) * | 2018-08-27 | 2021-06-15 | Xiaoye Huo | Method and apparatus for music generation |
-
2020
- 2020-12-03 CN CN202011411392.2A patent/CN112528631B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107301857A (zh) * | 2016-04-15 | 2017-10-27 | 青岛海青科创科技发展有限公司 | 一种给旋律自动配伴奏的方法及*** |
| CN109902798A (zh) * | 2018-05-31 | 2019-06-18 | 华为技术有限公司 | 深度神经网络的训练方法和装置 |
| CN110991649A (zh) * | 2019-10-28 | 2020-04-10 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 深度学习模型搭建方法、装置、设备和存储介质 |
| CN111554255A (zh) * | 2020-04-21 | 2020-08-18 | 华南理工大学 | 基于循环神经网络的midi演奏风格自动转换*** |
| CN111653256A (zh) * | 2020-08-10 | 2020-09-11 | 浙江大学 | 一种基于编码-解码网络的音乐伴奏自动生成方法及其*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528631A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | MidiNet: A convolutional generative adversarial network for symbolic-domain music generation | |
| US6528715B1 (en) | Music search by interactive graphical specification with audio feedback | |
| JP5594052B2 (ja) | 情報処理装置、楽曲再構成方法及びプログラム | |
| CN111554255B (zh) | 基于循环神经网络的midi演奏风格自动转换*** | |
| US20090071315A1 (en) | Music analysis and generation method | |
| CN112435642B (zh) | 一种基于深度神经网络的旋律midi伴奏生成方法 | |
| US20200228596A1 (en) | Streaming music categorization using rhythm, texture and pitch | |
| Lu et al. | Musecoco: Generating symbolic music from text | |
| Vogl et al. | An intelligent drum machine for electronic dance music production and performance. | |
| KR100512143B1 (ko) | 멜로디 기반 음악 검색방법과 장치 | |
| CN110867174A (zh) | 自动混音装置 | |
| CN113178182A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| CN110134823B (zh) | 基于归一化音符显马尔可夫模型的midi音乐流派分类方法 | |
| CN109448684B (zh) | 一种智能编曲方法和*** | |
| CN112528631B (zh) | 一种基于深度学习算法的智能伴奏*** | |
| CN116052621A (zh) | 一种基于语言模型的音乐创作辅助方法 | |
| CN113140202B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| JP5085577B2 (ja) | プレイリスト作成装置、楽曲再生装置、プレイリスト作成方法およびプレイリスト作成プログラム | |
| Dubnov et al. | Delegating creativity: Use of musical algorithms in machine listening and composition | |
| Velankar et al. | Feature engineering and generation for music audio data | |
| Chen et al. | Learned String Quartet Music with Variational Auto Encoder | |
| Zhou et al. | AnimeTAB: A new guitar tablature dataset of anime and game music | |
| US20240038205A1 (en) | Systems, apparatuses, and/or methods for real-time adaptive music generation | |
| WO2024075422A1 (ja) | 楽曲生成方法、およびプログラム | |
| CN117765902A (zh) | 乐曲伴奏的生成方法、装置、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |