CN114005424A - 信息处理方法、装置、电子设备及存储介质 - Google Patents
信息处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114005424A CN114005424A CN202111085242.1A CN202111085242A CN114005424A CN 114005424 A CN114005424 A CN 114005424A CN 202111085242 A CN202111085242 A CN 202111085242A CN 114005424 A CN114005424 A CN 114005424A
- Authority
- CN
- China
- Prior art keywords
- music
- information
- labeling
- paragraph
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 70
- 239000000203 mixture Substances 0.000 claims abstract description 70
- 238000002372 labelling Methods 0.000 claims description 53
- 239000004744 fabric Substances 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 20
- 239000000463 material Substances 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 18
- 230000008521 reorganization Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 239000011295 pitch Substances 0.000 description 55
- 238000010586 diagram Methods 0.000 description 32
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 210000003811 finger Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000002360 preparation method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000008707 rearrangement Effects 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011049 filling Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 235000019580 granularity Nutrition 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 210000004932 little finger Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001256 tonic effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241001522296 Erithacus rubecula Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 1
- 101000779415 Homo sapiens Alanine aminotransferase 2 Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
- G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/151—Music Composition or musical creation; Tools or processes therefor using templates, i.e. incomplete musical sections, as a basis for composing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本申请公开了一种信息处理方法、装置、电子设备及存储介质，具体实现方案为：获取基于音乐文件得到的编曲模板，所述音乐文件包括基于乐器数字接口(MIDI)编辑得到的文件；获取待编曲的音乐信息；根据所述音乐信息及所述编曲模板，得到目标对象。采用本申请，可以自动生成完整、合理的编曲。
Description
技术领域
本申请涉及计算机音乐技术领域，尤其涉及一种信息处理方法、装置、 电子设备及存储介质。
背景技术
自信息革命以来，音乐和多媒体的传播方式在短时间内发生了天翻地覆 的变化。这种质的变化使得市场对各类音乐的需求呈现了爆发式的增长：无 论是以流行音乐或艺术创作为主要元素的单曲、专辑、MV、卡拉OK，还是 使用音乐作为辅助的短视频、广告、动画、宣传片和影视作品，抑或是使用 音乐作为背景内容的电台、主播、公共空间音乐，都需要大量的原创音乐。 如何自动生成完整、合理的编曲，成为本领域内亟待解决的技术问题。
发明内容
本申请提供了一种信息处理方法、装置、电子设备及存储介质。
根据本申请的一方面，提供了一种信息处理方法，包括：
获取基于音乐文件得到的编曲模板，所述音乐文件包括基于乐器数字接 口(MIDI)编辑得到的文件；
获取待编曲的音乐信息；
根据所述音乐信息及所述编曲模板，得到目标对象。
根据本申请的另一方面，提供了一种信息处理装置，包括：
模板获取模块，用于获取基于音乐文件得到的编曲模板，所述音乐文件 包括基于MIDI编辑得到的文件；
信息获取模块，用于获取待编曲的音乐信息；
合成处理模块，用于根据所述音乐信息及所述编曲模板，得到目标对象。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一 个处理器执行，以使该至少一个处理器能够执行本申请任意一实施例所提供 的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机 可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所 提供的方法。
本申请通过获取基于音乐文件得到的编曲模板，所述音乐文件包括基于 MIDI编辑得到的文件；获取待编曲的音乐信息；根据所述音乐信息及所述编 曲模板，得到目标对象。采用本申请，通过事先制作的编曲模板，让用户只 需通过输入待编曲的音乐信息(如简单的输入和弦、旋律等信息)，就能自 动生成完整、合理的编曲。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或 重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说 明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例的信息处理方法的流程示意图；
图2是根据本申请实施例的一应用示例中自动编曲的流程示意图；
图3是根据本申请实施例的一应用示例中典型的MIDI片段在钢琴卷帘 中的可视化示意图；
图4是根据本申请实施例的一应用示例中对图3进行标注所呈现的标注 结果示意图；
图5是根据本申请实施例的一应用示例中的多轨MIDI工程示意图；
图6是根据本申请实施例的一应用示例中对图5进行切分的示意图；
图7是根据本申请实施例的一应用示例中待编曲的音乐信息的示意图；
图8是根据本申请实施例的一应用示例中将伴奏改为独奏的自动编曲的 流程示意图；
图9是根据本申请实施例的一应用示例中织体长度分配的示意图；
图10是根据本申请实施例的一应用示例中分组数为4时循环和拉伸从8 切片变成16切片的不同效果示意图；
图11是根据本申请实施例的一应用示例中键盘的约束参数示意图；
图12是根据本申请实施例的一应用示例中吉他的约束参数示意图；
图13是根据本申请实施例的一应用示例中钢琴演奏片段和弦转换示意 图；
图14是根据本申请实施例的一应用示例中Cm9和弦在六个音的柱式和 弦时的搜索结果示意图；
图15是根据本申请实施例的一应用示例中多阶段动态规划阶段选择最 佳路径的示意图；
图16是根据本申请实施例的一应用示例中伴奏的示意图；
图17是根据本申请实施例的一应用示例中独奏的示意图；
图18是根据本申请实施例的一应用示例中对tk根据手型进一步划分的示 意图；
图19是根据本申请实施例的信息处理装置的组成结构示意图；
图20是用来实现本申请实施例的信息处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施 例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域 普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改， 而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省 略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以 存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B， 单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或 多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表 示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语 “第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是 限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征， 是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一 个或多个。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的 具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以 实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路 未作详细描述，以便于凸显本申请的主旨。
相关技术中，无论是广告、电视剧、电影、游戏这种传统的视听产品， 抑或是新兴的短视频、直播等，都需要大量的音乐素材。而音乐本身，随着 各种音乐平台的发展，越来越多的人成为音乐人，并将自己的作品发表在这 些音乐平台上。可以说，音乐已经成了人们生活中不可或缺的一部分。
与此同时，随着录音和制作技术的发展，一台电脑加一个键盘，就可能 制作出好音乐。虽然存在音乐制作的设备，但是仍然需要专业的知识，为了 做出完整的作品，除了学习乐理写出和弦，给旋律配和弦之外，还需要学习 编曲和混音。市面上已有一些可以实现自动编曲的***。它们大致可以分为 两类。一是传统的电子琴类，二是新兴的深度学习类。其中，电子琴类的技 术方案广泛应用于各种演出场合，它可以使用预制一键演奏和弦。还有一些 类似原理的产品，例如盒声智能音乐，Band in a Box等。这类产品利用和弦 音阶的性质，将一个乐器在一个和弦下的演奏映射到另一个和弦的弹法，再 由大量的音乐片段连接，从而达到配器写作的效果。该电子琴类的技术方案， 大致来说是利用和弦音阶将一个和弦的弹法变成另一个和弦，存在的问题是： 和弦与音阶并不是一一对应的，在不同情况下同一和弦可能对应不同的音阶， 机械地进行映射，结果单一，且原创性较低。而随着深度学习的热门，深度 学习类的技术方案在音乐上也有一些应用，比如MuseNet是2019年OpenAI 提出的基于GPT2神经网络生成多轨音乐的模型。通过大量音乐片段的训练， 使得神经网络可以预测在给定风格下的多轨音乐每一轨配器的音符写作。该 深度学习类的技术方案，存在的问题是：在训练过程中训练量要求巨大，生 成结果缺乏可解释性与可控性。
世界上有数百种乐器，数百种和弦，每个和弦在不同乐器上又有很多种 排列方式，再考虑到不同和弦排列方式之间的顺畅连接，不同乐器之间的配 合，编曲的可能性是无法估量的。而混音则需要音乐人对层出不穷的音源和 混音插件有深入研究，和大量的经验积累。这无疑花费了音乐人大量的精力。 相比于旋律、歌词等给予人感官上直接的第一印象，其实编曲和混音并不需 要那么多创新，很多时候过于华丽的编曲反而喧宾夺主。音乐制作门槛高， 但是音乐却又大量被需要，因此一种降低音乐制作难度的技术便呼之欲出了。
针对以上的困境，本申请提出的信息处理方法是基于编曲模板自动编曲 的技术方案。考虑到一方面编曲是音乐生产过程的必经之路，涉及的领域、 理论众多，人想要学习编曲需要付出的大量精力；另一方面在流行音乐中， 原创部分大多体现在歌曲的旋律、歌词等方面，而非编曲，也就是说，编曲 具有一定复用性，有可能存在复用方式。该技术方案可以事先制作该编曲模 板，主要由数据准备模块和自动编曲模块组成，可以由专业音乐人制作、标 注该编曲模板，用户只需提供音乐信息，比如简单输入和弦、旋律等信息， 之后通过该自动编曲模块的计算，就可以将该编曲模板的编曲迁移到新的音 乐信息上，生成完整、合理的编曲，并且可以导出MIDI格式的音乐数字文 件，从而，不仅可以简化编曲所需耗费的大量精力，自动生成完整、合理的 编曲，而且在一定程度上解决了编曲复用性的问题，降低了音乐制作的门槛。
根据本申请的实施例，提供了一种信息处理方法，图1是根据本申请实 施例的信息处理方法的流程示意图，该方法可以应用于信息处理装置，例如， 该装置可以部署于终端或服务器或其它处理设备执行的情况下，可以执行编 曲模板获取、音乐文件编辑等等。其中，终端可以为用户设备(UE，User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些 可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，包括：
S101、获取基于音乐文件得到的编曲模板，所述音乐文件包括基于乐器 MIDI编辑得到的文件。
S102、获取待编曲的音乐信息。
一示例中，该待编曲的音乐信息可以包括：段落、节拍号、速度、调式、 和弦及旋律等信息。
S103、根据所述音乐信息及所述编曲模板，得到目标对象。
一示例中，该目标对象为经编曲处理后得到的新的音乐文件，比如，可 以根据该待编曲的音乐信息得到用户定制新音乐文件的设计需求，及结合所 述编曲模板中已有的旧MIDI文件所能提供的素材(如旧MIDI文件切分及标 注后得到的包含段落、织体、片段、切片、轨道属性、和弦及每个音符音高 属性的各个素材)进行编曲处理，得到该新的MIDI文件。
一示例中，上述编曲处理，可以采用基于该编曲模板的自动编曲***来 实现。该自动编曲***可以由数据准备模块和自动编曲模块这两个模块组成。 其中，该数据准备模块(可以设置于云端，也可以设置于终端)，以便根据 上述各个素材得到上述编曲模板。
该自动编曲模块是面向终端用户的，可以设置于终端。只要终端(手机 或电脑等电子设备)安装有该自动编曲模块(或相应的自动编曲处理逻辑)， 都在本申请的保护范围之内。当终端用户从数据库获取所需要的上述编曲模 板，以及输入待编曲的音乐信息，就可以通过该自动编曲***生成完整的数 字音乐文件(如上述新的MIDI文件)，之后导出该新的MIDI文件。
采用本申请，可以获取基于音乐文件得到的编曲模板，所述音乐文件包 括基于MIDI编辑得到的文件，获取待编曲的音乐信息，以根据所述音乐信 息及所述编曲模板，得到目标对象，从而，通过事先制作的编曲模板，让用 户只需通过输入待编曲的音乐信息(如简单的输入和弦、旋律等信息)可以 自动生成完整、合理的编曲。
一实施方式中，还包括：对所述音乐文件进行切分处理及属性标注，以 得到所述编曲模板；其中，所述编曲模板包括：段落、织体、片段、切片、 轨道、音符。比如，音乐文件为上述已有的旧MIDI文件的情况下，则该切 分处理及属性标注，是对上述已有的旧MIDI文件进行拆解，以得到包含段 落、织体、片段、切片、轨道、和弦及每个音符音高的各个素材。
一实施方式中，所述根据所述音乐信息及所述编曲模板，得到目标对象， 包括：根据所述音乐信息，对所述编曲模板中包含的各个素材进行结构上的 重新组织及音符音高的重新调整，以实现编曲处理，得到所述目标对象。比 如，音乐文件为上述已有的旧MIDI文件的情况下，该编曲处理是基于经上 述切分处理及属性标注所得到的该各个素材的重新组织，以及根据上述待编 曲的音乐信息重新调整每个音符的音高属性等，从而得到目标对象(经编曲 处理后得到的新的MIDI文件)的流程。
一实施方式中，还包括：通过对所述音乐文件进行所述切分处理，得到 所述段落；每个所述段落内至少包含一个所述织体；每个所述段落中所述片 段的长度，为所述片段所在所述织体的长度。比如，该段落是音乐作品中一 个表达完整情绪的部分，“主歌”、“副歌”、“桥段”等就是指段落。该 织体指的是在一个段落中存在的若干个演奏方法较为稳定的结构。该片段为 除了基于段落及织体这些划分粒度进行切分后，还可以采用该片段作为更小 的划分粒度，并进一步划分得到的分段。
一实施方式中，还包括：通过对所述音乐文件进行所述属性标注，得到 与结构相关的第一标注信息、及与音高相关的第二标注信息；其中，所述第 一标注信息包括：分别针对所述段落的标注信息；其中，将对所述织体、所 述片段、所述切片进行的属性标注作为所述段落的标注信息中的一部分，用 于描述所述段落的结构属性；所述第二标注信息包括：分别针对所述轨道、 所述音符进行属性标注所得到的标注信息。比如，针对该第一标注信息而言， 针对段落，需要标注段落的类别，即对应于歌曲的主歌，还是副歌等。一个 段落内至少有一个织体；针对织体，每个织体需要标注织体长度变化后所允 许的最大长度、最小长度、调整的优先级、及是否可跳过等信息；针对片段， 需要标注该片段演奏的内容是否是主旋律或空片段，及标注所使用的乐器， 片段的长度就是它所在织体的长度；针对切片，切片为乐器演奏中最小的强 弱循环单位，需要标注包含起始切片，结束切片和固定切片、规则切片中任 一项的占位类型。又如，针对该第二标注信息而言，包括：分别标注轨道属 性及音符属性。其中，轨道属性包括乐器类别、音域等；所述音符属性包括： 音符音高相关的属性，比如音符所属和弦、音符所属声部、音符类型等。
一实施方式中，所述根据所述音乐信息，对所述编曲模板中包含的各个 素材进行结构上的重新组织及音符音高的重新调整，以实现编曲处理，得到 所述目标对象，包括：根据所述待编曲的音乐信息对应的段落及其织体长度， 对所述编曲模板中包含的各个素材进行结构上的重新组织，得到与所述段落 及其织体长度匹配的多个分段，所述多个分段为构成所述目标对象的结构信 息；根据所述待编曲的音乐信息，对所述多个分段进行逐个片段的音符音高 的重新调整，得到所述目标对象。比如，第一步：进行结构上的重新组织(即重排该多个分段)，即根据该待编曲的音乐信息的段落及其织体长度重新排 列。具体来说，可以先执行段落匹配，比如首先用匹配模板里的段落去匹配 该待编曲的音乐信息的段落；之后，还可以动态规划及分配织体的长度，比 如，根据该待编曲的音乐信息的长度去分配各个织体的长度；最后，还可以 按照与结构相关的第一标注信息去重新排列该多个分段(可以根据演奏片段 来实现所重新排列)。第二步，对多个分段进行逐个片段的音符音高的重新 调整(即逐分段的音高调整)。具体的，可以先执行音高搜索，此时每个分 段已经对应上了该待编曲的音乐信息的一部分和弦，则先用音高搜索寻找所 有可能的新分段；之后，还可以使用动态规则连接得到的新分段，如此一来， 已经可以得到目标对象(新的MIDI文件，该新的MIDI文件已经是一个完整 的新伴奏)了。进一步，还可以包括：对于该待编曲的音乐信息中的一个演 奏片段，根据需要将伴奏改为独奏。
应用示例：
应用本申请实施例一处理流程包括如下内容：
图2是根据本申请实施例的一应用示例中自动编曲的流程示意图。该流 程分为数据准备和音乐生成两部分。其中，在数据准备中，先由音乐人制作 数字音乐，再由标注人员(可以是音乐人自身)对音乐人的作品进行切片和 标注，添加生成算法所需要的信息，最后将这些素材作为一个编曲模板存入 数据库中。而在音乐生成中，则是面向用户的部分，用户从数据库选择需要 的模板，并向***输入待编曲的音乐信息，最终由自动编曲***生成一个完 整的数字音乐文件。接下来具体阐述该流程。
一、数据准备中由音乐人生产数字音乐
在如今的数字音乐时代，大多数乐器都有具备MIDI输出能力的替代品。 例如，钢琴家可以使用MIDI键盘进行演奏，管乐手可以使用电吹管，鼓手 可以使用电子鼓，甚至弦类乐器(吉他，小提琴)等也有专门的外设设备用 于MIDI信号的采集。在各种强大的软音源的支持下，只使用MIDI已经能取 得媲美甚至超过真实乐器录制的效果。
该过程中，可以通过数字音频工作站(DAW)把上述MIDI信号记录下 来，而且可以方便地对其进行调整、替换音色、混音等操作。比起直接在音 乐厅录制声音，这样的数字音乐已经在现代音乐制作中占据主要成分，并且 发展迅猛。
图3是根据本申请实施例的一应用示例中典型的MIDI片段在钢琴卷帘 中的可视化示意图，图4是根据本申请实施例的一应用示例中对图3进行标 注所呈现的标注结果示意图，参考图3-图4所示，图3中的任意一个长方形 可以表示一个音符，该音符的左右边代表音符的起止时间，该音符的竖直位 置代表音高，各个音符的力度还可以通过不同的标识(比如不同的颜色标识) 进行区分。图4对图3的和弦进行和音符类型进行了标注。其中，区域11所 标注的代表和弦内音，而区域12所标注的代表贝斯音。
具体的，如图3所示，该典型的由MIDI键盘演奏的上述MIDI文件中 不仅包含了每个音符的起止时间，音高和力度等信息，还包含了诸如：1)随 时间变化的歌词；2)随时间变化的调号；3)随时间变化的拍号；4)随时间 变化的速度；5)各个轨道的名字；6)各个轨道的音色编号；7)各个轨道内 随时间变化的控制值；8)各个轨道内，每个音符的开始时间，结束时间，音 高，力度。考虑到涉及对演奏内容的计算，本申请可以输入只允许纯MIDI 制作的音乐工程(相对于录音)。除此限制之外，音乐人可以自由地在DAW 中进行创作，与通常的音乐制作并无区别。
二、数据准备中对上述生产得到的数字音乐进行切分与标注
图5是根据本申请实施例的一应用示例中的多轨MIDI工程示意图，如 图5所示，该多轨MIDI由若干个MIDI轨道组成的，包含了钢琴，吉他，贝 斯和鼓轨道，每个小长方形表示一个音符，从左到右是时间，长方形的竖直 位置代表了音高。进一步的，除了该MIDI工程示意图所提供的用户自动编 曲所需要的信息，还可以采用人工或者使用其它自动化方法对工程做处理。 图6是根据本申请实施例的一应用示例中对图5进行切分的示意图，如图6 所示的示例中，包含有两个段落，两个织体。相应的，对应图5中区域21所 指示的是一个片段，而虚线22所指示的是切片的划分。
在该过程中，可以将一个已有的MIDI工程作为另一首歌编曲的基础， 需要两步操作。首先，为了能适应任意长短的编曲任务，需要将MIDI工程 切分成小块，再将它们按一定的规则重新组织。其次，每首歌的和弦进行、 旋律都不同，因此还需要调整这个重新组织的新工程中每个音符的音高。而 上述切分与标注正是为了这两个操作做准备的。
切分与标注就是对已有音乐工程进行拆解的过程，而自动编曲就是对拆 解之后的素材重新进行组织的过程。某种程度来说这两个过程是互逆的。但 是，为了尽可能减少***耦合，标注时可以尽可能只关注MIDI工程本身的 音乐信息，而非自动编曲所需要的算法信息。在乐理中已经有一些对于音乐 的横向段落结构和纵向的音高排列的理论了。标注需要标注人员分析MIDI 工程，将这些乐理信息补充完整。
就针对MIDI工程的切分而言，在时间上，可以将一个MIDI工程进行两 个层次的划分，分别是“段落”和“织体”。每一个MIDI轨道除了段落和 织体以外，再进一步划分一个更小的粒度称为“切片”。其中，段落是音乐 作品中一个表达完整情绪的部分，如日常说的“主歌”，“副歌”，“桥段” 等就是指段落。织体指的是在一个段落中，存在的若干个演奏方法较为稳定 的结构。而切片，指的是乐器演奏中最小的强弱循环单位。如图6，就是对 图5进行结构划分的结果。段落在流行音乐中是比较容易判断的。织体从MIDI 轨道的缩略图也能确定。切片通常是一个小节。这三者都是音乐上客观存在 的。将一个MIDI轨道在一个织体内的部分称作一个“演奏片段”，或简称 为“片段”。片段的信息可以分为时间上的演奏法，与音高上的和弦进行。 正是各式各样的和弦进行与演奏法，为音乐提供了丰富的听感。
就针对MIDI工程的标注而言，将MIDI工程的段落、织体和切片划分后， 还需要进一步标注乐理信息。乐理信息既包括结构上的，也包括音高上的。 其中，结构信息就是指上一步所确定的段落，织体，片段和切片，所需设置 的属性(段落，织体，片段和切片各结构相关的标注属性)分别如表1所示。
表1
其中，段落需要标明它的类别，即对应于歌曲的主歌，还是副歌等。一 个段落内至少有一个织体。在迁移到一首新歌时，段落长度可能发生变化， 因此顺带着各个织体长度也会重新分配。每个织体需要指明变化之后所允许 的最大、最小长度，调整的优先级，是否可跳过等信息。
而对于每个一片段，需要标明这个片段演奏的内容是否是主旋律或空片 段，显然这两类片段在重新编曲时不需要生成。由于不同的乐器可能有不同 的演奏算法，因此需标明所使用的乐器。片段的长度就是它所在织体的长度， 织体分配好长度之后，片段需要填充满这些长度，填充方式有两种，循环(或 平铺)与拉伸，配合分组数量就可以填充任意长度了。最后，一首曲子之间 的片段并不是互相独立的，因此设计了几种常见的片段间关系：拷贝，高/低 八度，绑定，合并。拷贝，高/低八度即字面意思，绑定是指两个片段的各个 切片在重新生成时必须一一对应，合并是指如果两个片段属于同一轨且前后 相邻，则这两个片段合并为一个大片段进行生成。如果将片段视为点，则片 段关系就是这些点之间的无向边。只要这些边不产生闭环，就不会互相矛盾。
切片是片段用于填充的材料。因为演奏时经常会在特定位置加花，所以 我们设计了三种特殊片段，分别是起始，结束和固定，它们只在特定位置出 现。剩下的都属于规则切片。
除了调整结构之外，为了让自动编曲***的自动编曲能符合新歌曲的和 弦，需要对各个演奏片段的音符音高进行调整。自动编曲应该要能保留编曲 模板各个片段的演奏法信息，替换和弦进行信息。因此，除了结构信息之外， 还有必要标注MIDI工程的音高信息，明确每个音符具体属于哪个和弦与它 的性质。在演奏时，不同的乐器往往有不同的演奏偏好，因此既需要标明每 一轨的乐器。此外，习惯上用户会在切片的固定位置演奏和弦的贝斯音，也 可能会演奏和弦之外的音，所以还需要标注出每个音各自的类别。本申请一音高相关的标注属性示例中，轨道属性和的音符的属性如表2所示。
| 轨道 | 音符 |
| 乐器类别：键盘，吉他等 | 所属和弦 |
| 音域 | 所属声部 |
| 音符类型：贝斯，和弦，调式，固定 |
表2
其中，轨道需要标明所使用的乐器和这个乐器的音域。每个音符都需要 标明其所属的和弦和声部，以及音符类型。音符类型常见的有贝斯音，和弦 内音，调式内音和固定音高。固定音高即自动编曲前后音高不变，例如鼓组 的音符是不变的。标注了调式内音，则这个音在和弦被替换后的可选范围是 调式内任意均可(通常是7到8个候选)，而标注了和弦内音，则这个音在 和弦被替换后只能选择和弦内的音(通常是3到7个不等)，而标注了贝斯音的音，可选范围则只有新和弦的贝斯音这1个了。图4中就是一个片段标 注的例子，标注有和弦进行，且每个音符用区域11代表和弦内音，用区域 12代表贝斯音。
至此，数据准备的过程就结束了，可以将一个MIDI音乐工程，结构切 分，段落、织体、片段、切片、轨道的属性，和弦进行和每个音的属性作为 一个整体，作为一个编曲模板存入数据库中。
三、在音乐生成中向自动编曲***输入待编曲的音乐信息
该过程中可以输入一段新的音乐信息即输入待编曲的新音乐信息，为了 能应用先前标注的MIDI工程，音乐信息应包括段落，拍号，速度，调式， 和弦与旋律。图7是根据本申请实施例的一应用示例中待编曲的音乐信息的 示意图，如图7所示，待编曲的音乐信息的一示例中，包括段落，速度，拍 号，调式，和弦与旋律信息。
四、在音乐生成中由自动编曲***生成一个完整的数字音乐文件
该过程中可以选定编曲模板并输入音乐信息后，***就可以根据二者进 行自动编曲。为了将完整的编曲模板应用到新歌曲上，需要两步操作。第一 步、重排切片。即根据新歌曲的段落及其长度，重新排列切片。具体来说， 首先用匹配模板里的段落去匹配新歌曲的段落，然后根据新长度分配各个织 体的长度，再逐演奏片段地排列切片。第二步、逐片段的进行音高调整。此 时每个片段已经对应上了新歌曲的一部分和弦进行了，先用音高搜索寻找所 有可能的解，然后用动态规划算法连接可能解得到新的片段。这样，已经可 以得到完整的新伴奏了。
图8是根据本申请实施例的一应用示例中将伴奏改为独奏的自动编曲的 流程示意图，如图8所示，对于一个演奏片段，还可以根据需要，将伴奏改 为独奏。以下详细说明各个主要步骤的操作。
就段落匹配而言，待编曲的歌曲，段落及其顺序等可能与模板不同，因 此需要模板尽可能覆盖更多段落类型，以便在使用时可以匹配上。
就动态规划分配织体长度而言，段落长度由新歌曲指定后，若模板的段 落内存在多个织体，则需要对段落内的织体长度进行重新分配。图9是根据 本申请实施例的一应用示例中织体长度分配的示意图，如图9所示的示例中， 织体长度的调整优先级均相等。根据经验，通常织体长度取4及其倍数听感 上会更完整一些，因此在改变段落长度时，分配算法可以尽可能满足条件：1) 各织体尽可能维持原来的长度比例；2)各织体尽可能取4的倍数，例如原来 是4+4小节的两个织体，现在总长是10小节时，分配为4+6小节要比5+5 小节更好；3)有些织体更普适，因此在改变长度时应先改变这些织体的长度。 为此，可以充分利用标注中织体相关的属性，为织体进行重新分配长度。设 计了三层的优先级，改变长度时先调整优先级高的织体，直到这些织体的长 度触及极限了，才会改变下一优先级的织体长度。若新段落比原段落更长， 只可能存在以下情况：
a.只调整第一优先级的段落就可以满足要求，第二、三级织体长度不变；
b.全部第一级设为最大长度，全部第三级长度不变，第二级重新分配；
c.第一、二级均为最大长度，第三级重新分配。
d.无法满足要求。
新段落比原段落更短的情况也是类似的。因此，在可以满足要求的情况 下，只需要在同一优先级的织体之间进行分配即可，这样就满足了上述条件 3)。
假设要调整的优先级为p，则小于p的织体全部设为极限值，大于p的 织体全部维持原始长度。而对于优先级为p的织体，则可以使用动态规划算 法来分配。动态规划方程如下：
其中，f(n,l)是只考虑前n个织体，且总长为l小节时的得分，wn(k)是 第n个织体长度取k小节时的得分。wn(k)只需满足两个条件，一是靠近按比 例分配时的分数更高，二是为4的倍数时分数更高，即可。k的取值范围， 从织体标注属性中的最小、最大长度，是否可跳过这三个值可以容易地获得。
就按照标注排列切片而言，即逐片段重排切片，从上一步得到织体分配 的长度，就是各轨道片段的长度。接下来需要各片段使用各自的切片来填充 满这个长度。首先，由于片段关系的存在，每个片段可能有依赖(例如拷贝 关系时，拷贝的来源)，由于标注时要求片段关系是无环的，因此总能找到 片段关系的源头(根节点)，优先生成这些片段即可。为了增加排列结果的 多样性，引入了切片分组的概念，也就是标注中的分组数量。属于同一组的 切片，可以互相替换。按照标注，段落的填充方式为循环和拉伸这两种，分 别对应音乐的稳定片段和渐强/弱片段。根据循环、拉伸的不同，分组的定义 有所不同。在循环方式中，分组数指的是循环节的长度。拉伸方式中，分组 数是指强度的层数。图10是根据本申请实施例的一应用示例中分组数为4时 循环和拉伸从8切片变成16切片的不同效果示意图，如图10所示的示例中， 方格表示切片，数字代表分组。同一组别的切片可以互相替换，分别展示了 在相同原始长度和相同的分组数时，延长一倍在循环和拉伸时的不同效果。
至此，自动编曲的结构和节奏部分已经完成，接下来需要逐片段地调整 音高。
就音高搜索而言，是指在保留原始片段演奏法的情况下，合理地迁移到 新的和弦序列的算法。通过这一算法，可以快速得到同一演奏片段在和弦变 换之后的大量结果，同时这些片段既满足新和弦序列的要求，又保留了原本 片段的织体，还能符合特定乐器的演奏手法。下面详细说明音高搜索算法的 过程。
1、标注的约束
首先，基于上述第三步得到新音乐信息输入之后，通过时间来划分每个 音所属于的迁移后的新和弦，再使用上述第二步得到的标注信息，可以得到 每个音的可选范围，记为Mp，其中p遍历了演奏片段中的每一个音符，也就 是每个音在新和弦序列下的音高可选范围。并令M＝{Mp|p＝0,...,Np-1}，其中 Np是演奏片段中的音的总数。
2、乐器的约束
演奏片段是由人通过乐器演奏得到的。因为演奏时不可避免受到人体姿 势、动作的约束，乐器的结构就决定了这个乐器所能演奏的音的堆叠方式。 例如，在键盘类乐器上，很容易同时演奏CDEFG五个音，但是在吉他上几 乎是不可能的。为了描述这个限制，需要建立一套约束***。
一般意义的约束形式如下。在给定了音的总数Np时，约束G为：
其中Hp,n是一个整数集合，表示在第n套约束方案Gn下，第p个音的可 选范围。NG是约束方案的总数。以下是上述约束的一种具体形式，即演奏乐 器时的手型。
图11是根据本申请实施例的一应用示例中键盘的约束参数示意图，图 12是根据本申请实施例的一应用示例中吉他的约束参数示意图，数字表示半 音音程。参见图11-图12，可以令正整数Nh表示演奏乐器所需要的“手”数。 正整数Nf,h为第h支手可以允许的“手指”数，即允许同时出声的音的最大 数量。向量Ih＝(I0,h,I1,h,I2,h,...,INf,h-1,h)为每只手每个“手指”的“活 动中心”，即相对于这只手最低音所对准的音高。最后由Rmin，Rmax来约束每 个手指的可活动的音高范围为[Rmin,Rmax]。对于常见的乐器，都可以选取恰当 的参数来描述。例如，对于键盘类乐器而言，可取Nh＝2，Nf,0＝Nf,1＝5，通过手 指宽度与普通键盘宽度的比较，可以设置I0＝p0+(0,2,4,6,8)，I1＝p1+(0, 2,4,6,8)，Rmin＝-3，Rmax＝3，其中p0和p1分别是左手小指和右手大拇指的 手指根部所对应的音高。而对于吉他而言，可以设置Nh＝1，Nf,0＝6，I＝p+(0,5, 10,15,19,24)，Rmin＝0，Rmax＝3，p是食指在六弦上的音高。图11-图12分 别展示了在键盘和吉他上各个参数的来源。对于弦乐四重奏来说，虽然单独 的一把琴基本上只是一个单音乐器无法构成和声，但是弦乐四重奏可以看成 是四只“手”在键盘上的演奏，因此也可以选取恰当的参数进行建模。
实际演奏的时候，并不会时时刻刻把所有手指都放在乐器上，对于特定 个数的音，往往有一些固定手型。例如在只演奏5个音时，钢琴经常使用左 手的小指，食指与右手的大拇指，中指和小指完成演奏，因此可以用I的一 个子集来表示一个手型。手型既可以在已知音的总数时用排列组合枚举，也 可以事先预设。
3、转换方法
图13是根据本申请实施例的一应用示例中钢琴演奏片段和弦转换示意 图，如图13所示，对于一个钢琴的演奏片段，{mi}为这个片段内的原始和弦 序列，{nj}为想要迁移到的新的和弦序列。这是一个多对多的转换问题，可 以将这两套时间点取并集{tk}，只关注其中的一段，从而把问题简化为一对 一的转换问题。只要能解决这个一对一的问题，再逐一串起来就解决了原本 的多对多问题。另，还做出两个假设。1)在转换之前，若两个属于同一tk的音音高相同，则转换后也应保持同音。2)两个属于同一tk的音，若其中一 个音的音高高于另一个音的音高，则第一个音的转换之后的音高也不能低于 第二个音转换之后的音高。用p表示转换前的音高，q表示转换后的音高， 上述条件可记为C：
在这个假设下，原来的问题就变成了搜索问题，可以用深度优先搜索解 决。伪代码如下：
其中，定义深度优先搜索函数search：
其中，Np,k是tk中的音符总数。经过搜索，就可以得到每个tk的一系列弹 法，同时这些弹法即满足和弦迁移的要求，又满足手型的约束。图14是根据 本申请实施例的一应用示例中Cm9和弦在六个音的柱式和弦时的搜索结果示 意图，如图14所示，Cm9在六个音的柱式和弦时的部分搜索结果，基本上是 符合人体工学的。
就使用动态规则连接新片段而言，即动态规划拼接，通过上一步的音高 搜索，每一个tk都能找到若干的搜索结果作为备选。通过乐理分析、模拟演 奏等评分组成专家***，再使用动态规划算法，挑选本身效果较好，符合大 众审美且前后连接顺畅的片段连接起来，就可以得到在新和弦序列下的演奏 片段了。
图15是根据本申请实施例的一应用示例中多阶段动态规划阶段选择最 佳路径的示意图，如图15所示，可以将tk搜索结果记为cl,k，每一个cl,k都 是一个长度为Np,k的向量，代表tk中全部音的一组结果。最终生成的演奏片 段，其实就是在多阶段的动态规划阶段中找到一条最优路径，其中，虚线为 可能路径，实线表示最优路径。
因为每个tk的结果数量可能有很多，不适合直接搜索，因此可以忽略跨 tk的连接质量，而只考虑tk本身的质量，和相邻tk之间的连接质量两部分。 这样一来，最优路径问题就会满足最优子结构性质，从而可以用动态规划求 解。用f(l,k)表示当只考虑t0,t1,...,tk-1,t k ，并且结尾在cl,k的最优 连接得分，那么可以得到动态规划方程如下：
其中，w(cl’,k-1,cl,k)是评价任意两个搜索结果之间的连接质量评价函数， 而v(cl,k)是评价一个搜索结果自身质量的函数。这样，最终的最优路径就可以 通过max(f(l,Nk-1))得到。w和v的形式可以不固定，而且还可以包含生 成所需的参数。例如，对函数v，还可以有以下要求：
a.不能与主旋律打架，若打架则扣分。
b.满足乐器音色的低音程限制，若不满足则扣分。
c.全部音符从前往后，应尽可能让和弦内音先出现，以便于明确和弦的 属性。
d.根据生成时指定的色彩偏好参数加减分。例如在需求是简单明快的伴 奏时，越多和弦内音则可以加分，但是在需求是爵士之类的复杂和声时，越 多的和弦外音可以加分。
而对于连接质量评价函数w，还可以有如下要求：
a.根据生成参数要求平稳与否，对前后连接的音域变化大小程度加分或 减分。
b.考虑前后手型变化剧烈程度，通常是越小越好。
c.对于多音乐器的外声部，通常是连接越顺畅越好，且上下外声部反向 优于同向。
还可以进一步细化v、w两个函数，形成专家***。这样，就可以获得 在这两个函数意义下的最优连接。
就视需要将伴奏改为独奏而言，是可选的部分，考虑到有时会有生成器 乐独奏曲的需求。在这种情况下，需要做进一步后处理将上一步的多音乐器 为主旋律伴奏，转成多音乐器的独奏。图16是根据本申请实施例的一应用示 例中伴奏的示意图，图17是根据本申请实施例的一应用示例中独奏的示意图， 参见图16-图17，经过了上面音高调整步骤，可以得到一个伴奏片段的示例， 它和主旋律的音高分布如图16所示。即便把它们用同一个MIDI乐器播放， 听上去仍然像是两个乐器在演奏，要将这段伴奏加主旋律转换为如图17所示的多音乐器的独奏，主要从节奏和音域两个方面入手。
在绝大多数情况下，为了能突出旋律的听感，主旋律都会被安排在高音 声部。因此，本申请所提出的转换方式只考虑使用最高音的“手”来负责演 奏高音声部的情况。一个多音乐器经过上面的步骤得到伴奏之后，只调整负 责最高音声部的那只“手”所负责的音符，来得到独奏。人在演奏独奏曲的 时候，往往会受到主旋律的影响，改变伴奏音符的节奏，使得它们的节奏与 主旋律一致。其次，由于需要一只手同时演奏主旋律与和弦，因此它们的音 域范围也会受到手型的限制。通过这两步调整，就可以得到听上去比较像独 奏的效果了。下面详细说明将伴奏改为独奏的转换过程。
首先，将原来的最高音“手”(例如钢琴的右手)所弹奏的音符先找出 来，并在上面贴上主旋律，如图16所示。然后，对于重拍上的旋律音，若它 的前后16分音符内存在伴奏音符，则将这些伴奏音符调整至旋律音附近。最 后是使用手型重新安排指法的算法。这一转换过程与上述音高搜索及动态规 划连接的过程类似，不同点在于：由于需要用同时演奏主旋律，因此可能在 同一个tk范围内，只使用一个手型已经无法满足要求了，手型需要随着主旋 律发生变化。但是在实际演奏过程中，并不是每一个主旋律音符都需要变化 手型，而是尽可能不改变手型。因此这里需要确定哪些范围只使用一个手型， 即对tk进行进一步细分，图18是根据本申请实施例的一应用示例中对tk根 据手型进一步划分的示意图，如图18所示，在对tk根据手型进行进一步划分 的过程中，一旦可以确定细分的范围，就可以完全按照音高搜索加动态规划 连接的步骤重新规划这些伴奏音的排布了。
下面介绍确定单个手型覆盖范围的一种贪心搜索策略。策略的基本思想 是找到tk所对应的主旋律的最高音，然后从这个音出发，在手型内的最高音 演奏这个旋律音的基础上，找到这个手型可以覆盖的最大范围，然后如果前 后有剩余的旋律音，则在剩下的部分继续这个过程。伪代码如下：
定义递归的寻找范围的函数get_range:
通过上述递归算法，可以找到尽可能维持不动的手型，并可以这个手型 (即Gm)重新进行音高搜索过程，再经过动态规划，就可以将伴奏转为独奏。 此时由于受到主旋律的限制，可以将动态规划的w和v函数进行适当调整。
至此，自动编曲就完成了，可以导出MIDI文件供DAW播放和生成音频 文件。
采用本应用示例的上述各个处理流程，具备以下有益效果：
本申请设计了一种基于已有MIDI工程的自动编曲流程与算法。通过本 申请提供的方法，可以较为容易地将一个已有的编曲应用到一首待编曲的音 乐上，转换过程高效，且支持独奏模式。用户无需了解编曲配器相关的知识， 大大提高了音乐的生产效率。而且，还具有以下优点：
1.可以使用不同参数达到不同乐器的演奏效果；
2.使用动态规划，可以达到在生成参数下的最优效果，原创性较高；
3.生成结果的风格、段落、复杂性等高度可控；
4.可以转换为乐器独奏，且转换结果符合人类的指法；
在本自动编曲***的支持下，编曲变得高效且合理。在许多领域都可以 有应用。首先，采用本申请可以极大降低音乐制作的难度，使得音乐人将精 力放在真正需要音乐灵感集中的地方。快速制作出音乐小样之后，也可以进 一步激发音乐人的灵感。有些音乐风格，例如说唱，是先有伴奏后配的唱词， 其次，利用本申请可以快速制作出满足这类音乐人需要的伴奏。而且一个标 注过的模板可以被反复使用，可以极大提高音乐制作的效率。
在视频配乐方面，现有的视频都是采用现有的音乐进行配乐。然而，使 用已有的音乐，除了可能产生版权问题之外，音乐本身很可能无法与视频的 长度、氛围和节奏做到很好的契合。但是，要求所有的视频制作者掌握音乐 制作，为自己的视频配乐显然是不现实的。利用本自动编曲***，就可以自 己选取风格，段落等时间点，从而方便地制作出符合视频的配乐。由于本申 请最后输出的MIDI文件是符合人体工学的，因此是实际可以演奏的。所以， 本申请可以将现有音乐改编为器乐独奏曲，这些独奏曲可以用于乐器教学之中。其中，切分与标注的过程是拆解一个音乐工程的过程，这个过程可以让 标注人员充分学习音乐人的写作手法，也是一个很好的编曲学习工具。
由于本申请的自动编曲的生成速度快，且所有参数都是可控的，因此在 本申请的基础上，配合深度学习音乐写作，可以实现真正的自动演奏机。还 可以使用传感器感知环境，实时生成符合周围环境的音乐。
根据本申请的实施例，提供了一种信息处理装置，图19是根据本申请实 施例的信息处理装置的组成结构示意图，如图19所示，包括：模板获取模块 51，用于获取基于音乐文件得到的编曲模板，所述音乐文件包括基于乐器MIDI编辑得到的文件；信息获取模块52，用于获取待编曲的音乐信息；合 成处理模块53，用于根据所述音乐信息及所述编曲模板，得到目标对象。
一实施方式中，还包括切分及标注模块，用于对所述音乐文件进行切分 处理及属性标注，以得到所述编曲模板；其中，所述编曲模板包括：段落、 织体、片段、切片、轨道、音符。
一实施方式中，所述合成处理模块，用于根据所述音乐信息，对所述编 曲模板中包含的各个素材进行结构上的重新组织及音符音高的重新调整，以 实现编曲处理，得到所述目标对象。
一实施方式中，所述切分及标注模块，还用于通过对所述音乐文件进行 所述切分处理，得到所述段落；每个所述段落内至少包含一个所述织体；每 个所述段落中所述片段的长度，为所述片段所在所述织体的长度。
一实施方式中，所述切分及标注模块，还用于通过对所述音乐文件进行 所述属性标注，得到与结构相关的第一标注信息、及与音高相关的第二标注 信息；其中，所述第一标注信息包括：分别针对所述段落的标注信息；其中， 将对所述织体、所述片段、所述切片进行的属性标注作为所述段落的标注信 息中的一部分，用于描述所述段落的结构属性；所述第二标注信息包括：分 别针对所述轨道、所述音符进行属性标注所得到的标注信息。
一实施方式中，所述合成处理模块，用于根据所述待编曲的音乐信息对 应的段落及其织体长度，对所述编曲模板中包含的各个素材进行结构上的重 新组织，得到与所述段落及其织体长度匹配的多个分段，所述多个分段为构 成所述目标对象的结构信息；根据所述待编曲的音乐信息，对所述多个分段 进行逐个片段的音符音高的重新调整，得到所述目标对象。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述， 在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介 质。
如图20所示，是用来实现本申请实施例的信息处理方法的电子设备的框 图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形 式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助 理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备 还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电 话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关 系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要 求的本申请的实现。
如图20所示，该电子设备包括：一个或多个处理器801、存储器802， 以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同 的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安 装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中 或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显 示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器 和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电 子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片 式服务器、或者多处理器***)。图20中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所 述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器 执行本申请所提供的信息处理方法。本申请的非瞬时计算机可读存储介质存 储计算机指令，该计算机指令用于使计算机执行本申请所提供的信息处理方 法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软 件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的信息处理 方法对应的程序指令/模块。处理器801通过运行存储在存储器802中的非瞬 时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理， 即实现上述方法实施例中的信息处理方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存 储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据电子 设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储 器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或 其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处 理器801远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。 上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及 其组合。
信息处理方法的电子设备，还可以包括：输入装置803和输出装置804。 处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其 他方式连接，图20中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与电子设备的用 户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹 板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。 输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈 装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、 发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设 备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成 电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或 它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算 机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可 编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理 器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和 指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至 少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程 处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/ 或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质” 和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的 任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编 程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可 读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程 处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术， 该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管) 或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者 轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它 种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是 任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户 的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如， 作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、 或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的 用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述 的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或 者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数 据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括： 局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并 且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客 户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删 除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行 也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果， 本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人 员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子 组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进 等，均应包含在本申请保护范围之内。
Claims (14)
1.一种信息处理方法，其特征在于，所述方法包括：
获取基于音乐文件得到的编曲模板，所述音乐文件包括基于乐器数字接口MIDI编辑得到的文件；
获取待编曲的音乐信息；
根据所述音乐信息及所述编曲模板，得到目标对象。
2.根据权利要求1所述的方法，其特征在于，还包括：
对所述音乐文件进行切分处理及属性标注，以得到所述编曲模板；其中，
所述编曲模板包括：段落、织体、片段、切片、轨道、音符。
3.根据权利要求1所述的方法，其特征在于，所述根据所述音乐信息及所述编曲模板，得到目标对象，包括：
根据所述音乐信息，对所述编曲模板中包含的各个素材进行结构上的重新组织及音符音高的重新调整，以实现编曲处理，得到所述目标对象。
4.根据权利要求2所述的方法，其特征在于，还包括：
通过对所述音乐文件进行所述切分处理，得到所述段落；
每个所述段落内至少包含一个所述织体；
每个所述段落中所述片段的长度，为所述片段所在所述织体的长度。
5.根据权利要求2所述的方法，其特征在于，还包括：
通过对所述音乐文件进行所述属性标注，得到与结构相关的第一标注信息、及与音高相关的第二标注信息；其中，
所述第一标注信息包括：分别针对所述段落的标注信息；其中，将对所述织体、所述片段、所述切片进行的属性标注作为所述段落的标注信息中的一部分，用于描述所述段落的结构属性；
所述第二标注信息包括：分别针对所述轨道、所述音符进行属性标注所得到的标注信息。
6.根据权利要求3所述的方法，其特征在于，所述根据所述音乐信息，对所述编曲模板中包含的各个素材进行结构上的重新组织及音符音高的重新调整，以实现编曲处理，得到所述目标对象，包括：
根据所述待编曲的音乐信息对应的段落及其织体长度，对所述编曲模板中包含的各个素材进行结构上的重新组织，得到与所述段落及其织体长度匹配的多个分段，所述多个分段为构成所述目标对象的结构信息；
根据所述待编曲的音乐信息，对所述多个分段进行逐个片段的音符音高的重新调整，得到所述目标对象。
7.一种信息处理装置，其特征在于，所述装置包括：
模板获取模块，用于获取基于音乐文件得到的编曲模板，所述音乐文件包括基于乐器数字接口MIDI编辑得到的文件；
信息获取模块，用于获取待编曲的音乐信息；
合成处理模块，用于根据所述音乐信息及所述编曲模板，得到目标对象。
8.根据权利要求7所述的装置，其特征在于，还包括切分及标注模块，用于：
对所述音乐文件进行切分处理及属性标注，以得到所述编曲模板；其中，
所述编曲模板包括：段落、织体、片段、切片、轨道、音符。
9.根据权利要求7所述的装置，其特征在于，所述合成处理模块，用于：
根据所述音乐信息，对所述编曲模板中包含的各个素材进行结构上的重新组织及音符音高的重新调整，以实现编曲处理，得到所述目标对象。
10.根据权利要求8所述的装置，其特征在于，所述切分及标注模块，还用于：
通过对所述音乐文件进行所述切分处理，得到所述段落；
每个所述段落内至少包含一个所述织体；
每个所述段落中所述片段的长度，为所述片段所在所述织体的长度。
11.根据权利要求8所述的装置，其特征在于，所述切分及标注模块，还用于：
通过对所述音乐文件进行所述属性标注，得到与结构相关的第一标注信息、及与音高相关的第二标注信息；其中，
所述第一标注信息包括：分别针对所述段落的标注信息；其中，将对所述织体、所述片段、所述切片进行的属性标注作为所述段落的标注信息中的一部分，用于描述所述段落的结构属性；
所述第二标注信息包括：分别针对所述轨道、所述音符进行属性标注所得到的标注信息。
12.根据权利要求9所述的装置，其特征在于，所述合成处理模块，用于：
根据所述待编曲的音乐信息对应的段落及其织体长度，对所述编曲模板中包含的各个素材进行结构上的重新组织，得到与所述段落及其织体长度匹配的多个分段，所述多个分段为构成所述目标对象的结构信息；
根据所述待编曲的音乐信息，对所述多个分段进行逐个片段的音符音高的重新调整，得到所述目标对象。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111085242.1A CN114005424A (zh) | 2021-09-16 | 2021-09-16 | 信息处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111085242.1A CN114005424A (zh) | 2021-09-16 | 2021-09-16 | 信息处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114005424A true CN114005424A (zh) | 2022-02-01 |
Family
ID=79921373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111085242.1A Pending CN114005424A (zh) | 2021-09-16 | 2021-09-16 | 信息处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114005424A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230144216A1 (en) * | 2020-09-04 | 2023-05-11 | Roland Corporation | Information processing device, information processing method, and non-transitory computer readable recording medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160247496A1 (en) * | 2012-12-05 | 2016-08-25 | Sony Corporation | Device and method for generating a real time music accompaniment for multi-modal music |
| US20170084259A1 (en) * | 2015-09-18 | 2017-03-23 | Yamaha Corporation | Automatic arrangement of music piece with accent positions taken into consideration |
| JP2019200427A (ja) * | 2019-07-26 | 2019-11-21 | ヤマハ株式会社 | 自動アレンジ方法 |
| CN111445897A (zh) * | 2020-03-23 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 歌曲生成方法、装置、可读介质及电子设备 |
| CN113178182A (zh) * | 2021-04-25 | 2021-07-27 | 北京灵动音科技有限公司 | 信息处理方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-16 CN CN202111085242.1A patent/CN114005424A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160247496A1 (en) * | 2012-12-05 | 2016-08-25 | Sony Corporation | Device and method for generating a real time music accompaniment for multi-modal music |
| US20170084259A1 (en) * | 2015-09-18 | 2017-03-23 | Yamaha Corporation | Automatic arrangement of music piece with accent positions taken into consideration |
| JP2019200427A (ja) * | 2019-07-26 | 2019-11-21 | ヤマハ株式会社 | 自動アレンジ方法 |
| CN111445897A (zh) * | 2020-03-23 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 歌曲生成方法、装置、可读介质及电子设备 |
| CN113178182A (zh) * | 2021-04-25 | 2021-07-27 | 北京灵动音科技有限公司 | 信息处理方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230144216A1 (en) * | 2020-09-04 | 2023-05-11 | Roland Corporation | Information processing device, information processing method, and non-transitory computer readable recording medium |
| US11922913B2 (en) * | 2020-09-04 | 2024-03-05 | Roland Corporation | Information processing device, information processing method, and non-transitory computer readable recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU749235B2 (en) | Method and apparatus for composing original musical works | |
| US6576828B2 (en) | Automatic composition apparatus and method using rhythm pattern characteristics database and setting composition conditions section by section | |
| JP2001159892A (ja) | 演奏データ作成装置及び記録媒体 | |
| US9378718B1 (en) | Methods and system for composing | |
| WO2020000751A1 (zh) | 自动作曲方法、装置、计算机设备和存储介质 | |
| US11869468B2 (en) | Musical composition file generation and management system | |
| KR20200130710A (ko) | 하모닉 코드 맵을 사용하여 오디오 또는 midi 출력 파일을 생성하기 위한 방법 및 시스템 | |
| Scotto | The structural role of distortion in hard rock and heavy metal | |
| US20230206890A1 (en) | Generative composition using form atom heuristics | |
| Hayashi et al. | Colorscore: Visualization and condensation of structure of classical music | |
| CN114005424A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| CN113140202B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| Winter | Interactive music: Compositional techniques for communicating different emotional qualities | |
| KR102269591B1 (ko) | 자동작곡장치 및 그 방법 | |
| KR20200124089A (ko) | 주변 환경 기반의 자동 작곡 방법 및 그 장치 | |
| WO2004025306A1 (en) | Computer-generated expression in music production | |
| Mazzola et al. | Software Tools and Hardware Options | |
| EP4068273A2 (en) | System and methods for automatically generating a musical composition having audibly correct form | |
| Pratt | Exploring the Modern Solo Snare Drum Tradition through Analyzing Five Snare Drum Solos | |
| Druzhga | The Work of Maryna Denysenko for the Instrumental Bandura Performance: The Aspects of Timbre and Sonority. | |
| Yucht | Jazz and Joni: Echoes of Jazz in Joni Mitchell’s Early Music | |
| Tfirn | Hearing Images and Seeing Sound: The Creation of Sonic Information Through Image Interpolation | |
| Young | Hypermeter and Phrase Structure in Selected Works by Stravinsky, Crumb, and Adams | |
| Mäkiniemi | of thesis Ginette: designing an expressive electronic instrument based on the Ondes | |
| Jensen | Music technology as a tool and guideline for composition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |