CN117349257A - 乐谱训练数据库的构建和应用 - Google Patents
乐谱训练数据库的构建和应用 Download PDFInfo
- Publication number
- CN117349257A CN117349257A CN202210749199.2A CN202210749199A CN117349257A CN 117349257 A CN117349257 A CN 117349257A CN 202210749199 A CN202210749199 A CN 202210749199A CN 117349257 A CN117349257 A CN 117349257A
- Authority
- CN
- China
- Prior art keywords
- music
- tag
- label
- score
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 343
- 238000010276 construction Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000010801 machine learning Methods 0.000 claims abstract description 52
- 238000012795 verification Methods 0.000 claims abstract description 49
- 239000000523 sample Substances 0.000 claims description 109
- 238000012545 processing Methods 0.000 claims description 29
- 238000003860 storage Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 239000013074 reference sample Substances 0.000 claims description 2
- 239000000463 material Substances 0.000 description 99
- 230000000875 corresponding effect Effects 0.000 description 90
- 230000033764 rhythmic process Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 21
- 238000005457 optimization Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000003993 interaction Effects 0.000 description 12
- 238000012163 sequencing technique Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 8
- 241000203475 Neopanax arboreus Species 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 235000019580 granularity Nutrition 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012300 Sequence Analysis Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000002645 vision therapy Methods 0.000 description 2
- 241000475481 Nebula Species 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及乐谱训练数据库的构建和应用。提出了一种乐谱训练数据库的构建方法,所述方法包括对于乐谱训练数据库的每一个等级,获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的第一标签(L1);获取基于该音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H)中的至少一个第二子标签(L2H);根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候选音乐样本,利用所生成的候选音乐样本对第一标签(L1)和第二标签(L1H)中的至少一者进行验证,其中第一标签(L1)和第二标签(L1H)中的至少一者的规定能够基于验证结果被调整;以及基于通过验证的候选音乐样本及其对应的标签来构建乐谱训练数据库。
Description
技术领域
本发明属于数据库领域,并且尤其涉及乐谱训练数据库的构建和 应用。
背景技术
器乐演奏是一项逻辑思维与形象思维、脑力与体力、技巧性与艺 术性相结合的综合性活动。在器乐演奏的训练、练习、学习等等方 面,往往需要根据适当的音乐资料,尤其是乐谱,来逐渐学习、熟 练、甚至提高器乐演奏的技能。特别地,为了优化乐谱训练、练习甚至学习等而构建乐谱训练数据库是非常必要的。
现代科学技术的迅猛发展,特别是计算机技术和数据库技术的广 泛应用,为器乐演奏的资料库构建提供了先进的手段,开辟了广阔的 前景。
除非另有说明,否则不应假定本节中描述的任何方法仅仅因为包 含在本节中而成为现有技术。同样,除非另有说明,否则关于一种或 多种方法所认识出的问题不应在本节的基础上假定在任何现有技术中 都认识到。
发明内容
本公开提出了改进的乐谱训练数据库的构建和应用。特别地,本 公开通过利用音乐相关的特征来获取音乐资料的分级标签并且通过验 证分级标签来调整分级标签的设置,从而构建得到改进的乐谱训练数 据库。附加地,本公开进一步提出了乐谱训练数据的应用,其中特别 地可以基于用户在应用乐谱训练数据库的反馈来进一步优化所构建的 乐谱训练数据库。
本公开的一个方面涉及一种乐谱训练数据库的构建方法,其中所 述乐谱训练数据库具有至少一个等级,对于每一等级具有对应的等级 标签,所述方法包括以下步骤:对于每一个等级,获取基于针对待构 建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的第一 标签(L1),获取基于针对待构建的乐谱训练数据库预先设置的音乐 特征集生成的第二标签(L1H)以及包含在第二标签(L1H)中的至 少一个第二子标签(L2H),其中各第二标签以及子标签规定了音乐 特征集中的一个或多个音乐特征的组合及其特定取值范围;根据第二 子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候 选音乐样本,利用所生成的候选音乐样本对第一标签(L1)和第二标 签(L1H)中的至少一者进行验证,其中基于验证结果对第一标签 (L1)和第二标签(L1H)中的至少一者的规定进行调整;以及基于 通过验证的候选音乐样本及其对应的等级标签来构建乐谱训练数据 库。
本公开的另一个方面涉及一种乐谱训练数据库的构建装置,其中 所述乐谱训练数据库具有至少一个等级,对于每一等级具有对应的等 级标签,所述构建装置包括处理电路,所述处理电路被配置为:对于 每一个等级,获取基于针对待构建的乐谱训练数据库预先设置的音乐 特征集通过机器学习生成的第一标签(L1),获取基于针对待构建的 乐谱训练数据库预先设置的音乐特征集生成的第二标签(L1H)以及 包含在第二标签(L1H)中的至少一个第二子标签(L2H),其中各 第二标签以及子标签规定了音乐特征集中的一个或多个音乐特征的组 合及其特定取值范围;根据第二子标签(L2H)所规定的音乐特征组 合以及音乐特征取值范围生成候选音乐样本,利用所生成的候选音乐 样本对第一标签(L1)和第二标签(L1H)中的至少一者进行验证, 其中基于验证结果对第一标签(L1)和第二标签(L1H)中的至少一 者的规定进行调整;以及基于通过验证的候选音乐样本及其对应的等级标签来构建乐谱训练数据库。
本公开的还另一个方面涉及一种存储可执行指令的非暂时性计算 机可读存储介质,所述可执行指令当被执行时实现本公开的实施例中 所述的方法。
本公开的又另一个方面涉及一种电子设备。根据一个实施例,所 述电子设备包括:处理器和存储装置,所述存储装置存储有可执行指 令,所述可执行指令当被执行时实现本公开的实施例中所述的方法。
本公开的又另一个方面涉及一种计算机程序产品,所述计算机程 序产品包括计算机程序/指令,所述计算机程序/指令被处理器执行时实 现本公开的实施例中所述的方法。
本公开的又另一个方面涉及一种计算机程序,所述计算机程序包 括的程序代码在由计算机执行时使得计算机执行本公开的实施例中所 述的方法。
本公开的又另一方面涉及一种装置,包括用于执行本公开的实施 例中所述的方法的部件。
提供本公开内容是为了以简化的形式介绍一些概念,这些概念将 在下面的详细描述中进一步描述。本公开内容不旨在标识所要求保护 的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题 的范围。从以下对实施例的详细描述和附图中,本技术的其他方面和 优点将变得显而易见。
附图说明
下面结合具体的实施例,并参照附图,对本公开的上述和其它目 的和优点做进一步的描述。在附图中,相同的或对应的技术特征或部 件将采用相同或对应的附图标记来表示。
图1示出了根据本公开的实施例的构建和应用乐谱训练数据库的 ***的示意性概念图。
图2示出了根据本公开的实施例的乐谱训练数据库的构建方法的 流程图。
图3A和3B示出了根据本公开的实施例的针对待构建的乐谱训练 数据库预先设置的音乐特征集,图3C示出了根据本公开的实施例的 示例性标签。
图4示出了根据本公开的实施例的乐谱训练数据库的构建的示例 性流程图。
图5示出了根据本公开的实施例的乐谱训练数据库的构建的示例 性流程图。
图6A示出了根据本公开的实施例的乐谱训练数据库的应用的流 程图。
图6B示出了根据本公开的实施例的乐谱训练数据库构建和应用 的整体流程图。
图7A到7C示出了根据本公开的实施例的乐谱训练数据库的示例 性应用场景。
图8示例性地示出了根据本公开的实施例的分类曲谱库。
图9示出了根据本公开的实施例的用于乐谱训练数据库的构建装 置的框图。
图10示出了在其中可以实现根据本公开的实施例的计算机***概 图。
虽然在本公开内容中所描述的实施例可能易于有各种修改和另选 形式,但是其具体实施例在附图中作为例子示出并且在本文中被详细 描述。但是,应当理解,附图以及对其的详细描述不是要将实施例限 定到所公开的特定形式,而是相反,目的是要涵盖属于权利要求的精 神和范围内的所有修改、等同和另选方案。
具体实施方式
在下文中将结合附图对本公开的示范性实施例进行描述。但是显 然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施 例。以下对实施例的描述实际上也仅仅是说明性的,决不作为对本公 开及其应用或使用的任何限制。应当理解的是,本公开可以通过各种 形式来实现,而且不应该被解释为限于这里阐述的实施例。这里,为 了清楚和简明起见,在说明书中并未描述实施例的所有特征。还应当 注意,为了避免因不必要的细节而模糊了本公开,在附图中仅仅示出 了与至少根据本公开的方案密切相关的处理步骤和/或设备结构,而省 略了与本公开关系不大的其他细节。
然而,应该了解,在对实施例进行实施的过程中必须做出很多特 定于实施方式的设置,以便实现开发人员的具体目标,例如,符合与 设备及业务相关的那些限制条件,并且这些限制条件可能会随着实施 方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是 非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说, 这种开发工作仅仅是例行的任务。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不 同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的 步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。除 非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布 置、数字表达式和数值应被解释为仅仅是示例性的,不限制本公开的 范围。
本公开中使用的术语“包括”及其变型意指至少包括后面的元件/特 征、但不排除其他元件/特征的开放性术语,即“包括但不限于”。此 外,本公开使用的术语“包含”及其变型意指至少包含后面的元件/特 征、但不排除其他元件/特征的开放性术语,即“包含但不限于”。因 此,包括与包含是同义的。术语“基于”意指“至少部分地基于”。
整个说明书中所称“一个实施例”、“一些实施例”或“实施例”意味 着与实施例结合描述的特定的特征、结构或特性被包括在本发明的至 少一个实施例中。例如,术语“一个实施例”表示“至少一个实施例”; 术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例” 表示“至少一些实施例”。而且,短语“在一个实施例中”、“在一些实施 例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的 是同一个实施例,但是也可以指同一个实施例。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同 的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元 所执行的功能的顺序或者相互依存关系。除非另有指定,否则“第 一”、“第二”等概念并非意图暗示如此描述的对象必须按时间上、空间 上、排名上的给定顺序或任何其他方式的给定顺序。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非 限制性的,本领域技术人员应当理解,除非在上下文另有明确指出, 否则应该理解为“一个或多个”。
构建并应用适当的乐谱训练数据库对于乐谱训练、练习甚至学习 等是非常关键的。特别地,对于乐谱训练、练习甚至学习而言,希望 提供一种以用户、尤其是进行音乐训练或者学习的用户为中心的高效 ***。特别地,希望能够准确地构建乐谱训练数据库并且将之提供给 用户以供进行训练、练习甚至学习,进一步地,还可以获得用户应用 该数据库的反馈,诸如利用该数据库进行训练、练习甚至学习结果作 为反馈,由此可以基于这样的反馈来进一步优化乐谱训练数据库的构 建。
图1示出了根据本公开的实施例的构建和应用乐谱训练数据库的 ***的示意性概念图,其中示意性地示出了乐谱训练数据库与用户或 者用户端设备之间的交互。特别地,根据本公开的***中,基于音乐 素材来创建乐谱训练数据库(后端),并且将所生成的乐谱训练数据 库与用户(前端)进行交互,例如呈现给用户或客户端设备,并且用 户使用该乐谱训练数据库,并且将用户的使用数据作为反馈提供给后 端,以优化乐谱训练数据库。上述交互可通过各种适当的方式来执 行,例如通过交互软件、收发装置、各种类型的呈现设备等。
根据本公开的实施例,特别地可以通过机器学习、知识图谱等技 术的运用来构建乐谱训练数据库,其中尤其通过机器学习、知识图谱 等技术等从音乐素材/样本/资料(例如乐谱资料,尤其是可能具有预先 规定的特定难度级别的乐谱资料)中提取音乐相关的特征,由此设定 音乐素材/样本/资料的分级标签,实现音乐素材/样本/资料的适当的、 准确的分级,这里分级/等级尤其是对应于音乐资料在演奏过程中可能 的难度等级,由此可以构建被进行适当分级的训练数据库。
应指出,用于提取音乐相关的特征的机器学习技术可包括各种适 当的技术,例如包括深度学习、图像识别、音频识别等。音乐相关的 特征例如可以是乐谱中的音乐相关特征,例如乐谱乐曲的音乐属性特 征、演奏相关特征等等,并且可以采用各种适当的方式来被获取。作 为示例,可以从音乐素材/样本/资料的Music XML格式文件中提取, 例如通过深度学习来提取,Music XML格式文件中包含整体乐曲元素 和属性信息。作为另一示例,可以通过对音乐素材/样本/资料的图像进 行图像识别,从图像中提取出音乐特征,例如提取与音乐特征相关的 子图像并且将之与参考图像进行比较,以确定音乐特征。还作为另一示例,可以通过对音乐素材/样本/资料的音频内容进行音频识别,特别 地通过声音信号处理从中获取音乐特征。
作为示例,用于从音乐素材中提取音乐特征的技术可包括但不限 于光学乐谱识别技术(OMR):Score Transformer;乐谱标准化编 码:MIDI,MusicXML,Musescore;音乐难度分级:多层神经网络 (MLP),Xgboost,支持向量机(SVM),随机森林(RF);乐谱 特征分析工具:numpy,pandas,scipy;图数据库工具:PyKEEN, Neo4j,Nebula等等。
根据本公开的实施例,优选地,在音乐资料分级中还进一步考虑 了作为参考的音乐相关的特征,并且基于这样的参考特征和所提取的 音乐相关的特征两者来优化音乐资料的分级,其中特别地基于参考特 征来对所提取的音乐相关的特征进行验证,从而进一步提高分级的精 确性,例如是等级分类标签的调整/优化,从而进一步提高了乐谱训练 数据库构建的准确性。
应指出,作为参考的音乐相关的特征可以采用各种适当的方式来 被获取。作为示例,作为参考的音乐相关的特征可通过各种适当的方 式从音乐素材/样本/资料中获取,例如通过Music XML格式文件提 取、图像识别、声音处理等,如上所述,这些操作可由各种适当的设 备(例如基准提取设备)来执行。或者,作为参考的音乐相关的特征 可由专业音乐人士或者富有经验的用户等通过阅读或提取音乐素材/样 本/资料而根据经验而得出。
优选地,参考特征可以是根据经验设定的细化的难度级别标签。 其可用于调整级别的划分,例如各级别中特征的构成,或者将各级别 的特征进一步进行细化,例如进行子分类,从而可以进一步优化资料 库的特征的细化,从而实现更加合适的资料分级以构建更加适当的资 料库,为用户提供/推荐更加准确的音乐资料。
以下将简述通过机器学***均的练习次数等),进行不同应用模式下自适应 的难度精细预测及排序。
根据本公开的实施例,所构建的乐谱训练数据库被以适当的方式 提供用户使用。在一些实施例中,所构建的乐谱训练数据库可作为音 乐样本训练库,其供用户进行训练。例如,可以逐个等级地将对应样 本提供给用户以供进行训练、练习、甚至是学习。乐谱训练数据库中 的数据可被以各种适当的方式,例如作为游戏,等提供给用户。例 如,可以将乐谱训练数据库中通过各种适当的设备,例如显示设备、 声学设备等提供给用户。在一些实现中,可以通过游戏转化器将乐谱 训练数据库中的数据转化成为基于游戏的练习,***自动判断和纠正 孩子的练习,推动自主学习,使学习内容可视化,课后练习可追踪。
在另一个示例中,所构建的乐谱训练数据库可作为一种单曲训练 库,特别地,可以对于一首单曲进行分级,例如难度分级,从而可以 由该单曲得到各种等级的分级样本,继而由单曲可以构成一个单曲训 练库,并提供给用户进行训练。单曲训练库可以运用旋律波形提取和 比对的识别工具,识别并爬取一首单曲相关的训练素材(视频,音 频);经过大量用户的素材选取使用结果,优化***推荐功能,让单 曲精讲内容不断优化,准确精简;单曲训练库还可以提取该单曲的相 关特征形成针对该单曲的专项训练。
根据本公开的实施例,可以根据用户的训练、练习、甚至是学习 的结果作为反馈来进一步调整乐谱训练数据库。在一些实施例中,可 以根据用户的反馈来优化乐谱训练数据库中各等级的数据/资料的排序 和布置,从而有助于为用户提供更适当和准确的乐谱训练数据库。在 还另一些实施例中,还可根据用户的反馈来对乐谱训练数据库进行优 化,特别地对乐谱训练数据库的等级标签和相关联的特征进行优化、 更新等等。在一个示例中,该音乐样本训练库里的内容通过交互式游 戏方式而呈现给用户进行训练时,这些交互型的游戏能够记录、判断 和测评用户反馈,通过大量用户的交互记录,可以对训练库里的训练 内容进行难度排序优化,甚至还可对训练库中的难度等级和相关联的 特征进行优化。
由此,本公开提出了改进的乐谱训练数据库的构建方法。特别 地,在本公开中,通过机器学习、知识图谱、声音分离等信息获取技 术来从音乐素材中提取音乐特征,提高了特征获取效率和准确度,由 此准确地设置音乐素材的等级标签。在本公开中,附加地,还通过可 作为参考的音乐相关特征来对于机器学习分级标签进行进一步调整和 优化,从而进一步提高了机器学习的分级准确度,从而能够构建更加 精确适当的资料库。而且,附加地,在本公开中还进一步利用用户应 用该数据库的反馈来进一步优化乐谱训练数据库的构建和应用。
以下将参照附图来描述根据本公开的乐谱训练数据库的构建和应 用。但是应指出,本公开的数据库构建和应用的构思可以同样地应用 于其他类型的音乐训练数据库,特别地可用于用户进行训练和学习的 其它类型的音乐资料的数据库构建和应用。
图2示出了根据本公开的实施例的乐谱训练数据库的构建方法的 流程图。所述乐谱训练数据库具有至少一个等级,对于每一等级具有 对应的等级标签。这里,等级可对应于音乐资料的分级,尤其是难度 分级。难度分级可对应于音乐资料中所包含的音乐相关特征的组合。 不同的难度分级可对应于不同的特征组合,下文将对此进行详细说 明。
根据本公开的乐谱训练数据库的构建方法200可以对于每个资料 等级来执行,并且对于每个资料等级可以包括如下步骤:
在步骤S201中,获取通过机器学习生成的第一标签(L1);
在步骤S202中,获取基于针对待构建的乐谱训练数据库预先设置 的音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H) 中的至少一个第二子标签(L2H),其中各第二标签以及子标签规定 了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围;
在步骤S203中,根据第二子标签(L2H)所规定的音乐特征组合 以及音乐特征取值范围生成候选音乐样本;
在步骤S204中,利用所生成的候选音乐样本对第一标签(L1) 和第二标签(L1H)中的至少一者进行验证,其中第一标签(L1)和 第二标签(L1H)中的至少一者的规定能够基于验证结果被调整;
在步骤S205中,基于通过验证的候选音乐样本及其对应的标签来 构建乐谱训练数据库。
接下来将进一步描述上述方法中所执行的操作。
根据本公开的一些实施例,第一标签可以通过各种适当的方式来 生成。在一些实现中,可通过机器学习、尤其深度学习从所提供的乐 谱训练样本库生成等级标签。特别地,可通过机器学习获取乐谱的音 乐特征到其对应的公开难度等级之间的映射关系,从而获得各难度等 级的标签以及相关联的特征。作为一个示例,通过深度机器学习方 式,直接将乐谱和/或音频作为输入,通过监督或自监督的方法学习出 一种输入数据的编码方式,得出固定长度的特征编码(比如用 TripNet或Transformer抽出1024维的特征),再基于此特征编码进 行难度分级,从而能够从乐谱中获取等级标签以及对应的特征组合。 在另一些示例中,可以从音频文件或标准化的乐谱编码文件,学习乐 谱的深度表征进行乐谱相似性的比较,并分析其与乐谱难度的相关 性,通过度量学习等的方式来扩大不同难度等级乐谱特征的距离以实 现更好的难度等级分类。
在另一种实现中,可以基于预先设置的特征集,对乐谱或样本进 行学习以获取标签和对应的特征组合。特别地,可以参考针对待构建 的乐谱训练数据库预先设置的音乐特征集来生成第一标签。作为示 例,通过特征工程,对给定的预先设置的特征集,将其中的多个特征 维度组合作为输入,难度分级作为输出,来学习两者间的对应关系。
根据本公开的一些实施例,针对待构建的乐谱训练数据库预先设 置的音乐特征集包括与待构建的乐谱训练数据库相关联的音乐特征以 及各音乐特征的可能取值范围。特别地,在一些实施例中,与待构建 的乐谱训练数据库相关联的音乐特征可以是取决于待构建的乐谱训练 数据库的类型或者应用属性的音乐表现特征,其可通过对音乐电子乐 谱进行音乐特征提取而获取的。
在一些实施例中,预先设置的音乐特征集可以是多维的,其中的 每一维可认为对应于一个音乐特征。在一些实施例中,音乐特征可以 是任何适当的特征。特别地,其可以是根据乐谱相关的基本元素(例 如,尤其是乐谱的音乐属性元素、乐谱演奏相关的特征等等)从已有 的或者可广泛获得的音乐资料中提取的。作为示例,可以按照曲谱的 调性,节拍,节奏型,手位,音乐记号,和声,奏法,音程,旋律型/ 音乐型分类作为音乐相关的基本元素提取特征,音乐特征可以例如为 包含音程特征、音域特征、拍号特征、节奏特征等的特征中的至少一 者,它们都可以作为音乐特征集中的特征维度。
根据本公开的一些实施例,所述音乐特征可以是通过对音乐资料 进行音乐特征提取而获取的。在一些实施例中,音乐特征可以通过计 算机学习、神经网络、机器学习等技术来从音乐资料提取得到的,如 前所述的特征提取技术。音乐资料例如是可以从适当的资料源获取的 资料,例如各种适当格式的电子乐谱,乐谱图像、音乐等等,音乐资 料并不特别受限,只要能够从中提取到音乐相关的特征即可。音乐资 料还可以是应用数据库的用户所提交的资料,例如使用/学习反馈等 等。在一个示例中,音乐特征可以是通过对已知音乐数据库中的乐谱 进行特征采集,然后根据每个特征在相关取值等等来构成该特征的取 值范围。例如,每个特征包含至少一个取值,并且每个特征的所有可 能的取值则构成该特征的取值范围。
以下描述预先设置的音乐特征集的示例性获取方式。在一种示例 中,首先,可以通过各种方式来构建标准化乐谱库(乐谱图片及电子 化乐谱编码),作为示例,一种方式是从音乐教材中扫描实体乐谱或 批量爬取公开乐谱图片,并通过光学乐谱识别以生成MIDI、MusicXML或Musescore格式乐谱编码文件;另一种方式是从公开网 站如Musescore批量获取已标准化的乐谱编码文件,并编译生成相应 的乐谱图片。通过多来源交叉校验及人工校验,以确保乐谱文件的准 确性;然后从标准化乐谱库中提取乐谱特征(如调性,节拍,节奏型,手位,音乐记号,和声,奏法,音程,旋律线等):从已标准化 的MIDI、MusicXML或Musescore格式乐谱编码文件中统计各特征 维度的分布信息,以多维特征频率作为乐谱的特征。由此,可以获得 乐谱特征集合可作为预先设置的特征集。
在另一种示例中,预先设置的音乐特征集还可从特定的乐谱百科 信息图谱中获取。作为示例,乐谱百科信息图谱可包含乐谱名,作 者,时期,体裁,风格,调式曲式,英皇等级,音协等级,上音等级 等:并且可通过从公开数据源中通过爬虫获取海量乐谱百科信息及对 应的难度分级信息作为乐谱属性值,以乐谱为节点,乐谱与属性值之 间的对应关系为边,构建乐谱百科信息图谱。由此,可以从该乐谱百 科信息图谱中提取各种特征以及其相对应的特征取值范围,作为预先 设置的特征集。
作为示例,预先设置的特征类别集合可以包括但不限于如下特征 中的至少一者,并且这些特征以及每个特征的可能取值可如下:
音域:88个全音,其可指的是88个琴键对应的音频参数;
音程:音程可指的是音与音之间的距离,例如可包括但不限于二 度音程内、三度音程内、一度与三度音程、四度音程内、五度音程 内、五度音程内(不含四度)、六度音程内、七度音程内、八度音程 内;应指出,音程可以采用各种适当的来得出。特别地,一种计算方法是以中央C为440Hz,每向上半音要乘以1.059463。作为示例,也就 是说,与中央C相邻的#C频率就是440*1.059463=466.16372,网页上记 为466.16Hz.这个是十二平均率的算法,也就是钢琴上的音。
拍号:2/4、3/4、4/4、3/8、6/8、9/8、12/8、2/2、5/4、 7/4、5/8、7/8、16/3
音符与休止符时值
节奏型:节奏型实质上指的是不同音符和休止符特征的固定顺序 组合
调性:特别地,每个调由7个音组成,不同调性之间的分别在于 这7个音之间的距离关系和开头的主音不同。作为示例,调性可包括 但不限于C大调、G大调、F大调、a小调、d小调、D大调、e 小调、g小调、A大调、b小调、Bb大调、Eb大调、f#小调c小 调、E大调、c#小调、f小调、Ab大调、B大调、G#小调Db大 调、Bb小调、Gb大调、Eb小调。
指法手位:涉及到指法、左右手、音高和音域范围,例如可包括 但不限于单手五指手位、双手轮奏五指手位、双手合奏五指手位、单 手轮奏五指手位(换手位)、双手合奏五指手位(换手位)、穿指 (转指)、扩指、缩指、同音换指、手位变化(仅单手出现)、手位 变化(双手同时出现);
伴奏型:实质上是不同音高、音程和调性特征的组合,例如,可 包括但不限于短琶音、分解和弦、阿尔贝蒂低音、和弦;
音乐型:实质上是不同音高音程和调性特征的组合,例如,可包 括但不限于音阶、琶音、半音阶;
演奏表情记号
演奏奏法记号
临时升降记号
应指出,上述特征仅仅是示例性的,而非限制性的。预设的音乐 特征集还可以包含其他适当的音乐特征。图3A和3B分别示出了音乐 特征集的一些示例。
根据本公开的一些实施例,第一标签(L1)可以是通过如下方式 生成的:通过机器学习对乐谱训练样本库(也可被称为音乐候选数据 库)中所包含的具有相应等级的一个或多个音乐样本进行音乐特征提 取,以确定与各等级对应的音乐特征组合及其音乐特征取值范围而生 成第一标签(L1)。
在一些示例中,可以通过机器学习(例如深度学习)来从样本直 接获取特征组合和标签,如前所述。在另一些示例中,还可根据预先 设置的音乐特征集中的相应等级所对应的音乐特征来生成第一标签。 特别地,对于每个等级,可以从所提供的乐谱训练样本库中的相应资 料提取音乐特征,并且将基于上文所预先设置的特征集来设定与该等 级相对应的特征及其相应的取值。特别地,从相应的资料库中提取得 出包含于上文所预先设置的特征集中的至少一些特征,以及该特征相 应的取值,由此得到与该等级相对应的特征以及特征取值范围,这里 的特征取值范围可认为被包含在预先设置的特征类别集的范围中。
在本公开的一些实施例中,用于定义标签的“特征”、“特征组 合”实质上指的是从素材提取的或者规定的特征的组合以及组合中各 特征的取值(例如,范围),特别地包含哪些类型的特征,以及每种 类型的特征的取值。例如,如果特征包括小节、拍号,则定义标签时 则还需要指示小节的数量、拍号的取值等等。
在本公开的一些实施例中,这里的等级可尤其指的是难度等级/级 别。“难度级别”可以指的预先规定或设定的音乐资料的难度级别, 特别的可以是现有考级/分级资料中所规定的难度级别,例如英皇考级 中的每一个level,或者是人为认为的难度;请注意,英皇考级只是一 种示例,可以用同样的方法应用在其他考级***;进一步的可以将系 统再复杂一步,比对各个考级***的难度识别,比如将再细化分为英 皇考级***;圣三一考级***;中央音协考级***;上音考级*** 等。这样复杂化后的好处在于:建立了一套标准的模块化分级资料 库,能够针对每一条未来生成的训练素材,去判断其难度属性对应于哪个考级***的哪一个级别;进一步能够作为一个学生的能力测评模 型,通过让用户与***交互,去判断学生能够达到什么标准,能够成 为各个考级***的模拟考级***,帮助判断学生的过级率。
作为示例,难度等级可以分为若干级,例如从最低级到最高级, 例如从第0级到第N级,其中级别越低,其所包含的特征可能更少, 和/或特征的取值范围更窄。
以下给出了难度等级的一些示例,其中难度等级可以包括预备 级、一级,每一难度等级的特征以及相应的特征取值范围如下:
预备级
音域 中C-E、中C-G、中C-A、中C-F、中A-E、中F-G、低C-G、 低C-高C
音程 二度音程内(级进);一度与三度音程(跳进);三度音程内(级 进与跳进);四度音程内;五度音程内(不含四度);五度音程内 拍号2/4 3/4 4/4
音符与休止符时值
调性C大调 G大调 F大调
手位单手五指手位;双手轮奏五指手位
演奏表情记号
演奏奏法记号
一级
音域中A-E、中C-G、中C-F、低C-G、低C-高C、高C-G、低C- F、低F-高G、5C
音程二度音程内(级进);一度与三度音程(跳进);三度音程内(级 进与跳进);四度音程内;五度音程内(不含四度);五度音程内 拍号2/4 3/4 4/4
音符与休止符时值
调性C大调 G大调 F大调 a小调 d小调
指法手位单手五指手位;双手轮奏五指手位
演奏表情记号
演奏奏法记号
临时升降记号
应指出,以上的示例仅仅是示例性的,难度等级还可以包含其他 等级,例如二级到最高级,例如八级。在此情况下,最高等级(八 级)可以对应于前文所述的预先设置的特征类别集。
在本公开的一些实施例中,“标签”是针对“难度级别”生成 的,并且与“特征和特征组合”相对应的。例如英皇考级中的一个等 级或者难度级别(level),生成一个标签,这个标签指示这个level应 该包含的音乐特征、以及各种特征的取值情况。而如果英皇考级中有 多个level,那么则生成多个标签,一个level存在一个标签。可以认 为“标签”只是个标识符,来指示该标签所对应的一种或多种特征组 合以及组合中各特征的取值。在某种程度上其可以理解为一种规则/规 定/标准,规定了该标签对应的一种或多种特征组合以及组合中各特征 的取值。
在本公开的一些实施例中,标签可以是用任何适当的方式来表 示,例如可以由分别与各个等级对应的数字、字符、符号等表示,例 如从0级到8级可分别用数字0到8、字母A到H等表示对应的标 签,标签的表示形式并不特别受限,只要能够彼此区分开以指示不同的等级。
根据本公开的一些实施例,第二标签(L1H)和至少一个第二子 标签(L2H)中的至少一个是通过如下方式生成的:根据预先设置的 音乐特征集中的相应等级所对应的音乐特征,选择特定的音乐特征组 合以及相应的特征取值范围。特别地,其中各第二标签以及子标签规 定了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围。
在本公开的一些实施例中,第二标签包含至少一个第二子标签, 并且每个第二子标签所对应的特征被包含在第二标签的全部特征内, 和/或每个第二子标签所对应的每个特征的取值范围在第二标签所对应 的该特征的取值范围内。
在本公开的一些实施例中,第二标签以及至少一个第二子标签可 以被选择,作为示例,对于某一等级,可以由音乐相关技术人员或者 有经验的音乐用户利用经验对乐谱训练样本库中的该等级的资料进行 分析,从而标注获得包含于上文所预先设置的特征集中的至少一些特 征,以及该特征相应的取值范围;或者可以由基准特征提取设备例 如,通过机器学习、深度学习等从该等级的音乐资料中进行特征提 取,以获得包含于上文所预先设置的特征集中的至少一些特征,以及 该特征相应的取值范围,以作为第二标签以及至少一个第二子标签。
作为示例,音乐相关技术人员或者有经验的音乐用户可以包括钢 琴教育专家,他们可以是给每个乐段的难度进行估算,并交由数据分 析来得出其中的乐谱特征以及各乐谱特征值对应的可能难度范围。当 然在积攒足够的标注数据之前,也可以在标注过程中总结出一套难度 标注的标准过程(SOP),这其中就设计了不同音乐特征维度的优先 考察关系和难度分级的决策树条件。
在本公开的一些实施例中,上述的第一标签的生成以及第二标签 和至少一个第二子标签的生成可以相互独立地执行,可以按照各种适 当的顺序执行,也可以并行执行。
以下将仍然以视奏库作为举例来说明标签(对应于第一层标签) 与子标签(对应于第二层标签):
标签的标签维度有音域;音程;节奏型;调性等等
子标签的标签维度与标签相同,也有音域;音程;节奏型;调性 等等;
但是,标签和子标签的标签维度具有不同的粒度,并且标签维度 的粒度大于或者能够覆盖子标签维度的粒度。作为示例,可认为标签 对应于级别(Grade),各个维度的范围比较广,而子标签则对应于 在级别之下再细分成的单元(Unit),例如通常有10-20个单元才能 组成一个级别。以下仍然以视奏库为例进行说明:
假定标签层的其中一个标签维度有音域(低音C-高音C),则子 标签层在这个对应的音域维度,则会被细分为
中音CDE
中音C-G
中音C-A
中音C-F
中音A-E
中音F-G
低音C-G、
低音C-高音C(这个是进阶到了最大范围,等同标签层在该维度 的范围定义)
图3C还示例性地示出了根据本公开的实施例的人工设定的标 签,即第二标签以及其至少一个子标签。
根据本公开的实施例,第二标签和/或第二子标签可被用于作为参 考或基准来对第一标签进行验证,从而改进第一标签,使得第一标签 所对应的特征的提取更加准确。在一些实施例中,特别地利用第二子 标签来对第一标签和第二标签都进行验证,特别地,一方面可以利用 第二子标签作为基准来验证和/或改进第一标签,如上所述;另一方 面,可以利用第二子标签来改进第二标签,从而优化第二标签的获 取,提高第二标签的准确性,在第二标签作为基准来验证第一标签的 情况下能够实现验证更加准确。
应指出,对等级标签(例如,前述第一标签和/或第二标签)进行 优化或改进是非常必要的,这样可以实现训练数据清洗、困难样本挖 掘、特征工程和数据标注等等。一方面,乐谱难度分级的标准不是一 成不变的,这就会造成噪声数据的存在,由此可以通过标签优化或改 进来清洗掉噪声数据的影响。另一方面,在训练模型的过程中,可以 进行困难样本的挖掘,比如训练损失较大的样本、预测值与标注不一 致的样本或聚类中距离中心点较远的样本。对于挖掘出的样本,可以 通过专家团队进行标注以确保数据的正确性,从而借助于这样的挖掘 样本来进一步优化标签。在还另一方面,可以在模型训练之前,先通 过相关系数、夏普利值等进行特征相关度分析,以选取高度相关的特 征作为输入,在提升模型的可解释性同时也降低了模型参数量及对标 注数据量的需求;此外,不同等级的乐谱数量也会存在一定的差异 性,这种数据不平衡会导致模型的偏差,可以针对样本数较少的等级 寻找可能的乐谱进行专家团队标注以补充训练数据,从而可以基于补 充训练数据所对应的标签来优化或改进标签的设定,提高标签精度。 这里,还可以使用如Focal loss等加权损失函数来平衡样本权重。
根据本公开的实施例,可以采用各种适当的方式来利用第二子标 签进行验证。在一些实施例中,通过利用第二子标签来生成音乐样 本,由此基于所生成的音乐样本来对第一标签和/或第二标签进行验 证。这里,所生成的音乐样本可作为参考音乐样本来进行第一标签和/ 或第二标签的验证。
根据本公开的一些实施例,音乐样本可以通过各种适当的方式来 生成。根据本公开的一些实施例,非限制性地,根据第二子标签 (L2H)生成候选音乐样本包括以下中的至少一者:
获取符合第二子标签(L2H)规定的各音乐特征所对应的音乐片 段并对所获取的音乐片段进行组合以生成候选音乐样本,或者
从乐谱训练数据库中提取符合第二子标签(L2H)所规定的音乐 特征组合以及取值范围的音乐样本以作为候选音乐样本。
在本公开的一些实施例中,可以从已有的音乐素材库中获取符合 第二子标签(L2H)规定的各音乐特征所对应的音乐片段并进行组 合。可以通过各种适当的方式来实现。在一些示例中,可以通过电子 音乐合成的方法利用各音乐特征所对应的音乐片段来合成音乐样本, 即电子音乐旋律等等。特别的,音乐特征所对应的音乐片段可以为各 种适当的形式,例如可以是包含音乐特征相关信息的信号,例如可以 是音域、音程、节拍等对应的声音,可以是用特定格式保存的音乐数 据等等,音乐片段的形式并不因此受限,只要能够体现出其对应的音 乐特征即可。特别地,在本公开的一些实施例中,优选地对所获取的 特征及其组合,随机排列组合,自动生成训练素材。
在本公开的另一些实施例中,音乐特征可以从已知的或者预先设 定的特征库或集合中取得,例如前文所述的预先设置的特征库。在一 些实施例中,可以从乐谱训练样本库中提取符合第二子标签(L2H) 所规定的音乐特征组合以及取值范围的音乐样本以作为候选音乐样 本。这里的乐谱训练样本库可以是任何已知的样本库,例如各种乐谱 库等。“已有乐谱库”指的是,人工上传的还未分类的乐谱,包括但 不限于提供给机器进行学习的各考级***历年乐谱;用户(老师或学 生)上传至乐谱转换器中的乐谱;开源的数字乐谱库中的乐谱(比如 Giant midi乐谱库);网络上任何可以爬取的乐谱等。当然,这里的 乐谱训练数据库还可以是前述的用于生成第一标签的样本库。
作为示例,这里的提取可以通过机器学习方法对前述样本库和乐 谱库中的资料进行特征提取并且与第二子标签的特征以及特征范围进 行比对,并且在比对一致的情况将该资料作为用于进行验证的音乐样 本。即,通过特征匹配的方法来从乐谱库中找到对应于第二子标签的 候选音乐样本以供进行验证。
在一些实施例中,在获取候选音乐样本之后可以进行格式化处理 以便于进行验证。作为示例,可以在如上所述地生成音乐样本之后, 按照数据库应用场景、模块化训练或应用等的格式要求来对所生成的 音乐样本的格式进行调整。
根据本公开的一些实施例,基于根据第二子标签(L2H)生成的 候选音乐样本进行验证可包括验证候选音乐样本是否符合第一标签 (L1)的音乐特征组合以及特征取值范围的规定。在一些实施例中, 验证可采用各种适当的方式来执行,特别地通过将所生成的候选音乐 样本中的音乐特征与第一标签所对应的特征进行比对来执行。
根据本公开的一些实施例,验证根据第二子标签(L2H)生成候 选音乐样本是否符合第一标签(L1)的规定包括:通过机器学习从候 选音乐样本中提取音乐特征;并且将所提取的音乐特征与第一等级标 签所规定的音乐特征组合及其特征取值范围进行比对,以验证候选音 乐样本是否符合第一等级标签的规定。
在本公开的一些实施例中,当所提取的音乐特征的类型及其取值 被包含在第一标签所规定的音乐特征组合及其特征取值范围内时,则 认为候选音乐样本符合第一标签的规定。而所提取的音乐特征的类型 和其取值中的至少一个不被包含在第一标签所规定的音乐特征组合及 其特征取值范围内时,则认为候选音乐样本不符合第一标签的规定。例如,如果从音乐样本中所提取的特征的类型少于等于标签规定的, 并都被涵盖在标签所规定的类型内,并且每一特征类型的取值也都被 含在该标签所规定的同一特征的取值范围内,则可认为符合第一标签 的规定;相反,如果从音乐样本中所提取的特征的类型中由至少一个 不同于标签规定的类型,或者即使从音乐样本中所提取的特征的类型 被标签所规定的类型涵盖,但是至少一个类型的取值范围不同于标签 所规定的同一特征的取值范围,即使部分重叠仍认为是不同,则认为 不符合标签规定的类型。
根据本公开的实施例,根据验证结果来对标签进行进一步的调整 或优化,尤其是在验证结果指示标签之间存在差异或者冲突的情况 下,对所生成的标签进行优化、调整或者更新,从而提高准确度。
特别地,在一些实施例中,基于验证结果对第一标签(L1)和第 二标签(L1H)中的至少一者的规定进行调整包括:在验证根据第二 子标签(L2H)生成候选音乐样本不符合第一标签(L1)的规定的情 况下,进一步将候选音乐样本呈现给用户以供进行验证;并且根据用 户验证结果来对第一标签(L1)和第二标签(L1H)中的至少一者的 规定进行调整。由此,借助于作为用户的音乐专业人士等来验证差异 或者冲突,可以分析第二子标签(L2H)生成候选音乐样本不符合第 一标签(L1)的规定这种不一致或者差异的类型或者原因,并且相应 地根据所分析出的类型或者原因来对标签或者特征进行相应地调整。
作为示例,发生不一致或者差异可能是由多种原因导致的。第一 种原因是乐谱的实际难度级别背离了规定的难度级别,例如,本来规 定难度较低的乐谱实际上难度更高,诸如“5级乐曲也许比次年的6 级乐曲还难”,这种情况下需要对于乐谱的难度级别标签进行优化; 第二种原因是参考标签或者人工标签不够清楚明确,导致识别误差。 例如人工标签在难度级别的定义边界不够明确,有重叠,或者与考级 材料机器学习出来的标签有出入,这种情况下需要对人工标签或者参 考标签进行优化明确边界。第三原因则是与预先设置的特征库的维度 有关,如预先设置的特征库的特征类别维度不够精细,这种情况下可能需要对于特征类别的维度进行调整。
根据本公开的一些实施例,在确定不一致或者差异所涉及的特征 类别或者特征维度仍被包含于在先获取的音乐特征集合,例如先前根 据机器学习从音乐样本获取的特征集合或者预先设置的音乐特征集 中,则可以执行上述的调整处理,例如第一标签(L1)或第二标签 (L1H)的生成或调整。在一些实施例中,在用户验证结果指示候选 音乐样本符合第一标签(L1)的规定的情况下,以该候选音乐样本作 为训练样本以用于优化通过机器学习来生成第一标签(L1),由此利 用更加全面的样本图像来进行第一标签的获取,提高了所生成的第一 标签的准确度。这例如可对应于前述第一种差异原因。特别地,可以 利用根据本公开的机器学习方案来优化第一标签。
在另一些实施例中,在用户验证结果指示候选音乐样本不符合第 一标签(L1)的规定的情况下,调整第二标签(L1H)。在本公开的 一些实施例中,调整第二标签的设定包括参照第一标签来调整第二标 签规定的音乐特征组合和/或各音乐特征的取值范围,以使得基于调整 后的第二标签所生成的候选音乐样本符合第一等级标签的规定。这例 如可对应于前述第二种差异原因。
根据本公开的实施例,附加地或者替代地,根据用户验证结果还 可以对于在先获取的音乐特征集合,例如先前根据机器学习从音乐样 本获取的特征集合或者预先设置的音乐特征集,进行调整。特别地, 如果确定不一致或者差异所涉及的特征类别或者特征维度并不被包含 于在先获取的音乐特征集合中,这例如可对应于前述第三种差异原 因,则可以认为在先获取的音乐特征集合的精度不够,因此可对在先 获取的音乐特征集合中的特征类别进行进一步的调整,例如增加新的 特征类别,或者将已有的特征类别进行进一步细分等等。这里例如可 通过将被验证的音乐样本来作为新的训练样本来重新进行特征训练或 特征学习,如前所述,由此进一步优化特征标签。
作为示例,在应用识别过程中可预先设置20个特征类别作为预先 设置的特征集,并且通过机器学习生成1级难度标签时用了该特征集 中的4个特征类别,人工定义1级难度标签时也采用了该特征集中的 4个特征类别,但是在人工定义1级难度标签时候所产生的4个特征 跟机器学习定义的4个特征可能会有不同,因此在此情况下,可根据 验证结果来进行标签调整或细化。
一方面,如果不同是产生在20个特征之内,比如人的D特征比 对机器的D特征属于包含关系,需要调整的部分就是标签的母标签子 标签,调整优化标签的设置及取值范围。另一方面,如果不同是产生 在20个特征之外,就需要重新增加预制的特征识别维度,细化定义新 的特征标签。
应指出,预先设置的特征集还可通过其它适当的方式来进行调整 或优化。在一些实施例中,可以从所补充的音频文件或标准化的乐谱 编码文件,学习乐谱的深度表征进行乐谱相似性的比较,并分析其与 乐谱难度的相关性,通过度量学习等的方式来扩大不同难度等级乐谱 特征的距离以实现更好的难度等级分类。
特别地,在本公开的实施例中,能够通过机器学习来优化对应于 难度等级的标签的生成和优化。作为示例,通过机器学习,给出音乐 乐谱特征,对不同考级标准的素材进行学习,得到对不同考级标准的 等级(例如,等级1-10)的特征概率预测,以及取值范围;进一步 的,在那之下再细分子模块/标签,用于针对不同的训练模式和模块化 训练库进行定制化或者调整。这样的等级标签生成或优化可用于本公 开中乐谱训练库的构建的各个阶段,尤其涉及等级标签的生成、等级 标签的调整等,例如前述针对第一等级标签和第二等级标签的调整。
图4示意性地示出了根据本公开的实施例的乐谱训练数据库的创 建示例,尤其示出了根据本公开的实施例的乐谱训练数据库创建中的 标签的设定和优化。
首先,获取预先设置的音乐特征集,特别地,可以对不同模块的 库里的素材进行特征预置,这里的预先设置的音乐特征集可如前所述 地获取。
然后,根据预先设置的音乐特征集中的相应等级所对应的音乐特 征,通过机器学习对乐谱训练样本库中所包含的具有相应等级的一个 或多个音乐样本进行音乐特征提取,生成第一标签。作为示例,乐谱 训练样本库可以包含历年考级素材(英皇考级为例),并且用机器学 习的方法参照预先设置的特征集进行难度分级规律学习,生成第一级 难度级别标签作为第一标签。
然后,根据预先设置的音乐特征集中的相应等级所对应的音乐特 征,选择特定的音乐特征组合以及相应的特征取值范围,生成第二标 签以及包含在第二标签中的至少一个第二子标签。特别地,可参照难 度级别来人工地生成第二标签和第二子标签,例如由音乐专业人员。
接下来,基于所生成的第二标签来生成候选音乐样本以作为训练 素材。候选音乐样本可通过两种方式来生成,一种方式是获取符合第 二子标签规定的各音乐特征所对应的音乐片段并对所获取的音乐片段 进行组合以生成候选音乐样本,作为示例,可以选取与第二相应的特 征及其组合,随机排列组合,自动生成训练样本素材;另一种方式是 从乐谱训练数据库中提取符合第二子标签所规定的音乐特征组合以及 取值范围的音乐样本以作为候选音乐样本,作为示例,可以在已有的 乐谱中(可以从分类曲谱库进行提取,也可以从外网爬取)提取符合 条件的特征及其组合,自动生成训练样本素材。可选地,还可对所生成的训练样本素材进行格式化,作为示例,可根据各模块训练资料的 格式要求进行素材统一(比如节奏库的素材需要去除音高标注),以 作为训练样本素材。
然后,基于所生成的训练样本素材来验证第一标签,特别地,验 证候选音乐样本是否符合第一标签的规定,例如该候选音乐样本的特 征是否被包含在第一标签规定的特征组合内。从而,可以根据验证结 果来进行相应的后续处理。
如果被包含,这样通过验证的训练样本素材可被用于构建乐谱训 练数据库,即所有通过验证的训练样本素材可连同其等级标签一起保 存到数据库中。
如果未被包含,则进一步对候选音乐样本进行验证,特别地,可 以由人工对候选音乐样本进行验证,以验证候选音乐样本与第一标 签、第二标签、甚至是预先设置的特征集之间的关系。
一方面,如果验证候选音乐样本符合第一标签的规定的情况下, 调整第一标签,特别地,可以人工将该素材作为训练样本以用于第一 标签的机器学习,从而提高第一标签的精度;
另一方面,验证候选音乐样本不符合第一标签但与该样本差异相 关特征仍包含在先前确定的特征集合中的情况下,调整第二标签,特 别地,可以调整所述第二标签,例如通过人工调整或者通过机器学习 比对的方式来进行调整,使其与机器判断的结果相符。
还另一方面,在与该样本差异相关的特征不包含在预先设定的特 征集中的情况下,进一步对预先设置的特征集进行调整,特别地,可 以对预先设置的特征集增加或者细化特征,从而提高特征集中的特征 的全面性和/或精度。
上述部分的方案的具体实现可以如上所述地执行,这里将不再详 细描述。并且上述部分的操作可以针对用于构建乐谱训练库的样本循 环地执行。特别地,可以对于每一等级循环的执行,其中对于每一等 级的样本,逐一执行上述的难度标签定义,并且在通过验证的情况下 可作为候选样本以用于构建样本,未能通过的情况下则可作为用于调 整、优化难度标签。
根据本公开的一些实施例,还可以对于标签进行进一步细化以实 现更加精细、准确的标签设定和分级,从而能够构建更加精确的乐谱 训练数据库。图5示出了根据本公开的实施例的乐谱训练数据库的创 建、尤其是创建期间的标签设置和优化的示例性实现。在本公开的一 些实施例中,在如前所述的生成第一标签、第二标签和第二子标签之 外,可以获取基于针对待构建的乐谱训练数据库预先设置的音乐特征 集通过机器学习生成的至少一个第一子标签(L2),所述第一子标签 (L2)被包含在第一标签(L1)中,并且,在验证根据第二子标签 (L2H)生成候选音乐样本符合第一标签(L1)的规定的情况下,进 一步验证验证根据第二子标签(L2H)生成候选音乐样本是否符合第 一子标签(L2)的规定,其中基于验证结果对第一子标签(L2)和第 二子标签(L2H)中的至少一者的规定进行调整,甚至也可以对预先 设置的特征集进行调整。这里的第一子标签的验证操作、调整操作等 可如上文针对第一标签的验证、调整操作那样执行,这里将不再详细 描述。
根据本公开的实施例,基于通过验证的候选音乐样本及其对应的 等级标签可以构建乐谱训练数据库。特别地,在训练样本库中,将通 过验证的候选音乐样本及其对应的等级标签相关联的存储。特别地, 在数据库中对候选音乐样本进行排序。排序可以为各种适当的形式。 可以遵照各种排序设置来执行。特别地,排序设置可以包括但不限 于:难度排序,知识点排序,训练模块排序,关键指标协同推荐排序 (此处指的是协同过滤算法下的关联数据推荐)等。作为示例,推荐排 序可以是分析不同样本的用户行为序列以挖掘用户的行为习惯并进而 为用户生成合适的推荐列表,完成训练素材生成、主题模型建模、难 度序列构造、难度序列分析、推荐列表生成训练内容,给予内容推荐 和学习路径规划等。
在一些实施例中,排序设置可以基于用户输入被生成的,并且基 于所接收的排序设置对符合同一等级标签的候选音乐样本进行排序, 以构建乐谱训练数据库。
作为示例,用户输入可包含用户输入信息,训练数据记录,用户 偏好记录等,其中用户输入信息可包括但不限于:年龄、性别、平均 训练时长,平均训练频次,累积训练时间,用什么设备(钢琴/电钢 等)训练,学***均训练时长,平均训练频 次,累积训练时间,陪练/自主训练频次,用户训练时的平均注意力时 长,训练错误率,训练各评分维度平均分数(强弱项)等;用户习惯 偏好记录可包括但不限于用户是否愿意在不及格的时候按照***推荐 进行重复练习;用户遇到困难时多久放弃;用户训练时在什么训练结 果或者情况下会选择额外强化练习和补充练习;用户在什么样的游戏 激励条件下会选择额外强化练习和补充练习)。由此,可以参照这样 的用户输入中反映出的用户特点或需求来对资料进行排序。例如,可 基于资料训练中所获得的乐谱多维模型,比如乐谱难度、特征(知识 点)、模块类别等,与用户样本特征和使用过过程中的情况场景进行 匹配,比如不同场景下不同用户样本的共同易错点,从而将匹配的资 料优先排序。
在另一些实施例中,排序设置可以是基于优先级的,例如是基于 音乐特征的优先级。特别地,排序设置包含按照候选音乐样本中的各 个音乐特征的优先级排序。音乐特征的优先级可以考虑数据库的应用 场景、数据库的类型等等。例如,对于某种类型的应用,可能在应用 时某些特征更加受到重视,因此排序时可以优先考虑包含这些特征的 音乐样本,其排序在前面,以优先呈现给用户。
在一个示例中,在考虑音乐特征包括小节、拍号、音符的情况 下,相同难度标签下的素材的排序规则可以是优先按照小节数从少到 多,按照同等小节数下拍号的排序顺序,前两条都相同的情况下音符 从少到多进行排序。当然可以是其它排序方式。
由上,通过适当的排序设置可以将乐谱训练数据库以适当的方式 提供给客户,这等同于为用户推荐训练内容,并且这部分可以被认为 借助于等同的推荐***或推荐模块来实现,该推荐***或推荐模块可 被认为包含在本公开的音频训练数据库的生成或者应用设备中。特别 地,该推荐模块用来分析不同样本的用户行为序列以挖掘用户的行为 习惯并进而为用户生成合适的推荐列表,完成训练素材生成、主题模 型建模、难度序列构造、难度序列分析、推荐列表生成训练内容,给 予内容推荐和学习路径规划等;所述推荐包括根据学生个体的情况, 找到相似的用户样本参考群体协同推荐;所述推荐也包括根据该用户 过往的训练数据记录针对其薄弱环节和未掌握的知识点进行关联模 块、难度、特征的内容推荐;所述推荐还包括该用户的训练习惯偏好 进行内容难易搭配、训练节奏和时长的策略推荐。
根据本公开的实施例,乐谱训练数据库的应用可包括乐谱训练数 据库与用户之间的交互,一方面,乐谱训练数据库中的乐谱训练样本 被提供给用户,以供用户使用,例如学习、训练等等,例如如果在乐 谱训练样本排序的情况下可以按照排序方式被提供给用户,另一方 面,用户可以反馈应用结果,从而可以基于用户反馈对乐谱训练数据 库进行优化,包括乐谱训练数据库的排序、呈现、甚至是乐谱训练数 据库的等级标签和相应的特征组合等,从而得到进一步改进的乐谱训 练数据库。
根据本公开的实施例,可以将所构建的乐谱训练数据库通过呈现 设备呈现给用户,接收用户基于所构建的乐谱训练数据库的等级学习 结果;并且基于等级学习结果来对乐谱训练数据库中的音乐样本配置 进行优化。
根据本公开的实施例,在将数据库呈现给用户之前,可以将所构 建的乐谱训练数据库进一步进行格式调整,以便更便于用户来使用。 特别地,可以根据应用场景,用户学习、训练场景等来进行格式调 整。特别地,格式调整可以包括根据所希望的谱面呈现格式对音乐样 本的格式进行调整。
根据本公开的实施例,可以将所构建的乐谱训练数据库以各种适 当的方式呈现给用户。作为示例,可以采用游戏的方式给呈现给用 户,使得用户能够以类似玩游戏的方式来进行学习、训练等。特别 地,可以采用转化器从MusicXML文件中进行识别来将数字乐谱图像 化,并且静态或者动态地呈现给用户,尤其是以互动的方式提供给用 户,从而相应地,可以搜集用户训练的数据跟踪和反馈。例如,在用 户通过玩游戏来进行学习、训练等的情况下,用户玩游戏所获取的数 据、或者结果、可以作为反馈被提供到乐谱训练数据库侧。例如,大 量用户在同一条训练上的过关时间和准确度可作为反馈被提供到乐谱 训练数据库侧。
根据本公开的实施例,基于用户反馈的数据来对乐谱训练数据库 进行调整、优化。在一些实施例中,可以根据所反馈的用户训练数 据,对乐谱训练数据库中的难度排序进行优化,例如前文所述的根据 用户输入而优化排序,继而优化在乐谱训练数据库应用中呈现给用户 的样本,从而更加适合于用户训练等。
在另一些实施例中,还可以基于用户反馈的数据来对乐谱训练数 据库的等级标签和相关联的特征进行优化。特别地,可以考虑通过 AB测试的方式,通过对不同特征值乐谱的投放时学生的反馈信息,来 衡量相应特征对难度的影响,从而摆脱对公开难度等级的依赖,以开 发更适合于学生能力成长曲线的乐谱难度等级排序。作为示例,还可 以根据用户反馈的样本来作为训练样本以进行乐谱训练数据库的训 练,以如前所述的方式进行,从而可以使得乐谱训练数据库的等级更 加精确。从而,作为示例,在不同的应用模式(如视奏、听音等) 下,通过累计的用户训练数据(如错误率、最终通过率、首次通过需 要平均的练习次数等),进行不同应用模式下自适应的难度精细预测 及排序。
图6示出了根据本公开的实施例的乐谱训练数据库的构建和应用 的示例性流程图。其中的乐谱训练数据库的构建可如前文所述地那样 实现,这里将不再详细描述,然后将所构建的乐谱训练数据库提供给 用户以进行应用。
首先,基于特定的排序设置对符合同一等级标签的候选音乐样本 进行排序,并将以构建乐谱训练数据库。特别地,将通过前述验证的 素材进行排序并且将素材与难度级别标签相关联地存储,以得到了供 用户使用的数据库。应指出,此步骤也可被包含在之前的乐谱训练数 据库的构造过程中。
作为示例,排序设置可以由用户被预先设置,或者依赖于用户所 输入的数据、用户使用数据等等来自动地设置,如上文所述。例如, 预置在同等难度级别标签下(细化后的第二级难度标签)素材的排序 规则,该排序规则可以为各种适当的排序规则,尤其是可以同时参考 多维度标签进行搭配排序,作为示例可以按照任何的标签次序来进行 排序,例如考虑优先级等。在一个示例中,按照小节数从少到多,按 照同等小节数下拍号的排序顺序,前两条都相同的情况下音符从少到 多进行排序等。
然后,将所构建的乐谱训练数据库通过呈现设备呈现给用户,这 里可以通过任何适当的呈现设备,例如通过游戏转换器将数据库中的 训练样本转换成交互式游戏以供用户进行游戏。应指出,在呈现给用 户之前训练数据库中的样本还可被进行格式调整,例如,通过将素材 库中的素材按照各个模块资料库的规范谱面呈现格式进行格式统一处 理,生成各模块资料的题库,这样所述题库里的谱面通过游戏转换 器,转换成交互式游戏,供用户玩游戏(进行训练)。
然后,接收用户基于所构建的乐谱训练数据库的训练结果;并且 基于训练结果来对乐谱训练数据库中的音乐样本的布置进行优化,特 别地将数据库中音乐样本的排序进行优化。特别地,在不同的应用模 式(如视奏、听音等)下,通过累计的用户训练数据(如错误率、最 终通过率、首次通过需要平均的练习次数等),进行不同应用模式下 自适应的难度精细预测及排序,使得被依次推荐或提供给用户的乐谱 训练样本更加适合于用户的应用。作为示例,搜集用户训练的数据跟 踪和反馈(比如大量用户在同一条训练上的过关时间和准确度);然 后在第二级难度标签下持续优化难度排序,并返回更新素材库排序; 此部分的操作也可被称为用户交互排序优化循环。
在另一些实施例中,还可通过利用用户应用该数据库的反馈来进 一步优化乐谱训练数据库的构建和优化。作为示例,可以根据用户反 馈的结果来实现更精细的难度预测,调整难度等级。特别地,如果用 户反馈训练结果并不理想,则这样的用户训练的样本可作为困难样 本,然后通过机器学习、尤其是深度学习等基于用户反馈的困难样本 来进行决策,以调整难度等级中所对应的特征,从而调整数据中的难 度标签改进。这里的调整可采用各种适当的方式来进行,例如可以通 过采用特征比对来比对纯机器分析的特征去找寻关联度高的特征,加 入到预制特征集(精进预制特征集)。
最终形成一个不断更新和优化的模块化训练资料库。这个库可以 在机器学习,内容自动生成和用户反馈这个过程中不断的产生和优化 相应模块的训练内容。
以下将根据本公开的实施例的乐谱训练数据库的特定应用场景。 在一个实施例中,本公开的实施例的乐谱训练数据库可以是专项训练 库,尤其是用于音乐节奏训练的节奏库。节奏库里素材的用途或目的 是用户(也可被称为受训者或者受训用户)在不同拍号中对音符时值 和节奏型的应用能力,熟悉不同的节奏型和节奏风格,能够快速的阅 读谱面中的节奏,为音乐或乐器学习的识谱难关打下良好的基础,同 时培养好的节奏感。
根据本公开的实施例的针对节奏库的应用场景下用于乐谱训练数 据库的构建和应用,
S1难度分级,难度排序定义
需要提取的6个特征类别:a拍号特征,b节奏型特征,c休止符 特征,d延音线特征,e小节数特征,f声部特征(合奏,轮奏,卡 农)。也就是说,在此应用场景下,库或集合可包括上述6个特征, 并且在生成第一和第二等级标签时可需要从上述6个特征中进行选 取。
S2根据历年考级素材(英皇考级为例),根据每个级别的现有视 奏资料,对以上6个特征进行特征提取;用机器学习的方法对S1所预 置的特征和这些特征的组合进行难度分级规律学习,生成第一级难度 级别标签;
S3人工根据节奏的学习进阶规律做出对S1预置的特征和特征组 合进行第一级和第二级难度级别标签定义(第二级难度标签更细化并 分别置于相应的第一级难度级别标签下);
S4根据S3生成的第二级难度级别标签,选取与之相应的特征及 其组合,随机排列组合,自动生成训练素材;
S5根据S3生成的第二级难度级别标签,在已有的乐谱中(可以 从D分类曲谱库进行提取,也可以从外网爬取)提取符合条件的特征 及其组合,自动生成待用素材;
S6将S5生成的待用素材根据节奏训练库的格式要求进行格式统 一(去除音高标注);生成训练素材
S7将S4与S6生成的训练素材与S2中定义的第一级难度级别标 签进行对比,验证是否为包含关系(即是否能归属到对应的第一级难 度级别标签);
S8若S7的结果是不属于,则应该将该训练素材放置人工验证 库,人工判断该素材是否能够归属到S2中定义的第一级难度级别标 签;
S9-1 S8所述的人工判断若结果是可以归属,则需要人工将该素材 喂给S2的机器学习,优化机器对第一级难度级别标签的定义;
S9-2 S8所述的人工判断若结果是不可归属,则需要人工调整细化 S3中所述的人工定义的难度标签,使其与机器判断的结果相符合;
(上述S2-S9的部分为节奏训练库的难度标签定义循环)
S10预置在同等难度级别标签下(细化后的第二级难度标签), 素材的排序规则(例如按照小节数从少到多,按照同等小节数下拍号 的排序顺序,前两条都相同的情况下音符从少到多进行排序等);
S11将能够通过S8验证库的训练素材根据S10预置的排序规则进 行比对排序;
S12将S11排序好的训练素材录入素材库
(以下进入用户交互排序优化循环)
S13将S12素材库中的素材按照节奏专项训练库的规范谱面呈现 格式进行格式统一处理,生成专项节奏训练的题库;
S14将S13所述题库里的谱面通过游戏转换器,转换成交互式节 奏训练游戏;
S15用户玩游戏(进行训练);
S16搜集用户训练的数据跟踪和反馈(比如大量用户在同一条训 练上的过关时间和准确度);
S17根据S16搜集的用户数据,在第二级难度标签下持续优化难 度排序,并返回S12更新素材库排序;
(上述S13-S17的部分为用户交互排序优化循环)
根据本公开的另一个实施例,本公开的实施例的乐谱训练数据库 可以是专项训练库,尤其是视唱库,视唱库其可以包括两个部分,第 一个部分是音高音准训练库,第二个部分是单声部旋律视唱训练库。 并且本公开的实施例可以分别针对视唱库的两个部分来执行。
在一个实施例中,音高音准训练库的素材的用途或目的是用户在 不同谱号中的识谱能力,熟悉标准音高和音与音之间的距离,能够唱 准音,逐步拓宽音域。其应用场景分两种,一种是直接作为谱面素材 供受教者练习,如图7A所示。第二种是通过适当的转化器转化为视 唱软件里的一条训练内容,如图7B所示,视唱软件可以根据麦克风 收音去进行音准的比对和示范,直观的将看不见的声音形象化为看得 见的旋律线条,使受教者能够看到音的行进方向和音与音的距离,以 及标准音与自己唱的音之间的差距,指导受教者修订错误,提升进 步。
根据本公开的实施例的乐谱训练数据库可以是音高音准训练库, 并且针对音高音准训练库的应用场景下用于乐谱训练数据库的构建和 应用可以如下地执行。
“音高音准训练库”的素材有6个特征类别(单音训练,没有节 奏):a音高特征,b音程特征,c音域特征,d音符数量特征,e谱 号特征,f调性特征(调号,临时升降记号以及主和弦)。也就是说, 在此应用场景下,预先设置的特征类别可包括上述6个特征类别,并 且在生成第一和第二等级标签时可需要从上述6个特征中进行选取。 后续的等级标签的生成和优化、数据库的构建、与用户的交互等等可 以如前文所述,例如如前文所述的步骤S2-S17那样执行,这里将不再 详细描述。
在另一个实施例中,“单声部旋律视唱训练库”单声部旋律视唱 训练库的素材的用途或目的是用户在不同谱号中的识谱能力,能够在 唱准音的同时,控制好一条旋律的节奏节拍,音乐乐感,旋律美感, 断句呼吸等。其应用场景分两种,一种是直接作为谱面素材供受教者 练习,第二种是通过适当的转化器转化为视唱软件里的一条训练内 容,如图7C所示,视唱软件可以根据麦克风收音去进行音准和节奏 节拍的比对和示范,类似于KTV或者手机“唱吧“应用软件的跟唱 打分功能。
根据本公开的实施例的乐谱训练数据库可以是单声部旋律视唱训 练库,并且针对单声部旋律视唱训练库的应用场景下用于单声部旋律 视唱训练库的构建和应用可以如下地执行。
“单声部旋律视唱训练库”的素材有多个特征类别,例如包括但 不限于:a音程特征,b音域特征,c调性特征,d音乐术语特征,e 旋律线条的模进(音乐型特征)等等特征。其中a,b,c可作为必选 项,d,e可作为根据级别进阶逐渐加入的选项。也就是说,在此应用 场景下,预先设置的类别可包括上述多个特征类别,并且在生成第一 和第二等级标签时可需要从上述多个特征类别中进行选取。例如,等 级越低,则可包含的特征类别越少。
后续的等级标签的生成和优化、数据库的构建、与用户的交互等 等可以如前文所述,例如前文所述的步骤S2-S17那样执行,这里将不 再详细描述。
在一个实施例中,本公开的实施例的乐谱训练数据库可以是专项 训练库,尤其是视奏训练库。视奏训练库的素材的用途或目的是用户 的快速识谱演奏能力,即拿到新乐谱在最短时间内正确演奏的能力。 其应用场景分两种,一种是直接作为谱面素材供受教者练习,第二种 是通过E-Library里的转化器转化为视奏软件里的一条训练内容,视 奏软件可以根据麦克风收音或者电钢琴连接电脑数据传收的方式去进 行演奏的比对,纠错和评分。应用场景可以分别如图所示。
在本公开的一些实施例中,针对视奏训练库的应用场景下用于视 奏训练库的构建和应用可以如下地执行。
视奏库的素材有多个特征,包括但不限于a音程特征,b音域特 征,c拍号特征,d节奏型特征,e休止符特征,f延音线特征等等。 其中a,b,c,d特征可作为必选项,e,f可作为根据级别进阶逐渐加 入的选项。
在此应用场景下,预先设置的特征类别可至少包括上述a-f个特 征,并且在生成第一和第二等级标签时可需要从上述a-f个特征中进 行选取。例如,等级越低,则可包含的特征越少。特别地,a,b,c, d等特征可以构成最低的难度等级,对应于最低等级的难度标签,而 随着难度标签的等级增加,可以逐渐增加e,f中的至少一个,作为示 例,可以随着等级每增加一级可分别增加上述特征e,f中的一个。上 述特征e,f中的增加可以是被随机的增加,或者可以根据应用场景、 优先级等来排序,优先级越高则越先增加。
后续的等级标签的生成和优化、数据库的构建、与用户的交互等 等可以如前文所述,例如前文所述的步骤S2-S17那样执行,这里将不 再详细描述。
在一个实施例中,本公开的实施例的乐谱训练数据库可以是专项 训练库,尤其是听力训练库。听力训练库的素材的用途或目的是用户 的内心听觉,听辨能力等,并且作为示例,听力训练库可以包括至少 一个子库,例如听音训练库(Guess Key/Guess interval/Guess Chord)、调性听辨库(Guess scales/Guess Chord/Guess the tonality)、节奏训练库(clap the rhythm)、节拍训练库(Clap the time)、旋律听辨库(Telling difference)、旋律分析库(Music Analysis)等中的至少一个。本公开的实施例可以应用于上述听力训练库、尤其是听力训练库中所包含的各子库。
根据本公开的一些实施例,针对听力训练库的应用场景下用于听 力训练库中各子库的构建和应用可以如下地执行。
对于听音训练库,可至少提取包括但不限于:a音高,b音域,c 谱号,d和弦等的多个特征;
对于调性听辨库,可至少提取包括但不限于:a和弦,b音程,c调 性特征等的多个特征;
对于节奏训练库,可至少提取包括但不限于:a节奏型特征,b休 止符特征等的多个特征;
对于节拍训练库,可至少提取包括但不限于a节奏型特征,b拍 号特征等的多个特征;
对于旋律听辨库,可至少提取包括但不限于a节奏型特征,b休 止符特征等的多个特征;
对于旋律分析库,可至少提取包括但不限于a力度,b奏法,c速 度,d调性,e时期等的多个特征;
也就是说,在此应用场景下,对于上述听力训练库中的每个子 库,预先设置的特征类别可包括上述各子库所需要提取的特征,并且 在生成第一和第二等级标签时可需要从这样的特征中进行选取。后续 的等级标签的生成和优化、数据库的构建、与用户的交互等等可以如 前文所述,例如如前文所述的步骤S2-S17那样执行,这里将不再详细 描述。
在一个实施例中,本公开的实施例的乐谱训练数据库可以是技巧 训练库(Fingerboogie)。技巧训练库的用途或目的是用户的手指基 本功和演奏技巧,使之能从弹奏技术的层面支撑音乐作品的表达。
S1难度分级,难度排序定义
人工定义素材分类,级别和难度排序(这个部分不需要机器学习 和难度标签定义,因为都是难度分层明确的内容,通过预置就可以)
S2自动生成训练素材并入库
根据S1的分类,难度和排序定义,对素材进行识别,排序,以及 按照模板排版入库
S3转化成技巧训练软件内容
将成型素材通过E-Library里的转化器转化为技巧训练软件里的 一条训练内容。
S4在软件中记录用户操作数据,根据大量用户的操作数据(完成 某一条素材的时间,正确率等)对素材再次进行优化难度排序。
根据本公开的实施例的音频训练样本库的构建和应用方案可以应 用于分类曲谱库。
分类曲谱库是根据不同类别的特征提取进行音乐乐谱分类的曲谱 库,能够完成乐谱识别和自动分类,相应的,也支持用户根据标签进 行智能检索。特别地,本公开的分类曲谱库的标签类别包括但不限于 以下几种特征提取对应的类别:A1按照曲谱的调性,节拍,节奏型, 手位,音乐记号,和声,奏法,音程,旋律型/音乐型分类;A2按照 曲谱的时期,作者,体裁,风格,调式曲式分类;A3按照曲谱的主题 特征进行分类。
此外,本公开的分类曲谱库的标签类别还可包括按照曲谱的难度 标签分类。特别地,本申请所述的交互式精进算法则主要是针对去实 现该按照曲谱的难度标签分类。
根据本公开的实施例,可以根据音乐的基本元素来提取特征,从 而所提取的特征为表征音乐的基本属性的特征,包括但不限于音程特 征、音域特征、拍号特征、节奏特征等。具体实施步骤同近似于节奏 库的S1-S17,只是所提取的特征不同。
根据本公开的实施例,通过构建多维模型来支持多维度乐谱标 签,这样每个数字乐谱可以从彼此不同的多个维度来进行分类标签。 维度的数量和选取可被适当的设定。
作为一个示例,可以从乐理特征标签、难度标签、训练模块标签 这三个角度对数字乐谱进行分类标签。如图8所示,在三维模型中, X轴为乐理特征标签,其可通过识别乐谱的乐理相关特征而被获取, 可包括但不限于例如音域、拍号、调性、音程、节奏型、音乐型、手 位、指法、奏法、音乐记号等,每个乐理特征匹配相应的难度和训练 模块;Z轴为训练模块标签,是一个可变动标签,可以定义针对适当 应用场景的训练模块,包括但不限于例如技巧模块、视奏专项训练模 块、听力专项训练模块、节奏专项训练模块、乐理模块、创作模块、 音乐欣赏模块、视唱模块等;满足定制针对性的训练;Y轴为难度标 签,能够针对不同训练模块和不同乐理特征的标签进行难度定级。从 而,XYZ三个角度共同作用,从而可以在3D模型中形成无数个点, 这些点组成了完整的一个数字乐谱标签,例如图8中由无数点连成的 面就对应于一个数字乐谱的标签,其涵盖了多个特征维度、多个应用 场景和多个难度等级。
应指出上述描述是为了简化起见,根据本公开的多维度乐谱标签 还可更加细致地划分。特别地,在乐理特征标签(Music pattern category)中所包含的每一种特征可以看做单个维度,如附图中所示 的8个特征看做八个维度,则输入到本公开所构建的模型中,输出是 为一个数字乐谱的标签。当然,也可针对每个应用场景输出以一个对 应的数字乐谱。
根据本公开的实施例,可以通过构建多维数据库来支持多维度乐 谱标签,这里维度的数量和选取可被适当的设定。作为示例,多维数 据库可以包括乐谱信息表、曲库特征表、曲库难度分级表、曲库主题 特征表。特别地,乐谱信息表可以包含乐谱编号,乐谱名,作者,时 期,体裁,风格,调式曲式,英皇等级,音协等级,上音等级等的相 关特征;曲库特征表可以包含乐段编号,乐谱编号,小节名,长度, 调性,节拍,节奏型,手位,音乐记号,和声,奏法,音程,旋律线 等的相关特征;难度分级表可包含乐谱编号,训练模式,一级难度标签,二级难度标签等的相关特征;曲库主题特征表可包含乐段编号, 风格,调式曲式,体裁,联想性,客观描写性,性格刻画性等的相关 特征。
乐谱数据库(msdb:music sheet database)的创建和使用的示例性 程序语言可如下:
create database msdb;
use msdb;
创建乐谱信息表
create table feature(
‘msid’int(8)unsigned NOT NULL auto_increment,
‘name’varchar(50)NOT NULL,
‘author’varchar(50)NOT NULL,
‘period’varchar(50)NOT NULL,
‘genre’varchar(50)NOT NULL,
‘style’varchar(50)NOT NULL,
‘mode’varchar(50)NOT NULL,
‘abrsmlevel’int(8)unsigned NOT NULL,
...
PRIMARY KEY(‘rid’)
)
创建难度分级特征表
create table difficulty(
‘msid’int(8)unsigned NOT NULL auto_increment,
‘tmode’int(8)unsigned NOT NULL,
‘l1_level’int(8)unsigned NOT NULL,
‘l2_level’int(8)unsigned NOT NULL,
...
PRIMARY KEY(‘rid’)
)
...
以下将根据附图来描述根据本公开的实施例的乐谱训练数据库的 构建装置,其中所述乐谱训练数据库具有至少一个等级,对于每一等 级具有对应的等级标签。如图所示,构建装置900包括处理电路 902,其能够被配置为执行根据本公开的实施例的乐谱训练样本的构 建。
在上述电子设备的结构示例中,处理电路902可以是通用处理器 的形式,也可以是专用处理器,例如ASIC。例如,处理电路120能 够由电路(硬件)或中央处理设备(诸如,中央处理单元(CPU)) 构造。此外,处理电路420上可以承载用于使电路(硬件)或中央处 理设备工作的程序(软件)。该程序能够存储在存储器(诸如,布置 在存储器中)或从外面连接的外部存储介质中,以及经由网络(诸 如,互联网)下载。
根据本公开的实施例,处理电路902可以包括用于实现上述功能 的各个单元,例如处理电路可以包括:第一标签获取单元904,被配 置为获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通 过机器学习生成的第一标签(L1),第二标签获取单元906,被配置 为获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集生成 的第二标签(L1H)以及包含在第二标签(L1H)中的至少一个第二 子标签(L2H),其中各第二标签以及子标签规定了音乐特征集中的 一个或多个音乐特征的组合及其特定取值范围;生成单元908,被配 置为根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取 值范围生成候选音乐样本,验证单元910,被配置为利用所生成的候 选音乐样本对第一标签(L1)和第二标签(L1H)中的至少一者进行 验证,其中第一标签(L1)和第二标签(L1H)中的至少一者的规定 能够基于验证结果被调整;以及创建单元912,被配置为基于通过验 证的候选音乐样本及其对应的等级标签来构建乐谱训练数据库。
在本公开的一些实施例中,所述第一标签获取单元904可进一步 被配置为:根据预先设置的音乐特征集中的相应等级所对应的音乐特 征,通过机器学习对音乐参考样本库所包含的具有相应等级的一个或 多个音乐参考样本进行音乐特征提取,以确定与该等级对应的音乐特 征组合及其音乐特征取值范围而生成第一标签(L1)。
在本公开的一些实施例中,所述第二标签获取单元906可进一步 被配置为:第二标签(L1H)和至少一个第二子标签(L2H)中的至 少一个是通过如下方式生成的:根据预先设置的音乐特征集中的相应 等级所对应的音乐特征,选择特定的音乐特征组合以及相应的特征取 值范围。
在本公开的一些实施例中,所述生成单元908可进一步被配置 为:
获取符合第二子标签(L2H)规定的各音乐特征所对应的音乐片 段并对所获取的音乐片段进行组合以生成候选音乐样本,或者
从乐谱训练数据库中提取符合第二子标签(L2H)所规定的音乐 特征组合以及取值范围的音乐样本以作为候选音乐样本。
在本公开的一些实施例中,所述验证单元910可进一步被配置 为:验证根据第二子标签(L2H)生成候选音乐样本是否符合第一标 签(L1)的音乐特征组合以及特征取值范围的规定。
在本公开的一些实施例中,所述验证单元910可进一步被配置 为:
通过机器学习从候选音乐样本中提取音乐特征;
将所提取的音乐特征与第一等级标签所规定的音乐特征组合及其 特征取值范围进行比对,以验证候选音乐样本是否符合第一等级标签 的规定。
在本公开的一些实施例中,所述验证单元910可进一步包括调整 单元,其被配置为:基于验证结果对第一标签(L1)和第二标签 (L1H)中的至少一者的规定进行调整。在一些实施例中,该调整单 元可被配置为在验证根据第二子标签(L2H)生成候选音乐样本不符合第一标签(L1)的规定的情况下,进一步将候选音乐样本呈现给用 户以供进行验证;并且根据用户验证结果来对第一标签(L1)和第二 标签(L1H)中的至少一者的规定进行调整。
在一些实施例中,在用户验证结果指示候选音乐样本符合第一标 签(L1)的规定的情况下,以该候选音乐样本作为训练样本以用于优 化通过机器学习来生成第一标签(L1);在用户验证结果指示候选音 乐样本不符合第一标签(L1)的规定的情况下,调整第二标签 (L1H)。
在一些实施例中,所述调整单元被配置为参照第一标签来调整第 二标签规定的音乐特征组合和/或各音乐特征的取值范围,以使得基于 调整后的第二标签所生成的候选音乐样本符合第一等级标签的规定。
在本公开的一些实施例中,所述构建单元912可进一步被配置 为:
接收用户输入的排序设置,并且
基于所接收的排序设置对符合同一等级标签的候选音乐样本进行 排序,以构建乐谱训练数据库。
根据本公开的实施例,所述处理电路902可进一步包括子标签生 成单元,被配置为获取基于针对待构建的乐谱训练数据库预先设置的 音乐特征集通过机器学习生成的至少一个第一子标签(L2),所述第 一子标签(L2)被包含在第一标签(L1)中,
并且,所述验证单元可进一步被配置为:在验证根据第二子标签 (L2H)生成候选音乐样本符合第一标签(L1)的规定的情况下,进 一步验证验证根据第二子标签(L2H)生成候选音乐样本是否符合第 一子标签(L2)的规定,其中基于验证结果对第一子标签(L2)和第 二子标签(L2H)中的至少一者的规定进行调整。
根据本公开的实施例,构建装置进一步包括呈现单元,被配置为 将所构建的乐谱训练数据库通过呈现设备呈现给用户,接收单元,被 配置为接收用户基于所构建的乐谱训练数据库的等级学习结果;以及 优化单元,被配置为基于等级学习结果来对乐谱训练数据库中的音乐 样本排序进行优化。应指出,这里的呈现单元和接收单元可以合并为 收发单元,以便实现数据库与用户之间的交互。收发单元可以基于各 种适当的数据通信、数据呈现、数据接收等来实现,例如呈现单元可 以是以视觉、听觉等方式呈现音乐数据的设备,诸如显示器、扬声器 等等,接收单元可以是任何适当类型的信号接收装置,这里将不再详 细描述。
每个单元的操作可以进行如上文所述地进行,这里将不再详细描 述。单元用虚线绘出,旨在说明该单元并不一定被包含在处理电路 中,作为示例,收发单元和优化单元可以在数据库构建装置中而处理 电路之外,甚至可以位于构建装置之外。需要注意的是,尽管图9中 将各个单元示为分立的单元,但是这些单元中的一个或多个也可以合 并为一个单元,或者拆分为多个单元。
应注意,上述各个单元仅是根据其所实现的具体功能划分的逻辑 模块,而不是用于限制具体的实现方式,例如可以以软件、硬件或者 软硬件结合的方式来实现。在实际实现时,上述各个单元可被实现为 独立的物理实体,或者也可由单个实体(例如,处理器(CPU或DSP 等)、集成电路等)来实现。此外,上述各个单元在附图中用虚线示 出指示这些单元可以并不实际存在,而它们所实现的操作/功能可由处 理电路本身来实现。
应理解,图9仅仅是根据本公开的实施例的乐谱训练数据库的构 建装置的概略性结构配置,该构建装置还可以包括其他可能的部件 (例如,存储器等)。可选地,该构建装置还可以包括未示出的其它 部件,诸如存储器、射频链路、基带处理单元、网络接口、控制器等。处理电路可以与存储器和/或天线相关联。例如,处理电路可以直 接或间接(例如,中间可能连接有其它部件)连接到存储器,以进行 数据的存取。还例如,处理电路可以直接或间接连接到天线,以经由 通信单元发送无线电信号以及经由通信单元接收无线电信号。
存储器可以存储由处理电路902产生的各种信息(例如,数据业 务相关信息,配置资源信息等)、用于终端侧电子设备操作的程序和 数据、将由终端侧电子设备发送的数据等。存储器还可以位于终端侧 电子设备内但在处理电路之外,或者甚至位于终端侧电子设备之外。 存储器可以是易失性存储器和/或非易失性存储器。例如,存储器可以 包括但不限于随机存储存储器(RAM)、动态随机存储存储器 (DRAM)、静态随机存取存储器(SRAM)、只读存储器 (ROM)、闪存存储器。
应指出,上述描述仅仅是示例性的。本公开的实施例还可以任何 其它适当的方式执行,仍可实现本公开的实施例所获得的有利效果。 而且,本公开的实施例同样可应用于其它类似的应用实例,仍可实现 本公开的实施例所获得的有利效果。应当理解,根据本公开实施例的 机器可读存储介质或程序产品中的机器可执行指令可以被配置为执行 与上述设备和方法实施例相应的操作。当参考上述设备和方法实施例 时,机器可读存储介质或程序产品的实施例对于本领域技术人员而言 是明晰的,因此不再重复描述。用于承载或包括上述机器可执行指令 的机器可读存储介质和程序产品也落在本公开的范围内。这样的存储 介质可以包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
另外,应当理解,上述系列处理和设备也可以通过软件和/或固件 实现。在通过软件和/或固件实现的情况下,在相关设备的存储介质存 储构成相应软件的相应程序,当所述程序被执行时,能够执行各种功 能。作为示例,从存储介质或网络向具有专用硬件结构的计算机,例 如图10所示的通用个人计算机1000安装构成该软件的程序,该计算 机在安装有各种程序时,能够执行各种功能等等。图10是示出根据本 公开的实施例的中可采用的信息处理设备的个人计算机的示例结构的 框图。在一个例子中,该个人计算机可以对应于根据本公开的上述示 例性发射设备或终端侧电子设备。
在图10中,中央处理单元(CPU)1001根据只读存储器 (ROM)1002中存储的程序或从存储部分1008加载到随机存取存储 器(RAM)1003的程序执行各种处理。在RAM 1003中,也根据需 要存储当CPU 1001执行各种处理等时所需的数据。
CPU 1001、ROM 1002和RAM 1003经由总线1004彼此连接。 输入/输出接口1005也连接到总线1004。
下述部件连接到输入/输出接口1005:输入部分1006,包括键 盘、鼠标等;输出部分1007,包括显示器,比如阴极射线管 (CRT)、液晶显示器(LCD)等,和扬声器等;存储部分1008,包 括硬盘等;和通信部分1009,包括网络接口卡比如LAN卡、调制解 调器等。通信部分1009经由网络比如因特网执行通信处理。
根据需要,驱动器1010也连接到输入/输出接口1005。可拆卸介 质1011比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装 在驱动器1010上,使得从中读出的计算机程序根据需要被安装到存储 部分1008中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存 储介质比如可拆卸介质1011安装构成软件的程序。
本领域技术人员应当理解,这种存储介质不局限于图10所示的其 中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1011。可拆卸介质1011的例子包含磁盘(包含软盘(注册商标))、 光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、 磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或 者,存储介质可以是ROM 1002、存储部分1008中包含的硬盘等等, 其中存有程序,并且与包含它们的设备一起被分发给用户。
另外,应当理解,在以上实施例中包括在一个单元中的多个功能 可以由分开的装置来实现。替选地,在以上实施例中由多个单元实现 的多个功能可分别由分开的装置来实现。另外,以上功能之一可由多 个单元来实现。无需说,这样的配置包括在本公开的技术范围内。
在该说明书中,流程图中所描述的步骤不仅包括以所述顺序按时 间序列执行的处理,而且包括并行地或单独地而不是必须按时间序列 执行的处理。此外,甚至在按时间序列处理的步骤中,无需说,也可 以适当地改变该顺序。
虽然已经详细说明了本公开及其优点,但是应当理解在不脱离由 所附的权利要求所限定的本公开的精神和范围的情况下可以进行各种 改变、替代和变换。而且,本公开实施例的术语“包括”、“包含” 或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列 要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没 有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者 设备所固有的要素。在没有更多限制的情况下,由语句“包括一 个……”限定的要素,并不排除在包括所述要素的过程、方法、物品 或者设备中还存在另外的相同要素。
虽然已详细描述了本公开的一些具体实施例,但是本领域技术人 员应当理解,上述实施例仅是说明性的而不限制本公开的范围。本领 域技术人员应该理解,上述实施例可以被组合、修改或替换而不脱离 本公开的范围和实质。本公开的范围是通过所附的权利要求限定的。
Claims (20)
1.一种乐谱训练数据库的构建方法,其中所述乐谱训练数据库具有至少一个等级,对于每一等级具有对应的等级标签,所述方法包括以下步骤:对于每一个等级,
获取通过机器学习生成的第一标签(L1),
获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H)中的至少一个第二子标签(L2H),其中各第二标签以及子标签规定了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围;
根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候选音乐样本,
利用所生成的候选音乐样本对第一标签(L1)和第二标签(L1H)中的至少一者进行验证,其中第一标签(L1)和第二标签(L1H)中的至少一者的规定能够基于验证结果被调整;以及
基于通过验证的候选音乐样本及其对应的标签来构建乐谱训练数据库。
2.根据权利要求1所述的方法,其中,
针对待构建的乐谱训练数据库预先设置的音乐特征集包括与待构建的乐谱训练数据库相关联的音乐特征以及各音乐特征的可能取值范围。
3.根据权利要求1所述的方法,其中,第一标签(L1)是通过如下方式生成的:
通过机器学习对音乐参考样本库所包含的具有相应等级的一个或多个音乐参考样本进行音乐特征提取,以确定与该等级对应的音乐特征组合及其音乐特征取值范围而生成第一标签(L1)。
4.根据权利要求1所述的方法,其中,第二标签(L1H)和至少一个第二子标签(L2H)中的至少一个是通过如下方式生成的:
根据预先设置的音乐特征集中的相应等级所对应的音乐特征,选择特定的音乐特征组合以及相应的特征取值范围。
5.根据权利要求1所述的方法,其中,根据第二子标签(L2H)生成候选音乐样本包括以下中的至少一者:
获取符合第二子标签(L2H)规定的各音乐特征所对应的音乐片段并对所获取的音乐片段进行组合以生成候选音乐样本,或者
从乐谱训练数据库中提取符合第二子标签(L2H)所规定的音乐特征组合以及取值范围的音乐样本以作为候选音乐样本。
6.根据权利要求1所述的方法,其中,利用所生成的候选音乐样本对第一标签(L1)进行验证包括验证所生成的候选音乐样本是否符合第一标签(L1)的音乐特征组合以及特征取值范围的规定。
7.根据权利要求6所述的方法,其中,验证所生成的候选音乐样本是否符合第一标签(L1)的规定包括:
通过机器学习从候选音乐样本中提取音乐特征;
将所提取的音乐特征与第一等级标签所规定的音乐特征组合及其特征取值范围进行比对,以验证候选音乐样本是否符合第一等级标签的规定。
8.根据权利要求7所述的方法,其中,当所提取的音乐特征的类型及其取值被包含在第一标签所规定的音乐特征组合及其特征取值范围内时,则认为候选音乐样本符合第一标签的规定。
9.根据权利要求1所述的方法,其中,基于验证结果对第一标签(L1)和第二标签(L1H)中的至少一者的规定进行调整包括:
在验证根据第二子标签(L2H)生成候选音乐样本不符合第一标签(L1)的规定的情况下,进一步将候选音乐样本呈现给用户以供进行验证;并且
根据用户的验证结果来对第一标签(L1)和第二标签(L1H)中的至少一者的规定进行调整。
10.根据权利要求9所述的方法,其中,
在用户的验证结果指示候选音乐样本符合第一标签(L1)的规定的情况下,以该候选音乐样本作为训练样本以用于优化通过机器学习来生成第一标签(L1);和/或
在用户的验证结果指示候选音乐样本不符合第一标签(L1)的规定的情况下,调整第二标签(L1H)。
11.根据权利要求10所述的方法,其中,调整第二标签包括参照第一标签来调整第二标签规定的音乐特征组合和/或各音乐特征的取值范围,以使得基于调整后的第二标签所生成的候选音乐样本符合第一等级标签的规定。
12.根据权利要求1所述的方法,进一步包括:
根据用户的验证结果对于预先设置的音乐特征集中的等级标签和/或与等级标签相关联的特征组合进行调整。
13.根据权利要求1所述的方法,其中,进一步包括获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集通过机器学习生成的至少一个第一子标签(L2),所述第一子标签(L2)被包含在第一标签(L1)中,
并且,在验证根据第二子标签(L2H)生成候选音乐样本符合第一标签(L1)的规定的情况下,进一步验证验证根据第二子标签(L2H)生成候选音乐样本是否符合第一子标签(L2)的规定,其中基于验证结果对第一子标签(L2)和第二子标签(L2H)中的至少一者的规定进行调整。
14.根据权利要求1所述的方法,其中,基于通过验证的候选音乐样本及其对应的等级标签来构建乐谱训练数据库包括:
基于特定的排序设置对符合同一等级标签的候选音乐样本进行排序,以构建乐谱训练数据库。
15.根据权利要求14所述的方法,其中,排序设置包含按照候选音乐样本中的各个音乐特征的优先级排序,或者基于用户输入而自适应给出的排序。
16.根据权利要求1所述的方法,进一步包括:
将所构建的乐谱训练数据库通过呈现设备呈现给用户,
接收用户基于所构建的乐谱训练数据库进行训练的结果;并且
基于训练结果来对乐谱训练数据库中的音乐样本配置进行优化,其中音乐样本配置包括音乐样本的排序、或者乐谱训练数据库中的等级标签和/或相关联特征组合中的至少一者。
17.一种乐谱训练数据库的构建装置,其中所述乐谱训练数据库具有至少一个等级,对于每一等级具有对应的等级标签,所述装置包括处理电路,所述处理电路被配置为:对于每一个等级,
获取通过机器学习生成的第一标签(L1),
获取基于针对待构建的乐谱训练数据库预先设置的音乐特征集生成的第二标签(L1H)以及包含在第二标签(L1H)中的至少一个第二子标签(L2H),其中各第二标签以及子标签规定了音乐特征集中的一个或多个音乐特征的组合及其特定取值范围;
根据第二子标签(L2H)所规定的音乐特征组合以及音乐特征取值范围生成候选音乐样本,
利用所生成的候选音乐样本对第一标签(L1)和第二标签(L1H)中的至少一者进行验证,其中第一标签(L1)和第二标签(L1H)中的至少一者的规定能够基于验证结果被调整;以及
基于通过验证的候选音乐样本及其对应的标签来构建乐谱训练数据库。
18.一种设备,包括:
一个或多个处理器;以及
存储指令的一个或多个存储介质,所述指令在由所述一个或多个处理器执行时使得执行根据权利要求1-16中任一项所述的方法。
19.一种计算机可读存储介质,存储指令,所述指令在由一个或多个处理器执行时使得执行根据权利要求1-16中任一项所述的方法。
20.一种包括用于执行根据权利要求1-16中任一项所述的方法的部件的装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210749199.2A CN117349257A (zh) | 2022-06-28 | 2022-06-28 | 乐谱训练数据库的构建和应用 |
PCT/CN2023/102752 WO2024002070A1 (zh) | 2022-06-28 | 2023-06-27 | 乐谱训练数据库的构建和应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210749199.2A CN117349257A (zh) | 2022-06-28 | 2022-06-28 | 乐谱训练数据库的构建和应用 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117349257A true CN117349257A (zh) | 2024-01-05 |
Family
ID=89356241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210749199.2A Pending CN117349257A (zh) | 2022-06-28 | 2022-06-28 | 乐谱训练数据库的构建和应用 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117349257A (zh) |
WO (1) | WO2024002070A1 (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009103023A2 (en) * | 2008-02-13 | 2009-08-20 | Museami, Inc. | Music score deconstruction |
KR101795760B1 (ko) * | 2015-12-28 | 2017-11-08 | 동국대학교 산학협력단 | 전자 악보의 레벨을 분류하는 장치 및 방법 |
CN106529585A (zh) * | 2016-10-25 | 2017-03-22 | 天津大学 | 一种基于大间隔投影空间学习的钢琴乐谱难度识别方法 |
CN110852181A (zh) * | 2019-10-18 | 2020-02-28 | 天津大学 | 基于注意力机制卷积神经网络钢琴乐谱难度识别方法 |
US11556825B2 (en) * | 2019-11-26 | 2023-01-17 | International Business Machines Corporation | Data label verification using few-shot learners |
CN111159465B (zh) * | 2019-12-31 | 2023-09-29 | 杭州网易云音乐科技有限公司 | 一种歌曲分类方法及装置 |
CN111611431B (zh) * | 2020-04-16 | 2023-07-28 | 北京邮电大学 | 一种基于深度学习的音乐分类方法 |
CN113010705B (zh) * | 2021-02-03 | 2023-12-12 | 腾讯科技(深圳)有限公司 | 标签预测方法、装置、设备及存储介质 |
CN113723378B (zh) * | 2021-11-02 | 2022-02-08 | 腾讯科技(深圳)有限公司 | 一种模型训练的方法、装置、计算机设备和存储介质 |
-
2022
- 2022-06-28 CN CN202210749199.2A patent/CN117349257A/zh active Pending
-
2023
- 2023-06-27 WO PCT/CN2023/102752 patent/WO2024002070A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024002070A1 (zh) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Typke | Music retrieval based on melodic similarity | |
JP5329968B2 (ja) | 非テキストベースの情報を記憶し、検索する方法 | |
Chew et al. | Real-time pitch spelling using the spiral array | |
Ünal et al. | A hierarchical approach to makam classification of Turkish makam music, using symbolic data | |
Benetos et al. | Automatic transcription of Turkish microtonal music | |
KR20200070732A (ko) | 음악 콘텐츠 추천 장치 | |
Ramoneda et al. | Combining piano performance dimensions for score difficulty classification | |
Nagavi et al. | Overview of automatic Indian music information recognition, classification and retrieval systems | |
Van Balen | Audio description and corpus analysis of popular music | |
WO2022143679A1 (zh) | 谱面分析和标注方法、装置及电子设备 | |
CN117349257A (zh) | 乐谱训练数据库的构建和应用 | |
Koduri | Towards a multimodal knowledge base for Indian art music: A case study with melodic intonation | |
US11776516B2 (en) | Methods and systems for vocalist part mapping | |
Anantapadmanabhan et al. | Tonic-independent stroke transcription of the mridangam | |
Roig et al. | A non-homogeneous beat-based harmony Markov model | |
Burrows et al. | The objective ear: assessing the progress of a music task | |
Devaney et al. | Representing and linking music performance data with score information | |
Wortman et al. | CombinoChord: a guitar chord generator app | |
Cazau et al. | An automatic music transcription system dedicated to the repertoires of the marovany zither | |
Goddard | Virtuosity in computationally creative musical performance for bass guitar | |
Sébastien et al. | Constituting a musical sign base through score analysis and annotation | |
KR20200070733A (ko) | 음악 콘텐츠 추천 장치를 구비하는 음악 콘텐츠 제공 시스템 | |
Therkelsen | Automatically Quantifying the Expressive Style of Piano Performances | |
Persaud | In Search of Computer Music Analysis: Music Information Retrieval, Optimization, and Machine Learning from 2000-2016 | |
Wang et al. | Interactive teaching system for remote vocal singing based on decision tree algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |