CN110969141A - 一种基于音频文件识别的曲谱生成方法、装置及终端设备 - Google Patents
一种基于音频文件识别的曲谱生成方法、装置及终端设备 Download PDFInfo
- Publication number
- CN110969141A CN110969141A CN201911293680.XA CN201911293680A CN110969141A CN 110969141 A CN110969141 A CN 110969141A CN 201911293680 A CN201911293680 A CN 201911293680A CN 110969141 A CN110969141 A CN 110969141A
- Authority
- CN
- China
- Prior art keywords
- spectrogram
- trained
- music score
- audio file
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 75
- 238000006243 chemical reaction Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 27
- 238000001228 spectrum Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000010355 oscillation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种基于音频文件识别的曲谱生成方法，装置及终端设备，所述方法包括：获取待转化音频文件并将所述待转化音频文件转化为待识别频谱图；根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量；将所述待转化特征向量输入预设的曲谱转化模型中，以使所述曲谱转化模型根据所述待转化特征向量生成与所述待转化音频文件对应的曲谱。通过实施本发明实施例能够自动生成对应的曲谱，降低用户获取曲谱的难度。
Description
技术领域
本发明涉及音频识别领域，尤其涉及一种基于音频文件识别的曲谱生成方法、装置及终端设备。
背景技术
曲谱即乐谱，是记录音乐音高或者节奏的各种书面符号的有规律的组合，如我们平时常见的简谱、五线谱、吉他谱、古琴谱等等各种现代的或者古代的乐谱都叫做曲谱。
钢琴谱通常用五线谱(一般拥有双行谱表，即高音、低音谱表)记载。五线谱记谱是目前世界上通用的记谱法。在五根等距离的平行线上，标以不同时值的音符及其他记号来记载音乐的一种方法。
许多音乐爱好者，在听到一段美妙的旋律或一首好听的歌曲后，都喜欢将这段音乐用自己擅长的方式来体现，例如钢琴等乐器爱好者，希望将音乐记录下来后用钢琴来演奏，这时就需要将这段音乐转换为曲谱，如简谱或五线谱。但是并不是所有的音乐或歌曲都有现成的曲谱可以很方便的提供给音乐爱好者，通常需要花费很多时间来查找，或者由专业的谱曲人士来根据音乐谱写一遍，操作繁琐。
发明内容
本发明实施例提供一种基于音频文件识别的曲谱生成方法，能根据音频文件自动生成对应的曲谱，降低用户获取曲谱的难度。
本发明一实施例提供一种基于音频文件识别的曲谱生成方法，包括：
获取待转化音频文件并将所述待转化音频文件转化为待识别频谱图；
根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量；
将所述待转化特征向量输入预设的曲谱转化模型中，以使所述曲谱转化模型根据所述待转化特征向量生成与所述待转化音频文件对应的曲谱。
进一步的，预设的曲谱转化模型的构建方法包括：获取若干待训练音频文件；其中，每一所述待训练音频文件均有一待训练曲谱与之对应；
将每一所述待训练音频文件转化为频谱图，获得每一所述待训练音频文件对应待训练频谱图；
根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量；
以待训练特征向量作为输入，以待训练特征向量所对应的曲谱的音符作为输出，通过卷积神经网络进行学习训练，获得所述预设的曲谱转化模型。
进一步的，在所述根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量之前，还包括：对所述待识别频谱图像进行灰度处理。
进一步的，在所述根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量之前，还包括：对每一所述待训练频谱图进行灰度处理。
在上述方法项实施例的基础上，本发明对应提供了装置项实施例；
本发明另一实施例提供了一种基于音频文件识别的曲谱生成装置，包括频谱转换模块、特征向量提取模块和曲谱生成模块；
所述频谱转换模块，用于获取待转化音频文件并将所述待转化音频文件转化为待识别频谱图；
所述特征向量提取模块，用于根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量；
所述曲谱生成模块，用于将所述待转化特征向量输入预设的曲谱转化模型中，以使所述曲谱转化模型根据所述待转化特征向量生成与所述待转化音频文件对应的曲谱。
进一步的，还包括：模型构建模块；所述模型构建模块，用于获取若干待训练音频文件；其中，每一所述待训练音频文件均有一待训练曲谱与之对应；
将每一所述待训练音频文件转化为频谱图，获得每一所述待训练音频文件对应待训练频谱图；
根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量；
以待训练特征向量作为输入，以待训练特征向量所对应的曲谱的音符作为输出，通过卷积神经网络进行学习训练，获得所述预设的曲谱转化模型。
进一步的，还包括第一灰度处理模块和第二灰度处理模块；
所述第一灰度处理模块，用于在所述根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量之前，对所述待识别频谱图像进行灰度处理；所述第二灰度处理模块，用于在在所述根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量之前，对每一所述待训练频谱图进行灰度处理。
在上述方法项实施例的基础上，本发明对应提供了一终端设备项实施例；
本发明另一实施例提供了一种基于音频文件识别的曲谱生成终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明上述任意一项方法项实施例所述的基于音频文件识别的曲谱生成方法。
通过实施本发明实施例具有如下有益效果：
本发明实施例提供了一种基于音频文件识别的曲谱生成方法、装置及终端设备，所述方法首先获取待转化的音频文件，然后转化为频谱图，继而根据频谱图中点的空间密度分布特征，进行特征提取获得对应的特征向量，将特征向量输入到已经训练好的曲谱转化模型中，该曲谱转化模型根据待转化的特征向量生成与待转化音频文件对应的曲谱。通过实施本发明实施例，当用户需要获取音频文件对应的曲谱时，可由上述方案自动生成，不用通过专业的谱曲人士进行谱曲，操作便捷，降低了曲谱的获取难度。
附图说明
图1是本发明一实施例提供的一种基于音频文件识别的曲谱生成方法的流程示意图。
图2是本发明一实施例提供的一种基于音频文件识别的曲谱生成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例提供了一种基于音频文件识别的曲谱生成方法，包括：
步骤S101、获取待转化音频文件并将所述待转化音频文件转化为待识别频谱图；
步骤S102、根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量；
步骤S103、将所述待转化特征向量输入预设的曲谱转化模型中，以使所述曲谱转化模型根据所述待转化特征向量生成与所述待转化音频文件对应的曲谱。
对于步骤S101、首先获取一需要生成对应曲谱的音频文件作为待转化音频文件，然后将其转化为频谱图像，获得上述待识别频谱图。
需要说明的是，频谱是频率谱密度的简称，是频率的分布曲线。复杂振荡分解为振幅不同和频率不同的谐振荡，这些谐振荡的幅值按频率排列的图形叫做频谱。频谱广泛应用于声学、光学和无线电技术等方面。频谱将对信号的研究从时域引入到频域，从而带来更直观的认识。把声振动分解成的频谱称为声谱，频谱分析已经成为分析各种复杂振动的一项基本方法。
对于步骤S102、在一个优选的实施例中，在上述根据待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量；之前，还包括，对所述待识别频谱图像进行灰度处理。
在这一实施例中，提取待识别频谱图的特征向量之前，先进行图像的预处理，具体的是进行灰度处理，利用加权平均法公式对图像进行灰度处理，得到频谱图像的灰度图，优选的灰度处理加权平均法公式为：
f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)
其中，i、j代表一个像素点在二维空间向量的位置，即：第i行，第j列。根据上述公式，计算各图像每个像素点的灰度值，取值范围是0-255，使图像都呈现黑白灰状态。通过灰度处理可以提高服务器的计算速度。
然后再在待识别频谱图所对应的灰度图的基础上，进行特征提取，获得对应的特征向量。
对于步骤S103：首先对上述预设的曲谱转化模型进行一个说明：在一个优先的实施中，上述预设的曲谱转化模型通过以下方式进行构建，具体包括：
获取若干待训练音频文件；其中，每一所述待训练音频文件均有一待训练曲谱与之对应；
将每一所述待训练音频文件转化为频谱图，获得每一所述待训练音频文件对应待训练频谱图；
根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量；
以待训练特征向量作为输入，以待训练特征向量所对应的曲谱的作为输出，通过卷积神经网络进行学习训练，获得所述预设的曲谱转化模型。
在一个优选的实施例中，在所述根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量之前，还包括：对每一所述待训练频谱图进行灰度处理。
在模型的构建过程中，首先通过互联网获取有对应曲谱(五线谱或者简谱)的海量无损音频文件，存储在服务器。
然后将获取的音频文件转换为频谱图，继而将得到的各旋律的频谱图进行预处理，即灰度处理。最后根据频谱图图像中点的空间密度分布特征对图像进行特征提取，将提取的特征向量作为输入，将各旋律对应的曲谱的音符作为输出，利用卷积神经网络(Convolutional Neural Network,CNN)进行学习训练，通过反复训练，提取出标准模版，建立音频旋律频谱图的曲谱转换模型。具体的在训练的时候，根据频谱图的波形波峰波谷的高低和大小的图形形状变化的图像，来对应到曲谱不同节奏的各个不同音符，通过多个有曲谱的音乐转化为频谱图的对应学习训练，就建立了每个音符对应的频谱图形状识别模型。
通过上述方式建立预设的曲谱转化模型。
作为优选的，本发明实施例中所提及的所有曲谱为简谱和/或五线谱。
将步骤S102中所提取的特征向量输入到预设的曲谱转化模型中，由曲谱转化做比对，生成曲谱。然后显示在显示设备上給用户查看。
在上述方法项实施例的基础上，对应提供了装置项实施例；
如图2所示，本发明一实施例提供了一种基于音频文件识别的曲谱生成装置，包括频谱转换模块、特征向量提取模块和曲谱生成模块；
所述频谱转换模块，用于获取待转化音频文件并将所述待转化音频文件转化为待识别频谱图；
所述特征向量提取模块，用于根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量；
所述曲谱生成模块，用于将所述待转化特征向量输入预设的曲谱转化模型中，以使所述曲谱转化模型根据所述待转化特征向量生成与所述待转化音频文件对应的曲谱。
优选的，还包括模型构建模块；所述模型构建模块，用于获取若干待训练音频文件；其中，每一所述待训练音频文件均有一待训练曲谱与之对应；
将每一所述待训练音频文件转化为频谱图，获得每一所述待训练音频文件对应待训练频谱图；
根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量；
以待训练特征向量作为输入，以待训练特征向量所对应的曲谱的音符作为输出，通过卷积神经网络进行学习训练，获得所述预设的曲谱转化模型。
优选的，还包括第一灰度处理模块和第二灰度处理模块；
所述第一灰度处理模块，用于在所述根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量之前，对所述待识别频谱图像进行灰度处理；
所述第二灰度处理模块，用于在在所述根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量之前，对每一所述待训练频谱图进行灰度处理。
可以理解的是，上述装置项实施例是与本发明方法项实施例相对应的，其可以实现本发明上述任意一项方法项实施例提供的基于音频文件识别的曲谱生成方法。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。所述示意图仅仅是基于音频文件识别的曲谱生成装置的示例，并不构成对基于音频文件识别的曲谱生成装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
在上述方法项实施例的基础上，对应提供了终端设备项实施例；
本发明一实施例提供了一种基于音频文件识别的曲谱生成终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明上述任意一方法项实施例所述的基于音频文件识别的曲谱生成方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于音频文件识别的曲谱生成装置/终端设备中的执行过程
所述基于音频文件识别的曲谱生成装置/终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于音频文件识别的曲谱生成装置/终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，例如所述基于音频文件识别的曲谱生成装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于音频文件识别的曲谱生成装置/终端设备的控制中心，利用各种接口和线路连接整个基于音频文件识别的曲谱生成装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于音频文件识别的曲谱生成装置/终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
通过实施本发明实施例能够将一段音乐自动转换为曲谱(简谱或者五线谱)，使音乐爱好者能方便的获得喜欢的音乐的曲谱以便使用擅长的乐器演奏，能够节省人工查找曲谱，或根据音乐写谱的时间，提高了曲谱获取的便捷性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.一种基于音频文件识别的曲谱生成方法，其特征在于，包括：
获取待转化音频文件并将所述待转化音频文件转化为待识别频谱图；
根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量；
将所述待转化特征向量输入预设的曲谱转化模型中，以使所述曲谱转化模型根据所述待转化特征向量生成与所述待转化音频文件对应的曲谱。
2.如权利要求1所述的基于音频文件识别的曲谱生成方法，其特征在于，所述预设的曲谱转化模型的构建方法包括：
获取若干待训练音频文件；其中，每一所述待训练音频文件均有一待训练曲谱与之对应；
将每一所述待训练音频文件转化为频谱图，获得每一所述待训练音频文件对应待训练频谱图；
根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量；
以待训练特征向量作为输入，以待训练特征向量所对应的曲谱的音符作为输出，通过卷积神经网络进行学习训练，获得所述预设的曲谱转化模型。
3.如权利要求1所述的基于音频文件识别的曲谱生成方法，其特征在于，在所述根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量之前，还包括：对所述待识别频谱图像进行灰度处理。
4.如权利要求1所述的基于音频文件识别的曲谱生成方法，其特征在于，在所述根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量之前，还包括：对每一所述待训练频谱图进行灰度处理。
5.一种基于音频文件识别的曲谱生成装置，其特征在于，包括频谱转换模块、特征向量提取模块和曲谱生成模块；
所述频谱转换模块，用于获取待转化音频文件并将所述待转化音频文件转化为待识别频谱图；
所述特征向量提取模块，用于根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量；
所述曲谱生成模块，用于将所述待转化特征向量输入预设的曲谱转化模型中，以使所述曲谱转化模型根据所述待转化特征向量生成与所述待转化音频文件对应的曲谱。
6.如权利要求5所述的基于音频文件识别的曲谱生成装置，其特征在于，还包括模型构建模块；
所述模型构建模块，用于获取若干待训练音频文件；其中，每一所述待训练音频文件均有一待训练曲谱与之对应；
将每一所述待训练音频文件转化为频谱图，获得每一所述待训练音频文件对应待训练频谱图；
根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量；
以待训练特征向量作为输入，以待训练特征向量所对应的曲谱的音符作为输出，通过卷积神经网络进行学习训练，获得所述预设的曲谱转化模型。
7.如权利要求5所述的基于音频文件识别的曲谱生成装置，其特征在于，还包括第一灰度处理模块和第二灰度处理模块；
所述第一灰度处理模块，用于在所述根据所述待识别频谱图中，点的空间密度分布特征，对所述待识别频谱图进行特征提取，获得待转化特征向量之前，对所述待识别频谱图像进行灰度处理；
所述第二灰度处理模块，用于在在所述根据每一待训练频谱图中，点的空间密度分布特征，对每一所述待训练频谱图进行特征向量提取，获得每一所述待训练频谱图对应的待训练特征向量之前，对每一所述待训练频谱图进行灰度处理。
8.一种基于音频文件识别的曲谱生成终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的基于音频文件识别的曲谱生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911293680.XA CN110969141A (zh) | 2019-12-12 | 2019-12-12 | 一种基于音频文件识别的曲谱生成方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911293680.XA CN110969141A (zh) | 2019-12-12 | 2019-12-12 | 一种基于音频文件识别的曲谱生成方法、装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110969141A true CN110969141A (zh) | 2020-04-07 |
Family
ID=70034361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911293680.XA Pending CN110969141A (zh) | 2019-12-12 | 2019-12-12 | 一种基于音频文件识别的曲谱生成方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969141A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429779A (zh) * | 2020-05-06 | 2020-07-17 | 福州天音树教育科技有限公司 | 音乐理论学科无纸化教考 |
| CN112906872A (zh) * | 2021-03-26 | 2021-06-04 | 平安科技（深圳）有限公司 | 乐谱转化为声谱的生成方法、装置、设备及存储介质 |
| CN113851098A (zh) * | 2021-08-31 | 2021-12-28 | 广东智媒云图科技股份有限公司 | 一种旋律的风格转换方法、装置、终端设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140142932A1 (en) * | 2012-11-20 | 2014-05-22 | Huawei Technologies Co., Ltd. | Method for Producing Audio File and Terminal Device |
| CN106375780A (zh) * | 2016-10-20 | 2017-02-01 | 腾讯音乐娱乐（深圳）有限公司 | 一种多媒体文件生成方法及其设备 |
| US20180276540A1 (en) * | 2017-03-22 | 2018-09-27 | NextEv USA, Inc. | Modeling of the latent embedding of music using deep neural network |
| US10296638B1 (en) * | 2017-08-31 | 2019-05-21 | Snap Inc. | Generating a probability of music using machine learning technology |
-
2019
- 2019-12-12 CN CN201911293680.XA patent/CN110969141A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140142932A1 (en) * | 2012-11-20 | 2014-05-22 | Huawei Technologies Co., Ltd. | Method for Producing Audio File and Terminal Device |
| CN106375780A (zh) * | 2016-10-20 | 2017-02-01 | 腾讯音乐娱乐（深圳）有限公司 | 一种多媒体文件生成方法及其设备 |
| US20180276540A1 (en) * | 2017-03-22 | 2018-09-27 | NextEv USA, Inc. | Modeling of the latent embedding of music using deep neural network |
| US10296638B1 (en) * | 2017-08-31 | 2019-05-21 | Snap Inc. | Generating a probability of music using machine learning technology |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429779A (zh) * | 2020-05-06 | 2020-07-17 | 福州天音树教育科技有限公司 | 音乐理论学科无纸化教考 |
| CN112906872A (zh) * | 2021-03-26 | 2021-06-04 | 平安科技（深圳）有限公司 | 乐谱转化为声谱的生成方法、装置、设备及存储介质 |
| CN112906872B (zh) * | 2021-03-26 | 2023-08-15 | 平安科技（深圳）有限公司 | 乐谱转化为声谱的生成方法、装置、设备及存储介质 |
| CN113851098A (zh) * | 2021-08-31 | 2021-12-28 | 广东智媒云图科技股份有限公司 | 一种旋律的风格转换方法、装置、终端设备及存储介质 |
| CN113851098B (zh) * | 2021-08-31 | 2022-06-17 | 广东智媒云图科技股份有限公司 | 一种旋律的风格转换方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969141A (zh) | 一种基于音频文件识别的曲谱生成方法、装置及终端设备 | |
| WO2020248393A1 (zh) | 语音合成方法、***、终端设备和可读存储介质 | |
| Lee et al. | Multipitch estimation of piano music by exemplar-based sparse representation | |
| CN108831437A (zh) | 一种歌声生成方法、装置、终端和存储介质 | |
| WO2019232928A1 (zh) | 音乐模型训练、音乐创作方法、装置、终端及存储介质 | |
| CN109829482B (zh) | 歌曲训练数据处理方法、装置及计算机可读存储介质 | |
| JP6617783B2 (ja) | 情報処理方法、電子機器及びプログラム | |
| CN110136689B (zh) | 基于迁移学习的歌声合成方法、装置及存储介质 | |
| CN111429940B (zh) | 一种基于深度学习的实时音乐转录与曲谱匹配方法 | |
| CN109326270A (zh) | 音频文件的生成方法、终端设备及介质 | |
| CN111108557A (zh) | 修改音频对象的风格的方法、以及对应电子装置、计算机可读程序产品和计算机可读存储介质 | |
| CN111399745B (zh) | 音乐播放方法、音乐播放界面生成方法及相关产品 | |
| CN109410972B (zh) | 生成音效参数的方法、装置及存储介质 | |
| JP2019168608A (ja) | 学習装置、音響生成装置、方法及びプログラム | |
| CN113327576B (zh) | 语音合成方法、装置、设备及存储介质 | |
| JP2019144485A (ja) | コード特定方法およびプログラム | |
| WO2020098086A1 (zh) | 一种音乐自动生成方法、装置及计算机可读存储介质 | |
| KR102128153B1 (ko) | 기계 학습을 이용한 음악 소스 검색 장치 및 그 방법 | |
| CN112837670A (zh) | 语音合成方法、装置及电子设备 | |
| CN111179691A (zh) | 一种音符时长显示方法、装置、电子设备及存储介质 | |
| CN116486789A (zh) | 语音识别模型的生成方法、语音识别方法、装置及设备 | |
| CN112669796A (zh) | 基于人工智能的音乐转乐谱的方法及装置 | |
| CN112133264A (zh) | 一种乐谱识别方法及装置 | |
| CN111696517A (zh) | 语音合成方法、装置、计算机设备及计算机可读存储介质 | |
| CN111508454A (zh) | 乐谱的处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200407 |
|
| RJ01 | Rejection of invention patent application after publication |