CN112992106A - 基于手绘图形的音乐创作方法、装置、设备及介质 - Google Patents
基于手绘图形的音乐创作方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112992106A CN112992106A CN202110307587.0A CN202110307587A CN112992106A CN 112992106 A CN112992106 A CN 112992106A CN 202110307587 A CN202110307587 A CN 202110307587A CN 112992106 A CN112992106 A CN 112992106A
- Authority
- CN
- China
- Prior art keywords
- note
- pitch
- string
- nodes
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000001419 dependent effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 71
- 239000000203 mixture Substances 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/111—Automatic composing, i.e. using predefined musical rules
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明公开了一种基于手绘图形的音乐创作方法，包括：获取用户绘制的线条；对所述线条进行建模，得到所述线条对应的音调变化函数，其中，所述音调变化函数的自变量是时间，因变量是初始音调高度；根据所述音调变化函数中相邻时刻上的初始音调高度生成音符节点；按时间顺序组合所述音符节点，得到所述线条对应的音符串；根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度；按照所述音符串的音调高度对所述音符串进行音色匹配处理，得到所述音符串对应的音色信息；根据所述音符串、音符串的音调高度和音符串对应的音色信息生成音频文件。本发明解决了现有技术的音乐创作软件在创作音乐时存在时操作复杂、用户体验差的问题。
Description
技术领域
本发明属于信息技术领域，特别涉及基于手绘图形的音乐创作方法、装置、设备及介质。
背景技术
现有的音乐制作软件主要提供给专业的音乐人士使用，复杂的页面上铺满了陌生的图案和相对专业的英文缩写，虽然功能强大但对初学者或没有乐理知识的用户来说不够友好。很多用户使用音乐制作软件的动机可能只是简单的想体验音乐的制作过程，或者只是好奇心使然，这就造成了工具选人而不是人选工具的局面。不仅如此，在性能和存储方面，现有的音乐制作软件体积过于庞大，占用了大量的***磁盘空间，采用的算法比较复杂，性能欠佳。有时甚至需要处理上万个音符，对用户所使用的硬件设备要求较高，这就更加限制了音乐制作软件的使用场景。
发明内容
本发明实施例提供了基于手绘图形的音乐创作方法、装置、设备及介质，以解决现有技术在创作音乐时存在的操作复杂、性能欠佳的问题。
一种基于手绘图形的音乐创作方法，包括：
获取用户绘制的线条；
对所述线条进行建模，得到所述线条对应的音调变化函数，其中，所述音调变化函数的自变量是时间，因变量是初始音调高度；
根据所述音调变化函数的初始音调高度生成所述线条对应的音符串，所述音符串由若干个音符节点组成；
根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度；
根据所述音符串和所述音符串的音调高度生成音频文件。
可选地，所述根据所述音调变化函数的初始音调高度生成所述线条对应的音符串包括：
根据所述音调变化函数中相邻时刻上的初始音调高度生成音符节点；
按时间顺序组合所述音符节点，得到所述线条对应的音符串。
可选地，所述根据所述音调变化函数中相邻时刻上的初始音调高度生成音符节点包括：
获取所述音调变化函数中相邻时刻的初始音调高度，计算所述相邻时刻的初始音调高度之差；
将所述初始音调高度之差与所述音调变化函数的变分阈值进行比较，根据比较结果确定是否生成音符节点。
可选地，所述将所述初始音调高度之差与所述音调变化函数的变分阈值进行比较，根据比较结果确定是否生成音符节点包括：
当所述相邻时刻的初始音调高度之差大于所述变分阈值时，若音符节点已生成则保持所述音符节点，若音符节点未生成则生成音符节点；
当所述相邻时刻的初始音调高度之差小于所述变分阈值时，若音符节点已生成则关闭所述音符节点，若音符节点未生成则不生成音符节点。
可选地，所述根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度包括：
根据MIDI协议确定所述音符串中的每一个音符节点的音高值；
根据所述音符节点的音高值计算音符节点之间的关联概率，其中所述关联概率包括连续出现两个相同音符节点的概率、在预设区间内连续出现两个相同音符节点的概率和音符节点对应的和旋出现在相应小节位置上的概率；
根据所述音符节点之间的关联概率的贡献度计算所述音符串的音调高度。
可选地，所述根据所述音符节点之间的关联概率的贡献度计算所述音符串的音调高度包括：
计算所述关联概率的贡献度，根据所述关联概率的贡献度计算所述音符串的音调高度，其中，所述音符串的音调高度计算公式为：
F(N)＝w0sim(N)+w1seq1(N)+w2seq2(N)+w3harm(N)+w4ent(N)
在上式中，sim(N)表示所述音符串中音符节点的音高值与所述音调变化函数的相似度之和，seq1(N)表示连续出现两个相同音符节点的概率的贡献度，seq2(N)表示在预设区间内连续出现两个相同音符节点的概率的贡献度，harm(N)表示音符节点对应的和旋出现在相应小节位置上的概率的贡献度，ent(N)表示离散程度，w0表示所述音符串中音符节点的音高值与所述音调变化函数的相似度之和的权重，w1表示连续出现两个相同音符节点的概率的贡献度的权重，w2表示在某个区间内连续出现两个相同音符节点的概率的贡献度的权重，w3表示某一音符节点对应的和旋出现在相应小节位置上的概率的贡献度的权重，w4表示离散程度的权重。
可选地，所述根据所述音符串和所述音符串的音调高度生成音频文件包括：
按照所述音符串的音调高度对所述音符串进行音色匹配处理，得到所述音符串对应的音色信息；
根据所述音符串、音符串的音调高度和音符串对应的音色信息生成音频文件。
一种基于手绘图形的音乐创作装置，包括：
输入模块，用于获取用户绘制的线条；
图形建模模块，用于对所述线条进行建模，得到所述线条对应的音调变化函数，其中，所述音调变化函数的自变量是时间，因变量是初始音调高度；
音符串生成模块，用于根据所述音调变化函数的初始音调高度生成所述线条对应的音符串，所述音符串由若干个音符节点组成；
音调高度计算模块，用于根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度；
音频合成模块，用于根据所述音符串和所述音符串的音调高度生成音频文件。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述基于手绘图形的音乐创作方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述基于手绘图形的音乐创作方法。
本发明实施例通过获取用户绘制的线条，将所述线条转换为音符串，生成所述音符串对应的音调高度，根据所述音符串和所述音符串对应的音调高度生成音频文件，从而解决了现有技术在创作音乐时存在的操作复杂的问题，优化了音乐创作软件的性能，降低了创作音乐的难度，提高了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1本发明一实施例中基于手绘图形的音乐创作方法的流程图；
图2本发明一实施例中基于手绘图形的音乐创作方法中步骤S3的流程图；
图3本发明一实施例中基于手绘图形的音乐创作方法中步骤S31的流程图；
图4本发明一实施例中基于手绘图形的音乐创作方法中步骤S4的流程图；
图5本发明一实施例中基于手绘图形的音乐创作方法中步骤S5的流程图；
图6本发明一实施例中基于手绘图形的音乐创作装置的一原理框图；
图7本发明一实施例中基于手绘图形的音乐创作装置的音符串生成模块的一原理框图；
图8本发明一实施例中基于手绘图形的音乐创作装置的音调高度计算模块的一原理框图；
图9本发明一实施例中基于手绘图形的音乐创作装置的音频合成模块的一原理框图；
图10本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种基于手绘图形的音乐创作方法。以下将对本实施例提供的基于手绘图形的音乐创作方法进行详细的描述，如图1所示，所述基于手绘图形的音乐创作方法包括：
在步骤S1中，获取用户绘制的线条。
在这里，本发明实施例通过从传统的输入设备、触摸式输入设备或者其它类型的输入设备获取用户绘制的线条。比如，用户可以通过鼠标键盘等传统过的输入设备来绘制线条，也可以通过智能手机或者平板电脑的触摸屏来绘制线条，还可以使用电子笔在配套的输入面板上来绘制线条。用户在绘制线条时可以随意绘制，不需要具备专业的声乐知识。
在步骤S2中，对所述线条进行建模，得到所述线条对应的音调变化函数，其中，所述音调变化函数的自变量是时间，因变量是初始音调高度。
本实施例在获取用户绘制的线条后对线条进行分析，对线条建模得到用户绘制的线条的音调变化函数{y(t)}，规定所述音调变化函数{y(t)}中的x轴表示时间轴，y轴表示音调的高度，因此y(t)的值代表在t时刻上的点对应的初始音调高度，函数{y(t)}则表示的是初始音调高度随着时间变化的曲线函数。
在对用户绘制的线条建模得到音调变化函数{y(t)}之后，接下来需要给函数{y(t)}赋予音乐的属性，在本实施例中需要首先将函数{y(t)}转化成由一个一个的音符节点组成的音符串。
在步骤S3中，根据所述音调变化函数的初始音调高度生成所述线条对应的音符串，所述音符串由若干个音符节点组成。
在这里，音符和音调高度是一首乐曲的基本构成要素，本步骤中在获取用户绘制的线条后，首先将用户绘制的线条转换成一个个的音符节点，然后再确定每一个音符节点的音调高度，此步骤的目的在于给用户绘制的不规则的线条赋予音乐的基本属性。
可选地，作为本发明的一个优选示例，如图2所示，步骤S3根据所述音调变化函数的初始音调高度生成所述线条对应的音符串包括：
在步骤S31中，根据所述音调变化函数中相邻时刻上的初始音调高度生成音符节点。
本实施例通过分析音调变化函数{y(t)}相邻时刻上的函数值得到音调变化函数{y(t)}的波动情况，根据{y(t)}的波动情况采用音符开闭算法来确定音调变化函数{y(t)}中的各音符节点。
可选地，作为本发明的一个优选示例，如图3所示，步骤S31还包括：
在步骤S311中，获取所述音调变化函数中相邻时刻的初始音调高度，计算所述相邻时刻的初始音调高度之差。
本实施例通过计算所述相邻时刻的函数值之差来获取音调变化函数的波动情况，其中音调变化函数的函数值即为初始音调高度。
在步骤S312中，将所述初始音调高度之差与所述音调变化函数的变分阈值进行比较，根据比较结果确定是否生成音符节点。
本实施例中采用集合R'来记录音调变化函数的相邻时刻的函数值之差与预设的变分阈的比较结果，其中集合R'通过如下公式得到：
R'是一个含有若干个元素的集合，δ为所述音调变化函数的变分阈值，从集合R'的表达式可以看出，R'中元素的取值只有两种情况，即1或0。在本实施例中我们规定当R'中的元素值为1时表示音符节点开始，值为0时表示音符节点结束。
进一步的，在本步骤中，当所述初始音调高度之差大于所述变分阈值时，若音符节点已生成则保持所述音符节点，若音符节点未生成则生成音符节点。
在本实施例中，当所述函数值之差大于所述变分阈值时，此时对应于R'中的元素值为1时，表示为音符节点的开启，如果在此之前和本次相邻的R'中的元素值为1，则说明在此之前已经开启了音符节点，此时只需保持该音符节点处于开启状态即可。如果在此之前和本次相邻的R'中的元素值为0，则说明在此之前没有音符节点开启，此时需要生成一个音符节点，并且以该时刻作为该音符节点开启的节点。
进一步的，在本步骤中，当所述初始音调高度之差小于所述变分阈值时，若音符节点已生成则关闭所述音符节点，若音符节点未生成则不生成音符节点。
在本实施例中，当所述函数值之差小于所述变分阈值时，此时对应于R'中的元素值为0时，表示为音符节点的结束，如果在此之前和本次相邻的R'中的元素值为1，则说明在此之前已经开启了音符节点，此时需要结束该音符节点。如果在此之前和本次相邻的R'中的元素值为0，则说明在此之前没有音符节点开启，此时只需保持没有音符开启的状态即可。
在步骤S32中，按时间顺序组合所述音符节点，得到所述线条对应的音符串。
在本实施例中，在遍历完音调变化函数之后，就可以得到一组由若干个音符节点组成的音符串，我们用M＝(m0...mL-1)来表示音符串，其中mi表示音符串中的第i个音符节点，L表示音符串M中音符节点的个数。
进一步的，根据音调变化函数生成对应的音符串之后，还需要为音符串确定对应的音调高度。
在步骤S4中，根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度。
在本实施例中通过为音符串M匹配标准化的音调高度，并对其进行修正，得到最终的音符串的音调高度。其中标准化的音调高度是指符合乐器数字接口(MusicalInstrument Digital Interface，简称MIDI)协议的音调高度值。例如，在MIDI协议中规定标准音符C，C#，D，D#，E，F，F#，G，G#，A，A#，B对应的音高值分别为60，61，62，63，64，65，66，67，68，69，70，71。
可选地，作为本发明的一个优选示例，如图4所示，步骤S4还包括：
在步骤S41中，根据MIDI协议确定所述音符串中的每一个音符节点的音高值。
在本实施例中，将与所述每一个音符节点的初始音调高度最接近的标准音符的音高值作为该音符节点的音高值。
具体方法为：规定N＝(n0...nL-1)为音符串M＝(m0...mL-1)对应的音高值集合，ni为音符串M中第i个音符节点mi对应的音高值，ni的值为与函数值y(ti)最接近的标准音符所对应的音高值，y(ti)表示在音符节点mi开启的时刻ti的音调变化函数的函数值。例如，音符节点m1的开启时刻对应的音调变化函数y(t1)的值为66.8时，则将t1时刻开启的音符节点m1对应的数值n1确定为和66.8最接近的标准音符G的音高值67，如果音符节点m2的开启时刻对应的音调变化函数y(t2)的值刚好为66.5时，则随机从与66.5最接近的标准音符F#和G的音高值中选取一个作为该t2时刻开启的音符节点m2对应的音高值n2。以此类推，最后可以确定出音符串M＝(m0...mL-1)对应的音高值集合N＝(n0...nL-1)。
在步骤S42中，根据所述音符节点的音高值计算音符节点之间的关联概率，其中所述关联概率包括连续出现两个相同音符节点的概率、在预设区间内连续出现两个相同音符节点的概率和音符节点对应的和旋出现在相应小节位置上的概率。
根据前期大量的统计结果发现根据用户绘制的曲线产生的音符串的不同的音符节点之间存在一定的关联性就类似于语言中一些的文字之间的关联，因此通过分析各音符节点之间的关联关系可以为确定音符串的最终的音调高度提供帮助。
在本实施例中，采用机器学习中经典的语言模型来对各音符节点之间的关联关系进行训练和模拟，通过机器学习可以得到：连续出现两个相同音符节点的概率，用P(ni|ni-1)来表示；在预设区间内连续出现两个相同音符节点的概率，用P(ni-ni-1|ni-1-ni-2)来表示；音符节点对应的和旋出现在相应小节位置上的概率，用P(ni|ci,bi)来表示，其中ci表示在ti时刻的和弦名，bi表示在ti时刻的小节位置。
在步骤S43中，根据所述音符节点之间的关联概率的贡献度计算所述音符串的音调高度。
在本实施例中，所述音符串的音调高度计算公式为：
F(N)＝w0sim(N)+w1seq1(N)+w2seq2(N)+w3harm(N)+w4ent(N)
在上式中，
sim(N)表示所述音符串中音符节点的音高值与所述音调变化函数的相似度之和，
seq1(N)表示连续出现两个相同音符节点的概率的贡献度，
seq2(N)表示在预设区间内连续出现两个相同音符节点的概率的贡献度，
harm(N)表示音符节点对应的和旋出现在相应小节位置上的概率的贡献度，
ent(N)表示离散程度，
ent(N)＝-(H(N)-Hmean-ε)2
其中，w0表示所述音符串中音符节点的音高值与所述音调变化函数的相似度之和的权重，w1表示连续出现两个相同音符节点的概率的贡献度的权重，w2表示在某个区间内连续出现两个相同音符节点的概率的贡献度的权重，w3表示某一音符节点对应的和旋出现在相应小节位置上的概率的贡献度的权重，w4表示离散程度的权重，可以通过调整w0,w1,w2,w3,w4来调整F(N)的侧重点从而实现对计算结果的修正。H(N)是基于N的熵值，Hmean表示旋律的平均熵值，ε为调整参数，可以通过调整ε来调整离散程度。
本实施例通过图形建模将线条转化为音符串，然后通过基于机器学习的语言模型来得到音符节点关联关系，然后根据本实施例的算法计算得到音符串的音调高度，到此已经完成了对线条赋予了基本的音乐属性。而在此过程中用户只需要绘制线条而不需要做其他的任何操作，用户门槛降低，用户体验得到提升。
在步骤S5中，根据所述音符串和所述音符串的音调高度生成音频文件。
本实施例还需要解决如何将音符串转换成可以用于播放的音频的问题。
可选地，作为本发明的一个优选示例，如图5所示，步骤S5还包括：
在步骤S51中，按照所述音符串的音调高度对所述音符串进行音色匹配处理，得到所述音符串对应的音色信息。
音色，通俗的讲就是人们所听到的声音是什么样的，不同的发声体由于其材料、结构不同，则发出声音的音色也不同。同样的音调高度的音符节点匹配不同的音色可以发出不同的声音，例如钢琴、小提琴和人发出的声音不一样，每一个人发出的声音也不一样。因此，可以把音色理解为声音的特征。在本实施例中，采用SoundFont音色库根据音符串的音调高度给音符串匹配相应的音色。SoundFont音色库中存有各种符合MIDI标准的音色，基于音符串中的每个音符节点的音调信息都能够在SoundFont音色库中匹配到相应的音色。
为了进一步提升用户体验，本实施例还可以提供多种音色库供用户选择。
在步骤S52中，根据所述音符串、音符串的音调高度和音符串对应的音色信息生成音频文件。
在本实施例中将匹配过音色的音符串按照时间顺序排列，经过简单的格式转化便形成了最终的音频文件，用户可以实时试听该段音频。
本实施例中的这套基于手绘图形的音乐创作方法摒弃了复杂、冗余和繁琐的操作过程，能够让用户随心所欲地进行创作。本方法能够根据用户绘制出的线条模拟出相应的音符和音调并为其匹配音色，而这一过程耗时不到0.5s，这能给用户带来实时绘制，实时播放的流畅体验。其中的算法模型为图形分析和音频转换的成功提供了有力保障。这一套方法可以在不同的平台上运行，可以通过网页，也可以通过客户端，也可以通过小程序等，优化了音乐创作软件的性能。本实施例中的这套基于手绘图形的音乐创作方法让更多不懂音乐的用户加入创造音乐的行列，打破工具选人的局面。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于手绘图形的音乐创作装置，该音乐创作装置与上述实施例中的基于手绘图形的音乐创作方法一一对应。如图6所示，该音乐创作装置包括输入模块10、图形建模模块20、音符串生成模块30、音调高度计算模块40和音频合成模块50。各功能模块详细说明如下：
输入模块10，用于获取用户绘制的线条；
图形建模模块20，用于对所述线条进行建模，得到所述线条对应的音调变化函数，其中，所述音调变化函数的自变量是时间，因变量是初始音调高度；
音符串生成模块30，用于根据所述音调变化函数的初始音调高度生成所述线条对应的音符串，所述音符串由若干个音符节点组成；
音调高度计算模块40，根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度；
音频合成模块50，用于根据所述音符串和所述音符串的音调高度生成音频文件。
可选地，如图7所示，所述音符串生成模块30包括：
音符节点生成单元301，用于根据所述音调变化函数中相邻时刻上的初始音调高度生成音符节点；
音符串生成单元302，用于按时间顺序组合所述音符节点，得到所述线条对应的音符串。
可选地，所述音符节点生成单元301还包括：
函数值比较子单元，用于获取所述音调变化函数中相邻时刻的初始音调高度，计算所述相邻时刻的初始音调高度之差，然后将所述初始音调高度之差与所述音调变化函数的变分阈值进行比较；
音符节点开闭子单元，用于当所述初始音调高度之差大于所述变分阈值时，若音符节点已生成则保持所述音符节点，若音符节点未生成则生成音符节点；当所述初始音调高度之差小于所述变分阈值时，若音符节点已生成则关闭所述音符节点，若音符节点未生成则不生成音符节点。
可选地，如图8所示，所述音调高度计算模块40包括：
音高值确定单元401，用于根据MIDI协议确定所述音符串中的每一个音符节点的音高值；
音符节点关系计算单元402，用于根据所述音符节点的音高值计算音符节点之间的关联概率，其中所述关联概率包括连续出现两个相同音符节点的概率、在预设区间内连续出现两个相同音符节点和音符节点对应的和旋出现在相应小节位置上的概率；
音调高度计算单元403，用于根据所述音符节点之间的关联概率的贡献度计算所述音符串的音调高度，其中，所述音符串的音调高度计算公式为：
F(N)＝w0sim(N)+w1seq1(N)+w2seq2(N)+w3harm(N)+w4ent(N)
在上式中，sim(N)表示所述音符串中音符节点的音高值与所述音调变化函数的相似度之和，seq1(N)表示连续出现两个相同音符节点的概率的贡献度，seq2(N)表示在预设区间内连续出现两个相同音符节点的概率的贡献度，harm(N)表示音符节点对应的和旋出现在相应小节位置上的概率的贡献度，ent(N)表示离散程度，w0表示所述音符串中音符节点的音高值与所述音调变化函数的相似度之和的权重，w1表示连续出现两个相同音符节点的概率的贡献度的权重，w2表示在某个区间内连续出现两个相同音符节点的概率的贡献度的权重，w3表示某一音符节点对应的和旋出现在相应小节位置上的概率的贡献度的权重，w4表示离散程度的权重。
可选地，如图9所示，所述音频合成模块50包括：
音色匹配单元，用于按照所述音符串的音调高度对所述音符串进行音色匹配处理，得到所述音符串对应的音色信息；
音频生成单元，用于根据所述音符串、音符串的音调高度和音符串对应的音色信息生成音频文件。
在一个实施例中，提供一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于手绘图形的音乐创作方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取用户绘制的线条；
对所述线条进行建模，得到所述线条对应的音调变化函数，其中，所述音调变化函数的自变量是时间，因变量是初始音调高度；
根据所述音调变化函数的初始音调高度生成所述线条对应的音符串，所述音符串由若干个音符节点组成；
根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度；
根据所述音符串和所述音符串的音调高度生成音频文件。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于手绘图形的音乐创作方法，其特征在于，所述方法包括：
获取用户绘制的线条；
对所述线条进行建模，得到所述线条对应的音调变化函数，其中，所述音调变化函数的自变量是时间，因变量是初始音调高度；
根据所述音调变化函数的初始音调高度生成所述线条对应的音符串，所述音符串由若干个音符节点组成；
根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度；
根据所述音符串和所述音符串的音调高度生成音频文件。
2.如权利要求1所述的基于手绘图形的音乐创作方法，其特征在于，所述根据所述音调变化函数的初始音调高度生成所述线条对应的音符串包括：
根据所述音调变化函数中相邻时刻上的初始音调高度生成音符节点；
按时间顺序组合所述音符节点，得到所述线条对应的音符串。
3.如权利要求2所述的基于手绘图形的音乐创作方法，其特征在于，所述根据所述音调变化函数中相邻时刻上的初始音调高度生成音符节点包括：
获取所述音调变化函数中相邻时刻的初始音调高度，计算所述相邻时刻的初始音调高度之差；
将所述初始音调高度之差与所述音调变化函数的变分阈值进行比较，根据比较结果确定是否生成音符节点。
4.如权利要求3所述的基于手绘图形的音乐创作方法，其特征在于，所述将所述初始音调高度之差与所述音调变化函数的变分阈值进行比较，根据比较结果确定是否生成音符节点包括：
当所述相邻时刻的初始音调高度之差大于所述变分阈值时，若音符节点已生成则保持所述音符节点，若音符节点未生成则生成音符节点；
当所述相邻时刻的初始音调高度之差小于所述变分阈值时，若音符节点已生成则关闭所述音符节点，若音符节点未生成则不生成音符节点。
5.如权利要求1所述的基于手绘图形的音乐创作方法，其特征在于，所述根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度包括：
根据MIDI协议确定所述音符串中的每一个音符节点的音高值；
根据所述音符节点的音高值计算音符节点之间的关联概率，其中所述关联概率包括连续出现两个相同音符节点的概率、在预设区间内连续出现两个相同音符节点的概率和音符节点对应的和旋出现在相应小节位置上的概率；
根据所述音符节点之间的关联概率的贡献度计算所述音符串的音调高度。
6.如权利要求5所述的基于手绘图形的音乐创作方法，其特征在于，所述根据所述音符节点之间的关联概率的贡献度计算所述音符串的音调高度包括：
计算所述关联概率的贡献度，根据所述关联概率的贡献度计算所述音符串的音调高度，其中，所述音符串的音调高度计算公式为：
F(N)＝w0sim(N)+w1seq1(N)+w2seq2(N)+w3harm(N)+w4ent(N)
在上式中，sim(N)表示所述音符串中音符节点的音高值与所述音调变化函数的相似度之和，seq1(N)表示连续出现两个相同音符节点的概率的贡献度，seq2(N)表示在预设区间内连续出现两个相同音符节点的概率的贡献度，harm(N)表示音符节点对应的和旋出现在相应小节位置上的概率的贡献度，ent(N)表示离散程度，w0表示所述音符串中音符节点的音高值与所述音调变化函数的相似度之和的权重，w1表示连续出现两个相同音符节点的概率的贡献度的权重，w2表示在某个区间内连续出现两个相同音符节点的概率的贡献度的权重，w3表示某一音符节点对应的和旋出现在相应小节位置上的概率的贡献度的权重，w4表示离散程度的权重。
7.如权利要求1所述的基于手绘图形的音乐创作方法，其特征在于，所述根据所述音符串和所述音符串的音调高度生成音频文件包括：
按照所述音符串的音调高度对所述音符串进行音色匹配处理，得到所述音符串对应的音色信息；
根据所述音符串、音符串的音调高度和音符串对应的音色信息生成音频文件。
8.一种基于手绘图形的音乐创作装置，其特征在于，所述装置包括：
输入模块，用于获取用户绘制的线条；
图形建模模块，用于对所述线条进行建模，得到所述线条对应的音调变化函数，其中，所述音调变化函数的自变量是时间，因变量是初始音调高度；
音符串生成模块，用于根据所述音调变化函数的初始音调高度生成所述线条对应的音符串，所述音符串由若干个音符节点组成；
音调高度计算模块，用于根据所述音符串中的每一个音符节点的初始音调高度生成所述音符串的音调高度；
音频合成模块，用于根据所述音符串和所述音符串的音调高度生成音频文件。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于手绘图形的音乐创作方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于手绘图形的音乐创作方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110307587.0A CN112992106B (zh) | 2021-03-23 | 2021-03-23 | 基于手绘图形的音乐创作方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110307587.0A CN112992106B (zh) | 2021-03-23 | 2021-03-23 | 基于手绘图形的音乐创作方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112992106A true CN112992106A (zh) | 2021-06-18 |
| CN112992106B CN112992106B (zh) | 2024-06-25 |
Family
ID=76333056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110307587.0A Active CN112992106B (zh) | 2021-03-23 | 2021-03-23 | 基于手绘图形的音乐创作方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112992106B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002311951A (ja) * | 2001-04-12 | 2002-10-25 | Yamaha Corp | 自動作曲装置及び自動作曲プログラム |
| US20110004476A1 (en) * | 2009-07-02 | 2011-01-06 | Yamaha Corporation | Apparatus and Method for Creating Singing Synthesizing Database, and Pitch Curve Generation Apparatus and Method |
| JP2011158516A (ja) * | 2010-01-29 | 2011-08-18 | Ryukoku Univ | 自動編曲システム、および、自動編曲方法 |
| CN102289778A (zh) * | 2011-05-10 | 2011-12-21 | 南京大学 | 一种图像至音乐的转换方法 |
| CN106098058A (zh) * | 2016-06-23 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 音调线生成方法和装置 |
| CN110162659A (zh) * | 2019-05-27 | 2019-08-23 | 湖南工程学院 | 一种基于音高网络的定节奏新曲生成方法 |
-
2021
- 2021-03-23 CN CN202110307587.0A patent/CN112992106B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002311951A (ja) * | 2001-04-12 | 2002-10-25 | Yamaha Corp | 自動作曲装置及び自動作曲プログラム |
| US20110004476A1 (en) * | 2009-07-02 | 2011-01-06 | Yamaha Corporation | Apparatus and Method for Creating Singing Synthesizing Database, and Pitch Curve Generation Apparatus and Method |
| JP2011158516A (ja) * | 2010-01-29 | 2011-08-18 | Ryukoku Univ | 自動編曲システム、および、自動編曲方法 |
| CN102289778A (zh) * | 2011-05-10 | 2011-12-21 | 南京大学 | 一种图像至音乐的转换方法 |
| CN106098058A (zh) * | 2016-06-23 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 音调线生成方法和装置 |
| CN110162659A (zh) * | 2019-05-27 | 2019-08-23 | 湖南工程学院 | 一种基于音高网络的定节奏新曲生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112992106B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11562722B2 (en) | Cognitive music engine using unsupervised learning | |
| US5617486A (en) | Continuous reference adaptation in a pattern recognition system | |
| WO2020015153A1 (zh) | 为歌词文本生成乐曲的方法、装置及计算机可读存储介质 | |
| JP2017107228A (ja) | 歌声合成装置および歌声合成方法 | |
| JP2021056489A (ja) | 音声合成モデルのトレーニング方法、装置、電子機器及び記憶媒体 | |
| CN111613199B (zh) | 一种基于乐理与统计规则的midi序列生成装置 | |
| Nakamura et al. | Statistical piano reduction controlling performance difficulty | |
| Manzelli et al. | An end to end model for automatic music generation: Combining deep raw and symbolic audio networks | |
| JP2020003535A (ja) | プログラム、情報処理方法、電子機器、及び学習済みモデル | |
| CN113012665B (zh) | 音乐生成方法及音乐生成模型的训练方法 | |
| US20220301528A1 (en) | Systems, Devices, and Methods for Harmonic Structure in Digital Representations of Music | |
| JP7124373B2 (ja) | 学習装置、音響生成装置、方法及びプログラム | |
| CN112992106B (zh) | 基于手绘图形的音乐创作方法、装置、设备及介质 | |
| JP4945465B2 (ja) | 音声情報処理装置及びその方法 | |
| CN115810341A (zh) | 音频合成方法、装置、设备以及介质 | |
| WO2022244818A1 (ja) | 機械学習モデルを用いた音生成方法および音生成装置 | |
| CN113488007B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| CN106205572A (zh) | 音符序列生成方法及装置 | |
| US20230419932A1 (en) | Information processing device and control method thereof | |
| Roy et al. | TrAP: An Interactive System to Generate Valid Raga Phrases from Sound-Tracings. | |
| WO2022244403A1 (ja) | 楽譜作成装置、訓練装置、楽譜作成方法および訓練方法 | |
| Arunnehru et al. | Chord Craft: Exploring Musical Frontiers with Machine Learning | |
| CN117672258A (zh) | 基频生成方法、计算机设备和计算机可读存储介质 | |
| CN116486765A (zh) | 歌声生成方法、计算机设备和存储介质 | |
| Jiang | Generating Musical Compositions through a Data-Driven Approach along with Static Implementations of Theoretical Principles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |