CN105931625A - 基于文字输入的说唱音乐自动生成方法 - Google Patents
基于文字输入的说唱音乐自动生成方法 Download PDFInfo
- Publication number
- CN105931625A CN105931625A CN201610253695.3A CN201610253695A CN105931625A CN 105931625 A CN105931625 A CN 105931625A CN 201610253695 A CN201610253695 A CN 201610253695A CN 105931625 A CN105931625 A CN 105931625A
- Authority
- CN
- China
- Prior art keywords
- riff
- method based
- generation method
- automatic generation
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/141—Riff, i.e. improvisation, e.g. repeated motif or phrase, automatically added to a piece, e.g. in real time
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明公开了一种基于文字输入的说唱音乐自动生成方法,包括以下步骤:S1.用户输入文本信息;S2.对文本信息进行分词,得到多个词组;S3.根据步骤S2中得到的词组从素材库中筛选出备选Riff;S4.将分词后的文本转换为分段语音;S5.向分段语音和备选Riff加入效果器;S6.输出说唱音乐。本发明通过机器学习等技术的帮助,使得普通大众能够参与到音乐制作、交互这种专业活动中创造属于自己的音乐,在此过程中用户只需输入文本信息,即可自动生成相应的说唱音乐。
Description
技术领域
本发明涉及音乐制作技术领域,特别是涉及一种基于文字输入的说唱音乐自动生成方法。
背景技术
回顾音乐的发展史,音乐的创作和交互方式从未发生过大的变化。在人类文明高度发展的今天,传统上音乐首先被专业人士创作出来,进而以磁带、CD、电台或互联网音频流等形式进入大众耳朵。现场演出会可能发生的部分即兴改编,或类似于“音乐背后的创作故事”等对话交流,音乐从被创作出来,直至在大众中传播之整个过程几乎不存在任何变化。同时,音乐本身和听众之间的交互也仅停留于“你写我听”的层面。由于听众类型、情绪、喜好等外在因素和音乐本身之间缺少感应传输媒介,音乐也无法随外界输入变化而变化。
近年来,在机器学习技术以及音频算法等前沿科技的驱动下,出现了PC端的音乐工作站及各类插件 (如Cubase,Protool,Ablton Live等)。Ablton Live的最新版本已支持音频文件的变速不变调以及分片操作。由于音频工作站专注于录音,缩混及后期制作,其使用局限于录音师、编曲、作曲等专业人士,其距离普通大众还很遥远。另外,音频工作站只负责提供“使用工具”,而无法胜任“创作工具”的角色。作为一种传递“人的想法”的媒介,音频工作站在人的指挥下,把人的想法落实到音乐上,把已经存在的demo加工成高品质歌曲(前提是编曲人员需要有完整的编曲思路,而音频工作站本身无法提供这种思路)。层出不穷的高质量插件(提供混响均衡等特殊音频处理)在效果上已经接近于硬件,这使得音频工作站的能力如虎添翼,然而迄今为止所有的音频工作站都无法实现“音乐自动生成”或交“互式音乐生成”。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于文字输入的说唱音乐自动生成方法,能够根据用户输入的文本信息,自动生成说唱音乐。
本发明的目的是通过以下技术方案来实现的:基于文字输入的说唱音乐自动生成方法,包括以下步骤:
S1.用户输入文本信息;
S2. 对文本信息进行分词,得到多个词组;
S3. 根据步骤S2中得到的词组从素材库中筛选出备选Riff;
S4.将分词后的文本转换为分段语音;
S5. 向分段语音和备选Riff加入效果器;
S6.输出说唱音乐。
所述步骤S3中,以步骤S2中得到的词组和配乐Riff之间、以及Riff和Riff之间在整体上协调性最大为目标,筛选素材库得到备选Riff。
所述协调性包括节奏型的和谐、速度的匹配和重音的吻合。
所述步骤S3和步骤S4之间还包括局部细调步骤S2中得到的各词组之间的相对位置的步骤。
所述步骤S4和S5之间还包括根据步骤S2中得到的各词组之间的相对位置对分段语音进行变速不变调操作。
所述步骤S3之前还包括建立素材库,并标注素材库中Riff的属性的步骤。
所述步骤S5中效果器包括混响效果器、镶边效果器、延迟效果器和回声效果器。
所述步骤S6之后还包括将说唱音乐分享到社交媒体的步骤。
本发明的有益效果是:本发明中,通过机器学习等技术的帮助,使得普通大众能够参与到音乐制作、交互这种专业活动中创造属于自己的音乐,在此过程中用户只需输入文本信息,即可自动生成相应的说唱音乐。
附图说明
图1为本发明基于文字输入的说唱音乐自动生成方法的流程图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
如图1所示,基于文字输入的说唱音乐自动生成方法,包括以下步骤:
S1.用户输入文本信息。
S2.对文本信息进行分词,得到多个词组。
S3.根据步骤S2中得到的词组从素材库中筛选出备选Riff(即粗筛)。
所述步骤S3中,以步骤S2中得到的词组和配乐Riff之间、以及Riff和Riff之间在整体上协调性最大为目标,筛选素材库得到备选Riff。本发明采用最优匹配算法实现分词后的文本和配乐Riff之间、以及Riff和Riff之间在整体上的协调性;本实施例中最优匹配算法采用基因配对算法,比如Blast算法。
所述协调性包括节奏型的和谐、速度的匹配和重音的吻合。
所述步骤S3之前还包括建立素材库,并标注素材库中Riff的属性的步骤。对Riff的属性进行标注的方式包括半监督学习方式和人工标注方式,本实施例中以半监督学习方式为主,结合人工标注,为素材库中存储的所有Riff添加标签,即进行标注(如鼓、吉他、贝司等Riff的速度、长度、根音、节奏型,以及情绪类型等)。
Riff包括Loop(如鼓、吉他、贝斯、弦乐、特殊音效等音频片段)和VST(包括midi文件和虚拟乐器采样),多个不同的Riff按音乐发挥在那的时间先后顺序排列构成一轨的Riff集,若干轨的Riff集(比如常见的鼓轨Riff集,吉他轨Riff集,贝斯轨Riff集,弦乐轨Riff集,特殊音效轨Riff集等)构成一首完整歌曲的音乐部分。
所述Riff的属性包括该Riff属于何种乐器、是什么拍子、速度、时长、最大时间拉伸/压缩比,以及Riff的风格(摇滚、民谣)、情绪(舒缓的、急躁的),或最适合出现于哪个乐段(引子部分、高潮部分、副歌部分)。
所述步骤S3和步骤S4之间还包括局部细调步骤S2中得到的各词组之间的相对位置的步骤。最大化文本和Riff在局部上的协调性(这里可加多种正则项至优化目标,以达到某些特殊目的)。
S4.根据分词后得到的各词组之间的相对位置信息,将分词后的文本转换为带节奏的分段语音。
所述步骤S4和S5之间还包括根据步骤S2中得到的各词组之间的相对位置对分段语音进行相应的变速不变调操作。本实施例中采用SOLA算法实现对分段语音的变速不变调操作,SOLA算法可以使一段语音在语调不发生变化的前提下,加快、减慢语音速度,被广泛用于复读机、语音扫描等领域,商用音高修正等软件中的核心组成部分是在保持语音速度不变的前提下,SOLA算法可用于提高、降低语音之音调。
S5.对分段语音和备选Riff,在一定的约束下,分别随机加入适度的效果器(效果器以插件形式存在,单独制作),以实现说唱在整体上的悦耳性和多样性。
所述步骤S5之前还包括创建效果器的步骤。
所述步骤S5中效果器包括混响效果器、镶边效果器、延迟效果器和回声效果器。
S6.输出说唱音乐。将分段语音和备选Riff进行排序组合,生成说唱音乐并输出。
所述步骤S6之后还包括将说唱音乐分享到社交媒体的步骤。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (8)
1.基于文字输入的说唱音乐自动生成方法,其特征在于:包括以下步骤:
S1.用户输入文本信息;
S2.对文本信息进行分词,得到多个词组;
S3.根据步骤S2中得到的词组从素材库中筛选出备选Riff;
S4.将分词后的文本转换为分段语音;
S5.向分段语音和备选Riff加入效果器;
S6.输出说唱音乐。
2.根据权利要求1所述的基于文字输入的说唱音乐自动生成方法,其特征在于:所述步骤S3中,以步骤S2中得到的词组和配乐Riff之间、以及Riff和Riff之间在整体上协调性最大为目标,筛选素材库得到备选Riff。
3.根据权利要求2所述的基于文字输入的说唱音乐自动生成方法,其特征在于:所述协调性包括节奏型的和谐、速度的匹配和重音的吻合。
4.根据权利要求1所述的基于文字输入的说唱音乐自动生成方法,其特征在于:所述步骤S3和步骤S4之间还包括局部细调步骤S2中得到的各词组之间的相对位置的步骤。
5.根据权利要求4所述的基于文字输入的说唱音乐自动生成方法,其特征在于:所述步骤S4和S5之间还包括根据步骤S2中得到的各词组之间的相对位置对分段语音进行变速不变调操作。
6.根据权利要求1所述的基于文字输入的说唱音乐自动生成方法,其特征在于:所述步骤S3之前还包括建立素材库,并标注素材库中Riff的属性的步骤。
7.根据权利要求1所述的基于文字输入的说唱音乐自动生成方法,其特征在于:所述步骤S5中效果器包括混响效果器、镶边效果器、延迟效果器和回声效果器。
8.根据权利要求1所述的基于文字输入的说唱音乐自动生成方法,其特征在于:所述步骤S6之后还包括将说唱音乐分享到社交媒体的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610253695.3A CN105931625A (zh) | 2016-04-22 | 2016-04-22 | 基于文字输入的说唱音乐自动生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610253695.3A CN105931625A (zh) | 2016-04-22 | 2016-04-22 | 基于文字输入的说唱音乐自动生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105931625A true CN105931625A (zh) | 2016-09-07 |
Family
ID=56839751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610253695.3A Pending CN105931625A (zh) | 2016-04-22 | 2016-04-22 | 基于文字输入的说唱音乐自动生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105931625A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121368A1 (zh) * | 2016-12-30 | 2018-07-05 | 阿里巴巴集团控股有限公司 | 一种歌词的配乐生成方法和相关装置 |
CN108648767A (zh) * | 2018-04-08 | 2018-10-12 | 中国传媒大学 | 一种流行歌曲情感综合与分类方法 |
CN111402843A (zh) * | 2020-03-23 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 说唱音乐生成方法、装置、可读介质及电子设备 |
WO2022012164A1 (zh) * | 2020-07-16 | 2022-01-20 | 百果园技术(新加坡)有限公司 | 将语音转换为说唱音乐的方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101399036A (zh) * | 2007-09-30 | 2009-04-01 | 三星电子株式会社 | 将语音转换为说唱音乐的设备和方法 |
CN101694772A (zh) * | 2009-10-21 | 2010-04-14 | 北京中星微电子有限公司 | 将文本文字转换成说唱音乐的方法及装置 |
CN103440862A (zh) * | 2013-08-16 | 2013-12-11 | 北京奇艺世纪科技有限公司 | 一种语音与音乐合成的方法、装置以及设备 |
-
2016
- 2016-04-22 CN CN201610253695.3A patent/CN105931625A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101399036A (zh) * | 2007-09-30 | 2009-04-01 | 三星电子株式会社 | 将语音转换为说唱音乐的设备和方法 |
CN101694772A (zh) * | 2009-10-21 | 2010-04-14 | 北京中星微电子有限公司 | 将文本文字转换成说唱音乐的方法及装置 |
CN103440862A (zh) * | 2013-08-16 | 2013-12-11 | 北京奇艺世纪科技有限公司 | 一种语音与音乐合成的方法、装置以及设备 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121368A1 (zh) * | 2016-12-30 | 2018-07-05 | 阿里巴巴集团控股有限公司 | 一种歌词的配乐生成方法和相关装置 |
CN108268530A (zh) * | 2016-12-30 | 2018-07-10 | 阿里巴巴集团控股有限公司 | 一种歌词的配乐生成方法和相关装置 |
CN108268530B (zh) * | 2016-12-30 | 2022-04-29 | 阿里巴巴集团控股有限公司 | 一种歌词的配乐生成方法和相关装置 |
CN108648767A (zh) * | 2018-04-08 | 2018-10-12 | 中国传媒大学 | 一种流行歌曲情感综合与分类方法 |
CN108648767B (zh) * | 2018-04-08 | 2021-11-05 | 中国传媒大学 | 一种流行歌曲情感综合与分类方法 |
CN111402843A (zh) * | 2020-03-23 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 说唱音乐生成方法、装置、可读介质及电子设备 |
CN111402843B (zh) * | 2020-03-23 | 2021-06-11 | 北京字节跳动网络技术有限公司 | 说唱音乐生成方法、装置、可读介质及电子设备 |
WO2022012164A1 (zh) * | 2020-07-16 | 2022-01-20 | 百果园技术(新加坡)有限公司 | 将语音转换为说唱音乐的方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Collins et al. | Electronic music | |
Henriques | Sonic bodies: Reggae sound systems, performance techniques, and ways of knowing | |
Eidsheim | Synthesizing race: Towards an analysis of the performativity of vocal timbre | |
Aleshinskaya | Key components of musical discourse analysis | |
Taylor | Voice, body and the transmission of the real in documentary theatre | |
Sallis et al. | Live-Electronic Music | |
CN105931625A (zh) | 基于文字输入的说唱音乐自动生成方法 | |
CN109741723A (zh) | 一种卡拉ok音效优化方法及卡拉ok装置 | |
Steinbeck | Intermusicality, Humor, and Cultural Critique in the Art Ensemble of Chicago's “A Jackson in Your House” | |
CN105976802A (zh) | 基于机器学习技术的音乐自动生成*** | |
von Coler et al. | CMMSD: A data set for note-level segmentation of monophonic music | |
CN105931624A (zh) | 基于语音输入的说唱音乐自动生成方法 | |
CN105976801A (zh) | 基于用户实时动作输入的纯音乐自动生成方法 | |
Huber et al. | Modern Recording Techniques: A Practical Guide to Modern Music Production | |
Fulton | The performer as historian: Black Messiah, To Pimp a Butterfly, and the matter of albums | |
Stevens | Teaching Electronic Music: Cultural, Creative, and Analytical Perspectives | |
Mukherjee | Early Indian talkies: Voice, performance and aura | |
Himonides | Mapping a beautiful voice: Theoretical considerations | |
Cushing | Three solitudes and a DJ: A mashed-up study of counterpoint in a digital realm | |
Adu-Gilmore | Studio improv as compositional process through case studies of Ghanaian hiplife and Afrobeats | |
Fragomeni | Optimality Theory and the Semiotic Triad: A New Approach for Songwriting, Sound Recording, and Artistic Analysis | |
Ninoshvili | The poetics of pop polyphony: Translating georgian Song for the World | |
McCourt | Aurality and the Actor in Filter Theatre's Twelfth Night | |
Clements | A Study of 21st-Century Works for Clarinet and Multimedia Featuring Three Newly Commissioned Works for Clarinet and Electronics with Visuals | |
Lamb | Old and New: Musical characteristics and effects of the Irish folk music movement of the twentieth century |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160907 |