CN109949783A - 歌曲合成方法及*** - Google Patents

歌曲合成方法及*** Download PDF

Info

Publication number
CN109949783A
CN109949783A CN201910188123.5A CN201910188123A CN109949783A CN 109949783 A CN109949783 A CN 109949783A CN 201910188123 A CN201910188123 A CN 201910188123A CN 109949783 A CN109949783 A CN 109949783A
Authority
CN
China
Prior art keywords
audio
song
lyrics
user
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910188123.5A
Other languages
English (en)
Other versions
CN109949783B (zh
Inventor
初敏
杜斌
杨喜鹏
陈博
刘亚祝
游永彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sipic Technology Co Ltd
Original Assignee
AI Speech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AI Speech Ltd filed Critical AI Speech Ltd
Publication of CN109949783A publication Critical patent/CN109949783A/zh
Application granted granted Critical
Publication of CN109949783B publication Critical patent/CN109949783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种歌曲合成方法,包括:获取歌词音频,所述歌词音频为对应于待合成歌曲的歌词诵读音频;获取对应于当前所述待合成歌曲的目标歌曲干音;获取对应于所述目标歌曲干音的目标音频特征;根据所述目标音频特征对所述歌词音频的音频特征进行调整以得到相应的歌曲音频;将所述歌曲音频与相应的背景音乐进行合成得到歌曲。本发明实施例的歌曲合成方法只需要用户诵读歌词,就能够根据用户的诵读音频合成用户想要唱的歌曲。用户无需具备任何歌唱功底,也无需了解任何韵律知识,只需要将歌词读出即可得到用自己的声音演唱出的歌曲。

Description

歌曲合成方法及***
技术领域
本发明涉及语音合成技术领域,尤其涉及一种歌曲合成方法、***、电子设备及存储介质。
背景技术
目前市面上的歌曲的合成技术方案有:乐谱合成:根据曲谱和说话人大量语音训练的模型来合成出歌曲。特征转换合成:通过改变声音的停顿和时长来修改歌声的旋律,这种方案只能合成比较简单的歌曲,如rap风格的歌曲。
这两种方案中,第一种方案需要大量的用户数据训练模型,成本高,实用性不好,而且音频的机械感较强。第二种方案对一些如戏腔、颤音等的传唱难度较高的歌曲没办法合成。
相似技术目前的缺陷有:非实时歌曲合成,可合成任意歌曲,但合成有机械音,并且模型训练成本高;实时歌曲合成仅特定几种歌曲类型。
发明内容
本发明实施例提供一种歌曲合成方法及***,用于至少解决上述技术问题之一。
第一方面,本发明实施例提供一种歌曲合成方法,包括:
获取歌词音频,所述歌词音频为对应于待合成歌曲的歌词诵读音频;
获取对应于当前所述待合成歌曲的目标歌曲干音;
获取对应于所述目标歌曲干音的目标音频特征;
根据所述目标音频特征对所述歌词音频的音频特征进行调整以得到相应的歌曲音频;
将所述歌曲音频与相应的背景音乐进行合成得到歌曲。
第二方面,本发明实施例提供一种歌曲合成***,包括:
音频获取程序模块,用于获取歌词音频,所述歌词音频为对应于待合成歌曲的歌词诵读音频;
干音获取程序模块,用于获取对应于当前所述待合成歌曲的目标歌曲干音;
特征获取程序模块,用于获取对应于所述目标歌曲干音的目标音频特征;
特征调整程序模块,用于根据所述目标音频特征对所述歌词音频的音频特征进行调整以得到相应的歌曲音频;
音频合成程序模块,用于将所述歌曲音频与相应的背景音乐进行合成得到歌曲。
第三方面,本发明实施例提供一种存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本发明上述任一项歌曲合成方法。
第四方面,提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明上述任一项歌曲合成方法。
第五方面,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一项歌曲合成方法。
本发明实施例的有益效果在于:本发明实施例的歌曲合成方法只需要用户诵读歌词,就能够根据用户的诵读音频合成用户想要唱的歌曲。用户无需具备任何歌唱功底,也无需了解任何韵律知识,只需要将歌词读出即可得到用自己的声音演唱出的歌曲。而且由于本发明实施例中获取模拟用户音色的用户歌曲干音的源数据是该用户自己诵读歌词的音频数据,所以只需要按照标准歌曲干音的音频特征对用户诵读歌词的音频数据进行适应性调整即可,简化了歌曲合成方法,降低了歌曲合成的技术难度,并且极大的提升了歌曲合成的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明中的歌曲合成方法的一实施例的流程图;
图2为本发明中的歌曲合成***的一实施例的原理框图;
图3为本发明中的读句成歌产品的执行方法流程图;
图4为本发明中的读句成歌中歌曲合成技术流程图;
图5为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中,“模块”、“装置”、“***”等指应用于计算机的相关实体,如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说,例如,元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有,运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中,并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间,并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号,例如,来自一个与本地***、分布式***中另一元件交互的,和/或在因特网的网络通过信号与其它***交互的数据的信号通过本地和/或远程过程来进行通信。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1所示,为本发明实施例所提供的一种歌曲合成方法,该方法包括:S10、获取歌词音频,所述歌词音频为对应于待合成歌曲的歌词诵读音频。示例性地,可以是用户按照待合成歌曲的歌词进行诵读得到的诵读音频或者是基于用户的历史音频数据模拟合成得到的诵读音频,本发明对此不作限定。
S20、获取对应于当前所述待合成歌曲的目标歌曲干音;示例性地,从所述歌曲库中获取对应于所述待合成歌曲的目标歌曲干音。其中,歌曲库为预先构建,歌曲库中存储有多个待合成歌曲的歌曲干音。
S30、获取对应于所述目标歌曲干音的目标音频特征;目标音频特征为预先构建歌曲库中一并存储的。目标音频特征包括目标歌曲干音中的每个词的声韵母信息的基频,具体地,提取目标歌曲干音中的基频,并且进一步获取目标歌曲干音中的每个词的基频。
S40、根据所述目标音频特征对所述歌词音频的音频特征进行调整以得到相应的歌曲音频;
S50、将所述歌曲音频与相应的背景音乐进行合成得到歌曲。
本发明实施例的歌曲合成方法只需要用户诵读歌词,就能够根据用户的诵读音频合成用户想要唱的歌曲。用户无需具备任何歌唱功底,也无需了解任何韵律知识,只需要将歌词读出即可得到用自己的声音演唱出的任意类型、任意风格的歌曲。
示例性地,一方面,用户选择想要合成的歌曲以获得相应的歌词,用户诵读歌词并获得音频数据;另一方面,从预先构建的曲库中获取用户选择歌曲的歌曲干音和背景音乐;进一步获取歌曲干音的音频特征(即,标准音频特征),从而根据音频特征对用户诵读歌词获得的音频数据进行调整以得到符合用户音色的用户歌曲干音;最后,将用户歌曲干音与背景音乐合成歌曲。
而且由于本发明实施例中获取模拟用户音色的用户歌曲干音的源数据是该用户自己诵读歌词的音频数据,所以只需要按照标准歌曲干音的音频特征对用户诵读歌词的音频数据进行适应性调整即可,简化了歌曲合成方法,降低了歌曲合成的技术难度,并且极大的提升了歌曲合成的效率。
在一些实施例中,本发明的歌曲合成方法还包括:根据所述歌词音频获取用户音频的音频切分信息,所述音频切分信息包括音素切分信息和/或音节切分信息和/或声韵母切分信息;
所述根据所述目标音频特征对所述歌词音频的音频特征进行调整以得到相应的歌曲音频包括:将所述目标音频特征、所述音频切分信息和所述歌词音频输入至自适应模型以得到相应的歌曲音频。
示例性地,所述将所述目标音频特征、所述音频切分信息和所述歌词音频输入至自适应模型以得到相应的歌曲音频包括:
将所述歌词音频和音频切分信息输入至预先训练好的声学自适应模型以对所述歌词音频进行自适应处理;
将所述目标音频特征输入至预先训练好的歌曲韵律模型以得到韵律参数;
根据所述韵律参数对自适应处理之后的歌词音频进行调整以得到相应的歌曲音频。
本发明的歌曲合成方法从一段用户读出的语音到形成个性化的歌曲,从技术角度来说,分为2大处理阶段,即语音识别与语音合成,后者又再细分为两部分,即声学模型加持、韵律模型调节韵律参数。所谓声学模型加持,通俗来说就是,收集用户的声音数据,形成训练模型,再通过个性化学习后,让生成歌曲的音色像用户本人。韵律模型调节韵律参数,则是控制每个音的长短、高低,让旋律对上音拍,自然流畅起来。随后,将韵律参数和频谱参数结合,生成歌声,一段采用用户的音色演绎的、旋律似原唱的片段就合成好了。整个流程下来,1~2秒即可合成成功。
在一些实施例中,在获取歌词音频之后还包括:
检测所述歌词音频是否正确对应于相应歌词;示例性地,检测歌词音频中用户所读的每一个字是否正确,例如,“爱我中华”中的“中”字的读音可能读成了“zong”,这时就是出现了错误的读词。
如果否,则进一步确定所述歌词音频中错误的词;如果是则继续后续歌曲合成步骤S20-S50。
根据所述歌词音频确定对应于所述当前用户的用户音频特征;示例性地,从用户诵读的歌词音频中提取出能够代表用户的用户音频特征,以用户合成正确的读音或者将错误的读音调整为正确的读音。
根据所述用户音频特征修正所述错误的词以得到正确对应于相应歌词的歌词音频,并顺序执行步骤S20-S50。
本实施例可以在用户读歌词出现错误的时候自动对错误的内容进行修正,以保证歌曲合成的顺利进行,无需用户重新诵读歌词。
在一些实施例中,在获取歌词音频之后还包括:
检测所述歌词音频是否正确对应于相应歌词;示例性地,检测歌词音频中用户所读的每一个字是否正确,例如,“爱我中华”中的“中”字的读音可能读成了“zong”,这时就是出现了错误的读词。
如果否,则进一步确定所述歌词音频中错误的词;如果是则继续后续歌曲合成步骤S20-S50。
将所确定的错误的词呈现给用户,并引导用户单独诵读该错误的词;
获得用户单独诵读该错误的词的修正音频;
根据所述修正音频和所述歌词音频确定正确的歌词音频,并顺序执行步骤S20-S50。
本实施例可以在用户读歌词出现错误的时候自动识别出错误的内容并单独引导用户重新诵读错误部分,无需用户重新诵读整段歌词,即保证了合成歌曲的顺利进行也提升了用户体验,而且也避免了用户重新诵读整段歌词而导致的整个歌曲合成时间冗长的情况。
在一些实施例中,在获取歌词音频之前还包括:
获取用户属性信息,所述用户属性信息包括用户性别、用户年龄;
根据所述用户属性信息生成待合成歌曲推荐列表;
所述获取歌词音频包括:
根据用户的选择操作确定待合成歌曲,并将所述待合成歌曲的歌词呈现给用户;
检测并获取用户诵读所述待合成歌曲的歌词音频。
本实施例中根据用户的属性信息来为用户推荐适合的歌曲列表,方便用户快速获取感兴趣的歌曲,提升用户在进行歌曲合成操作中的体验。
如图2所示,本发明实施例还提供一种歌曲合成***200,该***包括:
音频获取程序模块210,用于获取歌词音频,所述歌词音频为对应于待合成歌曲的歌词诵读音频;
干音获取程序模块220,用于获取对应于当前所述待合成歌曲的目标歌曲干音;
特征获取程序模块230,用于获取对应于所述目标歌曲干音的目标音频特征;
特征调整程序模块240,用于根据所述目标音频特征对所述歌词音频的音频特征进行调整以得到相应的歌曲音频;
音频合成程序模块250,用于将所述歌曲音频与相应的背景音乐进行合成得到歌曲。
上述本发明实施例的歌曲合成***可用于执行本发明实施例的歌曲合成方法,并相应的达到上述本发明实施例的实现歌曲合成方法所达到的技术效果,这里不再赘述。本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明提出一种支持任意歌曲的高自然度歌曲实时合成技术方案,该方案分为离线和在线两个部分。
离线部分的作用是构建曲库数据,首先找专业歌手录制需要合成转换的歌曲干音和背景音乐,切割歌曲干音以得到用作合成的歌曲片段。标注出歌曲干音中每一个字的声韵母信息,然后提取歌曲干音(为一段音频数据)的基频,对声韵母的基频进行修正。有一些声韵母(unvoice)的基频为0,有一些声韵母(voice)的基频不为0,如***音的基频都为0,因此考虑到目前提取基频工具可能会不准的原因,对声韵母的基频数据进行调整。
其中,歌曲干音指的是去掉背景音乐的歌曲声音。歌曲干音的获取方式并不一定仅仅采用录制的方式,可以采用技术现有成熟的手段从现有的歌曲中剥离得到歌曲干音和背景音乐。例如,能够利用回声消除(不限于此方法)等技术消除大部分背景音乐的歌曲音频,即歌曲干音。
切割的方式采用针对每一个音节切分或者对每一个音素进行切分或者切分声韵母信息。例如,一个音频文件唱的是“爱我中华”那我们会得到“爱我中华”的整段的基频,然后利用人工的方式对“爱”、“我”、“中”、“华”四个字的声韵母等信息进行切分(切分音节合音素也是同理)。
在线部分,首先是数据预处理阶段,通过语音识别技术对音频数据(例如,用户所诵读的待合成歌曲的歌词的歌词音频)进行校对,检测音频数据是否与歌词相对应,并利用大数据中的深度学习模型得到用户音频的音素切分信息。
然后对音频数据进行降噪、端点检测、UV(Unvoice voice)基频修复等处理。将音素切分信息、曲库中歌曲特征以及音频数据,一并送入训练好的自适应模型(自适应模型是指用来调整用户读句音频的特征,将其调整到歌曲的旋律上,训练数据是大量精确标注的语音数据和切分标注信息)中进行数据匹配,使得用户音频特征与歌曲特征相吻合。
通过信号处理或者大数据驱动的方式对变换之后的音频特征进行后处理,使得变换后的音频在发音特点上更接近于自然人歌唱的音频,并在最后合入背景音乐。
基于本发明设计并可以实现一种“读句成歌”的玩法方案:由用户输入歌词文本的包括但不限于自然人声、合成音、拼接音、录制音数据等到***,输出得到用户音色合成的歌曲。对于合成音支持但不限于打分激励、朋友圈歌曲祝福、歌曲投票。
基于本发明的方法能够实现任意歌曲的“读句成歌”歌曲合成。采用基于信号驱动或者大数据驱动语音模型对用户音频信号点进行预测和处理,在保证用户音色和语义的前提下,将用户的声音调整至歌曲的音调和音节上,支持任意歌曲的“读句成歌”声合成。
如图3所示,为本发明中的读句成歌产品的执行方法流程,包括以下步骤:
步骤1:进入程序界面,填写或选择用户信息(包含但不限于性别和年龄),生成曲库列表。
步骤2:选择要合成的歌曲,上传音频包含但不限于自然人声、合成音、拼接音、录制音等。
步骤3:音频数据质量校对(功能可有可无),正确进行歌曲合成,错误重新录制。
步骤4:用户获取合成歌曲音频,可对音频进行包括但不限于的操作,如:播放歌曲、分享歌曲、歌曲投票、下载歌曲等。
如图4所示,为本发明中的读句成歌中歌曲合成技术流程,包括以下步骤:
步骤1:曲库歌曲资源加载,包括但不限于歌词、乐谱、信号或通用大数据模型,针对不同人群、歌曲种类、环境的自适应模型,经验性调整参数。
步骤2:数据预处理,包括但不限于降噪、语音识别、端点检测、说话人特性分析(性别等)、音频质量校验、语言模型自适应。实现对音频数据的文本校对、静音段端点检测、激励段规整等。
步骤3:通过信号驱动或大数据驱动的语音信号模型,通过特征处理和预测,或者信号点的处理或预测,在保留说话人音色和语义的情况下,将用户音频的音调变换成指定歌曲的音调及对应的音节,使得更符合歌曲的真实乐谱。
步骤4:通过信号处理或者大数据驱动的方式对变换之后的音频进行后处理,使得变换后的音频在发音特点上更接近于自然人歌唱的音频。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作合并,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在一些实施例中,本发明实施例提供一种非易失性计算机可读存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本发明上述任一项歌曲合成方法。
在一些实施例中,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一项歌曲合成方法。
在一些实施例中,本发明实施例还提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行歌曲合成方法。
在一些实施例中,本发明实施例还提供一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时歌曲合成方法。
图5是本申请另一实施例提供的执行歌曲合成方法的电子设备的硬件结构示意图,如图5所示,该设备包括:
一个或多个处理器510以及存储器520,图5中以一个处理器510为例。
执行歌曲合成方法的设备还可以包括:输入装置530和输出装置540。
处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接,图5中以通过总线连接为例。
存储器520作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的歌曲合成方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例歌曲合成方法。
存储器520可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据歌曲合成装置的使用所创建的数据等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器520可选包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至歌曲合成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可接收输入的数字或字符信息,以及产生与歌曲合成装置的用户设置以及功能控制有关的信号。输出装置540可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器520中,当被所述一个或者多个处理器510执行时,执行上述任意方法实施例中的歌曲合成方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、***总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种歌曲合成方法,包括:
获取歌词音频,所述歌词音频为对应于待合成歌曲的歌词诵读音频;
获取对应于当前所述待合成歌曲的目标歌曲干音;
获取对应于所述目标歌曲干音的目标音频特征;
根据所述目标音频特征对所述歌词音频的音频特征进行调整以得到相应的歌曲音频;
将所述歌曲音频与相应的背景音乐进行合成得到歌曲。
2.根据权利要求1所述的方法,其中,还包括预先构建歌曲库,所述歌曲库中存储有多个待合成歌曲的歌曲干音;
所述获取对应于当前所述待合成歌曲的目标歌曲干音包括:从所述歌曲库中获取对应于所述待合成歌曲的目标歌曲干音。
3.根据权利要求2所述的方法,其中,还包括根据所述歌词音频获取用户音频的音频切分信息;
所述根据所述目标音频特征对所述歌词音频的音频特征进行调整以得到相应的歌曲音频包括:
将所述目标音频特征、所述音频切分信息和所述歌词音频输入至自适应模型以得到相应的歌曲音频。
4.根据权利要求3所述的方法,其中,所述将所述目标音频特征、所述音频切分信息和所述歌词音频输入至自适应模型以得到相应的歌曲音频包括:
将所述歌词音频和音频切分信息输入至预先训练好的声学自适应模型以对所述歌词音频进行自适应处理;
将所述目标音频特征输入至预先训练好的歌曲韵律模型以得到韵律参数;
根据所述韵律参数对自适应处理之后的歌词音频进行调整以得到相应的歌曲音频。
5.根据权利要求3或4所述的方法,其中,所述音频切分信息包括音素切分信息和/或音节切分信息和/或声韵母切分信息。
6.根据权利要求1所述的方法,其中,在获取歌词音频之后还包括:
检测所述歌词音频是否正确对应于相应歌词;
如果否,则进一步确定所述歌词音频中错误的词;
根据所述歌词音频确定对应于当前用户的用户音频特征;
根据所述用户音频特征修正所述错误的词以得到正确对应于相应歌词的歌词音频。
7.根据权利要求1所述的方法,其中,在获取歌词音频之前还包括:
获取用户属性信息,所述用户属性信息包括用户性别、用户年龄;
根据所述用户属性信息生成待合成歌曲推荐列表;
所述获取歌词音频包括:
根据用户的选择操作确定待合成歌曲,并将所述待合成歌曲的歌词呈现给用户;
检测并获取用户诵读所述待合成歌曲的歌词音频。
8.一种歌曲合成***,包括:
音频获取程序模块,用于获取歌词音频,所述歌词音频为对应于待合成歌曲的歌词诵读音频;
干音获取程序模块,用于获取对应于当前所述待合成歌曲的目标歌曲干音;
特征获取程序模块,用于获取对应于所述目标歌曲干音的目标音频特征;
特征调整程序模块,用于根据所述目标音频特征对所述歌词音频的音频特征进行调整以得到相应的歌曲音频;
音频合成程序模块,用于将所述歌曲音频与相应的背景音乐进行合成得到歌曲。
9.一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任意一项所述方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任意一项所述方法的步骤。
CN201910188123.5A 2019-01-18 2019-03-13 歌曲合成方法及*** Active CN109949783B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019100483550 2019-01-18
CN201910048355 2019-01-18

Publications (2)

Publication Number Publication Date
CN109949783A true CN109949783A (zh) 2019-06-28
CN109949783B CN109949783B (zh) 2021-01-29

Family

ID=67009722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910188123.5A Active CN109949783B (zh) 2019-01-18 2019-03-13 歌曲合成方法及***

Country Status (1)

Country Link
CN (1) CN109949783B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110600034A (zh) * 2019-09-12 2019-12-20 广州酷狗计算机科技有限公司 歌声生成方法、装置、设备及存储介质
CN111488485A (zh) * 2020-04-16 2020-08-04 北京雷石天地电子技术有限公司 基于卷积神经网络的音乐推荐方法、存储介质和电子装置
CN111554267A (zh) * 2020-04-23 2020-08-18 北京字节跳动网络技术有限公司 音频合成方法、装置、电子设备和计算机可读介质
CN112164387A (zh) * 2020-09-22 2021-01-01 腾讯音乐娱乐科技(深圳)有限公司 音频合成方法、装置及电子设备和计算机可读存储介质
CN112289300A (zh) * 2020-10-28 2021-01-29 腾讯音乐娱乐科技(深圳)有限公司 音频处理方法、装置及电子设备和计算机可读存储介质
CN112309351A (zh) * 2019-07-31 2021-02-02 武汉Tcl集团工业研究院有限公司 一种歌曲生成方法、装置、智能终端及存储介质
CN112331234A (zh) * 2020-10-27 2021-02-05 北京百度网讯科技有限公司 歌曲多媒体的合成方法、装置、电子设备及存储介质
CN112417201A (zh) * 2019-08-22 2021-02-26 北京峰趣互联网信息服务有限公司 音频信息推送方法、***、电子设备和计算机可读介质
CN112669849A (zh) * 2020-12-18 2021-04-16 百度国际科技(深圳)有限公司 用于输出信息的方法、装置、设备以及存储介质
CN112750422A (zh) * 2020-12-23 2021-05-04 出门问问(苏州)信息科技有限公司 一种歌声合成方法、装置及设备
CN113160849A (zh) * 2021-03-03 2021-07-23 腾讯音乐娱乐科技(深圳)有限公司 歌声合成方法、装置及电子设备和计算机可读存储介质
CN113488007A (zh) * 2021-07-07 2021-10-08 北京灵动音科技有限公司 信息处理方法、装置、电子设备及存储介质
CN113539215A (zh) * 2020-12-29 2021-10-22 腾讯科技(深圳)有限公司 音乐风格转换方法、装置、设备及存储介质
CN113555001A (zh) * 2021-07-23 2021-10-26 平安科技(深圳)有限公司 歌声合成方法、装置、计算机设备及存储介质
CN114863898A (zh) * 2021-02-04 2022-08-05 广州汽车集团股份有限公司 一种车辆卡拉ok音频处理方法及***、存储介质
CN115910002A (zh) * 2023-01-06 2023-04-04 之江实验室 一种音频生成的方法、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788589A (zh) * 2016-05-04 2016-07-20 腾讯科技(深圳)有限公司 一种音频数据的处理方法及装置
CN106971704A (zh) * 2017-04-27 2017-07-21 维沃移动通信有限公司 一种音频处理方法及移动终端
CN108538302A (zh) * 2018-03-16 2018-09-14 广州酷狗计算机科技有限公司 合成音频的方法和装置
CN108877766A (zh) * 2018-07-03 2018-11-23 百度在线网络技术(北京)有限公司 歌曲合成方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788589A (zh) * 2016-05-04 2016-07-20 腾讯科技(深圳)有限公司 一种音频数据的处理方法及装置
CN106971704A (zh) * 2017-04-27 2017-07-21 维沃移动通信有限公司 一种音频处理方法及移动终端
CN108538302A (zh) * 2018-03-16 2018-09-14 广州酷狗计算机科技有限公司 合成音频的方法和装置
CN108877766A (zh) * 2018-07-03 2018-11-23 百度在线网络技术(北京)有限公司 歌曲合成方法、装置、设备及存储介质

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309351A (zh) * 2019-07-31 2021-02-02 武汉Tcl集团工业研究院有限公司 一种歌曲生成方法、装置、智能终端及存储介质
CN112417201A (zh) * 2019-08-22 2021-02-26 北京峰趣互联网信息服务有限公司 音频信息推送方法、***、电子设备和计算机可读介质
CN110600034B (zh) * 2019-09-12 2021-12-03 广州酷狗计算机科技有限公司 歌声生成方法、装置、设备及存储介质
CN110600034A (zh) * 2019-09-12 2019-12-20 广州酷狗计算机科技有限公司 歌声生成方法、装置、设备及存储介质
CN111488485B (zh) * 2020-04-16 2023-11-17 北京雷石天地电子技术有限公司 基于卷积神经网络的音乐推荐方法、存储介质和电子装置
CN111488485A (zh) * 2020-04-16 2020-08-04 北京雷石天地电子技术有限公司 基于卷积神经网络的音乐推荐方法、存储介质和电子装置
CN111554267A (zh) * 2020-04-23 2020-08-18 北京字节跳动网络技术有限公司 音频合成方法、装置、电子设备和计算机可读介质
CN112164387A (zh) * 2020-09-22 2021-01-01 腾讯音乐娱乐科技(深圳)有限公司 音频合成方法、装置及电子设备和计算机可读存储介质
CN112331234A (zh) * 2020-10-27 2021-02-05 北京百度网讯科技有限公司 歌曲多媒体的合成方法、装置、电子设备及存储介质
CN112289300B (zh) * 2020-10-28 2024-01-09 腾讯音乐娱乐科技(深圳)有限公司 音频处理方法、装置及电子设备和计算机可读存储介质
WO2022089097A1 (zh) * 2020-10-28 2022-05-05 腾讯音乐娱乐科技(深圳)有限公司 音频处理方法、装置及电子设备和计算机可读存储介质
CN112289300A (zh) * 2020-10-28 2021-01-29 腾讯音乐娱乐科技(深圳)有限公司 音频处理方法、装置及电子设备和计算机可读存储介质
CN112669849A (zh) * 2020-12-18 2021-04-16 百度国际科技(深圳)有限公司 用于输出信息的方法、装置、设备以及存储介质
CN112750422A (zh) * 2020-12-23 2021-05-04 出门问问(苏州)信息科技有限公司 一种歌声合成方法、装置及设备
CN112750422B (zh) * 2020-12-23 2023-01-31 出门问问创新科技有限公司 一种歌声合成方法、装置及设备
CN113539215A (zh) * 2020-12-29 2021-10-22 腾讯科技(深圳)有限公司 音乐风格转换方法、装置、设备及存储介质
CN113539215B (zh) * 2020-12-29 2024-01-12 腾讯科技(深圳)有限公司 音乐风格转换方法、装置、设备及存储介质
CN114863898A (zh) * 2021-02-04 2022-08-05 广州汽车集团股份有限公司 一种车辆卡拉ok音频处理方法及***、存储介质
CN113160849A (zh) * 2021-03-03 2021-07-23 腾讯音乐娱乐科技(深圳)有限公司 歌声合成方法、装置及电子设备和计算机可读存储介质
CN113160849B (zh) * 2021-03-03 2024-05-14 腾讯音乐娱乐科技(深圳)有限公司 歌声合成方法、装置及电子设备和计算机可读存储介质
CN113488007A (zh) * 2021-07-07 2021-10-08 北京灵动音科技有限公司 信息处理方法、装置、电子设备及存储介质
CN113488007B (zh) * 2021-07-07 2024-06-11 北京灵动音科技有限公司 信息处理方法、装置、电子设备及存储介质
CN113555001A (zh) * 2021-07-23 2021-10-26 平安科技(深圳)有限公司 歌声合成方法、装置、计算机设备及存储介质
CN115910002A (zh) * 2023-01-06 2023-04-04 之江实验室 一种音频生成的方法、存储介质及电子设备

Also Published As

Publication number Publication date
CN109949783B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN109949783A (zh) 歌曲合成方法及***
CN108962217B (zh) 语音合成方法及相关设备
CN108806655B (zh) 歌曲的自动生成
CN108806656B (zh) 歌曲的自动生成
JP5293460B2 (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
JP6004358B1 (ja) 音声合成装置および音声合成方法
CN110148427A (zh) 音频处理方法、装置、***、存储介质、终端及服务器
CN105206258A (zh) 声学模型的生成方法和装置及语音合成方法和装置
CN107516511A (zh) 意图识别和情绪的文本到语音学习***
CN105304080A (zh) 语音合成装置及方法
US9355634B2 (en) Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon
CN108831437A (zh) 一种歌声生成方法、装置、终端和存储介质
JP2011028230A (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
CN104040618A (zh) 用于制作更和谐音乐伴奏以及用于将效果链应用于乐曲的***和方法
CN110364140A (zh) 歌声合成模型的训练方法、装置、计算机设备以及存储介质
CN112164379A (zh) 音频文件生成方法、装置、设备及计算机可读存储介质
US20150149178A1 (en) System and method for data-driven intonation generation
JP2017111372A (ja) 音声合成方法、音声合成制御方法、音声合成装置および音声合成制御装置
CN110246489A (zh) 用于儿童的语音识别方法及***
EP3975167A1 (en) Electronic musical instrument, control method for electronic musical instrument, and storage medium
CN108172211B (zh) 可调节的波形拼接***及方法
Goto Singing information processing
KR20220165666A (ko) 자연어로 표현된 스타일 태그를 이용한 합성 음성 생성 방법 및 시스템
CN105895079A (zh) 语音数据的处理方法和装置
JP2013164609A (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu.

Patentee after: Sipic Technology Co.,Ltd.

Address before: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu.

Patentee before: AI SPEECH Ltd.