CN111223470A - 音频处理方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种音频处理方法、装置及电子设备，其中，方法包括：获取目标音频的MIDI文件；根据所述MIDI文件调取与所述目标音频对应的乐器伴奏素材，并展示与所述伴奏素材对应的按键；基于所述按键上的触控信息播放与所述触控信息对应的伴奏音频；获取所述伴奏音频和演唱的干声音频，并将所述干声音频与所述伴奏音频合并，得到弹唱音频。在用户录制歌曲时，可以基于自己弹奏的音频进行伴奏，可以实现用户自弹自唱的录制效果，可以实现乐器与唱功不足的用户达到很好的自弹自唱的录制效果。

Description

音频处理方法、装置及电子设备

技术领域

本发明涉及音频技术领域，具体涉及到一种音频处理方法、装置及电子设备。

背景技术

对于喜爱唱歌的用户，K歌类应用已经成为手机、平板电脑等电子设备上安装的热门应用。示例性的，用户打开K歌类应用后可选择需要录制的歌曲，进而，K歌类应用可加载歌曲的伴奏，并调用手机上的麦克风等拾音组件录制用户演唱该歌曲的音频，从而把用户自己的歌声融入在K歌类应用提供的伴奏中。

现有技术中的音乐类产品，大都是用户选择相应的歌曲进行播放，或者是用户选择相应的音乐伴奏并跟随音乐伴奏及字幕进行演唱，在社交形式上，用户可以将唱好的歌曲分享到社交网站上。存在的缺陷在于与用户互动方式比较单一，缺乏趣味性，不能充分发掘用户的创造性、参与性。普通用户一般没有经过专业的声音和乐器训练，因此，乐器与唱功技巧不足的用户录制歌曲时仍然无法达到很好的录制效果。

发明内容

本发明实施例要解决的技术问题为如何提高音频录制效果和趣味性。

根据第一方面，本发明实施例提供了一种音频处理方法，包括：获取目标音频的MIDI文件；根据所述MIDI文件调取与所述目标音频对应的乐器伴奏素材，并展示与所述伴奏素材对应的按键；基于所述按键上的触控信息播放与所述触控信息对应的伴奏音频；获取所述伴奏音频和演唱的干声音频，并将所述干声音频与所述伴奏音频合并，得到弹唱音频。

可选地，所述获取目标音频的MIDI文件包括：获取用户的选择指令，所述选择指令用于在待选音频中选择目标音频；基于用户选择指令确定所述目标音频对应的MIDI文件。

可选地，所述根据所述MIDI文件调取与所述目标音频对应的乐器伴奏素材包括：获取MIDI文件的第一特征信息；获取所述乐器伴奏素材的第二特征信息；依据所述第一特征信息和所述第二特征信息查找与所述目标音频对应的乐器伴奏素材。

可选地，所述展示与所述伴奏素材对应的按键包括：依据所述MIDI文件和所述伴奏素材展示所述目标音频对应的歌名、歌词、乐器类型、弹奏键盘以及弹奏提示信息中的至少之一。

可选地，所述第一特征信息包括：与所述MIDI文件对应的音频的第一节拍信息、第一速度信息、调号信息、段落信息以及和声信息中的至少一种；和/或所述第二特征信包括与所述乐器对应的第二速度信息，第二节拍信息，第二和声信息以及演奏方式信息中的至少一种。

可选地，在基于所述按键上的触控信息播放与所述触控信息对应的伴奏音频之前包括：基于所述按键上的触控信息生成与所述触控信息对应的弹奏展示信息；对所述弹奏展示信息进行缓存/存储。

可选地，在所述得到弹唱音频之后包括：输出视频录制提示信息；基于用户视频录制选择指令，将所述弹唱音频作为背景音乐进行视频录制，得到弹唱视频。

可选地，在所述得到弹唱音频之后包括：发布所述弹唱音频。

根据第二方面，本发明实施例提供了一种音频处理装置，包括：获取模块，获取目标音频的MIDI文件；调取模块，用于根据所述MIDI文件调取与所述目标音频对应的乐器伴奏素材，并展示与所述伴奏素材对应的按键；播放模块，用于基于所述按键上的触控信息播放与所述触控信息对应的伴奏音频；合并模块，用于获取所述伴奏音频和演唱的干声音频，并将所述干声音频与所述伴奏音频合并，得到弹唱音频。

根据第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述第一方面任意一项所述的音频处理方法。

根据第四方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述第一方面任一项所述的音频处理方法。

基于目标音频的MIDI文件调取的乐器伴奏素材，并展示该伴奏素材对应的按键，用户每次触发该按键时，会播放该次触发时对应的伴奏音频，只需用户按照提示对案件进行触控即可弹奏伴奏音频，同时获取伴奏音频和用户的演唱干声音频，并将干声音频与所述伴奏音频合并，得到弹唱音频，在用户录制歌曲时，可以基于自己弹奏的音频进行伴奏，可以实现用户自弹自唱的录制效果，可以实现乐器与唱功不足的用户达到很好的自弹自唱的录制效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本实施例的音频处理方法的示意图；

图2示出了本发明实施例的音频处理装置的示意图；

图3示出了本发明实施例的电子设备的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种音频处理方法。该音频处理方法可以实现用户自弹自唱，将用户演奏的乐器伴奏音频与用户演唱的干音音频合并为弹唱音频，以便用户创作自弹自唱的作品。具体的，该音频处理方法可以在电子设备上进行，该电子设备可以包括移动终端，例如，手机、平板电脑以及智能穿戴设备或AR/VR等设备。具体的，用户可以根据电子设备的提示信息进行自弹自唱生成弹唱音频，弹唱音频回放、发表、搜索等功能，具体的，如图1所示，该音频处理方法可以包括如下步骤：

S11.获取目标音频的MIDI文件。在本实施例中，目标音频文件可以为待演唱的歌曲，具有第一特征信息，该第一特征信息可以包括：与所述MIDI文件对应的音频的第一节拍信息、第一速度信息、调号信息、段落信息以及和声信息中的至少一种。在本实施例中，第一特征信息可以用于拆分歌曲段落。在本实施例中，MIDI文件可以为预先制作好的，具体的MIDI文件可以包括四个轨道数据，分别为：音阶轨，音高轨(可以含歌词)，和弦轨，歌曲结构轨。制作midi时，需要按要求指定正确的轨道顺序和轨道名称。

S12.根据所述MIDI文件调取与所述目标音频对应的乐器伴奏素材，并展示与所述伴奏素材对应的按键。在本实施例中，乐器伴奏素材可以具有第二特征信息，该第二特征信息可以包括：与所述乐器伴奏素材对应的第二速度信息，第二节拍信息，第二和声信息以及演奏方式信息中的至少一种。在本实施例中，可以实现制作乐器伴奏素材库，具体的，可以根据不同乐器制作音频伴奏素材库片段，素材片段根据不同速度，不同节拍，不同和声，不同演奏方式进行制作。具体的，可以基于第一特征信息和第二特征信息对目标音频对应的乐器伴奏素材进行调用。并展示给用户与伴奏素材对应的按键。在本实施例中，所称按键可以为电子设备显示界面上的虚拟按键，该虚拟按键可以通过用户对电子设备显示界面的触控事件响应，以被触发，进而输出与所述按键对应的弹奏信息。作为示例性的实施例，该虚拟按键可以设置为与所述伴奏素材对应的乐器弹奏按键的相似的形状或与样式以便用户“弹奏”。作为示例性的实施例，在调取与所述目标音频对应的乐器伴奏素材后，可以依据MIDI对应的目标音频和乐器伴奏素材向用户展示弹奏提示信息，以目标音频为歌曲为例，在电子设备的显示界面上可以展示歌曲的歌词以提示演唱对应的歌曲段落。同时在歌词区域展示弹奏点，演唱到歌词中的弹奏点对应的字时，用户可以按下对应的案件，以进行弹奏。具体的，弹奏点上的提示信息可以与用户当前需要按的案件的具有相同或相应的颜色/提示码等提示信息。具体的，在电子设备的显示界面上展示的与伴奏素材对应的按键，具体的，由于需要弹奏的点较多，在本实施例中，按键数量可以少于弹奏点的数量，每一按键表征多个弹奏点。

S13.基于所述按键上的触控信息播放与所述触控信息对应的伴奏音频。作为示例性的实施例，用户在根据提示信息在电子设备的显示画面中的虚拟按键上“弹奏”按键时，通过响应用户的触发事件。得到对应案件的触控信息，基于所述按键上的触控信息生成与触控信息对应的伴奏音频，在本实施例中，伴奏音频与调取的伴奏素材可以相同，也可以不同，需要根据用户的触控信息生成伴奏音频。

S14.获取所述伴奏音频和演唱的干声音频，并将所述干声音频与所述伴奏音频合并，得到弹唱音频。在开始演唱之后，可以提示用户可以显示的歌词进行演唱，发出演唱的干音音频，获取演唱的干音音频和基于用户的触控信息播放的伴奏音频，可以利用常规的音频合成方法将干音音频和伴奏音频合并，从而生成带有用户弹奏的伴奏音频的演唱音频文件。

基于目标音频的MIDI文件调取的乐器伴奏素材，并展示该伴奏素材对应的按键，用户每次触发该按键时，会播放该次触发时对应的伴奏音频，只需用户按照提示对案件进行触控即可弹奏伴奏音频，同时获取伴奏音频和用户的演唱干声音频，并将干声音频与所述伴奏音频合并，得到弹唱音频，在用户录制歌曲时，可以基于自己弹奏的音频进行伴奏，可以实现用户自弹自唱的录制效果，可以实现乐器与唱功不足的用户达到很好的自弹自唱的录制效果。

作为示例性的实施例，对于MIDI文件的制作具体可以为：MIDI文件可以包括四轨道数据，音阶轨，音高轨(可以含歌词)，和弦轨，歌曲结构轨。在制作MIDI时，需要按要求指定正确的轨道顺序和轨道名称。具体的，在音阶轨制作时，把音阶中的音符纵向排列在音阶轨道最开始的地方，持续时间不限。对于高音轨，可以把音符按节奏放到高音轨中，把歌词按音符嵌入到高音轨里；具体的，歌词每句开始的第一个字前面可以加上开始标识，用于只是某一句歌词的开始。对于和弦轨，可以将有人声演唱的部分记录和弦；歌曲中如果出现不完整和弦段落，比如只有双音(甚至单音)，这时需根据歌曲和弦走向，可以根据和弦内容并补齐缺少的和弦音。在本实施例中可以根据原唱的实际音域对目标音频进行音域范围标记。作为另一实施例，和弦需要把根音放至最低音，上方和弦的其他组成音不规定排列顺序，示例性的，如Dm7可标注为:D-F-A-C，D-A-C-F等(确保D置于最低音即可)；当和弦变更时，前后有共同音的和弦，可以按两个和弦单独记录，不可持续保持共同音；和弦在小节内的持续时间没有要求；当一个和弦持续时长跨小节时，可以保持该和弦至和弦结束，也可以每小节分开标注；有和声的小节必须有和弦覆盖，如果一个小节没有任何音覆盖的话，就认为这个小节没有和声。和弦开始的位置需要和歌词开始的位置对应上；如果和弦出现的位置不在歌词演唱的时间范围内，该和弦可以不与歌词对齐(例如最后一个结束和弦不一定要和歌词对齐)。对于歌曲结构轨，可以先为歌曲结构划分段落。根据歌曲的主体结构和旋律线的主题，只划分主歌(A1)、副歌(B1)、间奏(C1)和过渡段(D1)四种结构；同一类型的段落用统一的标记标注即可，不需要对段落的反复次数做特殊加标，例如：一首歌的结构为主歌，主歌，副歌，间奏，主歌，副歌，过渡段，在Mark轨里面这样显示：线上的显示为：A1，A2，B1，C1，A3，B2，D1(同一类型的段落每重复一次，***自动在数字后+1)。作为示例性的实施例，也可以预先制作乐器素材库，具体的，可以根据节拍类型，乐器类型，和弦类型等特征信息进行制作。

作为示例性的实施例，对应获取目标音频的MIDI文件采用如下方式进行：

获取用户的选择指令，所述选择指令用于在待选音频中选择目标音频；基于用户选择指令确定所述目标音频对应的MIDI文件。在本实施例中，目标音频可以以歌曲为例，可以在电子设备的显示界面上展示有歌名、歌词、乐器设置、演奏键盘、特殊演奏功能按钮、节奏型切换按钮、开始等信息。具体的，该电子设备可以开始时获取用户的权限，可以基于用户在电子设备上的选择指令，选择目标音频。具体的，在电子设备的显示画面中，可以显示用户选择目标音频的按键，在用户触控该案件后，可以获取用户对应的触发信息，以确定用户选择的目标音频。

下面将对音频处理方法的流程进行详细的介绍，在本实施例中，可以以目标音频为歌曲为例，该音频处理方法可以在电子设备上进行，具体的该电子设备可以为移动终端，例如智能手机、平板电脑、智能穿戴设备中的至少之一。具体的，该电子设备可以包括用户显示的显示屏幕和用于与用户交互的触控板，具体的，该显示屏幕与触控板可以为集成为电子设备的屏幕上，用户可以通过触控电子设备的屏幕与电子设备进行交互。具体的，用户通过触控事件选择目标音频，在选择目标音频后，确定所述目标音频对应的MIDI文件，根据所述MIDI文件调取与所述目标音频对应的乐器伴奏素材，并展示与所述伴奏素材对应的按键；具体的，用户根据歌词提示演唱对应的歌曲段落，歌词展示和弦弹奏点，演唱到该字时，按下对应的乐器和弦按键进行弹奏，在用户弹奏时触控该屏幕形成触控信息，基于所述按键上的触控信息播放与所述触控信息对应的伴奏音频；同时用户可以根据提示记性演唱，电子设备的录音模块获取所述伴奏音频和演唱的干声音频，之后，将所述干声音频与所述伴奏音频合并，得到弹唱音频。

在得到弹唱音频后，可以开启录屏功能，具体的该录屏功能可以依据用户选择的授权信息进行，在用户开启录屏权限后，在对该歌曲进行弹奏时，可以获取屏幕上案件的动作，并记录，同时将播放的用户弹奏的信息和用户演唱的干音音频合并形成弹唱音频，同时合并至录制的视频中，形成用户的弹唱录屏视频。具体的，该实施例中，包括用户引导方法，可以根据目标音频对应的乐器伴奏素材，将当前需要弹奏的案件显示为可触控按键，其他案件显示为不可触控按键。以便用户能够根据引导方法进行弹唱。

具体的，在所述得到弹唱音频之后，可以输出视频录制提示信息；

基于用户视频录制选择指令，即获取到用户的录制权限后，将所述弹唱音频作为背景音乐进行视频录制，得到弹唱视频并保存。

在本实施例中，可以根据用户可以根据歌星、歌名、歌词进行搜索，搜索结果的关键词需要高亮展示。搜索结果按照歌星>歌名>歌词的优先级进行排序。用户可以点击搜索结果直接进入预览页播放该作品的导唱音频。

作为示例性的实施例，在得到弹唱音频后，还可以通过网络将所述弹唱音频进行发布，并可以对该弹唱音频进行回放，具体的可以通过用户的对应的触控信息，加载需回放的弹唱音频，并自动开始播放，演奏键盘，按照歌曲播放进度，自动展示按下/弹起效果，按键展示光效，特殊乐器有特殊演奏功能按钮，一期涉及乐器吉他，展示拍弦按钮，按照播放进度展示拍弦按钮的按下/弹起效果。

在发布之后，可以根据该弹唱音频的热度(热度可以依据点击量、播放量等信息确定)对弹唱音频进行排行，用户可以根据该排行，选择目标弹唱音频作为导唱音频。

本发明实施例提供了一种音频处理装置，如图2所示，该装置可以包括：获取模块10，获取目标音频的MIDI文件；调取模块20，用于根据所述MIDI文件调取与所述目标音频对应的乐器伴奏素材，并展示与所述伴奏素材对应的按键；播放模块30，用于基于所述按键上的触控信息播放与所述触控信息对应的伴奏音频；合并模块40，用于获取所述伴奏音频和演唱的干声音频，并将所述干声音频与所述伴奏音频合并，得到弹唱音频。

本发明实施例提供了一种电子设备，如图3所示，该电子设备包括一个或多个处理器31以及存储器32，图3中以一个处理器33为例。

该控制器还可以包括：输入装置33和输出装置34。

处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接，图3中以通过总线连接为例。

处理器31可以为中央处理器(CentralProcessingUnit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的控制方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的音频处理方法。

存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置33可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。

一个或者多个模块存储在存储器32中，当被一个或者多个处理器31执行时，执行如图1所示的方法。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种音频处理方法，其特征在于，包括：

获取目标音频的MIDI文件；

根据所述MIDI文件调取与所述目标音频对应的乐器伴奏素材，并展示与所述伴奏素材对应的按键；

基于所述按键上的触控信息播放与所述触控信息对应的伴奏音频；

获取所述伴奏音频和演唱的干声音频，并将所述干声音频与所述伴奏音频合并，得到弹唱音频。

2.如权利要求1所述的音频处理方法，其特征在于，所述获取目标音频的MIDI文件包括：

获取用户的选择指令，所述选择指令用于在待选音频中选择目标音频；

基于用户选择指令确定所述目标音频对应的MIDI文件。

3.如权利要求1所述的音频处理方法，其特征在于，所述根据所述MIDI文件调取与所述目标音频对应的乐器伴奏素材包括：

获取MIDI文件的第一特征信息；

获取所述乐器伴奏素材的第二特征信息；

依据所述第一特征信息和所述第二特征信息查找与所述目标音频对应的乐器伴奏素材。

4.如权利要求1所述的音频处理方法，其特征在于，所述展示与所述伴奏素材对应的按键包括：

依据所述MIDI文件和所述伴奏素材展示所述目标音频对应的歌名、歌词、乐器类型、弹奏键盘以及弹奏提示信息中的至少之一。

5.如权利要求3所述的音频处理方法，其特征在于，所述MIDI文件包括：与所述MIDI文件对应的音频的第一节拍信息、第一速度信息、调号信息、段落信息以及和声信息中的至少一种；和/或

所述乐器伴奏素材包括与所述乐器对应的第二速度信息，第二节拍信息，第二和声信息以及演奏方式信息中的至少一种。

6.如权利要求1所述的音频处理方法，其特征在于，在基于所述按键上的触控信息播放与所述触控信息对应的伴奏音频之前包括：

基于所述按键上的触控信息生成与所述触控信息对应的弹奏展示信息；

对所述弹奏展示信息进行缓存/存储。

7.如权利要求1所述的音频处理方法，其特征在于，在所述得到弹唱音频之后包括：

输出视频录制提示信息；

基于用户视频录制选择指令，将所述弹唱音频作为背景音乐进行视频录制，得到弹唱视频。

8.如权利要求1所述的音频处理方法，其特征在于，在所述得到弹唱音频之后包括：

发布所述弹唱音频。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-8任意一项所述的音频处理方法。

10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-8任一项所述的音频处理方法。

Images