CN118072701A - 音频处理方法、计算机设备和存储介质 - Google Patents
音频处理方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN118072701A CN118072701A CN202311362177.1A CN202311362177A CN118072701A CN 118072701 A CN118072701 A CN 118072701A CN 202311362177 A CN202311362177 A CN 202311362177A CN 118072701 A CN118072701 A CN 118072701A
- Authority
- CN
- China
- Prior art keywords
- audio
- audio signal
- sub
- track
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 38
- 230000005236 sound signal Effects 0.000 claims abstract description 543
- 238000012545 processing Methods 0.000 claims abstract description 349
- 230000000694 effects Effects 0.000 claims abstract description 149
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012937 correction Methods 0.000 claims abstract description 22
- 238000009499 grossing Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 21
- 238000000926 separation method Methods 0.000 claims description 18
- 239000012634 fragment Substances 0.000 claims description 12
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000630 rising effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Landscapes
- Stereophonic System (AREA)
Abstract
本申请涉及一种音频处理方法、计算机设备和存储介质。所述方法包括:获取待处理的原始音频信号,对原始音频信号进行分离,得到多轨子音频信号;按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到多轨子音频信号各自对应的处理音频信号;确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,根据每轨子音频信号与对应的处理音频信号之间的能量差异信息,对每轨处理音频信号进行修正处理,得到多轨修正音频信号;对多轨修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号。采用本方法能够降低音效处理得到的音频的失真度。
Description
技术领域
本申请涉及音频处理技术领域,特别是涉及一种音频处理方法、计算机设备、存储介质和计算机程序产品。
背景技术
现如今,用户的个性化听歌需求越来越大,因此,诞生了针对已发布的成品音乐的音效处理。
相关技术中,在对成品音乐进行音效处理时,通常是先对成品音乐进行线性增益的衰减,从而在音频中预留出能够进行音效处理的空间,然后再对线性增益衰减后的音频进行音效处理。
然而,一方面,线性增益的衰减会破坏各个声源之间的平衡;另一方面,线性增益的衰减在整个音频内始终是一个固定值,如果以主歌段作为标准预设衰减值,那么副歌段的满幅度很容易引起信号过载从而导致音频失真,如果以副歌段作为标准预设衰减值,那么主歌段的响度相比原来的成品音乐会有大幅度的降低;因此,相关技术中针对成品音乐的音效处理方法,会导致音效处理得到的音频的失真度较高。
发明内容
基于此,有必要针对上述音效处理得到的音频的失真度较高的技术问题,提供一种能够降低音效处理得到的音频的失真度的音频处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种音频处理方法,包括:
获取待处理的原始音频信号,对所述原始音频信号进行分离,得到多轨子音频信号;
按照各轨子音频信号的需求信息,分别对所述各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的处理音频信号;
确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,根据所述每轨子音频信号与对应的处理音频信号之间的能量差异信息,对所述每轨处理音频信号进行修正处理,得到多轨修正音频信号;
对所述多轨修正音频信号进行叠加处理,得到所述原始音频信号对应的目标音频信号。
在其中一个实施例中,所述确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,包括:
针对每轨子音频信号,根据预设的片段长度,将所述子音频信号划分为多个第一音频信号片段,将所述子音频信号对应的处理音频信号划分为与各个第一音频信号片段对应的多个第二音频信号片段;
基于所述子音频信号的各个第一音频信号片段的第一音频能量,和所述处理音频信号的各个第二音频信号片段的第二音频能量,得到所述子音频信号与所述处理音频信号之间的能量差异信息。
在其中一个实施例中,所述预设的片段长度为所述原始音频信号对应的音频帧长度,所述第一音频信号片段为第一音频帧,所述第二音频信号片段为第二音频帧;
所述基于所述子音频信号的各个第一音频信号片段的第一音频能量,和所述处理音频信号的各个第二音频信号片段的第二音频能量,得到所述子音频信号与所述处理音频信号之间的能量差异信息,包括:
针对每个第一音频帧,根据所述第一音频帧的第一音频能量与对应的第二音频帧的第二音频能量,确定所述第一音频帧与所述第二音频帧之间的能量比值;
基于各个第一音频帧与对应的第二音频帧之间的能量比值,得到所述子音频信号与所述处理音频信号之间的能量差异信息。
在其中一个实施例中,在获取待处理的原始音频信号,对所述原始音频信号进行分离,得到多轨子音频信号之后,还包括:
分别对各轨子音频信号进行平滑处理,得到所述多轨子音频信号各自对应的平滑子音频信号;
所述按照各轨子音频信号的需求信息,分别对所述各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的处理音频信号,包括:
按照所述各轨子音频信号的需求信息,分别对所述各轨子音频信号对应的平滑子音频信号进行音效处理,得到所述各轨子音频信号各自对应的处理音频信号。
在其中一个实施例中,在确定每轨子音频信号与对应的处理音频信号之间的能量差异信息之前,还包括:
分别对各轨处理音频信号进行平滑处理,得到所述各轨处理音频信号各自对应的平滑处理音频信号;
所述确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,包括:
确定每轨子音频信号对应的平滑子音频信号,与所述每轨子音频信号对应的处理音频信号的平滑处理音频信号之间的能量差异信息,作为所述每轨子音频信号与对应的处理音频信号之间的能量差异信息。
在其中一个实施例中,所述对所述多轨修正音频信号进行叠加处理,得到所述原始音频信号对应的目标音频信号,包括:
在同一时间轴下对所述多轨修正音频信号进行叠加处理,得到所述原始音频信号对应的目标音频信号。
在其中一个实施例中,其特征在于,所述对所述原始音频信号进行分离,得到多轨子音频信号,包括:
按照不同声源的频谱特征,对所述原始音频信号进行声源分离处理,得到所述原始音频信号在各个声源下的子音频信号。
在其中一个实施例中,所述按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的处理音频信号,包括:
确定被触发的音效模式;
确定所述各个声源在所述音效模式下的需求信息;
按照所述各个声源在所述音效模式下的需求信息,分别对所述各个声源下的子音频信号进行音效处理,得到所述各个声源下的处理音频信号。
第二方面,本申请还提供了一种音频处理方法,包括:
获取待处理的原始音频信号,对所述原始音频信号进行分离,得到多轨子音频信号;
按照各轨子音频信号的需求信息,分别对所述各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的第一处理音频信号;
从所述各轨子音频信号中,确定出对应的音效处理为线性音效处理的目标子音频信号;
确定每轨目标子音频信号与对应的第一处理音频信号之间的能量差异信息,根据所述每轨目标子音频信号与对应的第一处理音频信号之间的能量差异信息,对所述每轨目标子音频信号进行调整,得到多个调整后的子音频信号;
分别对各个调整后的子音频信号进行所述音效处理,得到所述多个调整后的子音频信号各自对应的第二处理音频信号;
根据多个第二处理音频信号,得到所述原始音频信号对应的目标音频信号。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理的原始音频信号,对所述原始音频信号进行分离,得到多轨子音频信号;
按照各轨子音频信号的需求信息,分别对所述各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的处理音频信号;
确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,根据所述每轨子音频信号与对应的处理音频信号之间的能量差异信息,对所述每轨处理音频信号进行修正处理,得到多轨修正音频信号;
对所述多轨修正音频信号进行叠加处理,得到所述原始音频信号对应的目标音频信号。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待处理的原始音频信号,对所述原始音频信号进行分离,得到多轨子音频信号;
按照各轨子音频信号的需求信息,分别对所述各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的处理音频信号;
确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,根据所述每轨子音频信号与对应的处理音频信号之间的能量差异信息,对所述每轨处理音频信号进行修正处理,得到多轨修正音频信号;
对所述多轨修正音频信号进行叠加处理,得到所述原始音频信号对应的目标音频信号。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待处理的原始音频信号,对所述原始音频信号进行分离,得到多轨子音频信号;
按照各轨子音频信号的需求信息,分别对所述各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的处理音频信号;
确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,根据所述每轨子音频信号与对应的处理音频信号之间的能量差异信息,对所述每轨处理音频信号进行修正处理,得到多轨修正音频信号;
对所述多轨修正音频信号进行叠加处理,得到所述原始音频信号对应的目标音频信号。
上述音频处理方法、装置、计算机设备、存储介质和计算机程序产品,首先获取待处理的原始音频信号,对原始音频信号进行分离,得到多轨子音频信号;然后按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到多轨子音频信号各自对应的处理音频信号;接着确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,根据每轨子音频信号与对应的处理音频信号之间的能量差异信息,对每轨处理音频信号进行修正处理,得到多轨修正音频信号;最后对多轨修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号。这样,一方面,通过对各轨子音频信号的针对性音效处理,能够在音效处理过程中保证各轨子音频信号之间的平衡;另一方面,通过子音频信号与处理音频信号之间的能量差异信息对处理音频信号的修正,能够在保留音效处理带来的音效效果的同时,抵消音效处理过程中的音频能量变化,避免由于音频能量变化导致的音频失真;因此,基于上述过程的音频处理方法,与基于线性增益的衰减的音效处理方法相比,降低了音效处理得到的音频的失真度。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中音频处理方法的流程示意图;
图2为一个实施例中为子音频信号、处理音频信号以及修正音频信号的示意图;
图3为一个实施例中确定每轨子音频信号与对应的处理音频信号之间的能量差异信息的步骤的流程示意图;
图4为一个实施例中得到原始音频信号在不同声源下的子音频信号的示意图;
图5为另一个实施例中音频处理方法的流程示意图;
图6为一个实施例中先音效处理再修正音频能量的音频处理方法,和先调整音频能量后音效处理的音频处理方法的示意图;
图7为又一个实施例中音频处理方法的流程示意图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在一示例性实施例中,如图1所示,提供了第一种音频处理方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的***,并通过终端和服务器的交互实现;其中,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能车载设备等,便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
本实施例中,该方法包括以下步骤:
步骤S102,获取待处理的原始音频信号,对原始音频信号进行分离,得到多轨子音频信号。
其中,待处理的原始音频信号为已发布的成品音乐的音频信号,例如已经在音乐应用程序上发布的音乐的音频信号。
其中,每轨子音频信号对应于一个声源,例如人声、吉他、钢琴、小提琴、贝斯、鼓等。
具体地,服务器首先从音乐应用程序上获取已发布的成品音乐,并对成品音乐进行采样,得到成品音乐的音频信号,即原始音频信号;然后,服务器通过神经网络对原始音频信号进行声源分离处理,从原始音频信号中,分离出多轨子音频信号。
能够理解的是,现如今,许多音乐应用程序针对用户的个性化听歌需求,都推出了音效设置功能;基于音效设置功能中的多种音效模式,用户可以根据自身的听歌需求,将音乐变为不同的音效或风格,例如音效设置功能中的“电音音效”,能够将音乐的风格变为电子音乐,为用户带来电子音乐的体验;又例如音效设置功能中的“Live超现场”,能够模拟Live House(小型现场演出)的音乐效果,让用户足不出户也能享受现场音乐;再例如音效设置功能中的“宽广环绕”,能够扩大音乐整体声场覆盖面积,营造出置身多角度环绕的音乐现场的超大声场体验。
举例说明,服务器响应于用户针对音乐应用程序的音效设置功能中的音效的触发操作,对用户正在操作的成品音乐处理:首先对成品音乐进行采样,得到成品音乐的原始音频信号,然后对原始音频信号进行声源分离处理,得到成品音乐的多个音轨,每个音轨对应于成品音乐的一个声源,用于记录成品音乐在该声源下的子音频信号。
步骤S104,按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到多轨子音频信号各自对应的处理音频信号。
能够理解的是,在本申请提供的音频处理方法中,音效处理实际上是指针对成品音乐的后处理。例如,对成品音乐的贝斯和鼓进行强化处理的低音加强;对成品音乐的人声在其主要频段进行提升,或将人声的单轨分量进行提升的清晰人声;将成品音乐的不同声源的音频进行不同方位的混响处理以及空间渲染的环绕效果等。
其中,子音频信号的需求信息,用于表征子音频信号需要进行的音效处理类型和音效处理参数。
能够理解的是,即使是在相同音效模式下,不同的声源也有可能需要进行不同的音效处理,例如,同一音效模式下,有的声源需要进行混响处理,有的声源需要进行压缩处理,有的声源需要进行滤波处理;又例如,同一音效模式下,不同声源的处理程度,例如混响程度、压缩程度不一。
具体地,服务器按照各轨子音频信号的需求信息,确定各轨子音频信号对应的音效处理类型和音效处理参数;然后,服务器基于各轨子音效信号各自对应的音效处理类型和音效处理参数,分别对各轨子音效信号进行音效处理,得到每轨子音频信号对应的处理音频信号。
举例说明,假设成品音乐A的子音频信号1的需求信息为进行混响处理,子音频信号2的需求信息为滤波处理,子音频信号3的需求信息为增强处理;那么,服务器对子音频信号1进行混响处理,得到对应的处理音频信号1,对子音频信号2进行滤波处理,得到对应的处理音频信号2,对子音频信号3进行增强处理,得到对应的处理音频信号3。
步骤S106,确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,根据每轨子音频信号与对应的处理音频信号之间的能量差异信息,对每轨处理音频信号进行修正处理,得到多轨修正音频信号。
其中,子音频信号与对应的处理音频信号之间的能量差异信息,用于表征子音频信号与对应的处理音频信号在音频能量上的差异,例如音频能量比值、音频能量差值等。
具体地,服务器分别确认每轨子音频信号与对应的处理音频信号在音频能量上的差异,得到每轨子音频信号与对应的处理音频信号之间的能量差异信息;然后,服务器根据每轨处理音频信号对应的能量差异信息,对每轨处理音频信号的音频能量进行修正处理,使得处理音频信号的音频能量在幅值上与对应的子音频信号的音频能量保持一致,得到多轨修正音频信号。
以子音频信号1和处理音频信号1为例进行说明,假设子音频信号1的音频能量为3,经过混响处理后得到的处理音频信号1的音频能量分别为5;那么服务器首先确认子音频信号1的音频能量与处理音频信号1的音频能量之间的能量差异信息,得到音频能量修正系数,然后,服务器根据音频能量修正系数,修正处理音频信号1的音频能量,使得处理音频信号1的音频能量还原为3,从而得到修正音频信号1。
举例说明,假设子音频信号与对应的处理音频信号之间的能量差异信息,为子音频信号的音频能量除以处理音频信号的音频能量,那么服务器在对处理音频信号进行修正时,通过计算处理音频信号的音频能量与能量差异信息之间的乘积,实现对处理音频信号的修正;假设子音频信号与对应的处理音频信号之间的能量差异信息,为处理音频信号的音频能量除以子音频信号的音频能量,那么服务器在对处理音频信号进行修正时,用处理音频信号的音频能量除以能量差异信息,实现对处理音频信号的修正。
能够理解的是,音效处理不仅仅会导致音频信号的音效发生变化,还会导致音频信号的音频能量发生变化,而音频能量上的变化则是导致音频失真的重要原因;因此,在获得音效处理带来的音效效果的同时,还需要保证音频信号的音频能量不发生变化。基于步骤S106,通过子音频信号与处理音频信号之间的差异信息对处理音频信号的修正,能够在保留音效效果的同时,将处理音频信号的音频能量还原至子音频信号的音频能量,从而避免了音效处理带来的音频能量变化导致的音频失真。
例如,当需要对原始音频进行升调处理时,服务器首先先对子音频信号进行升调,得到升调音频信号,然后再修正升调音频信号的音频能量,得到音频能量修正后的升调音频信号,这样,音频能量修正后的升调音频信号相较于子音频信号而言,获得了升调效果,且音频能量保持一致。
如图2所示,为子音频信号、处理音频信号以及修正音频信号的示意图;从图2能够看出,经过音效处理的处理音频信号与子音频信号相比,在音频能量上存在较大差异,这种差异正是导致音频失真的重要原因;而修正音频信号与子音频信号在音频能量上差异较小,因此基于修正音频信号,能够降低音频的失真度。
步骤S108,对多轨修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号。
其中,对多个修正音频信号的叠加处理,是指在同一时间轴上的叠加处理。
具体地,服务器在同一时间轴上对多个修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号,基于目标音频信号,服务器能够得到以立体声输出的目标音频。
目标音频信号既保留了各种音效处理带来的音效效果,又保证了音频能量在音效处理前后的一致性,从而使得在音效处理后,目标音频信号的各个段落的音频能量幅值、各个声源之间的音频能量比例均能和原始音频信号保持一致,且目标音频信号在满幅度段也不会出现信号过载。
上述音频处理方法中,服务器首先获取待处理的原始音频信号,对原始音频信号进行分离,得到多轨子音频信号;然后按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到多轨子音频信号各自对应的处理音频信号;接着确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,根据每轨子音频信号与对应的处理音频信号之间的能量差异信息,对每轨处理音频信号进行修正处理,得到多轨修正音频信号;最后对多轨修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号。这样,一方面,通过对各轨子音频信号的针对性音效处理,服务器能够在音效处理过程中保证各轨子音频信号之间的平衡;另一方面,通过子音频信号与处理音频信号之间的能量差异信息对处理音频信号的修正,服务器能够在保留音效处理带来的音效效果的同时,抵消音效处理过程中的音频能量变化,避免由于音频能量变化导致的音频失真;因此,基于上述过程的音频处理方法,与基于线性增益的衰减的音效处理方法相比,降低了音效处理得到的音频的失真度。
在一示例性实施例中,上述步骤S106中,确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,具体包括以下内容:针对每轨子音频信号,根据预设的片段长度,将子音频信号划分为多个第一音频信号片段,将子音频信号对应的处理音频信号划分为与各个第一音频信号片段对应的多个第二音频信号片段;基于子音频信号的各个第一音频信号片段的第一音频能量,和处理音频信号的各个第二音频信号片段的第二音频能量,得到子音频信号与处理音频信号之间的能量差异信息。
其中,与第一音频信号片段对应的第二音频信号片段,为处理音频信号的各个第二音频信号片段中,在处理音频信号中的位置与对应的第一音频信号片段在子音频信号中的位置相同的音频信号片段。
其中,第一音频信号片段的第一音频能量,用于表征第一音频信号片段的音频能量的整体情况,例如该片段的平均音频能量、中位音频能量、众数音频能量等。第二音频信号片段的第二音频能量与第一音频能量类似。
具体地,针对每轨子音频信号,服务器首先对该子音频信号进行能量检测,得到该子音频信号的音频能量,以及对与该子音频信号对应的处理音频信号进行能量检测,得到该处理音频信号的音频能量;然后,服务器根据预设的片段长度,例如预设的时间区间、预设的帧数长度,将该子音频信号划分为多个第一音频信号片段,将与该子音频信号对应的处理音频信号划分为与各个第一音频信号片段对应的第二音频信号片段;接着,服务器基于各个第一音频信号片段对应的第一音频能量和各个第二音频信号对应的第二音频能量,计算该子音频信号与该处理音频信号之间的能量信息差异。
能够理解的是,服务器进行音频能量检测所采用的算法,包括但不限于RMS(rootmean square,均方根)算法或包络检测算法。
本实施例中,服务器通过对子音频信号和处理音频信号的划分,能够将音频信号分为多个片段,从而基于各个片段的能量,能够更精确地确定子音频信号与处理音频信号之间的能量差异信息;基于子音频信号和处理音频信号之间的能量差异信息,服务器能够准确衡量音效处理在音频能量上对子音频信号的影响,从而能够将处理音频信号的音频能量还原回子音频信号的音频能量,进而降低了音频的失真度。
在一示例性实施例中,预设的片段长度为原始音频信号对应的音频帧长度,第一音频信号片段为第一音频帧,第二音频信号片段为第二音频帧。
基于子音频信号的各个第一音频信号片段的第一音频能量,和处理音频信号的各个第二音频信号片段的第二音频能量,得到子音频信号与处理音频信号之间的能量差异信息,具体包括以下内容:针对每个第一音频帧,根据第一音频帧的第一音频能量与对应的第二音频帧的第二音频能量,确定第一音频帧与第二音频帧之间的能量比值;基于各个第一音频帧与对应的第二音频帧之间的能量比值,得到子音频信号与处理音频信号之间的能量差异信息。
具体地,服务器针对每个第一音频帧,根据该第一音频帧的第一音频能量与对应的第二音频帧的第二音频能量,计算该第一音频帧与该第二音频帧之间的能量比值,例如,用第一音频能量除以第二音频能量,或者是,用第二音频能量除以第一音频能量;然后,服务器基于每个第一音频帧与各自对应的第二音频帧之间的能量比值,得到子音频信号与处理音频信号之间的能量差异信息。
以能量差异信息为第一音频能量除以第二音频能量为例进行说明,假设子音频信号1的各个第一音频帧的音频能量分别为3、4、5、6,经过混响处理后得到的处理音频信号1的各个第二音频帧的音频能量分别为5、8、9、10,那么服务器可以得到第一个第一音频帧与第一个第二音频帧之间的能量差异信息为3/5,第二个第一音频帧与第二个第二音频帧之间的能量差异信息为1/2,第三个第一音频帧与第三个第二音频帧之间的能量差异信息为5/9,第四个第一音频帧与第四个第二音频帧之间的能量差异信息为3/5;因此,服务器得到子音频信号与处理音频信号之间的能量差异信息为{3/5,1/2,5/9,3/5}。
本实施例中,通过子音频信号中的各个第一音频帧,与处理音频信号中与各个第一音频帧对应的第二音频帧,能够得到帧与帧之间的能量差异信息,进而得到子音频信号与处理音频信号之间的能量差异信息;基于子音频信号与处理音频信号之间的能量差异信息,服务器能够准确衡量音效处理在音频能量上对子音频信号的影响,从而能够将处理音频信号的音频能量还原回子音频信号的音频能量,进而降低了音频的失真度。
在一示例性实施例中,根据每轨子音频信号与对应的处理音频信号之间的能量差异信息,对每轨处理音频信号进行修正处理,得到多轨修正音频信号,具体包括以下内容:针对每轨处理音频信号,根据处理音频信号中的每个第二音频帧各自对应的能量比值,对每个第二音频帧的音频能量进行修正,得到修正音频信号。
具体地,针对每轨处理音频信号,服务器通过以下方式进行修正:服务器针对该处理音频信号中的每个第二音频帧,根据该第二音频帧与对应的第一音频帧之间的能量比值,对该第二音频帧的音频能量进行修正,得到该第二音频帧的修正后的音频能量;基于各个第二音频帧的修正后的音频能量,服务器得到修正音频信号。
假设能量比值为第一音频帧的音频能量除以第二音频帧的音频能量,以子音频信号1的各个第一音频帧的音频能量分别为3、4、5、6,经过混响处理后得到的处理音频信号1的各个第二音频帧的音频能量分别为5、8、9、10,子音频信号与处理音频信号之间的能量差异信息为{3/5,1/2,5/9,3/5}为例进行说明;那么服务器针对各个第二音频帧,分别用各自对应的音频能量与各自对应的能量比值相乘,即可将处理音频信号的各个第二音频帧的音频能量还原回子音频信号的各个第一音频帧的音频能量信号,例如服务器针对第一个第二音频帧,用3/5乘以5得到3,针对第二个第二音频帧,用1/2乘以8得到4,针对第三个第二音频帧,用5/9乘以9得到5,针对第四个第二音频帧,用3/5乘以10得到6。
再假设能量比值为第二音频帧的音频能量除以第一音频帧的音频能量,那么服务器针对各个第二音频帧,分别用各自对应的音频能量除以各自对应的能量比值,即可将处理音频信号的各个第二音频帧的音频能量还原回子音频信号的各个第一音频帧的音频能量信号。
在本实施例中,服务器通过对各个第二音频帧的修正,能够将处理音频信号的各个第二音频帧的音频能量还原回子音频信号的各个第一音频帧的音频能量信号,从而避免了音效处理带来的音频能量变化导致的失真。
在一示例性实施例中,在上述步骤S102,获取待处理的原始音频信号,对原始音频信号进行分离,得到多轨子音频信号之后,还具体包括以下内容:分别对各轨子音频信号进行平滑处理,得到多轨子音频信号各自对应的平滑子音频信号。
上述步骤S104,按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到多轨子音频信号各自对应的处理音频信号,具体包括以下内容:按照各轨子音频信号的需求信息,分别对各轨子音频信号对应的平滑子音频信号进行音效处理,得到各轨子音频信号各自对应的处理音频信号。
其中,平滑处理的目的是为了使音频信号的能量包络线尽可能平滑,因此,服务器可以采用任意一种可以达到上述目的的平滑算法,例如但不仅限于滑动平均法、中位值法等。
具体地,服务器在得到多轨子音频信号后,首先对每轨子音频信号进行平滑处理,得到多轨子音频信号各自对应的平滑子音频信号;然后,再针对每轨平滑子音频信号进行音效处理,得到各轨平滑子音频信号各自对应的处理音频信号,即各轨子音频信号各自对应的处理音频信号。
本实施例中,服务器通过对子音频信号的平滑处理,能够使音频信号的能量包络线尽可能平滑,从而保证了在对子音频信号进行音效处理时,不会出现信号突变产生的极值,进一步降低了音频的失真度。
在一示例性实施例中,在上述步骤S106,确定每轨子音频信号与对应的处理音频信号之间的能量差异信息之前,还具体包括以下内容:分别对各轨处理音频信号进行平滑处理,得到各轨处理音频信号各自对应的平滑处理音频信号。
上述步骤S106,确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,还具体包括以下内容:确定每轨子音频信号对应的平滑子音频信号,与每轨子音频信号对应的处理音频信号的平滑处理音频信号之间的能量差异信息。
具体地,服务器在得到多轨处理音频信号后,首先对每轨处理音频信号进行平滑处理,得到多轨处理音频信号各自对应的平滑处理音频信号;然后,再基于每组对应的平滑子音频信号和平滑处理音频信号,确定二者之间的能量差异,作为对应的子音频信号和处理音频信号之间的能量差异信息。
例如,子音频信号1音效处理后得到处理音频信号1,子音频信号1平滑处理后得到平滑子音频信号1,处理音频信号平滑处理后得到平滑处理音频信号1,与平滑子音频信号1对应的平滑处理音频信号即为平滑处理音频信号1;那么服务器基于平滑子音频信号1和平滑处理音频信号1之间的能量差异,得到子音频信号1和处理音频信号1之间的能量差异信息。
本实施例中,服务器通过对处理音频信号的平滑处理,能够使音频信号的能量包络线尽可能平滑,从而保证了在计算能量差异信息,并根据能量差异信息修真处理音频信号时,不会出现信号突变产生的极值,进一步降低了音频的失真度。
如图3所示,在一示例性实施例中,按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到多轨子音频信号各自对应的处理音频信号,确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,还可以包括如下步骤:
步骤S302,分别对各轨子音频信号进行平滑处理,得到多轨子音频信号各自对应的平滑子音频信号。
步骤S304,按照各轨子音频信号的需求信息,分别对各轨子音频信号对应的平滑子音频信号进行音效处理,得到各轨子音频信号各自对应的处理音频信号。
步骤S306,分别对各轨处理音频信号进行平滑处理,得到各轨处理音频信号各自对应的平滑处理音频信号。
步骤S308,确定每轨子音频信号对应的平滑子音频信号,与每轨子音频信号对应的处理音频信号的平滑处理音频信号之间的能量差异信息,作为每轨子音频信号与对应的处理音频信号之间的能量差异信息。
在一示例性实施例中,上述步骤S108,对多轨修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号,具体包括以下步骤:在同一时间轴下对多轨修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号。
具体地,服务器在同一时间轴下对多个修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号;例如,在音频编辑软件中,音频信号以音轨的形式存在,服务器可以将多个修正音频信号对应的音轨拖拽至同一时间轴下,以实现在同一时间轴下的叠加处理。
能够理解的是,对多个修正音频信号的叠加处理,并非普遍意义上的音频能量的数值叠加,而是在时空维度上的叠加;例如,假设修正音频信号1为人声,第一帧的音频能量为5db,修正音频信号2为钢琴,第一帧的音频能量为2db,修正音频信号3为吉他,第一帧的音频能量为3db,那么叠加处理后,目标音频的第一帧并不是对应的音频能量为(5+2+3)=10db的音频帧,而是同时存在5db的人声、2db的钢琴声以及3db的吉他声的音频帧。
本实施例中,服务器通过在同一时间轴下对多个修正音频信号的叠加处理,能够将多个分离的修正音频信号组合为以立体声输出的目标音频信号,从而实现对原始音频信号的音效处理,得到满足用户个性化听歌需求的音乐。
在一示例性实施例中,上述步骤S102,对原始音频信号进行分离,得到多轨子音频信号,具体包括以下内容:按照不同声源的频谱特征,对原始音频信号进行声源分离处理,得到原始音频信号在各个声源下的子音频信号。
其中,声源分离处理是指在音频中提取出特定声源的处理,例如在音乐中提取出人声、钢琴声、吉他声等各种声源的音频信号。能够理解的是,不同声源的频谱特征不一致,例如,频率不一致,振幅不一致等。
具体地,服务器首先获取待处理的原始音频信号,然后将原始音频信号分为左声道和右声道,并分别输入至声源分离模型中,声源分离模型在原始音频信号的左右声道的信号中,提取出各个频谱特征不一的音频信号,得到原始音频信号在不同声源下的子音频信号。
如图4所示,为服务器基于声源分离模型对原始音频信号的声源分离处理,得到原始音频信号在不同声源下的子音频信号的示意图。能够理解的是,能够分离出来的声源包括但不仅限于图4中列举出来的声源。
本实施例中,服务器通过对原始音频信号的声源分离处理,能够得到原始音频信号在不同声源下的子音频信号,从而便于后续针对不同声源采取不同的音效处理,以满足用户的个性化听歌需求。
在一示例性实施例中,按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到多轨子音频信号各自对应的处理音频信号,具体包括以下内容:确定被触发的音效模式;确定各个声源在音效模式下的需求信息;按照各个声源在音效模式下的需求信息,分别对各个声源下的子音频信号进行音效处理,得到各个声源下的处理音频信号。
能够理解的是,不同音效模式对各个声源的需求信息不同,各个声源在同一音效模式下的需求信息也不同。
具体地,在用户需要个性化定制音乐的音效或风格时,会在音乐应用程序的音效设置功能中选择对应的音效模式,从而触发该音效模式;服务器检测到音效模式被触发,则将用户需要个性化定制的成品音乐转为原始音频信号,并获取该原始音频信号在不同声源下的子音频信号,同时,确定各个声源在音效模式下的需求信息;然后,服务器按照各个声源在音效模式下的需求信息,分别对各个声源下的子音频信号进行音效处理,得到各个声源下的处理音频信号。
能够理解的是,音效设置功能中的音效模式,可以是音乐应用程序自身提供的,也可以是用户自定义设置的。
本实施例中,通过被触发的音效模式确定各个声源下的子音频信号对应的需求信息,能够实现针对不同声源的子音频信号进行个性化的音效处理。
在一示例性实施例中,如图5所示,提供了第二种音频处理方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的***,并通过终端和服务器的交互实现;其中,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能车载设备等,便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
本实施例中,该方法包括以下步骤:
步骤S502,获取待处理的原始音频信号,对原始音频信号进行分离,得到多轨子音频信号。
具体地,服务器通过声源分离处理,从待处理的原始音频信号中,获取原始音频信号在各个声源下的子音频信息。
步骤S504,按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到多轨子音频信号各自对应的第一处理音频信号。
具体地,服务器按照各轨子音频信号的需求信息,确定各轨子音频信号对应的音效处理;然后,服务器分别对各轨子音效信号,进行对应的音效处理,得到每轨子音频信号对应的第一处理音频信号。
步骤S506,从各轨子音频信号中,确定出对应的音效处理为线性音效处理的目标子音频信号。
能够理解的是,根据线性时不变性,音效处理可以分为线性音效处理和非线性音效处理;常见的线性音效处理包括延迟处理、滤波处理等,常见的非线性音效处理包括混响处理、压缩处理等。由于非线性音效处理不满足线性时不变性,因此,在非线性音效处理过程中,如果需要还原音频能量,需要先进行音效处理,再修正音频能量,例如本申请提供的第一种音频处理方法;而线性音效处理满足线性时不变性,且线性时不变***满***换律,因此,在线性音效处理过程中,如果需要还原音频能量,可以先进行音效处理,再修正音频能量,例如本申请提供的第一种音频处理方法,也可以先调整音频能量,再进行音效处理,例如本申请提供的第二种音频处理方法。
具体地,服务器从各轨子音频信号中,确定出对应的音效处理为线性音效处理的目标子音频信号。
步骤S508,确定每轨目标子音频信号与对应的第一处理音频信号之间的能量差异信息,根据每轨目标子音频信号与对应的第一处理音频信号之间的能量差异信息,对每轨目标子音频信号进行调整,得到多个调整后的子音频信号。
具体地,服务器确定每轨目标子音频信号与其对应的第一处理音频信号之间的能量差异信息,并根据每轨目标子音频信号与其对应的第一处理音频信号之间的能量差异信息,对每轨目标子音频信号的音频能量进行调整,得到多个调整后的子音频信号。
举例说明,例如子音频信号1的各个第一音频片段的音频能量分别为3、4、5、6,经过混响处理后得到的第一处理音频信号1的各个第二音频片段的音频能量分别为5、8、9、10,因此,子音频信号与第一处理音频信号之间的能量差异信息为{3/5,1/2,5/9,3/5},那么,服务器针对第一个第一音频片段,用3/5乘以3得到9/5,针对第二个第一音频片段,用1/2乘以4得到2,针对第三个第一音频片段,用5/9乘以5得到25/9,针对第四个第一音频片段,用3/5乘以6得到18/5,从而得到子音频信号1对应的调整后的子音频信号1。
能够理解的是,与第一种音频处理方法类似,若子音频信号与第一处理音频信号之间的能量差异信息,为子音频信号的音频能量除以第一处理音频信号的音频能量,那么服务器调整子音频信号的音频能量时,用子音频信号的音频能量与能量差异信息相乘;若子音频信号与第一处理音频信号之间的能量差异信息,为第一处理音频信号的音频能量除以子音频信号的音频能量,那么服务器调整子音频信号的音频能量时,用子音频信号的音频能量除以能量差异信息。
步骤S510,分别对各个调整后的子音频信号进行音效处理,得到多个调整后的子音频信号各自对应的第二处理音频信号。
具体地,服务器按照各轨子目标音频信号的需求信息,对每轨子音频信号进行对应的音效处理,得到多个调整后的子音频信号各自对应的第二处理音频信号。
举例说明,以调整后的子音频信号1为例,假设子音频信号与第一处理音频信号之间的能量差异信息,为子音频信号的音频能量除以第一处理音频信号的音频能量为例,服务器对调整后的子音频信号1进行音效处理,得到对应的第二处理音频信号1;基于第一次音效处理(对子音频信号1的音效处理)的能量差异信息可知,在第二次音效处理后,第二处理音频信号1的各个第二音频片段的音频能量分别将会变为原来的(调整后的子音频信号1){5/3,2,9/5,5/3},即,针对各个第二音频片段的音频能量为{9/5,2,25/9,18/5}的调整后的子音频信号1,音效处理后的第二处理音频信号的各个第二音频片段的音频能量为{3,4,5,6};也就是说,通过第一次音效处理前后的能量差异信息对子音频信号1进行调整,再对调整后的子音频信号1进行音效处理,能够将第二处理音频信号1的各个第二音频片段的音频能量还原回子音频信号1的各个第一音频片段的音频能量。
因此,通过子音频信号和第一处理音频信号之间的能量差异信息,对子音频信号进行调整,能够提前弥补音效处理对子音频信号的音频能量变化的影响,从而使得调整后的子音频信号在音效处理后,能够与子音频信号在音频能量上保持一致。
步骤S512,根据多个第二处理音频信号,得到原始音频信号对应的目标音频信号。
具体地,服务器针对各轨子音频信号中,对应的音效处理为非线性音效处理的子音频信号,采用本申请提供的第一种音频处理方法,对其进行修正,得到对应的音效处理为非线性音效处理的子音频信号对应的修正音频信号;然后在同一时间轴上对多轨第二处理音频信号和多轨修正音频信号进行叠加处理,得到原始音频信号对应的、能够以立体声输出的目标音频信号。
举例说明,若原始音频信号的各个子音频信号对应的音效处理均为线性音效处理,则服务器在同一时间轴下,对多个第二处理音频信号进行叠加处理,得到原始音频信号对应的目标音频信号;若原始音频信号的各个子音频信号对应的音效处理中,既有线性音效处理又有非线性音效处理,则服务器在同一时间轴下,对多个对应的音效处理为线性音效处理的子音频信号对应的第二处理音频信号,和多个对应的音效处理为非线性音效处理的子音频信号对应的修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号。
如图6所示,为先音效处理再修正音频能量的第一种音频处理方法,和先调整音频能量再音效处理的第二种音频处理方法的示意图。
上述音频处理方法中的具体限定可以参见上文中对于第一种音频处理方法的限定,例如步骤S502至步骤S512中的信号分离、音效处理、能量差异计算、能量调整等与第一种音频处理方法中的类似,在此不再赘述。
在上述音频处理方法中,服务器首先获取待处理的原始音频信号,对原始音频信号进行分离,得到多轨子音频信号;然后按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到多轨子音频信号各自对应的第一处理音频信号;接着从各轨子音频信号中,确定出对应的音效处理为线性音效处理的目标子音频信号;再接着确定每轨目标子音频信号与对应的第一处理音频信号之间的能量差异信息,根据每轨目标子音频信号与对应的第一处理音频信号之间的能量差异信息,对每轨目标子音频信号进行调整,得到多个调整后的子音频信号;再然后分别对各个调整后的子音频信号进行音效处理,得到多个调整后的子音频信号各自对应的第二处理音频信号;最后根据多个第二处理音频信号,得到原始音频信号对应的目标音频信号。这样,一方面,服务器通过对各轨子音频信号的针对性音效处理,能够在音效处理过程中保证各轨子音频信号之间的平衡;另一方面,通过子音频信号与第一处理音频信号之间的能量差异信息对子音频信号的修正,能够提前弥补音效处理对子音频信号的音频能量变化的影响,避免由于音频能量变化导致的音频失真;因此,基于上述过程的音频处理方法,与基于线性增益的衰减的音效处理方法相比,降低了音效处理得到的音频的失真度。
在一示例性实施例中,如图7所示,提供了另一种音频处理方法,以该方法应用于服务器为例进行说明,包括以下步骤:
步骤S701,获取待处理的原始音频信号,按照不同声源的频谱特征,对原始音频信号进行声源分离处理,得到原始音频信号在各个声源下的子音频信号。
步骤S702,分别对各轨子音频信号进行平滑处理,得到多轨子音频信号各自对应的平滑子音频信号。
步骤S703,按照各轨子音频信号的需求信息,分别对各轨子音频信号对应的平滑子音频信号进行音效处理,得到各轨子音频信号各自对应的处理音频信号。
步骤S704,分别对各轨处理音频信号进行平滑处理,得到各轨处理音频信号各自对应的平滑处理音频信号。
步骤S705,确定每轨子音频信号对应的平滑子音频信号,与每轨子音频信号对应的处理音频信号的平滑处理音频信号之间的能量差异信息,作为每轨子音频信号与对应的处理音频信号之间的能量差异信息。
步骤S706,根据每轨子音频信号与对应的处理音频信号之间的能量差异信息,对每轨处理音频信号进行修正处理,得到多轨修正音频信号。
步骤S707,对多轨修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号。
针对对应的音效处理为线性音效处理的目标子音频信号,步骤S706至步骤S707还可以通过如下步骤S708至步骤S710实现:
步骤S708,根据每轨目标子音频信号与对应的第一处理音频信号之间的能量差异信息,对每轨目标子音频信号进行调整,得到多个调整后的子音频信号。
步骤S709,分别对各个调整后的子音频信号进行音效处理,得到多个调整后的子音频信号各自对应的第二处理音频信号。
步骤S710,根据多个第二处理音频信号,得到原始音频信号对应的目标音频信号。
本实施例中,提供了先音效处理再修正音频能量的音频处理方案,和先调整音频能量再音效处理的音频处理方案;一方面,通过先音效处理再音频能量修正,能够抵消音效处理带来的音频能量变化,从而在保留音效处理带来的音效效果的同时,避免音频能量变化导致的音频失真;另一方面,通过先调整音频能量再音效处理,能够在音效处理之前,提前弥补音效处理会带来的音频能量变化的影响,从而在得到音效处理带来的音效效果的同时,避免音频能量变化导致的音频失真。
为了更清晰阐明本申请实施例提供的音频处理方法,以下以一个具体的实施例对该音频处理方法进行具体说明,但应当理解的是,本申请实施例并不限于此。在一示例性实施例中,本申请还提供了一种基于神经网络的音效处理实现方法,具体包括以下步骤:
步骤1:基于神经网络的声源分离。
服务器将原始音频信号分为左右声道,输入基于神经网络的声源分离模型中,通过声源分离模型分离出多个声源下的子音频信号,包括但不限于吉他、钢琴、贝斯、人声等。经过声源分离模型分离的子音频信号进行线性叠加之后,还可以还原至原始音频信号。
步骤2:音频能量检测。
服务器首先对各个子音频信号的音频能量进行帧与帧之间的平滑处理,然后,采用RMS、包络检测等能量检测算法,计算各个子音频信号平滑后的音频能量,得到各个子音频信号的第一音频能量。
步骤3:音效处理。
服务器分别对各个子音频信号进行音效处理,得到各个子音频信号各自对应的处理音频信号,并对各个处理音频信号的音频能量进行帧与帧之间的平滑处理,然后,采用RMS、包络检测等能量检测算法,计算各个处理音频信号平滑后的音频能量,得到各个处理音频信号的第二音频能量。
步骤4:音频能量重置。
在该步骤中,分为两种方案,一个是针对所有类型(线性音效处理和非线性音效处理)的音效处理,采取先音效处理再修正音频能量的方案:服务器根据每个子音频信号的第一音频能量和对应的处理音频信号的第二音频能量之间的能量差异信息,确定每个处理音频信号的能量调整系数,并基于每个处理音频信号的能量调整系数对每个处理音频信号的音频能量进行修正,得到多个修正音频信号,以保证每个修正音频信号在音频能量上均能还原至对应的子音频信号。
另一个是针对线性音效处理,采取先调整音频能量再音效处理的方案:服务器根据每个子音频信号的第一音频能量和对应的处理音频信号的第二音频能量之间的能量差异信息,确定每个子音频信号的能量调整系数,并基于每个子音频信号的能量调整系数对每个子音频信号的音频能量进行调整,得到多个调整后的子音频信号;然后,服务器分别对各个调整后的子音频信号进行音效处理,得到各个调整后的子音频信号各自对应的第二处理音频信号,以保证每个第二处理音频信号在音频能量上均能还原至对应的子音频信号。
步骤5:音频信号叠加。
在先音效处理再修正音频能量的方案下,服务器在同一时间轴下,对多个修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号。
在先调整音频能量再音效处理的方案下,若原始音频信号的各个子音频信号对应的音效处理均为线性音效处理,则服务器在同一时间轴下,对多个第二处理音频信号进行叠加处理,得到原始音频信号对应的目标音频信号;若原始音频信号的各个子音频信号对应的音效处理中,既有线性音效处理又有非线性音效处理,则服务器在同一时间轴下,对多个对应的音效处理为线性音效处理的子音频信号对应的第二处理音频信号和多个对应的音效处理为非线性音效处理的子音频信号对应的修正音频信号进行叠加处理,得到原始音频信号对应的目标音频信号。
现如今,用户个性化的听歌需求在流媒体中越来越重要,有的用户喜欢听混响重的音乐,有的用户喜欢听更贴耳的音乐,为了更好地给用户提供个性化的听歌需求,流媒体常常提供丰富的官方音效供用户在听歌时进行选择。在成品音乐的音效开发中最大的挑战便是成品音乐均已进行过混音以及母带处理,从艺术层面上看,混音母带处理包含了制作者们涉及灵感创作的设计,例如主副歌的动态差以及不同的音乐段落中使用不同乐器演奏主旋律等;从信号的层面上看,这种混音母带处理已经使信号过载,没有任何空间余量留给额外的效果处理。因此,音效处理具有很大的处理难度,本实施例中,通过音效处理前后的能量差异信息,确定对处理音频信号或子音频信号的能量调整系数,并在不同时间段对音频信号的音频能量做增益调整,使音效处理后的音频信号的音频能量,在每一帧均能还原至子音频信号的音频能量的幅值,从而能够在获得音效处理带来的音效效果,提供给用户个性化听歌可能性的同时,尽可能的不破坏原曲制作者的混音编曲上的结构设计,不产生额外的因数据溢出而增加的压缩保护,极大地改善了音效处理的处理质量。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始音频的各种音频信号数据,例如原始音频信号、子音频信号、处理音频信号、修正音频信号、目标音频信号等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种音频处理方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种音频处理方法,其特征在于,所述方法包括:
获取待处理的原始音频信号,对所述原始音频信号进行分离,得到多轨子音频信号;
按照各轨子音频信号的需求信息,分别对所述各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的处理音频信号;
确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,根据所述每轨子音频信号与对应的处理音频信号之间的能量差异信息,对所述每轨处理音频信号进行修正处理,得到多轨修正音频信号;
对所述多轨修正音频信号进行叠加处理,得到所述原始音频信号对应的目标音频信号。
2.根据权利要求1所述的方法,其特征在于,所述确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,包括:
针对每轨子音频信号,根据预设的片段长度,将所述子音频信号划分为多个第一音频信号片段,将所述子音频信号对应的处理音频信号划分为与各个第一音频信号片段对应的多个第二音频信号片段;
基于所述子音频信号的各个第一音频信号片段的第一音频能量,和所述处理音频信号的各个第二音频信号片段的第二音频能量,得到所述子音频信号与所述处理音频信号之间的能量差异信息。
3.根据权利要求2所述的方法,其特征在于,所述预设的片段长度为所述原始音频信号对应的音频帧长度,所述第一音频信号片段为第一音频帧,所述第二音频信号片段为第二音频帧;
所述基于所述子音频信号的各个第一音频信号片段的第一音频能量,和所述处理音频信号的各个第二音频信号片段的第二音频能量,得到所述子音频信号与所述处理音频信号之间的能量差异信息,包括:
针对每个第一音频帧,根据所述第一音频帧的第一音频能量与对应的第二音频帧的第二音频能量,确定所述第一音频帧与所述第二音频帧之间的能量比值;
基于各个第一音频帧与对应的第二音频帧之间的能量比值,得到所述子音频信号与所述处理音频信号之间的能量差异信息。
4.根据权利要求1所述的方法,其特征在于,在获取待处理的原始音频信号,对所述原始音频信号进行分离,得到多轨子音频信号之后,还包括:
分别对各轨子音频信号进行平滑处理,得到所述多轨子音频信号各自对应的平滑子音频信号;
所述按照各轨子音频信号的需求信息,分别对所述各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的处理音频信号,包括:
按照所述各轨子音频信号的需求信息,分别对所述各轨子音频信号对应的平滑子音频信号进行音效处理,得到所述各轨子音频信号各自对应的处理音频信号。
5.根据权利要求4所述的方法,其特征在于,在确定每轨子音频信号与对应的处理音频信号之间的能量差异信息之前,还包括:
分别对各轨处理音频信号进行平滑处理,得到所述各轨处理音频信号各自对应的平滑处理音频信号;
所述确定每轨子音频信号与对应的处理音频信号之间的能量差异信息,包括:
确定每轨子音频信号对应的平滑子音频信号,与所述每轨子音频信号对应的处理音频信号的平滑处理音频信号之间的能量差异信息,作为所述每轨子音频信号与对应的处理音频信号之间的能量差异信息。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述对所述多轨修正音频信号进行叠加处理,得到所述原始音频信号对应的目标音频信号,包括:
在同一时间轴下对所述多轨修正音频信号进行叠加处理,得到所述原始音频信号对应的目标音频信号。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述对所述原始音频信号进行分离,得到多轨子音频信号,包括:
按照不同声源的频谱特征,对所述原始音频信号进行声源分离处理,得到所述原始音频信号在各个声源下的子音频信号。
8.根据权利要求7所述的方法,其特征在于,所述按照各轨子音频信号的需求信息,分别对各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的处理音频信号,包括:
确定被触发的音效模式;
确定所述各个声源在所述音效模式下的需求信息;
按照所述各个声源在所述音效模式下的需求信息,分别对所述各个声源下的子音频信号进行音效处理,得到所述各个声源下的处理音频信号。
9.一种音频处理方法,其特征在于,所述方法包括:
获取待处理的原始音频信号,对所述原始音频信号进行分离,得到多轨子音频信号;
按照各轨子音频信号的需求信息,分别对所述各轨子音频信号进行音效处理,得到所述多轨子音频信号各自对应的第一处理音频信号;
从所述各轨子音频信号中,确定出对应的音效处理为线性音效处理的目标子音频信号;
确定每轨目标子音频信号与对应的第一处理音频信号之间的能量差异信息,根据所述每轨目标子音频信号与对应的第一处理音频信号之间的能量差异信息,对所述每轨目标子音频信号进行调整,得到多个调整后的子音频信号;
分别对各个调整后的子音频信号进行所述音效处理,得到所述多个调整后的子音频信号各自对应的第二处理音频信号;
根据多个第二处理音频信号,得到所述原始音频信号对应的目标音频信号。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311362177.1A CN118072701A (zh) | 2023-10-19 | 2023-10-19 | 音频处理方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311362177.1A CN118072701A (zh) | 2023-10-19 | 2023-10-19 | 音频处理方法、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118072701A true CN118072701A (zh) | 2024-05-24 |
Family
ID=91102873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311362177.1A Pending CN118072701A (zh) | 2023-10-19 | 2023-10-19 | 音频处理方法、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118072701A (zh) |
-
2023
- 2023-10-19 CN CN202311362177.1A patent/CN118072701A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11132984B2 (en) | Automatic multi-channel music mix from multiple audio stems | |
JP6778781B2 (ja) | エンコードされたオーディオ拡張メタデータベースのダイナミックレンジ制御 | |
TWI503817B (zh) | 操作音訊信號處理裝置或操作處理系統之方法、預定義動態等化頻譜設定檔之提供系統及其之選擇和使用裝置、以及相關電腦可讀儲存媒體及處理系統 | |
US10251016B2 (en) | Dialog audio signal balancing in an object-based audio program | |
TWI440301B (zh) | 對於音訊動態處理具限制之階層式控制路徑 | |
CN110832881B (zh) | 立体声虚拟低音增强 | |
CN101009952B (zh) | 基于扬声器和听者的位置的有源音频矩阵解码方法和装置 | |
JP5457430B2 (ja) | オーディオ信号の処理方法及び装置 | |
US10014841B2 (en) | Method and apparatus for controlling audio playback based upon the instrument | |
AU2012257865B2 (en) | Apparatus and method and computer program for generating a stereo output signal for providing additional output channels | |
WO2018066383A1 (ja) | 情報処理装置および方法、並びにプログラム | |
US20210249025A1 (en) | Methods and Systems for Encoding Frequency-Domain Data | |
CN118072701A (zh) | 音频处理方法、计算机设备和存储介质 | |
US20180070175A1 (en) | Management device and sound adjustment management method, and sound device and music reproduction method | |
WO2021140959A1 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
US12010495B2 (en) | Techniques for audio track analysis to support audio personalization | |
US20220076687A1 (en) | Electronic device, method and computer program | |
JPWO2020066681A1 (ja) | 情報処理装置および方法、並びにプログラム | |
JP6694755B2 (ja) | チャンネル数変換装置およびそのプログラム | |
US8086448B1 (en) | Dynamic modification of a high-order perceptual attribute of an audio signal | |
KR102686742B1 (ko) | 객체 기반 오디오 신호 균형화 | |
CN109672962B (zh) | 一种信息处理方法和电子设备 | |
TW200407027A (en) | Advanced technique for enhancing delivered sound | |
CN117119369A (zh) | 音频生成方法、计算机设备和计算机可读存储介质 | |
US20190391782A1 (en) | Method and system of processing an audio recording for facilitating production of competitively loud mastered audio recording |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |