CN115474130A - 音频处理方法及相关设备 - Google Patents
音频处理方法及相关设备 Download PDFInfo
- Publication number
- CN115474130A CN115474130A CN202210921716.XA CN202210921716A CN115474130A CN 115474130 A CN115474130 A CN 115474130A CN 202210921716 A CN202210921716 A CN 202210921716A CN 115474130 A CN115474130 A CN 115474130A
- Authority
- CN
- China
- Prior art keywords
- audio
- sound
- channel
- type
- directional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000005236 sound signal Effects 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000001755 vocal effect Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 4
- 208000035126 Facies Diseases 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012549 training Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Otolaryngology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Stereophonic System (AREA)
Abstract
本申请提供了一种音频处理方法及相关设备。其中,方法包括:提取音频信号中的中置声道音频和方向声道音频;对所述中置声道音频进行滤波处理得到人声信号;对所述人声信号进行声相校正处理,得到与中置声道音频相匹配的处理后的人声信号;将所述处理后的人声信号以音响***的方向门声道进行播放。这样得到的方向门声道播放的人声信号与中置声道播放的中置声道音频相匹配,使得人声信号和中置声道音频能够同时到达听音位,保证用户能够感知到声音的来源在听音位的正前方,使得音响***可以兼顾到每个听音位上的人的听感,提升听音效果。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种音频处理方法及相关设备。
背景技术
对于音响***中人声部分一般包含在中置音频中,在室内摆放时能够将中置音频对应播放的中置声道放置在听音位的视线正前方。
但是对于一些无法将中置声道摆放在听音位的视线正前方的空间(例如,异形空间、车内空间等),这样中置声道中的人声部分就会在听音位的除视线正前方之外的其他方向进行播放,使得听音位的听音效果较差。
发明内容
有鉴于此,本申请的目的在于提出一种音频处理方法及相关设备以解决或部分解决上述技术问题。
本申请的第一方面提出了一种音频处理方法,包括:
提取音频信号中的中置声道音频;
对所述中置声道音频进行滤波处理得到人声信号;
对所述人声信号进行声相校正处理,得到与中置声道音频相匹配的处理后的人声信号;
将所述处理后的人声信号以音响***的方向门声道进行播放。
基于同一个发明构思,本申请的第二方面提出了一种音频处理装置,包括:
中置声道音频获取模块,被配置为提取音频信号中的中置声道音频;
人声处理模块,被配置为对所述中置声道音频进行滤波处理得到人声信号,对所述人声信号进行声相校正处理,得到与中置声道音频相匹配的处理后的人声信号;
播放模块,被配置为将所述处理后的人声信号以音响***的方向门声道进行播放。
基于同一个发明构思,本申请的第三方面提出了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行第一方面所述方法。
基于同一个发明构思,本申请的第四方面提出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法。
基于同一个发明构思,本申请的第五方面提出了一种车辆,包括:第二方面所述的音频处理装置、或第三方面所述的非暂态计算机可读存储介质、或第四方面所述的电子设备。
从上面所述可以看出,本申请提供的音频处理方法及相关设备,能够将音频信号的中置声道音频中的人声信号提取出来,并进行声相校正处理,使得人声信号能够与中置声道音频相匹配;之后,将处理后的人声信号通过音响***的方向门声道进行播放,这样得到的方向门声道播放的人声信号与中置声道播放的中置声道音频相匹配,使得人声信号和中置声道音频能够同时到达听音位,保证用户能够感知到声音的来源在听音位的正前方,使得音响***可以兼顾到每个听音位上的人的听感,提升听音效果。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的应用场景示意图;
图2A为本申请实施例的音频处理方法的流程图;
图2B为本申请实施例的音频处理一个执行过程示意图;
图2C为本申请实施例的音频处理另一个执行过程示意图;
图3为本申请实施例的音频处理装置的结构框图;
图4为本申请实施例的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
基于背景技术的描述,针对车载音响***领域,当前随着用户需求的提高,例如杜比、DTS(data distribution service,数据传输服务)等解码的多声道音轨内容将成为主流。此类音轨在设计初期是应用在家庭影院的,大多人声都只包含在中置声道中,在室内摆放对齐仅有的一个听音位,即摆放在听音位视线的正前方。在车载音响中,空间狭小听音位距离中置扬声器远,且在车内有多个座位也就是多个听音位,中置扬声器不在任何一个听音位的正前方,使主观听音体验相对较差,人声完全偏向中置扬声器方向。
杜比、DTS等编码的音源解码后的声道分配情况是固定的,例如以7.1.4声道为例,12个声道的顺序分别是1.左声道;2.右声道;3.中置声道;4.低音炮5.左环绕;6.右环绕;7.左后环绕;8.右后环绕;9.左前3D;10.右前3D;11.左后3D;12.右后3D。解码器要求每个数字声道和物理声道的对应关系为:
1.左声道→左前门扬声器声道;
2.右声道→右前门扬声器声道;
3.中置声道→中置声道;
4.低音炮→低音炮声道;
5.左环绕→左环绕声道;
6.右环绕→右环绕声道;
7.左后环绕→左后环绕声道;
8.右后环绕→右后环绕声道;
9.左前3D→左前3D声道;
10.右前3D→右前3D声道;
11.左后3D→左后3D声道;
12.右后3D→右后3D声道。
由此可见,车载音响***中置扬声器只对应中置声道,而中置声道音轨大部分成分为人声,无法满足多个听音位置人声在正前方的效果体验,从而严重影响音响***的播放效果。
本申请中所提及的音响***可以是设置在车辆中的车载音响***也可以是设置在异形空间中的音响***。本申请优选为应用在车载音响***中。
以车载音响***为例的应用过程如下:
具体的信号链路由下图1所示:
图中HU(Head unit,车机)其上安装有音频或视频播放软件,从中获取到音频数据后经过解码器进行解码得到音频信号,该音频信号在DSP(Digital Signal Processing,数字信号处理)中完成处理。DSP中预置了全局音量控制以及多声道媒体播放信号链,对人声进行音频处理的信号链(即,后续的音频处理方法的执行链)需要嵌入音量控制与多声道媒体播放信号链之间。
经过DSP处理之后进行DAC(数模转换器)进行数模转换处理,然后通过声道进行播放,播放到车内环境中,通过车内环境传入人耳中。
在DSP中需要将由数字信号构成的音频信号进行处理,数字信号的满幅值即最大值为0dB,只能在此基础上做衰减。根据采样定理,在离散数字信号转化为持续模拟信号的时候,如果信号幅度大于0dB,那么高于0dB的部分将不会被转化为模拟信号,称为削波,即产生了数字失真。
由于本申请方案中涉及增益的设定和处理,如果增益为正,即在最大音量时,如果对人声进行音频处理的信号链在全局音量控制之前,就会使整体信号幅度超过0dB。为了避免削波失真,对音响***中的人声的音频处理程序需要嵌入到音量控制之后。
人声的音频处理程序是对多轨音源的重混音,即对音源的重新编辑,是多声道媒体播放处理的前提,所以应该嵌入到多声道媒体播放信号链之前。
基于上述应用场景的描述,本实施例提出了一种音频处理方法,如图2A所示,本实施例的音频处理方法包括:
步骤201,提取音频信号中的中置声道音频。
在一些实施例中,所述音频信号包括:方向声道音频和中置声道音频。因此提取时,还会将方向声道音频一起提取出来,便于后续与人声信号进行混音处理。
其中方向声道音频包括:至少两个第一方向声道音频、至少两个第二方向声道音频。
音频信号是经过解码器进行解码后得到的,如图2C所示,该音频信号还可以包括下列至少之一:低音炮、左后环绕、右后环绕、左前3D、右前3D、左后3D、右后3D。
具体实施时,由于一般人声信号分布在中置声道音频中,因此需要从音频信号中获取中置声道音频进行处理。
步骤202,对所述中置声道音频进行滤波处理得到人声信号。
步骤203,对所述人声信号进行声相校正处理,得到与中置声道音频相匹配的处理后的人声信号。
具体实施时,由于中置声道音频中可能还有除人声之外的其他声音,需要将这些其他声音过滤掉,进而保证人声信号的纯净,避免其他声音的干扰。然后,对人声信号(即得到的低音或低音+中音)进行延时处理使得人声信号部分的到达听音位的时间与中置声道音频保持一致,或,对人声信号进行增益处理使得人声信号部分的声音增益与中置声道音频相匹配。
步骤204,将所述处理后的人声信号以音响***的方向门声道进行播放。
其中,方向声道音频包括:左声道音频、右声道音频、左环绕音频、右环绕音频中的至少之一。
在一些实施例中,如果从音频信号中提取出来的有方向声道音频,则步骤204中:将所述处理后的人声信号与所述方向声道音频进行混音处理,得到混音音频;将所述混音音频以音响***的方向门声道进行播放。
其中,所述方向门声道包括:左前门声道、右前门声道、左后门声道右后门声道中的至少之一。
通过上述方案,能够将音频信号的中置声道音频中的人声信号提取出来,并进行声相校正处理,使得人声信号能够与中置声道音频相匹配;之后,将处理后的人声信号通过音响***的方向门声道进行播放,这样得到的方向门声道播放的人声信号与中置声道播放的中置声道音频相匹配,使得人声信号和中置声道音频能够同时到达听音位,保证用户能够感知到声音的来源在听音位的正前方,使得音响***可以兼顾到每个听音位上的人的听感,提升听音效果。
在一些实施例中,步骤203中的声相校正包括增益处理:
截取所述人声信号中的人声频率分量;
根据所述中置声道音频的频率分量与所述人声频率分量的差异度确定增益数据;
根据所述增益数据对所述人声频率进行增益调节,得到与中置声道音频相匹配的所述处理后的人声信号。
通过上述方案,进行增益处理过程,增益数据可以是用户自行设定的数据,增益数据即对应声量的增加或减少的幅度,用户设置好之后,就可以根据设置的增益数据对人声信号进行声相校正处理,使得人声信号部分的声音增益与中置声道音频相匹配。
在一些实施例中,步骤203中的声相校正包括延时处理:
按照延时时间对所述人声信号进行延时处理,得到与中置声道音频相匹配的所述处理后的人声信号,所述延时时间是根据方向门声道到人耳的距离预先确定的。
通过上述方案,用户可以根据中置声道音频的实际情况设置对应的延时时间。延时时间即向前或向后延时的时间长度,这样能够使得人声信号部分的到达听音位的时间与中置声道音频保持一致。
上述声相校正过程可以是增益处理和延时处理中的任一,可以是增益处理和延时处理都存在。对于增益处理和延时处理都存在的情况,增益处理过程与延时处理过程可以同时进行,也可以先进行增益处理过程再进行延时处理过程,也可以先进行延时处理过程再进行增益处理过程,这里不做具体限定。
在一些实施例中,增益处理/延时处理过程也可以自动完成,具体过程如下:
在步骤203之前,所述方法还包括:
步骤203a1,获取多个历史中置声道音频和多个历史人声信号,每个历史中置声道音频对应一个历史人声信号,形成一个音频对。
步骤203a2,获取每个所述音频对对应的历史增益数据/历史延时时间,对每个音频对利用历史增益数据/历史延时时间进行标记得到训练样本数据。
其中,可以获取预定数量的训练样本数据,也可以是获取预定历史时间范围内的训练样本数据。具体的数量或时间范围可以根据实际情况进行确定。
步骤203a3,构建神经网络,利用所述训练样本数据对所述神经网络进行有监督学习训练,得到神经网络模型。其中该神经网络包括:输入层、多个隐藏层和输出层。各层内设有具有运算处理能力的人工神经元,各层之间通过连接参数进行相互连接。在学习训练过程中,将训练样本数据中的音频对输入至神经网络中经过神经网络处理输出对应的增益数据或延时时间,将输出的结果与标记的历史增益数据/历史延时时间进行比对,如果比对相同,对下一个训练样本进行学习训练处理,如果比对不同,对神经网络的连接参数进行调整,进而使得输出结果与标记的数据比对相同之后,再对下一个训练样本进行学习训练,直至所有的训练样本全部训练完成。这样最终得到神经网络模型。
基于上述得到的神经网络模型,增益处理或延时处理过程包括:
步骤203b1,将所述人声信号和所述中置声道音频输入至神经网络模型中进行分析处理,得到对应的增益数据或延时时间。
步骤203b2,对所述人声信号按照所述增益数据或所述延时时间,进行声相校正处理得到与中置声道音频相匹配的所述处理后的人声信号。
具体实施时,该神经网络模型能够根据中置声道音频以及人声信号进行分析处理,得到对应的增益数据或延时时间,这样无需人工设置相应的增益数据或延时时间,节省了人力成本,提高音频处理的智能化效果。
在一些实施例中,设定第一类方向和第二类方向为方向相反的两个方向,所述方向门声道包括:第一类方向门声道和第二类方向门声道,所述音频信号包括:第一类方向声道音频和第二类方向声道音频;
其中,所述将所述处理后的人声信号与所述方向声道音频进行混音处理,得到混音音频,将所述混音音频以音响***的方向门声道进行播放,包括:
将所述处理后的人声信号分别与所述第一类方向声道音频和所述第二类方向声道音频进行混音处理(即,Mixer),得到第一类方向混音音频和第二类方向混音音频;
将所述第一类方向混音音频发送至所述第一类方向门声道进行播放,将所述第二类方向混音音频发送至所述第二类方向门声道进行播放。
上述中的第一类方向代指左向或者前向的声道,第二类方向代指右向或者后向的声道,当第一类方向代指左向声道时,第二类方向代指右向声道,当第一类方向代指前向声道时,第二类方向代指后向声道。
通过上述方案,将所述处理后的人声信号分别与所述至少两个第一方向声道音频和所述至少两个第二方向声道音频进行混音处理,得到至少两个第一类方向混音音频和至少两个第二类方向混音音频。将所述至少两个第一类方向混音音频分别发送至所述至少两个第一子方向门声道进行播放,将所述至少两个第二类方向混音音频分别发送至所述至少两个第二子方向门声道进行播放。
在一些实施例中,所述第一类方向门声道包括至少两个第一子方向门声道,所述第二类方向门声道包括至少两个第二子方向门声道,所述第一子方向门声道与所述第二子方向门声道的数量相同,其中,所述第一子方向与所述第一类方向相同,所述第二子方向与所述第二类方向相同;
所述将所述处理后的人声信号分别与所述第一类方向声道音频和所述第二类方向声道音频进行混音处理,得到第一类方向混音音频和第二类方向混音音频,包括:
将所述处理后的人声信号分别与至少两个所述第一方向声道音频和至少两个所述第二方向声道音频进行混音处理,得到至少两个第一类方向混音音频和至少两个第二类方向混音音频,其中,所述第一方向与所述第一类方向相同,所述第二方向与所述第二类方向相同;
将所述至少两个第一类方向混音音频分别发送至至少两个所述第一类方向门声道进行播放,将所述至少两个第二类方向混音音频分别发送至至少两个所述第二类方向门声道进行播放。
具体实施时,本实施例的至少两个第一子方向门声道优选为:左前门声道(即,左前门扬声器声道)和左后门声道(即,左后门扬声器声道)。本实施例的至少两个第二子方向门声道优选为:右前门声道(即,右前门扬声器声道)和右后门声道(即,右后门扬声器声道)。
或者,如图2B所示,本实施例的至少两个第一子方向门声道优选为:左前门声道(即,左前门扬声器声道)和右前门声道(即,右前门扬声器声道)。本实施例的至少两个第二子方向门声道优选为:左后门声道(即,左后门扬声器声道)和右后门声道(即,右后门扬声器声道)。
具体实施时,音响***除了上述几种声道之外,如图2C所示,还可以包括:低音炮扬声器声道、左环绕扬声器声道、右环绕扬声器声道、左前3D扬声器声道、右前3D扬声器声道、左后3D扬声器声道、右后3D扬声器声道。
在至少两个第一子方向门声道进行播放以及至少两个第二子方向门声道进行播放,同时中置声道可以不播放。也可以是在至少两个第一子方向门声道进行播放以及至少两个第二子方向门声道进行播放,同时将音频信号中的中置声道音频通过中置声道一起播放。
这样,至少两个第一子方向门声道(即,左前门扬声器声道、左后门扬声器声道,或者左前门扬声器声道、右前门扬声器声道)、至少两个第二子方向门声道(即,右前门扬声器声道、右后门扬声器声道,或者左后门扬声器声道、右后门扬声器声道)中均能播放人声信号,将在中置声道中的人声信号矫正到每个听音位的正前方。
过上述实施例描述的方案,使得人声不再偏离听音位视线前方,只从中置方向发出,借助门低音或门低音+门中音,辅助将人声迁移到听音位的视线正前方,使得每个听音位人声都从正前方传来,能够兼顾每个人的听觉感受,显著提升播音空间中播放多声道音轨的听觉感受,使得播音效果更加逼真、震撼。
在一些实施例中,所述人声信号包括第一路人声信号和第二路人声信号,所述处理后的人声信号包括处理后的第一路人声信号和处理后的第二路人声信号;
所述将所述处理后的人声信号分别与所述第一类方向声道音频和所述第二类方向声道音频进行混音处理,得到第一类方向混音音频和第二类方向混音音频,包括:
将所述处理后的第一路人声信号与所述第一方向声道音频进行混音处理得到所述第一类方向混音音频,其中,所述第一方向与所述第一类方向相同;
将所述处理后的第二路人声信号与所述第二方向声道音频进行混音处理得到所述第二类方向混音音频,其中,所述第二方向与所述第二类方向相同。
具体实施时,由于两个前门声道与两个后门声道设置的位置以及连接线路不同,为了避免传递过程中距离不同导致的延时不同,需要将中置声道音频复制成至少两路中置声道音频,并分别进行滤波处理和增益处理/延时处理(G/D)处理,得到第一路人声信号和第二路人声信号,其中,第一路人声信号转发至两个前门声道中进行混音后播放,第二路人声信号转发至两个后门声道中进行混音后播放。
通过上述方案,更能保证人声经过前门声道和后门声道播放后能够同时进入人耳中。
在一些实施例中,所述滤波处理为低频滤波(即,LPF,Low-pass filter)处理,其中,所述低频滤波处理的分频点的设置范围为150Hz至900Hz。具体实施时,根据人声的音频特点(人声一般是低音或低音+中音),进行低频滤波处理时需要设置分频点,根据分频点进行滤波得到的低音或低音+中音构成的人声信号。该分频点可以是一个频率点,也可以是一个频率范围,该频率点和频率范围均在150Hz至900Hz中根据实际需要进行选择。这样能够更好的保证滤波之后的人声信号的纯度,避免其他杂音的干扰,影响后续的增益处理或延时处理的效果。
基于同一个发明构思,本实施例提供了一种与上述实施例中的音频处理方法相对应的音频处理装置。
如图3所示,所述装置包括:
中置声道音频获取模块31,被配置为提取所述音频信号中的中置声道音频;
人声处理模块32,被配置为对所述中置声道音频进行滤波处理得到人声信号,对所述人声信号进行声相校正处理,得到与中置声道音频相匹配的处理后的人声信号;
播放模块33,被配置为将所述处理后的人声信号以音响***的方向门声道进行播放。
在一些实施例中,人声处理模块32,还被配置为;
截取所述人声信号中的人声频率分量;
根据所述中置声道音频的频率分量与所述人声频率分量的差异度确定增益数据;
根据所述增益数据对所述人声频率进行增益调节,得到与中置声道音频相匹配的所述处理后的人声信号。
在一些实施例中,人声处理模块32,还被配置为;
按照延时时间对所述人声信号进行延时处理,得到与中置声道音频相匹配的所述处理后的人声信号,所述延时时间是根据方向门声道到人耳的距离预先确定的。
在一些实施例中,中置声道音频获取模块31,还被配置为提取音频信号中的方向声道音频;
则播放模块33,还被配置为将所述处理后的人声信号与所述方向声道音频进行混音处理,得到混音音频;将所述混音音频以音响***的方向门声道进行播放。
在一些实施例中,设定第一类方向和第二类方向为方向相反的两个方向,所述方向门声道包括:第一类方向门声道和第二类方向门声道,所述音频信号包括:第一类方向声道音频和第二类方向声道音频;
其中,播放模块33,还被配置为:
将所述处理后的人声信号分别与所述第一类方向声道音频和所述第二类方向声道音频进行混音处理,得到第一类方向混音音频和第二类方向混音音频;
将所述第一类方向混音音频发送至所述第一类方向门声道进行播放,将所述第二类方向混音音频发送至所述第二类方向门声道进行播放。
在一些实施例中,所述第一类方向门声道包括至少两个第一子方向门声道,所述第二类方向门声道包括至少两个第二子方向门声道,所述第一子方向门声道与所述第二子方向门声道的数量相同,其中,所述第一子方向与所述第一类方向相同,所述第二子方向与所述第二类方向相同;
播放模块33,还被配置为:
将所述处理后的人声信号分别与至少两个所述第一方向声道音频和至少两个所述第二方向声道音频进行混音处理,得到至少两个第一类方向混音音频和至少两个第二类方向混音音频,其中,所述第一方向与所述第一类方向相同,所述第二方向与所述第二类方向相同;
将所述至少两个第一类方向混音音频分别发送至至少两个所述第一类方向门声道进行播放,将所述至少两个第二类方向混音音频分别发送至至少两个所述第二类方向门声道进行播放。
在一些实施例中,所述人声信号包括第一路人声信号和第二路人声信号,所述处理后的人声信号包括处理后的第一路人声信号和处理后的第二路人声信号;
播放模块33,还被配置为:
将所述处理后的第一路人声信号与所述第一方向声道音频进行混音处理得到所述第一类方向混音音频,其中,所述第一方向与所述第一类方向相同;
将所述处理后的第二路人声信号与所述第二方向声道音频进行混音处理得到所述第二类方向混音音频,其中,所述第二方向与所述第二类方向相同。
基于同一发明构思,与上述任意实施例方法相对应的,本申请还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例的方法相对应的,本申请还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上任意一实施例所述的方法。该电子设备可以是音响***,具体可以是设置在异形空间的音响***或车载音响***。
图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器410、存储器420、输入/输出接口430、通信接口440和总线450。其中处理器410、存储器420、输入/输出接口430和通信接口440通过总线450实现彼此之间在设备内部的通信连接。
处理器410可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器420可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器420可以存储操作***和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器420中,并由处理器410来调用执行。
输入/输出接口430用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口440用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线450包括一通路,在设备的各个组件(例如处理器410、存储器420、输入/输出接口430和通信接口440)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器410、存储器420、输入/输出接口430、通信接口440以及总线450,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,本实施例提供一种与上述任意实施例的电子设备相对应的车辆,该车辆上安装有上述实施例所述的音频处理装置、或上述实施例所述的非暂态计算机可读存储介质、或上述实施例所述的电子设备。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本申请的范围(包括权利要求)被限于这些例子;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本申请实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本申请实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本申请实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本申请的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本申请实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本申请的保护范围之内。
需要说明的是,在本申请中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (11)
1.一种音频处理方法,其特征在于,包括:
提取音频信号中的中置声道音频;
对所述中置声道音频进行滤波处理得到人声信号;
对所述人声信号进行声相校正处理,得到与中置声道音频相匹配的处理后的人声信号;
将所述处理后的人声信号以音响***的方向门声道进行播放。
2.如权利要求1所述的方法,其特征在于,对所述人声信号进行声相校正处理,得到与中置声道音频相匹配的处理后的人声信号包括:
截取所述人声信号中的人声频率分量;
根据所述中置声道音频的频率分量与所述人声频率分量的差异度确定增益数据;
根据所述增益数据对所述人声频率进行增益调节,得到与中置声道音频相匹配的所述处理后的人声信号。
3.如权利要求1所述的方法,其特征在于,对所述人声信号进行声相校正处理,得到与中置声道音频相匹配的处理后的人声信号包括:
按照延时时间对所述人声信号进行延时处理,得到与中置声道音频相匹配的所述处理后的人声信号,所述延时时间是根据方向门声道到人耳的距离预先确定的。
4.如权利要求1所述的方法,其特征在于,所述提取音频信号中的中置声道音频,包括:提取音频信号中的中置声道音频和方向声道音频;
所述将所述处理后的人声信号以音响***的方向门声道进行播放,包括:
将所述处理后的人声信号与所述方向声道音频进行混音处理,得到混音音频;
将所述混音音频以音响***的方向门声道进行播放。
5.如权利要求4所述的方法,其特征在于,设定第一类方向和第二类方向为方向相反的两个方向,所述方向门声道包括:第一类方向门声道和第二类方向门声道,所述音频信号包括:第一类方向声道音频和第二类方向声道音频;
其中,所述将所述处理后的人声信号与所述方向声道音频进行混音处理,得到混音音频,将所述混音音频以音响***的方向门声道进行播放,包括:
将所述处理后的人声信号分别与所述第一类方向声道音频和所述第二类方向声道音频进行混音处理,得到第一类方向混音音频和第二类方向混音音频;
将所述第一类方向混音音频发送至所述第一类方向门声道进行播放,将所述第二类方向混音音频发送至所述第二类方向门声道进行播放。
6.如权利要求5所述的方法,其特征在于,所述第一类方向门声道包括至少两个第一子方向门声道,所述第二类方向门声道包括至少两个第二子方向门声道,所述第一子方向门声道与所述第二子方向门声道的数量相同,其中,所述第一子方向与所述第一类方向相同,所述第二子方向与所述第二类方向相同;
所述将所述处理后的人声信号分别与所述第一类方向声道音频和所述第二类方向声道音频进行混音处理,得到第一类方向混音音频和第二类方向混音音频,包括:
将所述处理后的人声信号分别与至少两个所述第一方向声道音频和至少两个所述第二方向声道音频进行混音处理,得到至少两个第一类方向混音音频和至少两个第二类方向混音音频,其中,所述第一方向与所述第一类方向相同,所述第二方向与所述第二类方向相同;
将所述至少两个第一类方向混音音频分别发送至至少两个所述第一类方向门声道进行播放,将所述至少两个第二类方向混音音频分别发送至至少两个所述第二类方向门声道进行播放。
7.如权利要求5所述的方法,其特征在于,所述人声信号包括第一路人声信号和第二路人声信号,所述处理后的人声信号包括处理后的第一路人声信号和处理后的第二路人声信号;
所述将所述处理后的人声信号分别与所述第一类方向声道音频和所述第二类方向声道音频进行混音处理,得到第一类方向混音音频和第二类方向混音音频,包括:
将所述处理后的第一路人声信号与所述第一方向声道音频进行混音处理得到所述第一类方向混音音频,其中,所述第一方向与所述第一类方向相同;
将所述处理后的第二路人声信号与所述第二方向声道音频进行混音处理得到所述第二类方向混音音频,其中,所述第二方向与所述第二类方向相同。
8.一种音频处理装置,其特征在于,包括:
中置声道音频获取模块,被配置为提取音频信号中的中置声道音频;
人声处理模块,被配置为对所述中置声道音频进行滤波处理得到人声信号,对所述人声信号进行声相校正处理,得到与中置声道音频相匹配的处理后的人声信号;
播放模块,被配置为将所述处理后的人声信号以音响***的方向门声道进行播放。
9.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,其特征在于,所述计算机指令用于使计算机执行权利要求1至7任意一项所述方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
11.一种车辆,其特征在于,包括:权利要求8所述的音频处理装置、或权利要求9所述的非暂态计算机可读存储介质、或权利要求10所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210921716.XA CN115474130A (zh) | 2022-08-02 | 2022-08-02 | 音频处理方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210921716.XA CN115474130A (zh) | 2022-08-02 | 2022-08-02 | 音频处理方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115474130A true CN115474130A (zh) | 2022-12-13 |
Family
ID=84366160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210921716.XA Pending CN115474130A (zh) | 2022-08-02 | 2022-08-02 | 音频处理方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115474130A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109474873A (zh) * | 2018-10-25 | 2019-03-15 | 广州小鹏汽车科技有限公司 | 车辆音响***及音频播放方法 |
CN114040317A (zh) * | 2021-09-22 | 2022-02-11 | 北京车和家信息技术有限公司 | 音响的声道补偿方法及装置、电子设备和存储介质 |
CN114203163A (zh) * | 2022-02-16 | 2022-03-18 | 荣耀终端有限公司 | 音频信号处理方法及装置 |
CN114286276A (zh) * | 2021-12-22 | 2022-04-05 | 北京罗克维尔斯科技有限公司 | 车辆声场控制方法和装置、电子设备及电动车辆 |
-
2022
- 2022-08-02 CN CN202210921716.XA patent/CN115474130A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109474873A (zh) * | 2018-10-25 | 2019-03-15 | 广州小鹏汽车科技有限公司 | 车辆音响***及音频播放方法 |
CN114040317A (zh) * | 2021-09-22 | 2022-02-11 | 北京车和家信息技术有限公司 | 音响的声道补偿方法及装置、电子设备和存储介质 |
CN114286276A (zh) * | 2021-12-22 | 2022-04-05 | 北京罗克维尔斯科技有限公司 | 车辆声场控制方法和装置、电子设备及电动车辆 |
CN114203163A (zh) * | 2022-02-16 | 2022-03-18 | 荣耀终端有限公司 | 音频信号处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10070245B2 (en) | Method and apparatus for personalized audio virtualization | |
US9848266B2 (en) | Pre-processing of a channelized music signal | |
US8532306B2 (en) | Method and an apparatus of decoding an audio signal | |
US9712934B2 (en) | System and method for calibration and reproduction of audio signals based on auditory feedback | |
RU2685041C2 (ru) | Устройство обработки аудиосигнала и способ фильтрации аудиосигнала | |
CN104685563A (zh) | 用于嘈杂环境噪里的回放的音频信号整形 | |
CN112954581B (zh) | 一种音频播放方法、***及装置 | |
CN114067827A (zh) | 一种音频处理方法、装置及存储介质 | |
CN116437268B (zh) | 自适应分频的环绕声上混方法、装置、设备及存储介质 | |
CN111768791B (zh) | 一种音频播放方法、装置和车辆 | |
JP5324663B2 (ja) | 音響信号処理装置および音響信号処理方法 | |
CN115474130A (zh) | 音频处理方法及相关设备 | |
CN114040317B (zh) | 音响的声道补偿方法及装置、电子设备和存储介质 | |
CN111045633A (zh) | 用于检测音频信号的响度的方法和装置 | |
CN114866905A (zh) | 一种车载音响的音频处理方法及装置 | |
CN115002649A (zh) | 声场均衡调整方法、装置、设备和计算机可读存储介质 | |
US10972064B2 (en) | Audio processing | |
US11297454B2 (en) | Method for live public address, in a helmet, taking into account the auditory perception characteristics of the listener | |
CN108932953B (zh) | 一种音频均衡函数确定方法、音频均衡方法及设备 | |
JPH05175772A (ja) | 音響再生装置 | |
CN108182947B (zh) | 一种声道混合处理方法及装置 | |
JP5998357B2 (ja) | 車載用音響再生装置 | |
CN112954548B (zh) | 一种将终端麦克风及耳麦采集的声音结合的方法及装置 | |
CN116320899B (zh) | 一种发声方法、装置及设备 | |
CN118075648A (zh) | 耳机、音频的处理方法、存储介质和芯片 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |