CN113949955B - 降噪处理方法、装置、电子设备、耳机及存储介质 - Google Patents
降噪处理方法、装置、电子设备、耳机及存储介质 Download PDFInfo
- Publication number
- CN113949955B CN113949955B CN202010688695.2A CN202010688695A CN113949955B CN 113949955 B CN113949955 B CN 113949955B CN 202010688695 A CN202010688695 A CN 202010688695A CN 113949955 B CN113949955 B CN 113949955B
- Authority
- CN
- China
- Prior art keywords
- noise reduction
- noise
- frequency bands
- frequency band
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 304
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 230000007613 environmental effect Effects 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000001914 filtration Methods 0.000 claims description 22
- 230000005236 sound signal Effects 0.000 claims description 22
- 238000009499 grossing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 25
- 238000013136 deep learning model Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 230000003595 spectral effect Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000001228 spectrum Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 7
- 206010041235 Snoring Diseases 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请公开了一种降噪处理方法、装置、电子设备、耳机及存储介质,涉及降噪技术领域,该方法包括:获取音频采集装置采集的环境音,所述环境音包含噪声信号;对所述环境音进行预处理,得到待分析的噪声信号,所述待分析的噪声信号对应有多个频带;获取所述待分析的噪声信号在多个频带的声音能量值;根据所述多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数;基于所述目标降噪参数对所述环境音进行降噪处理。本申请实施例通过识别出噪声信号在多个频带的声音能量值,根据它们之间的比例关系确定目标降噪参数,以基于目标降噪参数进行针对性降噪处理,从而针对日常遇到的各种频带的噪声信号可以取得较优的主动降噪效果。
Description
技术领域
本申请涉及降噪技术领域,更具体地,涉及一种降噪处理方法、装置、电子设备、耳机及存储介质。
背景技术
目前主动降噪通常采用固定滤波器参数的方法,但由于不同环境下噪声组成不同,以固定的滤波器参数来消除周围噪声,当周围环境的噪声发生显著变化时,主动降噪的降噪效果不够稳定。例如,降噪性能峰值位于80~200Hz的主动降噪耳机,主动降噪性能在400~2000Hz之间会显著下降,不能有效地消除日常环境噪声中400~2000Hz的部分噪声,即目前的主动降噪耳机的降噪效果不佳。
发明内容
本申请实施例提出了一种降噪处理方法、装置、电子设备、耳机及存储介质,能够改善主动降噪效果。
第一方面,本申请实施例提供了一种降噪处理方法,该方法包括:获取音频采集装置采集的环境音,所述环境音包含噪声信号;对所述环境音进行预处理,得到待分析的噪声信号,所述待分析的噪声信号对应有多个频带;获取所述待分析的噪声信号在多个频带的声音能量值;根据所述多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数;基于所述目标降噪参数对所述环境音进行降噪处理。
第二方面,本申请实施例提供了一种降噪处理装置,该装置包括:音频采集模块,用于获取音频采集装置采集的环境音,所述环境音包含噪声信号;预处理模块,用于对所述环境音进行预处理,得到待分析的噪声信号,所述待分析的噪声信号对应有多个频带;能量获取模块,用于获取所述待分析的噪声信号在多个频带的声音能量值;参数确定模块,用于根据所述多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数;降噪处理模块,用于基于所述目标降噪参数对所述环境音进行降噪处理。
第三方面,本申请实施例提供了一种电子设备,包括:存储器;一个或多个处理器,与所述存储器耦接;一个或多个应用程序,其中,一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个应用程序配置用于执行上述第一方面提供的降噪处理方法。第四方面,本申请实施例提供了一种耳机,包括音频采集装置、音频输出装置以及音频信号处理电路,其中:所述音频采集装置,用于采集环境音;所述音频信号处理电路,用于获取所述音频采集装置采集的环境音;对所述环境音进行预处理,得到待分析的噪声信号,所述待分析的噪声信号对应有多个频带;获取所述待分析的噪声信号在多个频带的声音能量值;根据所述多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数;所述音频输出装置,用于基于所述目标降噪参数对所述环境音进行降噪处理。
第五方面,本申请实施例提供了一种计算机可读取存储介质,计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述第一方面提供的降噪处理方法。
本申请实施例提供的一种降噪处理方法、装置、电子设备、耳机及存储介质,通过获取音频采集装置采集的环境音,其中,环境音包含噪声信号,然后对环境音进行预处理,得到对应有多个频带的待分析的噪声信号,接着获取待分析的噪声信号在多个频带的声音能量值,并根据多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数,最后基于降噪参数对环境音进行降噪处理。由此,通过识别出噪声信号在多个频带的声音能量值,根据它们之间的比例关系确定目标降噪参数,以基于目标降噪参数进行针对性降噪处理,实现对日常遇到的各种频带的噪声信号可以获得较优的主动降噪效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种主动降噪原理图。
图2示出了一种适用于本申请实施例的应用环境示意图。
图3示出了本申请一个实施例提供的降噪处理方法的流程示意图。
图4示出了本申请另一个实施例提供的降噪处理方法的流程示意图。
图5示出了本申请一个示例性实施例提供的图4中步骤S260的流程示意图。
图6示出了本申请一个示例性实施例提供的一类噪声信号的频谱特征图。
图7示出了本申请一个示例性实施例提供的另一类噪声信号的频谱特征图。
图8示出了本申请又一个实施例提供的降噪处理方法的流程示意图。
图9示出了本申请一个示例性实施例提供的图8中步骤S370的流程示意图。
图10示出了本申请实施例提供的降噪处理装置的模块框图。
图11示出了本申请实施例提供的电子设备的结构框图。
图12示出了本申请实施例提供的耳机的结构框图。
图13示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的降噪处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
目前主动降噪(Active Noise Cancellation,ANC)耳机大多数是通过设计固定的主动降噪参数实现基于固定的主动降噪曲线(Active Noise Cancellation Level Curve)以消除外界环境噪声,其技术原理如图1所示,麦克风采集到外界环境噪声后,通过降噪电路经固定的降噪滤波器参数进行处理,产生反相信号通过扬声器播出以抵消外界环境噪声。采用固定的降噪滤波器参数后,在降噪电路工作过程中,降噪性能曲线不随外界噪声环境变化。
术语定义
主动降噪(Active Noise Cancellation,ANC):是一种降噪方式,其原理是根据指定位置处拾取到的噪声声波,利用扬声器播放声音,并在该指定位置处产生与原始声波相位相反、振幅相同的声波。由于声波是一种机械振动,当两个声波在空间中相遇时,会进行线性叠加。由扬声器播放产生的次级声场和原始噪声场在该指定位置处相遇,发生线性叠加,两个振幅相同、相位相反的声波叠加后会相互抵消,从而削弱甚至消除该噪声,让听音者获得更安静的听音感受。
主动降噪曲线:主动降噪曲线是降噪装置的主动降噪量随频率变化的曲线,用于体现该装置在声音不同频率处的降噪能力强弱。具体体现为纵轴为主动降噪量、横轴为频率的曲线。降噪装置的降噪量表示可听声波在到达人的耳膜前被降低的程度。主动降噪对不同频率声波的降噪量并不相同,相较于高频信号而言,主动降噪对低频声波的降噪效果更明显。用标准化的专业仪器测量出降噪装置在各个频率点的降噪量,连接各频点降噪量值所形成的曲线就叫降噪曲线,它对不同频率点的降噪能力都有精确描述。
目前ANC耳机基本是通过以固定的主动降噪性能、一条固定的主动降噪曲线来消除周围噪声,耳机主动降噪的有效范围一般为20~2000Hz之间,峰值一般位于80~250Hz之间。
但是以固定的主动降噪曲线来消除周围噪声,则当周围环境的噪声发生显著变化时,ANC耳机的降噪体验不稳定。比如,一个降噪性能峰值位于80~250Hz的ANC耳机,当周围噪声以80~250Hz的低频噪声为主时,主动降噪体验较好,但当用户佩戴耳机进入周围噪声以250~400Hz的中低频噪声为主的环境中时,主动降噪体验会显著变差。最终导致用户在使用一般的ANC耳机时,在不同环境下的主动降噪体验有显著差异。
另外,有少部分ANC耳机会根据周围环境特征,减弱部分频段的噪声。例如,当这种ANC耳机结合其手机端APP使用时,可将通透模式(即将外界的环境噪声放大至耳朵处,使耳机佩戴者能够更清楚地听到外面的环境噪声,此功能近似于朝着降噪的相反方向进行处理)设置成“关于语音”的模式。在关于语音的模式下,耳机会对约300Hz以下的噪声信号有个固定的降噪量,同时将约300Hz以上的信号(语音信号的频率成分主要在300Hz以上)放大至耳机佩戴者的耳朵处。然而这种处理仍然是通过一种固定的主动降噪曲线来对所有不同的环境噪声进行相同处理,仍会存在上述问题。
另外,部分ANC耳机根据环境噪声的整体强弱来切换不同降噪强度挡位的降噪模式,但是无论是自动还是手动实现切换,均不能灵活地对噪声中的不同频率成分进行区别处理。
基于上述问题,本申请实施例提供了一种降噪处理方法、装置、电子设备及计算机可读取存储介质,通过对获取到的环境噪声信号进行处理和分析,识别出环境噪声的频谱特点,并针对该噪声的频谱特点来调整降噪参数,从而对该噪声获得最优的降噪效果。为便于更好的理解本申请实施例,下面先对适用于本申请实施例的应用环境进行描述。
请参阅图2,图2示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的降噪处理方法可以应用于如图2所示的降噪处理***10中。降噪处理***10包括终端100与耳机200。
其中,终端100可以为但不限于为手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio LayerⅢ,动态影像压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio LayerⅣ,动态影像压缩标准音频层面4)播放器、笔记本电脑、电子书或可穿戴电子设备等等。本申请实施例对具体的终端100的设备类型不作限定。
在一些实施例中,终端100内可以安装有能够控制耳机降噪模式的应用程序。终端100可以将需要实现的降噪模式发送给耳机200,由耳机200播放音频,音频可以包括反相声波、音乐信号、掩蔽声等。终端100内可包括音频采集装置,用于采集环境音,并可设置有处理器,可用于执行本申请实施例提供的降噪处理方法,再经由耳机200对应播放音频以实现降噪。
其中,终端100与耳机200可基于有线或无线连接,可选地,若基于无线连接,则终端100与耳机200可基于蓝牙(Bluetooth)、2.4G无线通信技术、红外线传输技术或无线网络进行无线连接,以实现数据传输,例如,耳机200与终端100进行无线连接后可通过终端100获取音源数据进行播放。可选地,无线网络可以是移动通信网络或无线保真网络(WirelessFidelity,WiFi)。
其中,耳机200可以是有线耳机,也可以是无线耳机。可选地,耳机200还可以具体是真无线耳机。下面以完全无线缆的真无线耳机为例进行说明,但本领域技术人员应当明了的是,完全无线缆的真无线耳机仅为示例性说明,在实际使用中,本领域技术人员可以参照本申请实施例的方案,选择其他类型的耳机实施本方案,包括但不限于有线耳机和两耳机间带有线缆的无线耳机。
另外,在一些实施例中,降噪处理***10中也可仅包括耳机200,即无需终端也可实现本申请实施例所提供的降噪处理方法,例如耳机200不播放音乐而只做降噪处理的场景下,耳机200可不与终端100连接,可单独实现本申请实施例所提供的降噪处理方法。
另外,图中仅示出一个耳机,在实际应用中,本领域技术人员可参照本申请实施例的方案,选择一对耳机实施本方案,需要注意的是,多个耳机的降噪处理可以相互独立,也可不相互独立,而且一对耳机中的每个耳机可分别与终端100连接,还可耳机与耳机之间互相连接,本申请实施例对此不作限定。
在一些实施例中,每个耳机200可包括音频采集装置、音频输出装置以及音频信号处理电路,具体地可包括至少1个扬声器,至少1个可以拾取环境噪声的麦克风,至少1个可以运行算法的音频信号处理电路,另,耳机200还可包括至少1个供电电路。
其中,扬声器用于播放音频和ANC反相噪声,实现耳机200的播放音乐和ANC降噪功能。当耳机200形态为单声道耳机或者真无线耳机时,每个耳机200具有至少1个扬声器。当耳机200形态为双声道耳机或者多声道耳机时,每个耳机200具有至少2个扬声器。
其中,麦克风位于耳机200结构上可以拾取环境音的位置,拾取的环境音用于至少以下两个用途:ANC降噪所需的原始噪声信号,用于作为降噪电路输出反相噪声所需的输入信号;噪声检测分析所需的环境噪声信号。可以通过1个麦克风同时实现以上两个用途,节省硬件成本,也可以用多个麦克风分别实现以上两个用途。
其中,音频信号处理电路可以用于以下两个用途:ANC降噪处理功能,用于确定用于降噪处理的降噪参数并发送至扬声器输出对应的反相声波,以实现降噪处理;噪声检测分析功能,用于检测和分析音频信号中的噪声信号。
其中,供电电路可以为其他硬件部件供电,供电来源可以是耳机200内置的电池,可以是来自外部的电力输入,也可以是耳机200内置的发电器件。
下面将通过具体实施例对本申请实施例提供的降噪处理方法、装置、电子设备、耳机及存储介质进行详细说明。
请参阅图3,图3示出了本申请实施例提供的一种降噪处理方法的流程示意图,可应用于电子设备,电子设备可以是上述终端或耳机。下面将针对图3所示的流程示意图进行详细的阐述。该降噪处理方法可以包括以下步骤:
步骤S110:获取音频采集装置采集的环境音。
其中,环境音为音频采集装置基于当前位置采集的环境的声音信号,环境音包含噪声信号。音频采集装置可以设置于终端,也可设置于耳机,基于音频采集装置采集环境音。在一些实施方式中,音频采集装置可以是麦克风等可用于采集声音信号的装置,在此不做限定。
以音频采集装置设置于耳机为例,可基于耳机的音频采集装置如麦克风采集环境音。则在设置于耳机时,可节约成本,通过复用前馈麦克风拾取的外界环境声信号,既可用于前馈降噪设计,也可用于拾取用户输入语音,而不产生额外的硬件成本。
在一些实施方式中,音频采集装置可实时采集环境音,在另一些实施方式中,音频采集装置也可基于采集指令再对环境音进行采集,即电子设备在接收到采集指令时,才根据采集指令基于音频采集装置采集环境音。例如,用户可通过终端,或对耳机的操作,触发采集指令,使得音频采集装置可接收到采集指令以采集环境音。
在一些实施例中,电子设备获取音频采集装置采集的环境音,若环境音包含噪声信号,即可启动主动降噪功能,执行步骤S120以及之后的步骤。
在另一些实施例中,电子设备也可在获取到音频采集装置采集的环境音后,若环境音中噪声信号的声音能量值超过预设能量值,才启动主动降噪功能,执行步骤S120以及之后的步骤,以对噪声进行降噪处理,若环境音中噪声信号的声音能量值未超过预设能量值,可不执行步骤S120以及之后的步骤,例如可继续监听环境音或结束监听,从而可在环境音中的噪声信号较弱、对用户影响不大时不作主动降噪处理,降低设备功耗,节省资源。
步骤S120:对采集到的环境音进行预处理,得到待分析的噪声信号。
在一些实施方式中,对采集到的环境音进行预处理可包括对采集到的环境音进行模数转换得到数字信号,并对该数字信号进行预加重、分帧、加窗、梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)提取等处理,进而得到待分析的噪声信号。在另一些实施方式中,预处理可包括比前述更多或更少的处理步骤,在此不作限定。
本实施例中,对采集到的环境音进行预处理,可将待分析的噪声信号按多个频带划分。具体地,频带指信号的频率范围,单位一般为赫兹(Hz),比如,频带可以是400Hz~600Hz,待分析的噪声信号可对应有100Hz~200Hz、200Hz~400Hz以及400Hz~600Hz。
步骤S130:获取待分析的噪声信号在多个频带的声音能量值。
在得到待分析的噪声信号后,可获取待分析的噪声信号在多个频带的声音能量值,在一种实施方式中,得到对应有多个频带的噪声信号,可根据噪声信号在每个频带上的声音能量值,获取待分析的噪声信号在多个频带的声音能量值。
其中,声音能量值的单位可为dB,在一些示例中,频谱能量也可称为能量、振幅(Amplitude)、声压级,即一个声音信号在环境中是用多少dB来表示。作为一种方式,可根据待分析的噪声信号在频谱图上的分布,频谱图的横轴可为频率,纵轴可为声音能量值,则可确定噪声信号在多个频带的声音能量值。
步骤140:根据多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数。
在对环境音进行降噪处理时,可根据噪声信号多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数,以基于目标降噪参数对环境音中的噪声信号进行降噪处理。通过获取多个频带的声音能量值之间的比例关系,可以更准确地确定声音能量值更集中的频带,以对噪声类型进行更准确的区分,从而有利于确定更准确的降噪参数,取得更好的降噪效果。
其中,目标降噪参数可以是根据所采集到的噪声信号的声音能量值实时生成的,也可以是预先设置好的,例如在一些实施方式中,也可预先构建好针对各种噪声信号的多组预设降噪参数,并构建好每个预设降噪参数与比例关系的映射关系,从而根据多个频带的声音能量值之间的比例关系,确定对应的预设降噪参数作为目标降噪参数,从而基于该目标降噪参数对环境音进行降噪处理,从而可降低运算量,如果本实施例应用于耳机,则可降低耳机的功耗,提高其续航时间。
在一些实施例中,可基于训练好的神经网络模型,根据多个频带的能量值的比例关系,确定待分析的噪声信号的噪声类型,再将噪声类型对应的降噪参数确定为目标降噪参数,则神经网络模型可由采集到的各种频带的噪声信号作为训练样本,并标注各训练样本的噪声类型,以此训练该神经网络模型得到训练好的神经网络模型可用于实现步骤S140,具体可见后述实施例,在此不作赘述。
在另一些实施例中,也可具体通过对多个频带的声音能量值进行比较,将其中声音能量值最高的频带所对应的降噪参数确定为目标降噪参数。在一些实施方式中,多个频带的声音能量值之间的比例关系可以是通过先确定最高声音能量值的频带,再确定该频带与其他频带的比例关系得到。具体也可见后述实施例,在此不作赘述。
在另一些实施方式中,多个频带的声音能量值之间的比例关系也可以是通过多个频带的声音能量值之间的比例直接确定的,具体地,若多个频带的声音能量值之间的比例与预设比例匹配,则可从多个频带中将声音能量值最高的频带确定为候选频带,并将该候选频带对应的降噪参数确定为目标降噪参数。其中,预设比例可以根据实际需要确定,例如若多个频带的数量为3,则预设比例可为1:1:2、1:1:3、1:2:4等,在此不作限定。另外,与预设比例匹配可以是精确匹配,也可以是近似匹配,例如三个频带的声音能量值之间的比例为1.1:1:2,预设比例为1:1:2,此时也可判定该三个频带的比例与预设比例匹配,由此可允许一定误差,误差允许程度也可根据实际需要确定。另外,多个频带的比例与预设比例进行匹配时可以不限定频带的顺序,也就是说只要多个频带的比例能够与预设比例匹配即可。
在一个具体示例中,若频带A、频带B、频带C的声音能量值之间的比例为1:2:1,预设比例为1:1:2,则可判定频带A、频带B、频带C的声音能量值之间的比例与预设比例匹配,则可将频带B对应的降噪参数确定为目标降噪参数。
步骤150:基于目标降噪参数对环境音进行降噪处理。
其中,确定的目标降噪参数可以为主动降噪曲线或与主动降噪曲线对应的降噪参数。则基于目标降噪参数可由耳机输出对应的反相声波以对环境音进行降噪处理。
本申请实施例提供的降噪处理方法,通过基于音频采集装置采集环境音,其中,环境音可能包含噪声信号,然后对采集到的环境音进行预处理,得到对应有多个频带的待分析的噪声信号,接着获取待分析的噪声信号在多个频带的声音能量值,并根据多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数,最后基于降噪参数对环境音进行降噪处理。由此,通过识别出噪声信号在多个频带的声音能量值,根据它们之间的比例关系确定目标降噪参数,以基于目标降噪参数进行针对性降噪处理,实现对日常遇到的各种频带的噪声信号可以获得较优的主动降噪效果。
请参阅图4,图4示出了本申请另一个实施例提供的降噪处理方法的流程示意图,具体地,该方法可以包括:
步骤S210:基于音频采集装置采集环境音。
步骤S220:基于预设频率范围,根据倍频程将预设频率范围划分为多个待分析的频带。
由于人耳听音***对声音频率的分辨率并不是固定的,频率越高人耳听音***的频率分辨率越低,且人耳听觉***所能分辨出来的频率间隔与倍频程的中心频率近似成对数正比关系,因此得到对应有多个频带的待分析的噪声信号时,可以将待分析的噪声信号的频带宽度设定为对数频带,比如倍频程。在一些实施方式中,若想对噪声信号进行更细粒度的识别,亦可将分析频带宽度设定为1/2倍频程甚至1/3倍频程,本实施例对此不作限定。
在一些实施例中,预设频率范围可根据实际需要确定,例如,考虑到多数ANC耳机在1~2kHz频段内的降噪效果较弱,可仅对频率位于1kHz以下的低频噪声成分进行分析,则预设频率范围可以为1kHz以下的频率范围。当然也可对更宽或者更窄的频率范围进行处理和分析,本实施例对预设频率范围不作限定。
在一些实施方式中,频带的划分也可以根据实际需要来确定。在实际应用中,为了避免ANC耳机在强低频震动场合进入非线性工作区域并进而出现异常音,ANC耳机在100Hz以下的降噪效果一般较差。鉴于此,可以将第一个待分析的频带设定为100~200Hz,同时结合人耳听觉***的频率分辨性能,可对噪声信号进行对数频程分析,将第二个待分析的频带设定为200~400Hz。另外,作为一种实施方式,按照对数倍频程特性,第三个待分析的频带可以设定为400~800Hz。
作为另一种实施方式,考虑到多数ANC耳机在1~2kHz频带内的降噪效果较弱,可仅对频率位于1kHz以下的低频噪声成分进行分析,则可仅考虑1kHz以下的频谱成分,将第三个待分析的频带可设定为400~1000Hz。由此,可结合主动降噪的频率特性和人耳听觉***特性,确定待分析的不同频带的频率范围。
需要说明的是,不同ANC耳机的降噪性能不同,根据ANC耳机在不同频带的降噪性能表现,可灵活设定第三个待分析的频带,例如,将降噪性能表现开始变差的最高频率设定为第三个待分析的频带的上限频率值。在一个示例中,若ANC耳机在1.2kHz以上的频带的降噪效果才开始变差或低于设定的阈值,则第三个待分析的频带也可以设定为400~1200Hz,此时预设频率范围可为1.2kHz以下的频率范围。
需要说明的是,上述待分析的频带也可设定为更窄或更宽、中心频率往其他频率移动、将此频带拆分为多个更细的频带等,本实施例对此不作限定。另外,对数频程分析可以基于倍频程、1/2倍频程或1/3倍频程等,本实施例对此也不作限定。
考虑到人耳听音***对声音频率的分辨能力具有对数特性,即对低频部分的分辨率高,但对高频部分的分辨率反而低。因而相对于对音频采集装置拾取到的噪声信号进行傅里叶变换,然后通过分析噪声频谱差异以调用不同的降噪模式的降噪方法,本实施例通过设定好待分析的频带后,再结合该频带内的噪声频谱特性来对噪声进行识别,可更充分考虑人耳听音***的主观听音特性,减少对过多的噪声频谱细节的考虑,使得在对噪声信号进行处理和分析时具有更优的鲁棒性。
步骤S230:根据每个频带的上限频率值与下限频率值,确定对应的带通滤波器。
根据每个频带的上限频率值与下限频率值,即可获取每个频带的频率范围,则可生成各频率范围对应的带通滤波器。
步骤S240:在时域基于每个频带对应的带通滤波器,对每个频带的噪声信号进行带通滤波处理,得到滤波后的噪声信号作为待分析的噪声信号。
在时域基于每个频带对应的带通滤波器,对每个频带的噪声信号进行带通滤波处理,滤出待分析的不同频带内的信号,以便于后续识别环境噪声信号的频谱特性。在此滤波处理过程中,亦滤除了不必要的低频和高频,既保证数据信息的完整性,同时降低信号处理的数据量。并且由于直接在时域上进行滤波,不需要进行傅里叶变换到频谱,只需要在时域进行滤波,所以处理更简单,更符合降噪的特性。
其中,通过带通滤波处理可保留信号中某一频率范围内的频率分量、同时将该频率范围外的频率分量衰减到较低水平的信号处理。在本实施例中,可利用带通滤波处理截取不同频率范围内的声音信号,再计算相应频率范围内的声信号能量,即声音能量值,进而根据声音能量值在不同频段范围内的分布差异来区分不同的噪声类型,进而确定对应的降噪参数作为目标降噪参数。
在其他一些实施例中,也可以不是带通滤波而是做低通滤波,在此不作限定。
在一些实施例中,预处理还可包括降采样处理,比如,在前述在时域基于每个频带对应的带通滤波器,对每个频带的噪声信号进行带通滤波处理之前,可先对采集到的环境音进行降采样处理,得到降采样后的环境音;根据降采样后的环境音,得到待分析的噪声信号。具体地,在一些实施方式中,得到降采样后的环境音,可对降采样后的环境音进行预处理,得到待分析的噪声信号,其中,预处理的步骤可参考前述步骤S120,在此不再赘述。当然,在另一些实施方式中,在对降采样后的环境音进行预处理时,也可对环境音的噪声信号进行滤波处理,具体实施方式可参考前述步骤S220至步骤S240,在此不再赘述。
由于主动降噪处理对***的延时要求较高,例如,在一些场景中,***的硬件延时需在20微秒以内。因此,在主动降噪处理通路中,对数字信号的采样率较高,基本在192kHz以上,甚至部分ANC耳机还采用768kHz的高采样率。但是,在对噪声频谱进行识别分析、分类处理时,其对***延时的敏感度低很多,并且考虑到采样率越高则运算量越大,因此在进行噪声频谱识别分析前,可以先对高采样率的数字信号进行降采样处理。
在一些实施方式中,由于主动降噪主要对2kHz以下的频率成分有效,所以可对此频率范围内的噪声信号进行识别分析。为了覆盖到2kHz以下的频率范围,麦克风信号采样率只需要不低于4kHz即已足够。同时,频率越低越能够节省运算量,因此可采用降采样处理;如果电子设备的运算能力足够,比如音频信号处理电路的运算能力足够,也可以采用更高的采样率。作为一种方式,可采用16kHz采样率,基于16kHz的采样率对采集到的环境音进行降采样处理;作为其他方式,也可考虑采用不同的采样率,只需保证采样率不低于4kHz即仍可一定程度地降低运算量的同时保证噪声信号的精度。
步骤S250:获取待分析的噪声信号在多个频带的声音能量值。
通过带通滤波处理,可得到噪声信号在待分析的不同频带内的噪声成分,此时可计算待分析的噪声信号在不同频带内的声音能量值。
在一些实施方式中,获取待分析的噪声信号在多个频带的声音能量值后,可以对待分析的噪声信号在多个频带内的声音能量值进行平滑处理。由于环境中噪声信号总是随时间变化,在实际使用时,为了使主动降噪效果不要频繁切换导致使用体验较差,通过对不同频带范围内的噪声信号的声音能量值进行平滑处理,其中,具体的平滑速度可根据实际需要进行调整,也可以是程序预设,还可以是用户自定义。通过能量平滑处理可以减缓对噪声信号变化的跟踪速度,可以消除环境的噪声信号出现的一些短暂的瞬态变化对降噪效果的影响,提升用户体验。
步骤S260:根据多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数。
在另一些实施例中,可基于训练好的神经网络模型实现步骤S260,则步骤S260可包括步骤S261至步骤S262,具体地,请参阅图5,图5示出了本申请一个示例性实施例提供的图4中步骤S260的流程示意图,于该实施例中,步骤S260可包括:
步骤S261:基于训练好的深度学习模型,根据多个频带的声音能量值的比例关系,确定噪声类型。
在训练深度学习模型之前,可先采集噪声数据库,例如,可基于不同的噪声环境,对不同环境下的噪声信号进行采集,得到相应的噪声信号。并为了提升深度学习模型的识别准确率,可采集尽量多的噪声信号。
采集得到噪声信号后,可基于预设时间长度对采集到的噪声信号进行分段处理,得到持续时间长度为预设时间长度的多段噪声信号,其中,预设时间长度可根据实际需要确定,也可以是程序预设或用户自定义的,本实施例对此不作限定。在一个示例中,预设时间长度可设定为数秒到数十秒不等。
将采集到的噪声信号分段后,可以对每段噪声信号的在不同频带的声音能量值进行标记。在一些实施方式中,可仅标记噪声信号在每个频带的声音能量值;在另一些实施方式中,也可直接标记噪声信号在多个频带的声音能量值的比例关系;在又一些实施方式中,还可标记噪声信号的噪声类型,本实施例对此不作限定,具体可根据深度学习模型构建时的输入输出定义进行确定。
其中,噪声类型可按各种维度进行划分,在一些实施方式中,可按声音能量值最高的频带来划分;在另一些实施方式中,可按噪声产生场景的不同来划分;在又一些实施方式中,可按噪声产生方式的不同来划分如鼾声、空调声、说话声等。本实施例对噪声类型的划分方式不作限定。
在一种实施方式中,由于不同噪声在不同频带上的声音能量值分布不同,那么不同噪声的声音能量值最高的频带也会有所不同,则噪声类型也可按声音能量值最高的频带进行划分,比如,噪声类型1的声音能量值最高的频带为200Hz以下,噪声类型2的声音能量值最高的频带为500Hz~600Hz,则若噪声信号的声音能量值主要集中于500Hz~600Hz,可标记其噪声类型为噪声类型2。
另外,在一些实施例中,从多个频带中确定声音能量值最高的频带时,还可确定该声音能量值最高的频带与其他频带的声音能量值的比值是否均超过预设比值,若均超过,才将该声音能量值最高的频带作为一种噪声类型对应的频带进行标注。若未均超过,则可将该声音能量值最高的频带进行拓宽,将比值未超过预设比值的其他频带与候选频带合并为一个目标频带,从而,可将合并后的目标频带作为一种噪声类型对应的频带进行标注,并针对合并后的目标频带,生成对应的降噪参数作为该噪声类型对应的降噪参数,以实现更准确的针对性降噪。其具体实施方式可见后述实施例,在此不作赘述。
在另一种实施方式中,由于不同场景的噪声的频谱特性不同,其在不同频带的声音能量值也有所差异,因而噪声类型可以按场景进行划分,比如噪声类型可包括地铁环境下的地铁噪声、办公室环境下的办公室噪声等,则可预先基于地铁环境采集地铁噪声、基于办公室环境采集办公室噪声等各种噪声类型的噪声信号,并标注对应的噪声类型,在训练深度学习模型时,可分析噪声信号的频谱特性,如噪声信号在多个频带的比例关系作为深度学习模型的输入,将该噪声信号对应的噪声类型作为期待输出,从而在一个示例中,若所采集的噪声信号的频谱特征与基于地铁环境采集到的地铁噪声的频谱特征匹配,例如,噪声信号在多个频带的声音能量值的比例关系与地铁噪声在对应频带的声音能量值的比例关系匹配,则可确定该噪声信号的噪声类型为地铁噪声,其中频谱特征是否匹配的判断可由训练好的深度学习模型实现,通过训练好的深度学习模型确定噪声类型。
在又一种实施方式中,由于不同方式产生的噪声的频谱特性有较大差异,例如鼾声的声音能量值主要集中于250~800Hz,而主动降噪耳机一般的降噪曲线仅是可以对处于80~200Hz的噪声信号有较好的降噪效果,所以对鼾声的降噪效果不强,则为了提升针对性降噪效果,可按噪声产生方式的不同来对噪声类型进行划分,比如鼾声、空调声、说话声等,则可预先采集鼾声、空调声、说话声等各种噪声类型的噪声信号,并标注对应的噪声类型,在训练深度学习模型时,可参考前述描述,从而在一个示例中,若所采集的噪声信号在多个频带的声音能量值的比例关系与鼾声在对应频带的声音能量值的比例关系匹配,则可确定该噪声信号的噪声类型为鼾声。
基于神经网络建立深度学习模型,并基于上述标记好的噪声信号,对深度学习模型进行训练,训练深度学习模型的参数,包括网络层数、激活函数等,从而获取训练参数的可取范围,再根据训练以及测试所得的损失函数曲线判断训练是否可停止,并再可停止时,可得到能够识别出不同噪声类型的深度学习模型。其中,神经网络可以是卷积神经网络(Convolutional Neural Networks,CNN)、深度神经网络(Deep Neural Networks,DNN)、循环神经网络(Recurrent Neural Network,RNN)等,在此不作限定。由此,可基于训练好的深度学习模型,根据多个频带的声音能量值的比例关系,确定待分析噪声信号的噪声类型。
在一些实施方式中,可将训练好的深度学习模型移植到耳机的音频信号处理电路中,则可基于耳机运行该训练好的深度学习模型。在另一些实施方式中,也可将其部署于终端,以基于终端运行该训练好的深度学习模型,从而降低耳机的运算负担,降低耳机的功耗。尤其在耳机是真无线耳机时,可提高其续航时间。
步骤S262:将噪声类型对应的降噪参数确定为目标降噪参数。
在一些实施方式中,可预先存储有各个噪声类型与降噪参数之间的映射关系,从而可根据噪声类型确定对应的降噪参数作为目标降噪参数。在另一些实施方式中,也可根据噪声类型实时生成对应的降噪参数作为目标降噪参数,实现针对当前噪声类型的自适应降噪处理,以便取得更优的降噪效果。
在一些实施方式中,耳机内部可至少存储3套降噪参数,可分别对应3套主动降噪曲线,分别匹配不同噪声类型的降噪处理。
步骤S270:基于目标降噪参数对环境音进行降噪处理。
确定噪声类型后可根据噪声类型对应的降噪参数确定对应的目标降噪参数。例如,当前环境的噪声信号的能量集中在200Hz以下的频带,则ANC耳机的主动降噪曲线可调整为降噪性能集中在200Hz以下频带的主动降噪曲线,从而获得最优的降噪效果;而当环境发生变化,噪声信号的频谱中能量主要集中在400~600Hz,则ANC耳机的主动降噪曲线可调整为降噪性能集中在400~600Hz频段,从而继续获得较优的降噪效果。
在一个具体示例中,以图6和图7为例,图6、图7分别是两类噪声信号的频谱特征图。图6中噪声信号的能量均集中在200Hz以下的低音频带,当识别到噪声信号的频谱特征如图6所示时,可以将降噪性能主要集中在200Hz以下的降噪参数确定为目标降噪参数,并以此对环境音进行降噪处理,比如将主动降噪曲线调整为降噪性能集中在200Hz以下。图7中噪声信号的能量较多分布在500Hz~600Hz附近,当识别到噪声信号的频谱特征如图7所示时,可以将降噪性能主要集中在500Hz~600Hz之间的降噪参数确定为目标降噪参数,并以此对环境音进行降噪处理,比如将主动降噪曲线调整为降噪性能集中在500Hz~600Hz附近,耳机可基于该主动降噪曲线进行降噪处理。
需要说明的是,本实施例中未详细描述的部分可以参考前述实施例,在此不再赘述。
本实施例提供的降噪处理方法,通过基于音频采集装置采集环境音,然后基于由倍频程划分的多个待分析的频带,生成相应的带通滤波器,并在时域上直接进行带通滤波处理得到待分析的噪声信号,使得处理更简单,更符合降噪的特性。接着,根据该待分析的噪声信号在多个频带的声音能量值之间的比例关系,识别得到噪声信号的频谱特性,然后通过该频谱特性相应地调整降噪参数,进而得到不同噪声下的更优降噪效果。另外,还可通过在带通滤波处理前先对采集到的环境音进行降采样处理,可兼顾耳机的运算量,降低其功耗。并通过采用更符合人耳听音***的倍频程来划分多个待分析的频带,从而可在无需考虑过多噪声频谱细节的前提下,即可实现鲁棒的、更符合人耳听觉***的主观感知特性来识别噪声类型,取得更符合人耳的主观听觉和降噪效果,提升听音者的主观体验。另外,由于基于本实施例提供的降噪处理方法,一副ANC耳机即可实现对日常遇到的各种噪声进行降噪处理,节省了用户使用和购买的ANC耳机数量。
请参阅图8,图8示出了本申请又一个实施例提供的降噪处理方法的流程示意图,具体地,该方法可以包括:
步骤S310:基于音频采集装置采集环境音。
步骤S320:基于预设频率范围,根据倍频程将预设频率范围划分为多个待分析的频带。
步骤S330:根据每个频带的上限频率值与下限频率值,确定对应的带通滤波器。
步骤S340:在时域基于每个频带对应的带通滤波器,对每个频带的噪声信号进行带通滤波处理,得到滤波后的噪声信号作为待分析的噪声信号。
步骤S350:获取待分析的噪声信号在多个频带的声音能量值。
步骤S360:从多个频带中将声音能量值最高的频带确定为候选频带。
基于得到的噪声信号在不同频带内的声音能量值,可以进一步通过不同能量值之间的大小关系识别出噪声信号的频谱特性。本实施例中,可以从多个频带中将声音能量值最高的频带确定为候选频带,由于噪声信号一般集中于声音能量值最高的频带,因而可以判断该候选频带是否足以用于确定出目标降噪参数。
在一种实施方式中,带通滤波处理后,可对噪声信号进行平滑处理。在一个示例中,若平滑处理后的噪声信号在第一个频带100Hz~200Hz范围内的噪声能量值为A、在第二个频带200Hz~400Hz范围内的噪声能量值为B,在第三个频带400Hz~1000Hz范围内的噪声能量值为C,此时若A>B>C,则可将A对应的第一个频带100Hz~200Hz确定为候选频带,A为对应的候选声音能量值。
步骤S370:确定候选频带对应的候选声音能量值与其他频带的声音能量值的比值是否均超过预设比值。
在一些实施例中,预设比值包括第一预设比值与第二预设比值,则步骤S370可包括步骤S371至步骤S373,具体地,请参阅图9,图9示出了本申请一个示例性实施例提供的图8中步骤S370的流程示意图,于该实施例中,步骤S370可包括:
步骤S371:确定候选频带的声音能量值与第一频带的声音能量值的第一比值。
步骤S372:确定候选频带的声音能量值与第二频带的声音能量值的第二比值。
其中,其他频带可包括连续的第一频带以及第二频带,需要说明的是,连续的第一频带以及第二频带,是指第一频带、第二频带与候选频带在频率上连续,比如,候选频带为100Hz~200Hz,第一频带可以为200Hz~400Hz,第二频带可以为400Hz~1000Hz;再如,候选频带为200Hz~400Hz,第一频带可以为100Hz~200Hz,第二频带可以为400Hz~1000Hz。由此,通过比较候选频带的声音能量值与第一频带、第二频带的声音能量值,可确定候选频带的候选声音能量值与其他频带的声音能量值之间差异程度。
在一些可能的实施例中,第一频带、第二频带与候选频带在频率上还可以是间隔连续的,比如候选频带为100Hz~200Hz,第一频带可以为250Hz~450Hz,第二频带可以为500Hz~1000Hz。
在一些实施方式中,第一预设比值与第二预设比值可以根据实际需要确定,也可以是程序预设,还可以是用户自定义,本实施例对此不作限定。另外,第一预设比值与第二预设比值可以相同,也可不同。
作为一种实施方式,第一预设比值与第二预设比值相同,则可通过确定候选频带对应的候选声音能量值与其他频带中每一个频带的声音能量值的比值是否均超过第一预设比值或第二预设比值,并在均超过时,才判定候选频带对应的候选声音能量值与其他频带的声音能量值的比值均超过预设比值。
作为另一种实施方式,第一预设比值与第二预设比值可以不相同,例如,可根据第一频带、第二频带各自相距候选频带的频率差,可设置不同的第一预设比值与第二预设比值,并且,在一个示例中,频率差越大,预设比值可以越大。在另一个示例中,频率差越大,预设比值也可以越小,则只需候选频带与距离其最近的频带的声音能量值相差足够大,也可以此确定目标降噪参数。
其中,频率差可以为第一频带、第二频带各自与候选频带的中心频率之差,也可以是第一频带、第二频带各自与候选频带的上限频率或下限频率之差,在此不做限定。例如,若候选频带为候选频带为100Hz~200Hz,第一频带可以为200Hz~400Hz,第二频带可以为400Hz~1000Hz,则第一频带与候选频带之间的频率差为中心频率之差,即300Hz-150Hz=150Hz,第二频带与候选频带之间的频率差为中心频率之差,即700Hz-150Hz=550Hz,则第二频带对应的频率差大于第一频带对应的频率差。
在一些实施方式中,可预先设置不同频率差区间与预设比值之间的映射关系,则可根据频率差确定对应的预设比值,以作为第一预设比值或第二预设比值。
步骤S373:若第一比值超过第一预设比值且第二比值超过第二预设比值,则判定候选频带对应的候选声音能量值与其他频带的声音能量值的比值均超过预设比值。
若第一比值超过第一预设比值且第二比值超过第二预设比值,则判定候选频带对应的候选声音能量值与其他频带的声音能量值的比值均超过预设比值,此时候选频带与其他频带之间的差异程度足够大,可将该待分析的噪声信号确定为一个噪声类型。
在一些实施例中,若候选频带对应的候选声音能量值与其他频带的声音能量值的比值未均超过预设比值,则可能存在多种噪声信号的混合,则此时声音能量值最高的频带可能无法被包含于预先划分的频带,使得频带之间的声音能量值相差不够大,此时,可针对将声音能量值最高的频带进行拓宽,将比值未超过预设比值的其他频带与候选频带合并为一个目标频带,从而,可针对合并后的目标频带,生成对应的降噪参数作为目标降噪参数。由此,还可对多种高噪声信号混合的场景实现针对性降噪处理,取得更优的降噪效果。
步骤S380:若均超过,将候选频带对应的降噪参数确定为目标降噪参数。
例如,若待分析的噪声信号在第一个频带100Hz~200Hz范围内的声音能量值为A,在第二个频带200Hz~400Hz范围内的声音能量值为B,在第三个频带400Hz~1000Hz范围内的声音能量值为C,若A大于B的一定倍数,且A大于C的一定倍数,即A对应的第一个频带100Hz~200Hz为候选频带,可将第二个频带200Hz~400Hz记为第一频带,将第三个频带400Hz~1000Hz记为第二频带,且A与B的第一比值大于第一预设比值,A与C的第二比值大于第二预设比值,则可将该待分析的噪声信号归为一类噪声类型,此时可将降噪参数调整为针对候选频带100Hz~200Hz具有最佳降噪性能的降噪参数,从而进行更深更有针对性的降噪处理。
步骤S390:基于目标降噪参数对环境音进行降噪处理。
需要说明的是,本实施例中未详细描述的部分可以参考前述实施例,在此不再赘述。
本实施例提供的降噪处理方法,在前述实施例的基础上,通过确定候选频带对应的候选声音能量值与其他频带的声音能量值的比值是否均超过预设比值,并在均超过时,才将候选频带对应的降噪参数确定为目标降噪参数,可以确定候选声音能量值与其他频带的声音能量值之间的差异程度是否够大,从而在均超过预设比值时认为差异程度足够大,则在差异程度足够大时,才将候选频带对应的降噪参数,即降噪性能主要集中在该候选频带的降噪参数确定为目标降噪参数,从而可针对各种噪声信号实现更准确的降噪,提升降噪效果。
请参阅图10,其示出了本申请实施例提供的一种降噪处理装置1000的结构框图,可应用于电子设备,电子设备可以是上述终端或耳机,具体地,该降噪处理装置1000可以包括:音频采集模块1010、预处理模块1020、能量获取模块1030、参数确定模块1040以及降噪处理模块1050,具体地:
音频采集模块1010,用于基于音频采集装置采集环境音,所述环境音包含噪声信号;
预处理模块1020,用于对采集到的所述环境音进行预处理,得到待分析的噪声信号,所述待分析的噪声信号对应有多个频带;
能量获取模块1030,用于获取所述待分析的噪声信号在多个频带的声音能量值;
参数确定模块1040,用于根据所述多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数;
降噪处理模块1050,用于基于所述目标降噪参数对所述环境音进行降噪处理。
进一步地,参数确定模块1040可包括:第一候选确定子模块、第一候选比较子模块以及第一候选降噪子模块,其中:
第一候选确定子模块,用于从所述多个频带中将声音能量值最高的频带确定为候选频带;
第一候选比较子模块,用于确定所述候选频带对应的候选声音能量值与其他频带的声音能量值的比值是否均超过预设比值;
第一候选降噪子模块,用于若均超过,将所述候选频带对应的降噪参数确定为目标降噪参数。
进一步地,所述降噪处理装置1000还可包括:
目标频带确定模块,用于若未均超过,将比值未超过预设比值的其他频带与所述候选频带合并作为目标频带;
目标降噪模块,用于将所述目标频带对应的降噪参数确定为目标降噪参数。
进一步地,其他频带包括连续的第一频带以及第二频带,所述预设比值包括第一预设比值与第二预设比值,所述候选比较子模块包括:第一比值确定单元、第二比值确定单元以及比值比较单元,其中:
第一比值确定单元,用于确定候选频带的声音能量值与第一频带的声音能量值的第一比值;
第二比值确定单元,用于确定候选频带的声音能量值与第二频带的声音能量值的第二比值;
比值比较单元,用于若所述第一比值超过第一预设比值且所述第二比值超过第二预设比值,则判定所述候选频带对应的候选声音能量值与其他频带的声音能量值的比值均超过预设比值。
进一步地,所述参数确定模块1040可包括:第二候选确定子模块以及第二候选降噪子模块,其中:
第二候选确定子模块,用于若所述多个频带的声音能量值之间的比例与预设比例匹配,从所述多个频带中将声音能量值最高的频带确定为候选频带;
第二候选降噪子模块,用于将所述候选频带对应的降噪参数确定为目标降噪参数。
进一步地,所述预处理模块1020可包括:频带划分子模块、滤波器确定子模块以及时域滤波子模块,其中:
频带划分子模块,用于基于预设频率范围,根据倍频程将所述预设频率范围划分为多个待分析的频带;
滤波器确定子模块,用于根据每个频带的上限频率值与下限频率值,确定对应的带通滤波器;
时域滤波子模块,用于在时域基于每个频带对应的带通滤波器,对每个频带的噪声信号进行带通滤波处理,得到滤波后的噪声信号作为待分析的噪声信号。
进一步地,所述预处理模块1020可包括:降采样子模块以及噪声获取子模块,其中:
降采样子模块,用于对采集到的所述环境音进行降采样处理,得到降采样后的环境音;
噪声获取子模块,用于根据所述降采样后的环境音,得到待分析的噪声信号。
进一步地,所述预处理模块1020可包括:模型确定子模块以及参数确定子模块,其中:
模型确定子模块,用于基于训练好的深度学习模型,根据所述多个频带的声音能量值的比例关系,确定所述待分析的噪声信号的噪声类型;
参数确定子模块,用于将所述噪声类型对应的降噪参数确定为目标降噪参数。
进一步地,降噪处理装置1000还包括:平滑处理模块,其中:
平滑处理模块,用于对所述待分析的噪声信号在多个频带内的声音能量值进行平滑处理。
进一步地,预处理模块1020可包括:降噪启动子模块,其中:
降噪启动子模块,用于若环境音中噪声信号的声音能量值超过预设能量值,对所述环境音进行预处理,得到待分析的噪声信号。
本申请实施例提供的降噪处理装置用于实现前述方法实施例中相应的降噪处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图11,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备1100可以是耳机或智能手机、平板电脑、MP3播放器、MP4播放器、电子书、笔记本电脑、个人计算机、可穿戴电子设备等能够运行应用程序的终端。本申请中的电子设备1100可以包括一个或多个如下部件:处理器1110、存储器1120以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器1120中并被配置为由一个或多个处理器1110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器1110可以包括一个或者多个处理核。处理器1110利用各种接口和线路连接整个电子设备1100内的各个部分,通过运行或执行存储在存储器1120内的指令、程序、代码集或指令集,以及调用存储在存储器1120内的数据,执行电子设备1100的各种功能和处理数据。可选地,处理器1110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1110可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1110中,单独通过一块通信芯片进行实现。
存储器1120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器1120可用于存储指令、程序、代码、代码集或指令集。存储器1120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备1100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参阅图12,其示出了本申请实施例提供的耳机的结构框图。耳机1200可包括音频采集装置1210、音频输出装置1220以及音频信号处理电路1230。其中:
所述音频采集装置1210,用于采集环境音。在一些实施方式中,音频采集装置1210可以是麦克风或其他可采集音频信号的器件,用于采集音频信号,并传输至音频信号处理电路1220。
所述音频信号处理电路1220,用于获取所述音频采集装置采集的环境音;对所述环境音进行预处理,得到待分析的噪声信号,所述待分析的噪声信号对应有多个频带;获取所述待分析的噪声信号在多个频带的声音能量值;根据所述多个频带的声音能量值之间的比例关系,确定对应的目标降噪参数。
所述音频输出装置1230,用于输出音频信号,作为一种实施方式,所述音频输出装置1230可基于所述目标降噪参数对所述环境音进行降噪处理。在一些实施方式中,音频输出装置1230可以是扬声器或其他可输出音频信号的器件。
另外,在一些实施例中,耳机1200还可包括供电电路,该供电电路可以为其他硬件部件供电,供电来源可以是耳机1200内置的电池,可以是来自外部的电力输入,也可以是耳机1200内置的发电器件。
本申请实施例提供的耳机1200用于实现前述方法实施例中相应的降噪处理方法,并具有相应的方法实施例的有益效果,在此不再赘述。
请参考图13,其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质1300中存储有程序代码,所述程序代码可被处理器调用执行上述实施例中所描述的方法。
计算机可读取存储介质1300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读取存储介质1300包括非易失性计算机可读取存储介质(non-transitory computer-readable storage medium)。计算机可读取存储介质1300具有执行上述方法中的任何方法步骤的程序代码1310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1310可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种降噪处理方法,其特征在于,所述方法包括:
获取音频采集装置采集的环境音,所述环境音包含噪声信号;
对所述环境音进行预处理,得到待分析的噪声信号,所述待分析的噪声信号对应有多个频带;
获取所述待分析的噪声信号在多个频带的声音能量值;
从所述多个频带中将声音能量值最高的频带确定为候选频带;
确定所述候选频带对应的候选声音能量值与其他频带的声音能量值的比值是否均超过预设比值,所述其他频带与所述候选频带未存在相互重合的部分频带;
若均超过,将所述候选频带对应的降噪参数确定为目标降噪参数;
若未均超过,将比值未超过预设比值的其他频带与所述候选频带合并作为目标频带;
将所述目标频带对应的降噪参数确定为目标降噪参数;
基于所述目标降噪参数对所述环境音进行降噪处理。
2.根据权利要求1所述的方法,其特征在于,所述其他频带包括连续的第一频带以及第二频带,所述预设比值包括第一预设比值与第二预设比值,所述确定所述候选频带对应的候选声音能量值与其他频带的声音能量值的比值是否均超过预设比值,包括:
确定候选频带的声音能量值与第一频带的声音能量值的第一比值;
确定候选频带的声音能量值与第二频带的声音能量值的第二比值;
若所述第一比值超过第一预设比值且所述第二比值超过第二预设比值,则判定所述候选频带对应的候选声音能量值与其他频带的声音能量值的比值均超过预设比值。
3.根据权利要求1或2所述的方法,其特征在于,所述对所述环境音进行预处理,得到待分析的噪声信号,包括:
基于预设频率范围,根据倍频程将所述预设频率范围划分为多个待分析的频带;
根据每个频带的上限频率值与下限频率值,确定对应的带通滤波器;
在时域基于每个频带对应的带通滤波器,对每个频带的噪声信号进行带通滤波处理,得到滤波后的噪声信号作为待分析的噪声信号。
4.根据权利要求1所述的方法,其特征在于,所述对所述环境音进行预处理,得到待分析的噪声信号,包括:
对采集到的所述环境音进行降采样处理,得到降采样后的环境音;
根据所述降采样后的环境音,得到待分析的噪声信号。
5.根据权利要求1所述的方法,其特征在于,所述获取所述待分析的噪声信号在多个频带的声音能量值之后,所述方法还包括:
对所述待分析的噪声信号在多个频带内的声音能量值进行平滑处理。
6.根据权利要求1所述的方法,其特征在于,所述对所述环境音进行预处理,得到待分析的噪声信号,包括:
若环境音中噪声信号的声音能量值超过预设能量值,对所述环境音进行预处理,得到待分析的噪声信号。
7.一种降噪处理装置,其特征在于,所述装置包括:
音频采集模块,用于获取音频采集装置采集的环境音,所述环境音包含噪声信号;
预处理模块,用于对所述环境音进行预处理,得到待分析的噪声信号,所述待分析的噪声信号对应有多个频带;
能量获取模块,用于获取所述待分析的噪声信号在多个频带的声音能量值;
参数确定模块,用于从所述多个频带中将声音能量值最高的频带确定为候选频带;确定所述候选频带对应的候选声音能量值与其他频带的声音能量值的比值是否均超过预设比值,所述其他频带与所述候选频带未存在相互重合的部分频带;若均超过,将所述候选频带对应的降噪参数确定为目标降噪参数;若未均超过,将比值未超过预设比值的其他频带与所述候选频带合并作为目标频带;将所述目标频带对应的降噪参数确定为目标降噪参数;
降噪处理模块,用于基于所述目标降噪参数对所述环境音进行降噪处理。
8.一种耳机,其特征在于,包括音频采集装置、音频输出装置以及音频信号处理电路,其中:
所述音频采集装置,用于采集环境音;
所述音频信号处理电路,用于获取所述音频采集装置采集的环境音;对所述环境音进行预处理,得到待分析的噪声信号,所述待分析的噪声信号对应有多个频带;获取所述待分析的噪声信号在多个频带的声音能量值;从所述多个频带中将声音能量值最高的频带确定为候选频带;确定所述候选频带对应的候选声音能量值与其他频带的声音能量值的比值是否均超过预设比值,所述其他频带与所述候选频带未存在相互重合的部分频带;若均超过,将所述候选频带对应的降噪参数确定为目标降噪参数;若未均超过,将比值未超过预设比值的其他频带与所述候选频带合并作为目标频带;将所述目标频带对应的降噪参数确定为目标降噪参数;
所述音频输出装置,用于基于所述目标降噪参数对所述环境音进行降噪处理。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。
10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行所述权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010688695.2A CN113949955B (zh) | 2020-07-16 | 2020-07-16 | 降噪处理方法、装置、电子设备、耳机及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010688695.2A CN113949955B (zh) | 2020-07-16 | 2020-07-16 | 降噪处理方法、装置、电子设备、耳机及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113949955A CN113949955A (zh) | 2022-01-18 |
CN113949955B true CN113949955B (zh) | 2024-04-09 |
Family
ID=79326581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010688695.2A Active CN113949955B (zh) | 2020-07-16 | 2020-07-16 | 降噪处理方法、装置、电子设备、耳机及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113949955B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114466278B (zh) * | 2022-04-11 | 2022-08-16 | 北京荣耀终端有限公司 | 一种耳机模式对应的参数确定方法、耳机、终端和*** |
CN116095565A (zh) * | 2022-09-05 | 2023-05-09 | 维沃移动通信有限公司 | 音频信号处理方法、装置、电子设备及可读存储介质 |
CN116741194B (zh) * | 2023-08-10 | 2024-01-12 | 同方节能工程技术有限公司 | 空间局域降噪方法、装置、设备、***和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10043527B1 (en) * | 2015-07-17 | 2018-08-07 | Digimarc Corporation | Human auditory system modeling with masking energy adaptation |
CN108766454A (zh) * | 2018-06-28 | 2018-11-06 | 浙江飞歌电子科技有限公司 | 一种语音噪声抑制方法及装置 |
CN109493877A (zh) * | 2017-09-12 | 2019-03-19 | 清华大学 | 一种助听装置的语音增强方法和装置 |
CN110491407A (zh) * | 2019-08-15 | 2019-11-22 | 广州华多网络科技有限公司 | 语音降噪的方法、装置、电子设备及存储介质 |
WO2019233358A1 (zh) * | 2018-06-05 | 2019-12-12 | 安克创新科技股份有限公司 | 一种基于深度学习的音质特性处理方法及*** |
-
2020
- 2020-07-16 CN CN202010688695.2A patent/CN113949955B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10043527B1 (en) * | 2015-07-17 | 2018-08-07 | Digimarc Corporation | Human auditory system modeling with masking energy adaptation |
CN109493877A (zh) * | 2017-09-12 | 2019-03-19 | 清华大学 | 一种助听装置的语音增强方法和装置 |
WO2019233358A1 (zh) * | 2018-06-05 | 2019-12-12 | 安克创新科技股份有限公司 | 一种基于深度学习的音质特性处理方法及*** |
CN108766454A (zh) * | 2018-06-28 | 2018-11-06 | 浙江飞歌电子科技有限公司 | 一种语音噪声抑制方法及装置 |
CN110491407A (zh) * | 2019-08-15 | 2019-11-22 | 广州华多网络科技有限公司 | 语音降噪的方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113949955A (zh) | 2022-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230179160A1 (en) | Compensation for ambient sound signals to facilitate adjustment of an audio volume | |
CN113949955B (zh) | 降噪处理方法、装置、电子设备、耳机及存储介质 | |
CN110970057B (zh) | 一种声音处理方法、装置与设备 | |
US9202456B2 (en) | Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation | |
CN112992169B (zh) | 语音信号的采集方法、装置、电子设备以及存储介质 | |
US20230352038A1 (en) | Voice activation detecting method of earphones, earphones and storage medium | |
CN109493877B (zh) | 一种助听装置的语音增强方法和装置 | |
KR20130055650A (ko) | 다중-마이크로폰 위치 선택적 프로세싱을 위한 시스템들, 방법들, 장치, 및 컴퓨터 판독가능 매체 | |
EP2633519A1 (en) | Systems, methods, and apparatus for voice activity detection | |
JP2011061422A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN113949956B (zh) | 降噪处理方法、装置、电子设备、耳机及存储介质 | |
CN111683319A (zh) | 一种通话拾音降噪方法及耳机、存储介质 | |
CN110970010A (zh) | 噪音消除方法、装置、存储介质及设备 | |
CN112767908A (zh) | 基于关键声音识别的主动降噪方法、电子设备及存储介质 | |
CN110942781B (zh) | 声音处理方法及声音处理设备 | |
CN112333602B (zh) | 信号处理方法、信号处理设备、计算机可读存储介质及室内用播放*** | |
CN115314804A (zh) | 佩戴检测方法、可穿戴设备及存储介质 | |
CN114697849A (zh) | 耳机佩戴检测方法、装置、耳机及存储介质 | |
US11581004B2 (en) | Dynamic voice accentuation and reinforcement | |
US11877133B2 (en) | Audio output using multiple different transducers | |
CN114466278A (zh) | 一种耳机模式对应的参数确定方法、耳机、终端和*** | |
CN112532788A (zh) | 音频播放方法、终端及存储介质 | |
WO2022198538A1 (zh) | 主动降噪音频设备和用于主动降噪的方法 | |
CN116419111A (zh) | 耳机的控制方法、参数生成方法、装置、存储介质及耳机 | |
CN115396765A (zh) | 一种音质参数的匹配方法及无线耳机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |