CN116782084A - 音频信号处理方法及装置、耳机、存储介质 - Google Patents
音频信号处理方法及装置、耳机、存储介质 Download PDFInfo
- Publication number
- CN116782084A CN116782084A CN202210216457.0A CN202210216457A CN116782084A CN 116782084 A CN116782084 A CN 116782084A CN 202210216457 A CN202210216457 A CN 202210216457A CN 116782084 A CN116782084 A CN 116782084A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- equalization
- audio
- test
- earphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 537
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 221
- 238000012545 processing Methods 0.000 claims abstract description 99
- 230000003044 adaptive effect Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 62
- 238000012546 transfer Methods 0.000 claims description 62
- 230000007613 environmental effect Effects 0.000 claims description 39
- 238000012074 hearing test Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000003595 spectral effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 description 21
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 230000009467 reduction Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000002349 favourable effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000004962 physiological condition Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
一种音频信号处理方法及装置、耳机、存储介质，该方法应用于耳机，包括：输出第一测试音频信号，并采集与第一测试音频信号对应的接收音频信号；根据接收音频信号及第一测试音频信号确定音频均衡参数，以对待输出的第二测试音频进行均衡，并输出均衡后的第二测试音频信号；获取针对第二测试音频信号反馈的听力检测信息，并根据听力检测信息确定音频补偿参数，该音频均衡参数用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡，音频补偿参数则用于对进行自适应均衡后的目标音频信号进行补偿。实施本申请实施例，能够使耳机针对不同用户提供个性化的音频均衡及补偿处理，有利于提升耳机对音频信号进行优化调整的有效性。
Description
技术领域
本申请涉及电子设备技术领域，尤其涉及一种音频信号处理方法及装置、耳机、存储介质。
背景技术
当前，耳机用户在佩戴使用耳机时，由于不同用户自身的耳道生理条件及其佩戴耳机的方式等实际场景通常存在较大差异，往往容易给用户造成不符合预期的听音感受，导致用户使用耳机的体验较差。然而，在实践中发现，传统的音频处理方法(如音量调整、降噪等)难以有效应对上述情况，导致耳机无法根据用户的实际需求来对待输出的音频信号进行合适的处理，从而降低了耳机对音频信号进行优化调整的有效性。
发明内容
本申请实施例公开了一种音频信号处理方法及装置、耳机、存储介质，能够使耳机针对不同用户提供个性化的音频均衡及补偿处理，有利于提高耳机自适应处理音频信号的效果，从而能够提升耳机对音频信号进行优化调整的有效性。
本申请实施例第一方面公开一种音频信号处理方法，应用于耳机，所述耳机包括扬声器及反馈麦克风，所述方法包括：
通过所述扬声器输出第一测试音频信号；
通过所述反馈麦克风采集与所述第一测试音频信号对应的接收音频信号；
根据所述接收音频信号以及所述第一测试音频信号，确定音频均衡参数；
根据所述音频均衡参数，对待输出的第二测试音频进行均衡处理，并通过所述扬声器输出均衡处理后的第二测试音频信号；
获取针对所述第二测试音频信号反馈的听力检测信息；
根据所述听力检测信息确定音频补偿参数，其中，所述音频均衡参数用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡处理，所述音频补偿参数用于对利用所述音频均衡参数进行自适应均衡处理后的目标音频信号进行听力补偿。
本申请实施例第二方面公开一种音频信号处理装置，应用于耳机，所述耳机包括扬声器及反馈麦克风，所述音频信号处理装置包括：
音频输出单元，用于通过所述扬声器输出第一测试音频信号；
音频接收单元，用于通过所述反馈麦克风采集与所述第一测试音频信号对应的接收音频信号；
第一确定单元，用于根据所述接收音频信号以及所述第一测试音频信号，确定音频均衡参数；
音频均衡单元，用于根据所述音频均衡参数，对待输出的第二测试音频进行均衡处理，并通过所述扬声器输出均衡处理后的第二测试音频信号；
信息获取单元，用于获取针对所述第二测试音频信号反馈的听力检测信息；
第二确定单元，用于根据所述听力检测信息确定音频补偿参数，其中，所述音频均衡参数用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡处理，所述音频补偿参数用于对利用所述音频均衡参数进行自适应均衡处理后的目标音频信号进行听力补偿。
本申请实施例第三方面公开了一种耳机，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如本申请实施例第一方面公开的任意一种音频信号处理方法中的全部或部分步骤。
本申请实施例第四方面公开了一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序被处理器执行时实现如本申请实施例第一方面公开的任意一种音频信号处理方法中的全部或部分步骤。
与相关技术相比，本申请实施例具有以下有益效果：
本申请实施例中，应用音频信号处理方法的耳机可以包括扬声器以及反馈麦克风，并通过该扬声器输出第一测试音频信号，继而可以通过该反馈麦克风采集与第一测试音频信号对应的接收音频信号。在此基础上，耳机可以根据上述接收音频信号以及第一测试音频信号确定音频均衡参数，并根据该音频均衡参数对待输出的第二测试音频进行均衡处理，以通过扬声器输出均衡处理后的第二测试音频信号。进一步地，耳机可以获取针对上述第二测试音频信号反馈的听力检测信息，并根据该听力检测信息确定音频补偿参数。其中，上述音频均衡参数可以用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡处理，音频补偿参数则可以用于对利用音频均衡参数进行自适应均衡处理后的目标音频信号进行听力补偿。可见，实施本申请实施例，能够针对佩戴耳机的不同用户自身的耳形、听力特性乃至耳机佩戴状态等实际场景的差异，通过连续进行不同类型的测试来获取多个维度上的音频信号调整参数，并据此对后续待输出的目标音频信号进行相应的均衡及补偿，以实现对该目标音频信号的综合调整。通过实现上述音频信号处理，能够使耳机针对不同用户提供个性化的音频均衡及补偿处理，不仅有利于提高耳机自适应处理音频信号的效果，还便于针对目标音频信号进行更准确的降噪处理，从而能够提升耳机对音频信号进行优化调整的有效性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例公开的音频信号处理方法的一种应用场景示意图；
图1B是本申请实施例公开的音频信号处理方法的另一种应用场景示意图；
图2是本申请实施例公开的一种音频信号处理方法的流程示意图；
图3是本申请实施例公开的一种混合基础音频信号与低频信号的流程示意图；
图4是本申请实施例公开的另一种音频信号处理方法的流程示意图；
图5是本申请实施例公开的测试耳形传递函数及目标耳形传递函数分别对应的幅频响应示意图；
图6是根据图5所示的耳形传递函数确定的第一均衡参数所配置的均衡器的幅频响应示意图；
图7是本申请实施例公开的一种耳机在不同泄漏程度下的***幅频响应示意图；
图8是根据图7所示的不同泄漏程度确定的第二均衡参数所配置的均衡器的幅频响应示意图；
图9是通过图8所示的均衡器进行均衡后的***幅频响应示意图；
图10是本申请实施例公开的又一种音频信号处理方法的流程示意图；
图11是本申请实施例公开的一种耳机的结构示意图；
图12是本申请实施例公开的一种音频信号处理装置的模块化示意图；
图13是本申请实施例公开的一种耳机的模块化示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种音频信号处理方法及装置、耳机、存储介质，能够使耳机针对不同用户提供个性化的音频均衡及补偿处理，有利于提高耳机自适应处理音频信号的效果，从而能够提升耳机对音频信号进行优化调整的有效性。
以下将结合附图进行详细描述。
请一并参阅图1A及图1B，图1A是本申请实施例公开的音频信号处理方法的一种应用场景示意图，图1B则是本申请实施例公开的音频信号处理方法的另一种应用场景示意图。如图1A所示，该应用场景可以包括用户10及耳机20，用户10可以通过该耳机20检测用户10自身的耳形(或耳道生理条件)、佩戴耳机20的佩戴状态以及用户10的各类听力特性(如存在不同程度的听力损伤、不同的风格喜好等)等个性化因素对自身听音效果的影响，进而可以针对上述个性化因素确定相应的音频均衡或补偿参数，以用于配置合适的滤波器，来对该耳机20待输出的目标音频信号进行相应的音频信号处理，提高用户10使用耳机20的听音效果。
示例性地，耳机20可以利用不同类型的测试音频信号来检测上述各种个性化因素对用户10的听音效果的影响。在一些实施例中，该测试音频信号可以包括第一测试音频信号，该第一测试音频信号可以包括基础音频信号和/或低频信号。其中，上述基础音频信号，可以指声音频率处于人耳听音范围(一般为20～20000Hz)内的主要频段，即日常生活中较常见频段(例如500～4000Hz等)的音频信号，且可以用于检测用户10自身的耳形对其收听第一测试音频信号的影响；上述低频信号，可以指声音频率较低，例如低于人耳听音范围，即声音频率为20Hz以下的音频信号，且可以用于检测用户10佩戴该耳机20的佩戴状态对其收听第一测试音频信号的影响，尤其是耳机佩戴方式不当、耳塞尺寸不合适等原因所可能导致的第一测试音频信号中低频泄漏的情况(表现为测试音频信号在中低频频段的非常规衰减)。
可选地，第一测试音频信号也可以由上述基础音频信号与低频信号混合得到的。通过混合上述基础音频信号以及低频信号，耳机20可以利用所得到的第一测试音频信号同时分析多个不同个性化因素的影响，进而可以针对不同的个性化因素设置相应的音频均衡参数，从而可以同时实现耳形自适应均衡以及佩戴泄漏自适应均衡等，有助于提升耳机20对音频信号的均衡效果。
在一些实施例中，该测试音频信号还可以包括第二测试音频信号，该第二测试音频信号可以包括某一频率点(如500Hz、1000Hz等)上的纯音信号，即仅由该频率点对应的音频信号分量组成，而不包含其他频率的音频信号分量的音频信号。采用纯音信号作为第二测试音频信号，可以通过相应的听力检测过程准确地判断出用户10在该频率点上的听力敏感程度，进而可以针对这些听力检测信息设置相应的音频补偿参数，以进一步实现与用户的听力特性对应的补偿，从而可以在耳机20对音频信号进行音频均衡的基础上进一步提升音频补偿的效果。
在本申请实施例中，耳机20可以包括扬声器以及反馈麦克风，当用户10佩戴该耳机20时，其反馈麦克风可以处于扬声器与用户之间。具体地，该耳机20可以先通过其扬声器输出上述第一测试音频信号，其中，该第一测试音频信号可以在耳机20被用户10主动触发检测的时候实时生成，也可以预先生成并存储在该耳机20中。在此基础上，耳机20可以通过其反馈麦克风采集与上述第一测试音频信号对应的接收音频信号，并根据该接收音频信号以及第一测试音频信号，确定出相应的音频均衡参数。进一步地，耳机20可以根据该音频均衡参数对待输出的第二测试音频进行均衡处理，并再次通过其扬声器输出均衡处理后的第二测试音频信号。耳机20可以获取用户10针对该第二测试音频信号反馈的听力检测信息，继而可以根据该听力检测信息确定出相应的音频补偿参数。其中，上述音频均衡参数可以用于对耳机20待输出的目标音频信号进行与用户10的耳形和/或耳机佩戴状态匹配的自适应均衡处理，音频补偿参数则可以用于对利用上述音频均衡参数进行自适应均衡处理后的目标音频信号做进一步的听力补偿。
可见，上述方法能够针对佩戴耳机20的不同用户10自身的耳形、听力特性乃至耳机佩戴状态等实际场景的差异，通过连续进行不同类型的测试来获取多个维度上的音频信号调整参数，并据此对后续待输出的目标音频信号进行相应的均衡及补偿，以实现对该目标音频信号的综合调整。通过实现上述音频信号处理，能够使耳机20针对不同用户10提供个性化的音频均衡及补偿处理，一方面有利于提高耳机20自适应处理音频信号的效果，使得用户10收听到的目标音频信号可以尽可能还原其实际的初始音质(即尽可能还原该目标音频信号被录制或生成时的音色、音调等)；另一方面还有助于该耳机20针对目标音频信号进行更准确的降噪处理，避免由于未经过均衡及补偿的目标音频信号在传播过程中出现变形、衰减等问题，导致耳机20误判目标音频信号的初始音质而进行了与用户10的实际需求不相匹配的降噪操作，从而能够提升耳机20对音频信号进行优化调整的有效性。
可选地，如图1B所示，耳机20还可以与终端设备30建立通信连接，从而当需要检测用户10的听音特性时，用户10可以与终端设备30进行交互，以通过该终端设备30触发耳机20输出上述第二测试音频信号。在耳机20输出第二测试音频信号之后，也可以进一步获取用户10在终端设备30上进行交互所反馈的听力检测信息，以确定出相应的音频补偿参数。示例性地，上述终端设备30可以包括具备无线通信功能的各类设备或***，如手机、智能可穿戴设备、车载终端、平板电脑、PC(Personal Computer，个人电脑)、PDA(PersonalDigital Assistant，个人数字助理)等，本申请实施例中不作具体限定。
请参阅图2，图2是本申请实施例公开的一种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机，该耳机可以包括扬声器以及反馈麦克风。如图2所示，该音频信号处理方法可以包括以下步骤：
202、通过扬声器输出第一测试音频信号。
在本申请实施例中，为了确定耳机用户自身的耳形(或耳道生理条件)、佩戴耳机时的佩戴状态等个性化因素对用户自身听音效果的影响，可以采用上述基础音频信号和/或低频信号作为第一测试音频信号。
其中，上述基础音频信号可以包括白噪声信号、音频数据信号(如音乐文件、录音文件、聊天语音等具有实际信息的音频数据对应的音频数据信号)等，其能够覆盖较大的频率范围，尤其是人耳听音范围所包括的主要频段，从而可以用于检测该耳机所处的音频***(即耳机输出的音频信号在耳机与用户之间传输的通路)对上述频率范围内的第一测试音频信号的影响。具体地，由于不同用户的耳形个性化差异主要影响较高频率范围内(如1000Hz或以上频段)的音频信号传递过程，通过对上述基础音频信号进行检测，可以在后续步骤中针对该较高频率范围进行分析，以基于不同用户的耳形个性化差异实现相应的耳形自适应均衡。
其中，上述低频信号可以包括声音频率低于佩戴泄漏阈值的纯音信号，该佩戴泄漏阈值可以表示在用户佩戴耳机的情况下，由于不同的耳机佩戴状态等因素而导致耳道内音频信号发生泄漏或明显泄漏的最低频率(例如20Hz、30Hz、50Hz等)。为了测试实际的低频泄漏影响，可以采用声音频率低于上述佩戴泄漏阈值，例如频率为10Hz、12Hz、15Hz等的低频信号。以佩戴泄漏阈值为20Hz为例，此时低频信号可以仅针对次声频率这一超低频率范围，检测该耳机所处的音频***对该超低频率范围内的第一测试音频信号的影响。在此基础上，由于用户不同的耳机佩戴状态所可能导致的低频泄漏主要影响较低频率范围(如1000Hz以下频段)的音频信号传递过程，通过对上述低频信号进行检测，可以在后续步骤中针对该较低频率范围进行分析，以基于不同用户的耳机佩戴状态个性化差异实现相应的佩戴泄漏自适应均衡。
可选地，上述第一测试音频信号可以由基础音频信号与低频信号混合得到。示例性地，可以先通过高通滤波器对上述基础音频信号进行滤波，再将滤波后的基础音频信号与低频信号进行混合。其中，该高通滤波器的截止频率可以高于上述低频信号对应的频率，从而可以有效降低基础音频信号对低频信号的干扰，便于独立实现上述耳形自适应均衡以及佩戴泄漏自适应均衡。
示例性地，请参阅图3，图3是本申请实施例公开的一种混合基础音频信号与低频信号的流程示意图。如图3所示，在需要生成第一测试音频信号时，可以先将基础音频信号输入高通滤波器，通过该高通滤波器对基础音频信号进行滤波，然后再将滤波后的基础音频信号与低频信号一同输入混合器进行混合。其中，该混合器可以用于直接将滤波后的基础音频信号与低频信号相加，也可以用于对滤波后的基础音频信号与低频信号调整增益后相加、调整时延后相加等，从而得到混合的第一测试音频信号。
204、通过反馈麦克风采集与第一测试音频信号对应的接收音频信号。
在本申请实施例中，耳机在输出上述第一测试音频信号之后，可以立即通过其内置的反馈麦克风采集与该第一测试音频信号对应的接收音频信号。该第一测试音频信号在耳机所处的音频***中进行传输，被反馈麦克风所接收后，可以用于评估音频信号在该音频***的传输过程中所受到的影响，以在后续步骤中确定出相应的音频均衡参数。可以理解，由于反馈麦克风处于扬声器与用户之间，上述音频***也可以由音频信号在该扬声器以及反馈麦克风之间传输的通路来近似替代。
示例性地，耳机的反馈麦克风可以持续采集音频信号，从而可以根据扬声器输出上述第一测试音频信号的时间戳，获取反馈麦克风在该时间戳附近(如延后0.01毫秒、延后0.1毫秒等)的时刻所采集到的接收音频信号。在一些实施例中，耳机的反馈麦克风也可以不持续开启，而是在扬声器输出上述第一测试音频信号之后，由该扬声器触发开启，并将该反馈麦克风开启后采集到的音频信号作为与上述第一测试音频信号对应的接收音频信号。可选地，对于通过反馈麦克风采集到的接收音频信号，耳机还可以利用其内置的信号处理模块，将上述扬声器输出的第一测试音频信号与该接收音频信号进行波形对比，当对比结果表示该测试音频信号与该接收音频信号的波形相似度满足相似度阈值(如50％、80％等)时，可以将该接收音频信号确认为与上述第一测试音频信号对应的接收音频信号。
206、根据接收音频信号以及第一测试音频信号，确定音频均衡参数。
在本申请实施例中，耳机在采集到上述接收音频信号之后，可以根据该接收音频信号来分析其与上述第一测试音频信号的差异，以评估音频信号在耳机所处的音频***的传输过程中所受到的影响，进而可以确定出均衡该影响所需的音频均衡参数。
在一些实施例中，该音频均衡参数可以包括第一均衡参数及第二均衡参数。其中，第一均衡参数可以与上述基础音频信号对应，用于实现耳形自适应均衡，以针对不同用户的耳形个性化差异，来均衡较高频率范围内(如1000Hz或以上频段)的音频信号；第二均衡参数则可以与上述低频信号对应，用于实现佩戴泄漏自适应均衡，以针对不同用户的耳机佩戴状态个性化差异，尤其是耳机佩戴方式不当、耳塞尺寸不合适等原因导致的音频信号中低频泄漏的不同情况，来均衡较低频率范围内(如1000Hz以下频段)的音频信号。
在另一些实施例中，该音频均衡参数也可以不作区分，即耳机可以根据上述接收音频信号以及第一测试音频信号，直接确定出用于综合均衡全频段音频信号的音频均衡参数。需要说明的是，无论采用何种形式的音频均衡参数，均可分别实现上述耳形自适应均衡以及佩戴泄漏自适应均衡，从而可以针对耳机待输出的目标音频信号进行全面的补偿，以均衡其在耳机所处的音频***中传输所可能受到的影响，使得用户收听到的目标音频信号尽可能还原其实际的初始音质。
208、根据音频均衡参数，对待输出的第二测试音频进行均衡处理，并通过扬声器输出均衡处理后的第二测试音频信号。
在本申请实施例中，为了进一步针对用户的听力特性进行相应的音频信号补偿，以提高用户使用耳机时的听音效果，需要获取该用户对应的听力检测信息。因此，耳机可以通过输出第二测试音频信号，并采集用户针对该第二测试音频信号的反馈情况，以此来评估用户的听力特性，得到相应的听力检测信息。其中，上述第二测试音频信号可以包括各个待检测频率点(如500Hz、1000Hz等)上的纯音信号。
示例性地，耳机在确定出上述音频均衡参数之后，可以基于该音频均衡参数配置相应的目标均衡滤波器，并通过该目标均衡滤波器对待输出的第二测试音频信号进行均衡处理，以尽可能抵消该第二测试音频信号在传输过程中可能出现的变形、衰减等问题，提升听力检测的准确性和可靠性。在此基础上，耳机可以采用类似于输出上述第一测试音频信号的方式，通过其扬声器输出均衡后的第二测试音频信号。
210、获取针对第二测试音频信号反馈的听力检测信息。
在本申请实施例中，耳机获取针对第二测试音频信号反馈的听力检测信息时，需要通过与用户的交互实现，即基于用户是否收听到该第二测试音频信号的反馈，确定与该第二测试音频信号对应的听力检测结果。其中，上述听力检测信息可以包括用户是否收听到第二测试音频信号的主观判断信息，也可以包括根据上述主观判断信息进一步确定出的临界声音强度(即用户恰好能收听到第二测试音频信号时，该第二测试音频信号的声音强度)、可收听的声音强度范围等。
在一种实施例中，当用户仅通过耳机获取上述反馈的听力检测信息时，可以通过检测针对该耳机的用户操作来实现。示例性地，针对该耳机的用户操作可以包括触控操作、语音操作、移动操作等。
例如，当用户收听到第二测试音频信号时，可以触摸该耳机上指定的触控点，从而该耳机在检测到针对上述指定触控点的触控操作时，可以确定用户收听到第二测试音频信号的听力状态，进而获取相应的听力检测信息。
又例如，当用户收听到第二测试音频信号时，可以直接发出“听到”的语音指令；而当用户未收听到第二测试音频信号时，则可以直接发出“没听到”的语音指令，从而该耳机可以对其检测到的语音指令进行解析，以确定用户是否收听到第二测试音频信号的情况。
再例如，用户还可以根据是否收听到第二测试音频信号的不同情况，进行不同方向的头部移动，从而该耳机可以通过传感器检测其自身的移动状态，以确定相应的用户是否收听到第二测试音频信号的听力状态。具体举例来说，当用户收听到第二测试音频信号时，可以使头部左倾，以使耳机检测到向左移动的趋势；当用户未收听到第二测试音频信号时，则可以使头部右倾，以使该耳机检测到向右移动的趋势，进而耳机可以根据其检测到的移动趋势确定用户针对第二测试音频信号反馈的听力检测信息。
在另一种实施例中，当用户还通过与耳机通信连接的终端设备来获取上述反馈的听力检测信息时，也可以通过获取针对该终端设备的用户操作来实现。示例性地，针对该终端设备的用户操作可以包括触控操作、按钮点击操作等。当终端设备检测到上述用户操作时，可以根据该用户操作确定用户是否收听到第二测试音频信号的听力状态，并将该听力状态发送至耳机。在此基础上，耳机可以根据其接收到的听力状态，进一步获取针对上述第二测试音频信号反馈的听力检测信息。
212、根据听力检测信息确定音频补偿参数，其中，上述音频均衡参数用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡处理，音频补偿参数则用于对利用音频均衡参数进行自适应均衡处理后的目标音频信号进行听力补偿。
在本申请实施例中，耳机可以通过其内置的处理器调用上述听力检测信息，并根据该听力检测信息分析用户的听力特性(如存在不同程度的听力损伤、不同的风格喜好等)，以确定该用户对于音频信号不同频率分量的听力敏感程度。示例性地，若根据听力检测信息确定出用户在某一频率点的听力敏感程度较低，即用户不易听到该频率分量的音频信号，则后续可以针对音频信号的该频率分量进行增强；若根据听力检测信息确定出用户在某一频率点的听力敏感程度过高，即用户容易受到该频率分量的音频信号刺激，则后续可以针对音频信号的该频率分量进行保留或削弱。根据上述分析得到的用户听力特性，该耳机可以进一步计算出相应的音频补偿参数，该音频补偿参数可以用于对耳机待输出的目标音频信号进行补偿，即针对目标音频信号的不同频率分量，分别进行与用户的听力特性对应的补偿。
示例性地，上述音频均衡参数可以包括均衡滤波器参数，则上述补偿参数可以包括补偿滤波器参数(均可包括用于配置滤波器的抽头系数等)。耳机可以通过上述均衡滤波器参数配置相应的目标均衡滤波器，以及通过上述补偿滤波器参数配置相应的目标补偿滤波器。在此基础上，所配置的目标均衡滤波器可以用于对耳机待输出的目标音频信号进行自适应均衡，而目标补偿滤波器则可以用于对利用上述目标均衡滤波器进行自适应均衡后的目标音频信号进行进一步的补偿。
在一些实施例中，上述目标均衡滤波器或目标补偿滤波器均可以由一个或多个滤波器组成。具体地，当需要对特定频率范围的音频信号进行均衡或补偿时，可以配置相应频带的带通滤波器或带阻滤波器进行滤波；当需要对多个频段的音频信号进行较复杂的均衡或补偿时，也可以通过配置级联的FIR(Finite Impulse Response，有限长单位冲激响应)滤波器或IIR(Infinite Impulse Response，无限长单位冲激响应)滤波器来进行相应的滤波。
可见，实施上述实施例所描述的音频信号处理方法，能够针对佩戴耳机的不同用户自身的耳形、听力特性乃至耳机佩戴状态等实际场景的差异，通过连续进行不同类型的测试来获取多个维度上的音频信号调整参数，并据此对后续待输出的目标音频信号进行相应的均衡及补偿，以实现对该目标音频信号的综合调整。通过实现上述音频信号处理，能够使耳机针对不同用户提供个性化的音频均衡及补偿处理，不仅有利于提高耳机自适应处理音频信号的效果，还便于针对目标音频信号进行更准确的降噪处理，从而能够提升耳机对音频信号进行优化调整的有效性。
请参阅图4，图4是本申请实施例公开的另一种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机，该耳机可以包括扬声器以及反馈麦克风。如图4所示，该音频信号处理方法可以包括以下步骤：
402、通过扬声器输出第一测试音频信号。
404、通过反馈麦克风采集与第一测试音频信号对应的接收音频信号。
其中，步骤402以及步骤404与上述步骤202以及步骤204类似，此处不再赘述。
406、根据上述接收音频信号以及第一测试音频信号，确定与接收音频信号对应的测试耳形传递函数。
在本申请实施例中，耳机在采集到上述接收音频信号之后，可以根据该接收音频信号评估其对应的第一测试音频信号在该耳机所处的音频***传输的过程中所受到的影响，从而推导出由用户耳形个性化差异决定的测试耳形传递函数，该测试耳形传递函数可以用于在后续步骤中计算用于实现耳形自适应均衡的第一均衡参数。
示例性地，该测试耳形传递函数可以基于对上述接收音频信号以及第一测试音频信号分别进行傅里叶变换后所得到的频域形式计算得到。在一些实施例中，可以通过耳机内置的信号处理模块(例如DSP模块等)先对上述接收音频信号进行分帧加窗处理，即，将宏观上不平稳的音频信号分割为具备短时平稳性的多个音频信号帧(如帧长为10～30毫秒的音频信号帧)，再基于加窗后的各帧接收音频信号进行FFT(Fast Fourier Transform，快速傅里叶变换)运算，得到该接收音频信号对应的频域形式。类似地，对上述第一测试音频信号也可以进行相应的分帧加窗处理以及FFT运算，继而可以结合上述接收音频信号进一步计算得到所需的测试耳形传递函数。
408、根据测试耳形传递函数以及目标耳形传递函数，计算得到与用户耳形对应的第一均衡参数。
在本申请实施例中，耳机在确定出上述测试耳形传递函数之后，还可以获取相应的目标耳形传递函数。其中，该目标耳形传递函数可以包括耳机处于标准耳形治具(如IEC711等)中时所测得的耳形传递函数，即在消音室环境下将耳机置于气密性良好的标准耳形治具中，检测此时的耳形传递函数；也可以包括统计所得到的耳形传递函数，例如在消音室环境下获取大量用户正常佩戴耳机时的传递函数，并对其统计求均值，得到相应的目标耳形传递函数；又例如，若上述大量用户正常佩戴耳机时的传递函数以函数曲线的形式表示，则可以针对上述函数曲线求取均值曲线，并将该均值曲线对应的函数确定为目标耳形函数。
在此基础上，耳机可以根据上述测试耳形传递函数以及目标耳形传递函数，计算得到与用户耳形对应的第一均衡参数。其中，该第一均衡参数可以包括用于配置相应的均衡器中所包含的滤波器的抽头系数、增益系数等，以便于在后续步骤中对耳机待输出的目标音频信号进行耳形自适应均衡。示例性地，该第一均衡参数所配置的均衡器的传递函数He(k)可以通过以下公式1计算得到：
公式1：
其中，Hp(k)对应于上述测试耳形传递函数，Ht(k)对应于上述目标耳形传递函数，alpha为修正因子。需要说明的是，上述公式1中的k可以表示所划分的频段子带，即耳机可以分别根据每个频域子带对应的测试耳形传递函数以及目标耳形传递函数，计算得到各个频域子带对应的第一均衡参数。示例性地，上述各个频域子带可以为在第一测试音频信号的频率范围内划分的各个子频率范围。
示例性地，请一并参阅图5及图6，图5是本申请实施例公开的测试耳形传递函数及目标耳形传递函数分别对应的幅频响应示意图，图6则是根据图5所示的耳形传递函数确定的第一均衡参数所配置的均衡器(以“第一均衡器”表示)的幅频响应示意图。如图5所示，虚线表示上述测试耳形传递函数的频率响应，实线则表示目标耳形传递函数的频率响应，两者在1000Hz或以上频段的较高频率范围内区别明显。通过采用如图6所示的第一均衡器，可以在上述较高频率范围内对音频信号进行均衡，以使经过均衡后的耳形传递函数(虚线)尽可能接近目标耳形传递函数(实线)，从而实现耳形自适应均衡。
410、基于上述第一测试音频信号，对接收音频信号进行信号抵消处理，得到误差音频信号。
在本申请实施例中，耳机设备通过其反馈麦克风采集的接收音频信号会因用户不同的耳机佩戴状态而产生不同程度的低频泄漏，但该接收音频信号主要的音频成分仍为经过传输的第一测试音频信号。为了凸显上述低频泄漏的影响，耳机可以先从该接收音频信号中去除传输后的第一测试音频信号，得到相应的误差音频信号，再在后续步骤中基于该误差音频信号计算与耳机佩戴状态对应的第二均衡参数。
可选地，为了确定出合适的第二均衡参数，耳机还可以先利用初始的第二均衡参数配置输出均衡器，并通过该输出均衡器对上述第一测试音频信号进行滤波，得到该第一测试音频信号对应的输出音频信号。在此基础上，耳机可以从上述接收音频信号中去除传输后的输出音频信号(即代替上述第一测试音频信号)，得到相应的误差音频信号，再在后续步骤中基于该误差音频信号更新上述第二均衡参数，以提升耳机进行佩戴泄漏自适应均衡的准确性。
示例性地，针对第一测试音频信号S(n)，可以先将其定义如下：
公式2：
S(n)＝[s(n),s(n-1),...,s(n-N+1)]T
其中，N为待确定的输出均衡器的系数数量，即该输出均衡器可以由N个系数(初始值为0)确定。在利用该输出均衡器Ha(n)对上述第一测试音频信号S(n)进行滤波后，所得到的输出音频信号Sout(n)可以通过如下公式3表示：
公式3：
Sout(n)＝HaT(n)S(n)
在此基础上，耳机可以通过传递函数滤波器Hsm'(n)对上述输出音频信号Sout(n)进行滤波，以模拟耳机所处的音频传输***对该输出音频信号的传输影响，获取该输出音频信号Sout(n)对应的传递音频信号Sh(n)，如以下公式4所示：
公式4：
Sh(n)＝Hsm'(n)TSout'(n)
进一步地，耳机可以根据该传递音频信号Sh(n)，以及通过其反馈麦克风采集到的接收音频信号Sm(n)，计算两者之间的误差，得到误差音频信号Se(n)：
公式5：
Se(n)＝Sm(n)-Sh(n)
412、根据误差音频信号，计算得到与耳机佩戴状态对应的第二均衡参数。
在本申请实施例中，耳机可以根据上述误差音频信号，计算接收音频信号Sm(n)与传递音频信号Sh(n)之间的均方误差J。具体地，上述均方误差J的计算方式可以如以下公式6所示：
公式6：
J＝E[Se2(n)]＝E[Sm2(n)]-2E[Sm(n)HaT(n)S(n)]+E[HaT(n)S(n)ST(n)Ha(n)]
其中，E可以表示数学期望。进一步地，根据上述均方误差J，耳机可以更新输出均衡器Ha(n)，如以下公式7所示：
公式7：
Ha(n+1)＝Ha(n)+2uSe(n)S(n)
其中，上述u为更新所采用的步长因子。对输出均衡器Ha(n)进行更新得到Ha(n+1)后，耳机可以重新执行上述信号抵消处理，通过新的输出均衡器Ha(n+1)对第一测试音频信号S(n)进行滤波，即重复公式3～7所示的计算步骤，直至满足更新停止条件为止，并根据满足更新停止条件时所得到的输出均衡器Ha(n)确定更新的第二均衡滤波器。其中，上述更新停止条件可以包括迭代次数条件(例如更新次数达到次数上限)和/或迭代参数条件(例如输出均衡器Ha(n)或步长因子u满足一定数值条件)，本申请实施例中不作具体限定。
在本申请实施例中，由于用户不同的耳机佩戴状态可能产生不同程度的低频泄漏，耳机可以预先按照不同的信号能量范围来划分不同的泄漏程度。示例性地，耳机可以按照统一的步长(如0.2单位的归一化信号能量、0.4单位的归一化信号能量等)来划分相应的泄漏程度，也可以按照其他分布方式来划分不同的泄漏程度。请参阅图7，图7是本申请实施例公开的一种不同泄漏程度下的***幅频响应示意图。如图7所示，若曲线A为用户正常佩戴耳机时(即未发生低频泄漏时)对应的频响，则曲线B、C、D、E可以分别表示不同泄漏程度下的频响，且按照泄漏严重程度从低到高可排序为B、C、D、E。需要说明的是，每个不同的泄漏程度均可以与相应的泄漏频响曲线相匹配，且每个泄漏程度匹配的泄漏频响曲线，可以是通过对耳机佩戴状态分别符合各个泄漏程度时的耳机进行检测(即检测频响)得到的。在此基础上，耳机可以针对不同的泄漏程度确定出相应的第二均衡参数，进而可以根据该第二均衡参数配置相应的均衡器(以“第二均衡器”表示)，以对耳机待输出的目标音频信号进行佩戴泄漏自适应均衡。
请一并参阅图8及图9，图8针对图7所示的不同泄漏程度确定的第二均衡参数所配置的第二均衡器的幅频响应示意图，图9则是通过图8所示的第二均衡器进行均衡后的***幅频响应示意图。可以理解，当泄漏程度越严重时，其对应的第二均衡器针对1000Hz频段以下的较低频率范围内的音频信号的均衡补偿程度越高。示例性地，图8中频响曲线B对应的第二均衡器，可以用于对图7中频响曲线B对应的泄漏程度下的耳机待输出的目标音频信号进行均衡补偿；图8中频响曲线E对应的第二均衡器，则可以用于对图7中频响曲线E对应的泄漏程度下的耳机待输出的目标音频信号进行均衡补偿。通过进行上述均衡补偿后，如图9所示，各种泄漏程度下的耳机的频响将趋于一致，尽可能接近未泄漏的状态。
在一些实施例中，耳机可以先执行上述步骤406以及步骤408，计算与用户耳形对应的第一均衡参数；再执行上述步骤410以及步骤412，计算与耳机佩戴状态对应的第二均衡参数。在另一些实施中，也可以与上述情况相反，即耳机可以先执行上述步骤410以及步骤412，计算与耳机佩戴状态对应的第二均衡参数；再执行上述步骤406以及步骤408，计算与用户耳形对应的第一均衡参数。可选地，耳机还可以同时计算上述第一均衡参数以及第二均衡参数，以提升耳机对音频信号进行自适应均衡的效率。
414、根据上述第一均衡参数以及第二均衡参数，对待输出的第二测试音频进行均衡处理，并通过扬声器输出均衡处理后的第二测试音频信号。
其中，步骤414与上述步骤208类似。需要说明的是，当需要对耳机待输出的音频信号(无论是上述第二测试音频信号，还是耳机后续待输出的目标音频信号)进行相应的自适应均衡时，耳机可以先根据第一均衡参数实现耳形自适应均衡，再根据第二均衡参数实现佩戴泄漏自适应均衡；也可以先根据第二均衡参数实现佩戴泄漏自适应均衡，再根据第一均衡参数实现耳形自适应均衡。
416、获取针对第二测试音频信号反馈的听力检测信息。
418、根据听力检测信息确定音频补偿参数，其中，上述音频均衡参数用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡处理，音频补偿参数则用于对利用音频均衡参数进行自适应均衡处理后的目标音频信号进行听力补偿。
其中，步骤416以及步骤418与上述步骤210以及步骤212类似，此处不再赘述。
可见，实施上述实施例所描述的音频信号处理方法，能够针对佩戴耳机的不同用户自身的耳形、听力特性乃至耳机佩戴状态等实际场景的差异，通过连续进行不同类型的测试来获取多个维度上的音频信号调整参数，并据此对后续待输出的目标音频信号进行相应的均衡及补偿，以实现对该目标音频信号的综合调整。此外，通过划分耳形自适应均衡以及佩戴泄漏自适应均衡，有利于对耳机待输出的目标音频信号进行全面的补偿，以均衡其在耳机所处的音频***中传输所可能受到的影响，使得用户收听到的目标音频信号尽可能还原其实际的初始音质。通过实现上述音频信号处理，能够使耳机针对不同用户提供个性化的音频均衡及补偿处理，有利于提高耳机自适应处理音频信号的效果，从而能够提升耳机对音频信号进行优化调整的有效性。
请参阅图10，图10是本申请实施例公开的又一种音频信号处理方法的流程示意图，该方法可以应用于上述的耳机，该耳机具体可以包括扬声器、前馈麦克风以及反馈麦克风。如图10所示，该音频信号处理方法可以包括以下步骤：
1002、通过扬声器输出第一测试音频信号。
1004、通过反馈麦克风采集与第一测试音频信号对应的接收音频信号。
其中，步骤1002以及步骤1004与上述步骤202以及步骤204类似，此处不再赘述。
1006、根据上述接收音频信号以及第一测试音频信号，确定与接收音频信号对应的测试耳形传递函数。
1008、根据测试耳形传递函数以及目标耳形传递函数，计算得到与用户耳形对应的第一均衡参数。
其中，步骤1006以及步骤1008与上述步骤406以及步骤408类似，此处不再赘述。
1010、基于上述第一测试音频信号，对接收音频信号进行信号抵消处理，得到误差音频信号。
1012、根据误差音频信号，计算得到与耳机佩戴状态对应的第二均衡参数。
其中，步骤1010以及步骤1012与上述步骤410以及步骤412类似，此处不再赘述。
1014、在目标测试频点上对待输出的第二测试音频信号进行音频响度校正，得到校正后的第二测试音频信号。
在本申请实施例中，当耳机需要通过输出第二测试音频信号来对用户进行听力检测，以便于在后续步骤中针对该用户的听力特性实现相应的音频信号补偿时，该耳机可以先针对部分特定的频率点，对待输出的第二测试音频信号进行音频响度校正，使得耳机在各个测试频点上输出的第二测试音频信号抵达用户耳内鼓膜时的信号幅度大小相同，从而能够尽可能降低听力检测过程中可能产生的误差，提升听力检测的准确性和可靠性。
示例性地，耳机可以在目标测试频点(如500Hz频率点、1000Hz频率点、2000Hz频率点等)上对待输出的第二测试音频信号进行音频响度校正，包括提高音频响度或降低音频响度，从而可以得到校正后的第二测试音频信号。在此基础上，耳机可以再根据上述音频均衡参数，对校正后的第二测试音频信号进行均衡，并通过扬声器输出均衡后的第二测试音频信号。
1016、根据上述第一均衡参数以及第二均衡参数，对上述校正后的第二测试音频信号进行均衡处理，并通过扬声器输出均衡处理后的第二测试音频信号。
其中，步骤1016与上述步骤414类似，此处不再赘述。
1018、获取针对第二测试音频信号反馈的听力检测信息。
1020、根据听力检测信息确定音频补偿参数，其中，上述音频均衡参数用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡处理，音频补偿参数则用于对利用音频均衡参数进行自适应均衡处理后的目标音频信号进行听力补偿。
其中，步骤1018以及步骤1020与上述步骤210以及步骤212类似，此处不再赘述。
1022、通过前馈麦克风采集环境音信号。
示例性地，请参阅图11，图11是本申请实施例公开的一种耳机的结构示意图。如图11所示，该耳机除了包括扬声器111以及设置于该扬声器111前方的反馈麦克风112之外，还可以包括前馈麦克风113，该前馈麦克风113可以设置于扬声器111后方(即当用户佩戴该耳机时，前馈麦克风113处于扬声器111与外界环境之间)，以通过该前馈麦克风113采集外界的环境音信号。
1024、根据环境音信号，计算得到环境音参数。
示例性地，环境音参数可以包括用于表征环境噪声强弱的各种参数，如声音强度、声音功率、频谱能量等。在本申请实施例中，上述耳机在通过其前馈麦克风采集到环境音之后，可以对该环境音进行解析，以计算出其对应的环境音参数。在一些实施例中，在该环境音参数满足噪声均衡条件的情况下，耳机可以对利用上述音频补偿参数进行补偿后的目标音频信号进行噪声均衡处理，以降低噪声干扰，提升用户的音质体验。
以下将以频谱能量相关的环境音参数为例展开阐述。在一些实施例中，耳机设备在具体计算上述环境音参数之前，可以先按照单位窗口长度对该环境音信号进行加窗分割，得到至少一帧环境音子信号，再分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到上述环境音信号对应的频谱能量。
具体地，耳机可以通过其内置的信号处理模块(例如DSP模块)来对上述环境音信号进行分帧加窗处理。进一步地，对分帧加窗后得到的某一帧环境音子信号，可以通过FFT等算法进行短时傅里叶变换，如以下公式8所示(未示出具体形式)：
公式8：
其中，x(n)为环境音信号，可以表示该环境音信号中的第n帧；m可以表示相应的傅里叶变换X(k,m)中的时间序列，k则可以表示频域子带序列。在此基础上，耳机设备根据变换后的各帧环境音子信号计算频谱能量的过程可以如以下公式9所示：
公式9：
PS(k,m)＝(1-α)*PS(k,m-1)+α*|X(k,m)|2
其中，PS(k,m)可以表示第m帧环境音子信号在第k个频域子带对应的功率谱密度，α可以表示迭代因子，即当前帧子带频谱信号的模的权重因子。可见，耳机可以根据变换后的各帧环境音子信号，分别计算上述环境音信号在各个频域子带对应的功率谱密度，其中上述各个频域子带为该环境音信号在各个相应的频率范围内的频域分量。
可以理解的是，若上述m等于1，则耳机设备实际可以根据变换后的第m帧环境音子信号(即第1帧)，计算得到第m帧环境音子信号对应的功率谱密度；若m大于1且小于或等于M(M为总帧数，且M为正整数)，则耳机设备可以根据变换后的第m帧环境音子信号，以及第m-1帧环境音子信号对应的功率谱密度，计算上述第m帧环境音子信号对应的功率谱密度。
在此基础上，耳机可以将上述频谱能量(通过功率谱密度PS(k,m)表述)与标准能量Ps(k)相比，并将所得到的比值作为环境音参数，即：
公式10：
1026、在环境音参数满足噪声均衡条件的情况下，对利用上述音频补偿参数进行听力补偿处理后的目标音频信号进行噪声均衡处理。
在一些实施例中，若环境音参数Filter(k,m)＞1，则表示此时耳机所处环境的噪声过大，该耳机可以对利用上述音频补偿参数进行补偿后的目标音频信号进行噪声均衡处理；若环境音参数Filter(k,m)≤1，则表示此时耳机所处环境的噪声较小，该耳机可以不进行上述噪声均衡处理。
需要说明的是，上述步骤1022以及步骤1024也可以不紧接于步骤1020之后执行，而可以在耳机使用的过程中随时执行，并保存所得到的环境音参数。在一些实施例中，当耳机执行上述步骤1020之后，可以再执行步骤1026，即耳机可以调用此时所保存的环境音参数，并判断其是否满足噪声均衡条件，以确定是否利用上述音频补偿参数进行补偿后的目标音频信号进行噪声均衡处理。
可见，实施上述实施例所描述的音频信号处理方法，能够针对佩戴耳机的不同用户自身的耳形、听力特性乃至耳机佩戴状态等实际场景的差异，通过连续进行不同类型的测试来获取多个维度上的音频信号调整参数，并据此对后续待输出的目标音频信号进行相应的均衡及补偿，以实现对该目标音频信号的综合调整。通过实现上述音频信号处理，能够使耳机针对不同用户提供个性化的音频均衡及补偿处理，不仅有利于提高耳机自适应处理音频信号的效果，还便于针对目标音频信号进行更准确的降噪处理，从而能够提升耳机对音频信号进行优化调整的有效性。此外，通过在上述音频均衡及补偿外实现进一步的噪声均衡处理，还有利于降低噪声干扰，进一步提升用户的音质体验。
请参阅图12，图12是本申请实施例公开的一种音频信号处理装置的模块化示意图，该音频信号处理装置可以应用于上述的耳机，该耳机可以包括扬声器、反馈麦克风以及前馈麦克风。如图12所示，该音频信号处理装置可以包括音频输出单元1201、音频接收单元1202、第一确定单元1203、信息获取单元1204以及第二确定单元1205，其中：
音频输出单元1201，用于通过扬声器输出第一测试音频信号；
音频接收单元1202，用于通过反馈麦克风采集与第一测试音频信号对应的接收音频信号；
第一确定单元1203，用于根据上述接收音频信号以及第一测试音频信号，确定音频均衡参数；
音频输出单元1201，还用于根据该音频均衡参数，对待输出的第二测试音频进行均衡处理，并通过扬声器输出均衡处理后的第二测试音频信号；
信息获取单元1204，用于获取针对第二测试音频信号反馈的听力检测信息；
第二确定单元1205，用于根据该听力检测信息确定音频补偿参数，其中，上述音频均衡参数用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡处理，该音频补偿参数则用于对利用音频均衡参数进行自适应均衡处理后的目标音频信号进行听力补偿。
可见，采用上述实施例所描述的音频信号处理装置，能够针对佩戴耳机的不同用户自身的耳形、听力特性乃至耳机佩戴状态等实际场景的差异，通过连续进行不同类型的测试来获取多个维度上的音频信号调整参数，并据此对后续待输出的目标音频信号进行相应的均衡及补偿，以实现对该目标音频信号的综合调整。通过实现上述音频信号处理，能够使耳机针对不同用户提供个性化的音频均衡及补偿处理，不仅有利于提高耳机自适应处理音频信号的效果，还便于针对目标音频信号进行更准确的降噪处理，从而能够提升耳机对音频信号进行优化调整的有效性。
在一种实施例中，上述第一测试音频信号可以包括基础音频信号，则第一确定单元1203具体可以用于：
根据上述接收音频信号以及基础音频信号，确定第一均衡参数，其中，该第一均衡参数用于对待输出的音频信号进行与用户耳形匹配的耳形自适应均衡；和/或，
上述第一测试音频信号可以包括低频信号，该低频信号的频率低于佩戴泄漏阈值，则第一确定单元1203具体可以用于：
根据上述接收音频信号以及低频信号，确定第二均衡参数，其中，该第二均衡参数用于对待输出的音频信号进行与耳机佩戴状态匹配的佩戴泄漏自适应均衡。
在一种实施例中，上述第一测试音频信号可以是通过高通滤波器滤波后的基础音频信号与低频信号混合得到的，该低频信号的频率低于佩戴泄漏阈值，且该高通滤波器的截止频率高于该低频信号对应的频率。
在一种实施例中，上述音频均衡参数可以包括与用户耳形对应的第一均衡参数，则第一确定单元1203具体可以用于：
根据接收音频信号以及第一测试音频信号，确定与接收音频信号对应的测试耳形传递函数；
根据测试耳形传递函数以及目标耳形传递函数，计算得到上述第一均衡参数。
其中，上述第一确定单元1203在计算第一均衡参数时，具体可以包括：
分别根据每个频域子带对应的测试耳形传递函数以及目标耳形传递函数，计算得到各个频域子带对应的第一均衡参数，其中，上述各个频域子带为在第一测试音频信号的频率范围内划分的各个子频率范围。
在一种实施例中，上述音频均衡参数可以包括与耳机佩戴状态对应的第二均衡参数，则第一确定单元1203具体可以用于：
基于第一测试音频信号，对接收音频信号进行信号抵消处理，得到误差音频信号；
根据该误差音频信号，计算得到上述第二均衡参数。
其中，上述第一确定单元1203在获取误差音频信号时，具体可以包括：
通过传递函数滤波器对第一测试音频信号进行滤波，获取该第一测试音频信号对应的传递音频信号，其中，传递函数滤波器用于表征耳机所处的音频传输***对第一测试音频信号的传输影响；
计算接收音频信号与传递音频信号之间的误差，得到误差音频信号。
在此基础上，上述第一确定单元1203在计算第二均衡参数时，具体可以包括：
根据上述误差音频信号，计算接收音频信号与传递音频信号之间的均方误差；
根据该均方误差，更新上述传递函数滤波器，并重新执行通过传递函数滤波器对第一测试音频信号进行滤波，获取第一测试音频信号对应的传递音频信号的步骤，直至满足更新停止条件为止，并基于满足更新停止条件时所得到的传递函数滤波器确定上述第二均衡参数。
在一种实施例中，上述音频输出单元1201在输出第二测试音频信号时，具体还可以用于：
在目标测试频点上对待输出的第二测试音频信号进行音频响度校正，得到校正后的第二测试音频信号；
根据上述音频均衡参数，对校正后的第二测试音频信号进行均衡，并通过扬声器输出均衡后的第二测试音频信号。
在一种实施例中，上述音频均衡参数可以包括均衡滤波器参数，音频补偿参数则可以包括补偿滤波器参数，该音频信号处理装置还可以包括未图示的配置单元，该配置单元可以用于：
通过上述均衡滤波器参数配置目标均衡滤波器，该目标均衡滤波器用于对待输出的目标音频信号进行自适应均衡；
通过上述补偿滤波器参数配置目标补偿滤波器，该目标补偿滤波器用于对利用目标均衡滤波器进行自适应均衡后的目标音频信号进行补偿。
在一种实施例中，该音频信号处理装置还可以包括未图示的环境音采集单元、第三确定单元以及噪声均衡处理单元，其中：
环境音采集单元，用于通过前馈麦克风采集环境音信号；
第三确定单元，用于根据上述环境音信号，计算得到环境音参数；
噪声均衡处理单元，用于在上述第二确定单元1205根据听力检测信息确定音频补偿参数之后，在上述环境音参数满足噪声均衡条件的情况下，对利用音频补偿参数进行听力补偿处理后的目标音频信号进行噪声均衡处理。
作为一种可选的实施方式，上述第三确定单元具体可以用于：
按照单位窗口长度对上述环境音信号进行加窗分割，得到至少一帧环境音子信号；
分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到上述环境音信号对应的频谱能量；
将该频谱能量与标准能量相比，并将所得到的比值作为环境音参数。
可见，采用上述实施例所描述的音频信号处理装置，能够针对佩戴耳机的不同用户自身的耳形、听力特性乃至耳机佩戴状态等实际场景的差异，通过连续进行不同类型的测试来获取多个维度上的音频信号调整参数，并据此对后续待输出的目标音频信号进行相应的均衡及补偿，以实现对该目标音频信号的综合调整。此外，通过划分耳形自适应均衡以及佩戴泄漏自适应均衡，有利于对耳机待输出的目标音频信号进行全面的补偿，以均衡其在耳机所处的音频***中传输所可能受到的影响，使得用户收听到的目标音频信号尽可能还原其实际的初始音质。通过实现上述音频信号处理，能够使耳机针对不同用户提供个性化的音频均衡及补偿处理，有利于提高耳机自适应处理音频信号的效果，从而能够提升耳机对音频信号进行优化调整的有效性。此外，通过在上述音频均衡及补偿外实现进一步的噪声均衡处理，还有利于降低噪声干扰，进一步提升用户的音质体验。
请参阅图13，图13是本申请实施例公开的一种耳机的模块化示意图。如图13所示，该耳机可以包括：
存储有可执行程序代码的存储器1301；
与存储器1301耦合的处理器1302；
其中，处理器1302调用存储器1301中存储的可执行程序代码，可以执行上述实施例所描述的任意一种音频信号处理方法中的全部或部分步骤。
此外，本申请实施例进一步公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机可以执行上述实施例所描述的任意一种音频信号处理方法中的全部或部分步骤。
此外，本申请实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机可以执行上述实施例所描述的任意一种音频信号处理方法中的全部或部分步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种音频信号处理方法及装置、耳机、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种音频信号处理方法，其特征在于，应用于耳机，所述耳机包括扬声器及反馈麦克风，所述方法包括：
通过所述扬声器输出第一测试音频信号；
通过所述反馈麦克风采集与所述第一测试音频信号对应的接收音频信号；
根据所述接收音频信号以及所述第一测试音频信号，确定音频均衡参数；
根据所述音频均衡参数，对待输出的第二测试音频进行均衡处理，并通过所述扬声器输出均衡处理后的第二测试音频信号；
获取针对所述第二测试音频信号反馈的听力检测信息；
根据所述听力检测信息确定音频补偿参数，其中，所述音频均衡参数用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡处理，所述音频补偿参数用于对利用所述音频均衡参数进行自适应均衡处理后的目标音频信号进行听力补偿。
2.根据权利要求1所述的方法，其特征在于，所述第一测试音频信号包括基础音频信号，所述音频均衡参数包括第一均衡参数，所述根据所述接收音频信号以及所述第一测试音频信号，确定音频均衡参数，包括：
根据所述接收音频信号以及所述基础音频信号，确定第一均衡参数，其中，所述第一均衡参数用于对待输出的音频信号进行与用户耳形匹配的耳形自适应均衡；和/或，
所述第一测试音频信号包括低频信号，所述低频信号的频率低于佩戴泄漏阈值，所述音频均衡参数包括第二均衡参数，所述根据所述接收音频信号以及所述第一测试音频信号，确定音频均衡参数，包括：
根据所述接收音频信号以及所述低频信号，确定第二均衡参数，其中，所述第二均衡参数用于对待输出的音频信号进行与耳机佩戴状态匹配的佩戴泄漏自适应均衡。
3.根据权利要求1所述的方法，其特征在于，所述第一测试音频信号是通过高通滤波器滤波后的基础音频信号与低频信号混合得到的，所述低频信号的频率低于佩戴泄漏阈值，所述高通滤波器的截止频率高于所述低频信号对应的频率。
4.根据权利要求1所述的方法，其特征在于，所述音频均衡参数包括与用户耳形对应的第一均衡参数，所述根据所述接收音频信号以及所述第一测试音频信号，确定音频均衡参数，包括：
根据所述接收音频信号以及所述第一测试音频信号，确定与所述接收音频信号对应的测试耳形传递函数；
根据所述测试耳形传递函数以及目标耳形传递函数，计算得到所述第一均衡参数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述测试耳形传递函数以及目标耳形传递函数，计算得到所述第一均衡参数，包括：
分别根据每个频域子带对应的所述测试耳形传递函数以及目标耳形传递函数，计算得到各个频域子带对应的所述第一均衡参数，其中，所述各个频域子带为在所述第一测试音频信号的频率范围内划分的各个子频率范围。
6.根据权利要求1所述的方法，其特征在于，所述音频均衡参数包括与耳机佩戴状态对应的第二均衡参数，所述根据所述接收音频信号以及所述第一测试音频信号，确定音频均衡参数，包括：
基于所述第一测试音频信号，对所述接收音频信号进行信号抵消处理，得到误差音频信号；
根据所述误差音频信号，计算得到所述第二均衡参数。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一测试音频信号，对所述接收音频信号进行信号抵消处理，得到误差音频信号，包括：
通过输出均衡器对所述第一测试音频信号进行滤波，获取所述第一测试音频信号对应的输出音频信号，其中，所述输出均衡器是通过初始的第二均衡参数配置得到的；
通过传递函数滤波器对所述输出音频信号进行滤波，获取所述输出音频信号对应的传递音频信号，其中，所述传递函数滤波器用于表征所述耳机所处的音频传输***对所述输出音频信号的传输影响；
计算所述接收音频信号与所述传递音频信号之间的误差，得到误差音频信号。
8.根据权利要求7所述的方法，其特征在于，所述根据所述误差音频信号，计算得到所述第二均衡参数，包括：
根据所述误差音频信号，计算所述接收音频信号与所述传递音频信号之间的均方误差；
根据所述均方误差，更新所述输出均衡器，并重新执行所述通过输出均衡器对所述第一测试音频信号进行滤波，获取所述第一测试音频信号对应的输出音频信号，以及所述通过传递函数滤波器对所述输出音频信号进行滤波，获取所述输出音频信号对应的传递音频信号，直至满足更新停止条件为止，并基于满足更新停止条件时所得到的输出均衡器更新所述第二均衡参数。
9.根据权利要求1至8所述的方法，其特征在于，所述根据所述音频均衡参数，对待输出的第二测试音频进行均衡处理，并通过所述扬声器输出均衡处理后的第二测试音频信号，包括：
在目标测试频点上对待输出的第二测试音频信号进行音频响度校正，得到校正后的第二测试音频信号；
根据所述音频均衡参数，对所述校正后的第二测试音频信号进行均衡处理，并通过所述扬声器输出均衡处理后的第二测试音频信号。
10.根据权利要求1至8所述的方法，其特征在于，所述音频均衡参数包括均衡滤波器参数，所述音频补偿参数包括补偿滤波器参数，在所述根据所述听力检测信息确定音频补偿参数之后，所述方法还包括：
通过所述均衡滤波器参数配置目标均衡滤波器，所述目标均衡滤波器用于对待输出的目标音频信号进行自适应均衡；
通过所述补偿滤波器参数配置目标补偿滤波器，所述目标补偿滤波器用于对利用所述目标均衡滤波器进行自适应均衡后的目标音频信号进行补偿。
11.根据权利要求1至8所述的方法，其特征在于，所述耳机还包括前馈麦克风，所述方法还包括：
通过所述前馈麦克风采集环境音信号；
根据所述环境音信号，计算得到环境音参数；
在所述根据所述听力检测信息确定音频补偿参数之后，所述方法还包括：
在所述环境音参数满足噪声均衡条件的情况下，对利用所述音频补偿参数进行听力补偿处理后的目标音频信号进行噪声均衡处理。
12.根据权利要求11所述的方法，其特征在于，所述根据所述环境音信号，计算得到环境音参数，包括：
按照单位窗口长度对所述环境音信号进行加窗分割，得到至少一帧环境音子信号；
分别对每帧环境音子信号进行傅里叶变换，并根据变换后的各帧环境音子信号，计算得到所述环境音信号对应的频谱能量；
将所述频谱能量与标准能量相比，并将所得到的比值作为环境音参数。
13.一种音频信号处理装置，其特征在于，应用于耳机，所述耳机包括扬声器及反馈麦克风，所述音频信号处理装置包括：
音频输出单元，用于通过所述扬声器输出第一测试音频信号；
音频接收单元，用于通过所述反馈麦克风采集与所述第一测试音频信号对应的接收音频信号；
第一确定单元，用于根据所述接收音频信号以及所述第一测试音频信号，确定音频均衡参数；
所述音频输出单元，还用于根据所述音频均衡参数，对待输出的第二测试音频进行均衡处理，并通过所述扬声器输出均衡处理后的第二测试音频信号；
信息获取单元，用于获取针对所述第二测试音频信号反馈的听力检测信息；
第二确定单元，用于根据所述听力检测信息确定音频补偿参数，其中，所述音频均衡参数用于对待输出的目标音频信号进行与用户耳形和/或耳机佩戴状态匹配的自适应均衡处理，所述音频补偿参数用于对利用所述音频均衡参数进行自适应均衡处理后的目标音频信号进行听力补偿。
14.一种耳机，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210216457.0A CN116782084A (zh) | 2022-03-07 | 2022-03-07 | 音频信号处理方法及装置、耳机、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210216457.0A CN116782084A (zh) | 2022-03-07 | 2022-03-07 | 音频信号处理方法及装置、耳机、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116782084A true CN116782084A (zh) | 2023-09-19 |
Family
ID=87990055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210216457.0A Pending CN116782084A (zh) | 2022-03-07 | 2022-03-07 | 音频信号处理方法及装置、耳机、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116782084A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118102175A (zh) * | 2024-04-03 | 2024-05-28 | 荣耀终端有限公司 | 音频处理方法、设备及存储介质 |
-
2022
- 2022-03-07 CN CN202210216457.0A patent/CN116782084A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118102175A (zh) * | 2024-04-03 | 2024-05-28 | 荣耀终端有限公司 | 音频处理方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113676803B (zh) | 一种主动降噪方法及装置 | |
| US10382092B2 (en) | Method and system for full duplex enhanced audio | |
| US9432766B2 (en) | Audio processing device comprising artifact reduction | |
| US20100142714A1 (en) | Method and system for acoustic shock protection | |
| US20130156208A1 (en) | Hearing aid and method of detecting vibration | |
| WO2009136953A1 (en) | Method and device for acoustic management control of multiple microphones | |
| Westermann et al. | Binaural dereverberation based on interaural coherence histograms | |
| JP6312826B2 (ja) | 補聴器システムの動作方法および補聴器システム | |
| CN109327789A (zh) | 头戴式耳机响应测量和均衡 | |
| WO2022218093A1 (zh) | 音频信号补偿方法及装置、耳机、存储介质 | |
| CN116601701A (zh) | 双模式anc的环境检测器 | |
| EP2752848B1 (en) | Method and apparatus for generating a noise reduced audio signal using a microphone array | |
| US10204637B2 (en) | Noise reduction methodology for wearable devices employing multitude of sensors | |
| WO2022247494A1 (zh) | 音频信号补偿方法及装置、耳机、存储介质 | |
| CN111354368B (zh) | 补偿处理后的音频信号的方法 | |
| KR20240007168A (ko) | 소음 환경에서 음성 최적화 | |
| Premananda et al. | Speech enhancement algorithm to reduce the effect of background noise in mobile phones | |
| CN116782084A (zh) | 音频信号处理方法及装置、耳机、存储介质 | |
| US9503815B2 (en) | Perceptual echo gate approach and design for improved echo control to support higher audio and conversational quality | |
| JP2008522511A (ja) | 適応可能な音声処理パラメータ用の方法及び装置 | |
| Sørensen et al. | Semi-non-intrusive objective intelligibility measure using spatial filtering in hearing aids | |
| WO2020023856A1 (en) | Forced gap insertion for pervasive listening | |
| WO2023020208A1 (zh) | 音频信号处理方法及装置、耳机、存储介质 | |
| Avendano et al. | STFT-based multi-channel acoustic interference suppressor | |
| WO2024093536A1 (zh) | 音频信号处理方法及装置、音频播放设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |