CN115835080A - 耳机智能透传*** - Google Patents

耳机智能透传*** Download PDF

Info

Publication number
CN115835080A
CN115835080A CN202211468553.0A CN202211468553A CN115835080A CN 115835080 A CN115835080 A CN 115835080A CN 202211468553 A CN202211468553 A CN 202211468553A CN 115835080 A CN115835080 A CN 115835080A
Authority
CN
China
Prior art keywords
sound
ear
right ear
signal
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211468553.0A
Other languages
English (en)
Inventor
陆成湘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zcan Microelectronics Technology Co ltd
Original Assignee
Shanghai Zcan Microelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zcan Microelectronics Technology Co ltd filed Critical Shanghai Zcan Microelectronics Technology Co ltd
Priority to CN202211468553.0A priority Critical patent/CN115835080A/zh
Publication of CN115835080A publication Critical patent/CN115835080A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明利用双耳耳机麦克风阵列和事先训练好的不同方向上的复数高斯混合模型捕获指定区域方向上的空间音频、利用一个神经网络智能模型对该指定区域方向上的指定种类的声音进行音效调节、再对双耳声道进行音效平衡调节处理后将用户指定方向上指定种类的声音透传给用户，实现不同用户、不同环境下、不同应用需求的智能化、个性化的理想音效体验，加强和延伸耳机在日常生活中的助听能力，切实满足人们把耳机作为日常生活帮手的需求。

Description

耳机智能透传***
【技术领域】
本发明属于电子技术领域，特别是指一种耳机智能透传***。
【背景技术】
耳机作为一种最常见的生活可穿戴电子产品，已成为人们必不可少的生活用品，从而被赋予了越来越多的功能：为了在用耳机听音乐时免除周边噪音的干扰，耳机有了主动降噪(ANC)功能；为了打电话时防止说话方的环境噪音传给听话方，耳机增加了环境降噪(ENC)功能；为了不摘下耳机也还能清楚听见外界的任何响动，耳机有了所谓的“透传”功能。但耳机的降噪和透传功能受环境声音的复杂情况、佩戴方式的不同、耳部结构的不同影响较大，这在一定程度上影响了用户的听音体验，使得很多情况下用户难以清楚地听见想听的声音，比如在厨房开油烟机炒菜时，用户想听音乐并且不受油烟机噪声干扰，同时还想能听到外面卧室小孩子的哭声或门铃声；又比如在客厅看电视时，旁边有人在聊天，只想听见电视的声音，不想听见旁边聊天声音；再比如在聚会时只想听见聊天的声音，不想听见背景音乐的声音等，这时普通的耳机透传功能就难以满足用户的需求。
目前耳机透传功能的实现主要是以耳机麦克风拾取环境音后经增益处理、模数转换、采样滤波、透传滤波后的信号，再经数模转换后由耳机扬声器播放，即用户最终听到仿自然环境声。如果需要人声增强式的透传功能，则可通过设置带通滤波器的合理的通频段来实现。
为了进一步满足用户需求，提升用户使用体验，目前业界有人提出一种利用耳机左右各两个麦克风拾取环境声音信号的大小判断声源方向、并依据判断的声源方向和预先建立声源在不同方位时的方位信息与对应的音效信号的对应关系，匹配出对应的目标音效信号，然后再根据该目标音效信号控制耳机的扬声器播放具有对应音效的声音。
但上述的耳机透传功能是为了在进入透传模式后能够在不摘下耳机的情况下清晰的获悉环境声音或只对环境中的人声进行增强，用户不能有选择地获取不同指定方向上的声音，也不能有选择地获取除人声外的指定的声音种类，所以不能灵活地适应不同环境下用户个性化的应用需求，也无法实现对耳机助听功能的延伸。
【发明内容】
本发明的目的在于提供一种耳机智能透传***，用以解决现有技术中无法灵活地满足不同用户对不同场景下的不同的助听效果的需求而无法让用户获取个性化的理想音效体验的问题。
为实现上述目的，实施本发明的耳机智能透传***包括：
左右耳麦克风阵列，对应双耳左右对称设置，包括多个麦克风，用以捕获音频信号；
左右耳空间音频捕获模块，包括多个与空间方向对应的复数高斯混合智能模型，所述左右耳空间音频捕获模块分别对左右耳麦克风阵列采集的声音信号进行FFT变换，之后同时输入给各复数高斯混合智能模型，各复数高斯混合智能模型根据用户所选择的声音方向、对输入的声音信号进行分析和处理以捕获指定方向上的空间音频信号，同时计算出每一个复数高斯混合智能模型所代表的方向和当前音源方向一致的似然值用以获取音源在各方向上的权重系数，各复数高斯混合智能模型捕获的空间音频信号再分别经IFFT变换后进行加权处理，以分别获取指定区域方向上的左耳声音信号与右耳声音信号；
左右耳***空间音效调节模块，包括一神经网络智能模型，左右耳***空间音效调节模块分别对左右耳空间音频捕获模块输出的左耳声音信号与右耳声音信号进行MFCC特征提取和利用滤波器组获取不同频段的音频信号，MFCC提取的特征参数输入给神经网络智能模型进行分析处理，对所选择指定种类的声音进行音效增强处理，对非指定种类的声音进行音效抑制，从而得到信号在不同频段上的左耳信号增益GALi与右耳信号增益GARi，同时经滤波器组处理后获得的各频段上的左耳信号SFLi与右耳信号SFRi，将各频段上的左耳信号SFLi与右耳信号SFRi与对应的左耳信号增益GALi与右耳信号增益GARi相乘，输出音效调节后的指定区域方向上指定种类的声音信号，即各频段上的左耳声音信号SOLi与右耳声音信号SORi；
声道平衡模块，根据输入的左耳声音信号SOLi与右耳声音信号SORi先求取左耳声音信号SOLi与右耳声音信号SORi每帧各频段的音量，之后对左右耳的音量进行平衡调节。
依据上述主要特征，每个麦克风阵列均包括四个麦克风，其中第二麦克风与第三麦克风为外置麦克风，第四麦克风为通话麦克风，用于捕获外面空间环境声音，而第一麦克风为内置麦克风，用于捕获耳道内的声音。
依据上述主要特征，所述左右耳空间音频捕获模块每一个均包括14个复数高斯混合模型，与预定义的听场空间的14个方向相对应，其中所述听场空间采用以人为中心的一个球体来表示，把这个空间以轴对称方式按上、下、左、右、前、后、上左前空间中心方向、上右前空间中心方向、上左后空间中心方向、上右后空间中心方向、下左前空间中心方向、下右前空间中心方向、下左后空间中心方向、下右后空间中心方向共划分为14个方向。
依据上述主要特征，所述左右耳空间音频捕获模块的14个复数高斯混合智能模型分别对应14个听觉空间方向，每一个复数高斯混合智能模型根据用户所选择的声音方向、对输入的声音信号进行分析处理和空间音频信号捕获，输出14路捕获的声音信号，同时计算出每一个复数高斯混合智能模型所代表的方向和当前音源方向一致的似然值，并对这14个似然值做归一化处理，得到音源在各个方向上的权重，未被选择方向上的权重系数ωk＝0*权重k，被选择方向上的权重系数ωk＝1*权重k，各复数高斯混合智能模型捕获的声音信号分别经IFFT变换处理后进行加权计算，得到所选择指定区域方向上的左耳声音信号SSL与右耳声音信号SSR，加权运算公式如下：
Figure BDA0003957494310000041
其中Sk为每一个CGMM智能模型捕获的声音信号。
依据上述主要特征，所述左右耳空间音效调节模块进行MFCC特征提取时特征提取按帧进行处理，每10ms为一帧，将每一帧分为n(n＝20～40)个频段，每个频段上都有160个采样点。
依据上述主要特征，所述的耳机智能透传***需要对该NN模型进行训练，以便其支持所选择的透传声音种类，同时还可以根据用户的需要，按需训练所述NN模型，更新耳机的NN模型参数，按需提供可选声音种类。
依据上述主要特征，所述空间音效调节模块利用Filter Bank按帧获取不同频段的左耳信号SFLi与右耳信号SFRi,其中i＝1～n,n为每帧信号所分的频段数，为20～40之间的整数。
依据上述主要特征，所述声道平衡模块根据以下公式求取输入的左耳声音信号SOLi与右耳声音信号SORi每帧各频段的音量：
Figure BDA0003957494310000051
其中j为每帧声音信号在一个频段上的采样点，之后根据计算出的左右耳每帧各频段的音量ELi/ERi对左右耳的音量进行平衡调节，调节的参考标准是将实际测试所得的通频带上左右耳音量的最大差值BEmax作为边界值，两耳的音量差不能超出此边界值。如果两耳的音量差在此边界值内，则符合预期，无需作平衡调节；如果两耳的音量差超出此边界值，则相应地调整对应频段信号SOLi/SORi的平衡系数GLi/GRi，将平衡系数GLi/GRi作为对应左耳声音信号SOLi与右耳声音信号SORi各频段信号平衡调节的权重系数，对左耳声音信号SOLi与右耳声音信号SORi进行加权处理，获得最终的播放声音，从而实现左右耳音效平衡的目标，具体平衡调节方法如下：
设：Ediff＝|ELi-ERi|；
当Ediff<BEmax时，无需调整；
当Ediff>BEmax时，设Gi＝(1/2)*(Ediff–BEmax)
当ELi>ERi时，则GLi＝1-Gi/ELi；GRi＝1+Gi/ERi；
当ELi<ERi时，则GLi＝1+Gi/ELi；GRi＝1-Gi/ERi；
之后对每帧各频段的声音信号进行加权处理，获得目标声音信号
Figure BDA0003957494310000061
依据上述主要特征，所述耳机智能透传***与一应用程序配合使用，使用者可通过应用程序选择声音方向与声音种类。
与现有技术相比较，本发明利用双耳耳机麦克风阵列和事先训练好的不同方向上的复数高斯混合模型捕获指定区域方向上的空间音频、利用一个神经网络智能模型对该指定区域方向上的指定种类的声音进行音效调节、再对双耳声道进行音效平衡调节处理后将用户指定方向上指定种类的声音透传给用户，实现不同用户、不同环境下、不同应用需求的智能化、个性化的理想音效体验，加强和延伸耳机在日常生活中的助听能力，切实满足人们把耳机作为日常生活帮手的需求。
【附图说明】
图1为实施本发明的耳机智能透传***的组成框架示意图。
图2A与图2B分别为耳机的麦克风阵列的分布示意图。
图3A、图3B、图3C为定义的听场空间的示意图。
图4为具体使用时的设置流程示意图。
图5为空间音频捕获模块的工作原理示意图。
图6为***空间音效调节模块的工作原理示意图。
图7为左右耳声道平衡模块的工作原理示意图。
【具体实施方式】
请参阅图1所示，为实施本发明的耳机智能透传***的组成框架示意图。实施本发明的耳机智能透传***包括左右耳麦克风阵列、空间音频捕获模块、***空间音效调节模块及左右耳声道平衡模块。以下对各模块的组成及功能进行详细说明。
如图2A与图2B所示，在具体实施时，左右耳麦克风阵列对应双耳左右对称设置，每一麦克风阵列均包括四个麦克风，其中第二麦克风M2与第三麦克风M3为外置麦克风，第四麦克风M4为通话麦克风，用于捕获外面空间环境声音，而第一麦克风M1为内置麦克风，用于捕获耳道内的声音。
左右耳麦克风阵列分别获取左耳环境声音信号SLM1～SLM4与右耳环境声音信号SRM1～SRM4，并分别输入给左耳空间音频捕获模块与右耳空间音频捕获模块。
左耳空间音频捕获模块与右耳空间音频捕获模块均包括多个复数高斯混合智能模型(Complex Gaussian Mixture Model，以下简称CGMM智能模型)，CGMM智能模型是一种利用复数模型系数训练的高斯混合模型(Gaussian Mixture Model,GMM)，左耳空间音频捕获模块与右耳空间音频捕获模块先对输入的声音信号进行FFT变换(快速傅立叶变换，FastFourier Transform)，经FFT变换后的四路信号同时输入给左耳空间音频捕获模块与右耳空间音频捕获模块的14个CGMM智能模型，各CGMM智能模型根据用户所选择的声音方向、对输入的信号进行分析和处理以捕获指定方向上的空间音频信号，同时计算出每一个CGMM智能模型所代表的方向和当前音源方向一致的似然值用以获取音源在各方向上的权重系数，各CGMM智能模型捕获的空间音频信号再分别经IFFT变换(快速傅立叶逆变换，InverseFast Fourier Transform)后进行加权处理，以获取指定区域方向上的左耳声音信号SSL与右耳声音信号SSR。
在具体实施时，需先定义听场空间，如图3A、图3B及图3C所示，为定义的听场空间示意图，具体为采用以人为中心的一个球体来表示用户听场空间，把这个空间以轴对称方式按上、下、左、右、前、后、上左前空间中心方向、上右前空间中心方向、上左后空间中心方向、上右后空间中心方向、下左前空间中心方向、下右前空间中心方向、下左后空间中心方向、下右后空间中心方向共划分为14个方向，每个方向指定一个编号(如下表1所示)，以方便使用者在使用时按需选择透传声音的音源方向。
对应地，在上述听场空间的14个方向上分别训练一个CGMM智能模型。所述14个CGMM智能模型的编码与上述的听场空间的14个方向的编码一一对应，用于辨别声音方向，具体如下表1所示。
方向编号 对应CGMM 音源方向
1 CGMM1 上
2 CGMM2 下
3 CGMM3 左
4 CGMM4 右
5 CGMM5 前
6 CGMM6 后
7 CGMM7 上左前空间中心方向
8 CGMM8 上右前空间中心方向
9 CGMM9 上左后空间中心方向
10 CGMM10 上右后空间中心方向
11 CGMM11 下左前空间中心方向
12 CGMM12 下右前空间中心方向
13 CGMM13 下左后空间中心方向
14 CGMM14 下右后空间中心方向
表1：空间方向编号表
指定区域方向上的左耳声音信号SSL与右耳声音信号SSR分别输入给基于神经网络智能模型(neural network，以下简称NN智能模型)的左耳***空间音效调节模块与右耳***空间音效调节模块，左耳***空间音效调节模块与右耳***空间音效调节模块先同时对输入的声音信号进行MFCC(梅尔频率倒谱系数，Mel Frequency Cepstrum Coefficient)特征提取和利用Fbank(滤波器组，Filter Bank)获取不同频段的音频信号，MFCC提取的特征参数输入给NN智能模型进行分析处理，对所选择指定种类的声音进行音效增强处理，对非指定种类的声音进行音效抑制，从而得到信号在不同频段上的增益GALi(左)/GARi(右)(i＝1～n,n为每帧信号所分的频段数，为20～40之间的整数)，同时经Fbank处理后获得的各频段上的左耳信号SFLi与右耳信号SFRi,其中i＝1～n,n为每帧信号所分的频段数，为20～40之间的整数，将各频段上的信号SFLi/SFRi和各自的增益GALi/GARi相乘，输出音效调节后的指定区域方向上指定种类的声音信号，即各频段上的左耳声音信号SOLi与右耳声音信号SORi，其中i＝1～n,n为每帧信号所分的频段数，20～40整数。
在具体实施时，需要对空间音效调节模块的NN模型进行训练，以便其支持所选择的透传声音种类，如用户可以选择说话声、汽笛声、门铃声、小孩哭声等作为透传的声音。除***预先提供的可选声音种类外，还可以根据用户的需要，按需训练所述NN模型，更新耳机的NN模型参数，按需提供可选声音种类。
经音效调节后的指定方向上、指定种类的左耳声音信号SOLi与右耳声音信号SORi输入给左右耳声道平衡模块，左右耳声道平衡模块先分别求取各自声道的每帧各频段的音量，然后对所得左右耳每帧各频段的音量分别进行计算获得左右耳每帧各频段信号的平衡系数，以作为声音信号平衡调节的权重系数，然后分别对左右耳每帧各频段的声音信号进行加权处理，获得最终调整和平衡后的左耳声音信号SBL与右耳声音信号SBR，之后将左耳声音信号SBL与右耳声音信号SBR分别输出给左、右耳机的扬声器播放，从而实现真实环境下、用户期望的理想音效体验。
请参阅图4所示，为具体使用时的设置流程示意图。在具体实施时，实施本发明的耳机智能透传***与一应用程序(APP)配合使用，使用者可通过应用程序(APP)选择声音方向(具体如表1所示，14个方向可选)及声音种类(***预先提供的或按使用者需求提供的)，从而完成透传功能设置。
为便于理解，以下对上述各个功能模块的具体工作方式进行详细说明。
如图5所示，空间音频捕获模块根据用户在APP上的设置选择通过声音方向选择器所选择的声音方向对输入的环境声音信号进行分析判断和空间音频信号捕获。其中左右耳输入的环境声音信号分别有4路SLM1～SLM4和SRM1～SRM4，每一路输入的信号均要经FFT变换处理后同时输入给14个CGMM智能模型，14个CGMM智能模型分别对应14个听觉空间方向，每一个CGMM智能模型根据用户所选择的声音方向、对输入的声音信号进行分析处理和空间音频信号捕获，输出14路捕获的声音信号，同时计算出每一个CGMM智能模型所代表的方向和当前音源方向一致的似然值，并对这14个似然值做归一化处理，得到音源在各个方向上的权重，未被选择方向上的权重系数ωk＝0*权重k，被选择方向上的权重系数ωk＝1*权重k，各CGMM智能模型捕获的声音信号分别经IFFT变换处理后进行加权计算，得到所选择指定区域方向上的左耳声音信号SSL与右耳声音信号SSR，加权运算公式如下：
Figure BDA0003957494310000111
其中Sk为每一个CGMM智能模型捕获的声音信号。
如图6所示，指定区域方向上的声音信号SSL/SSR输入进左右耳空间音效调节模块后，同时进行MFCC特征提取和利用FBank获取不同频段的音频信号，特征提取按帧进行处理，每10ms(毫秒)为一帧。通常情况下在做人体听觉评估时，听觉的检测范围一般为125Hz～8kHz，所以音频分析的通频带一般为0～8kHz，根据奈奎斯特采样定理，16kHz的采样率就足够了，所以每帧的采样点为160个；将每一帧分为n(n为20～40之间的整数)个频段，每个频段上都有160个采样点。
FBank处理后输出每帧各频段上的声音信号SFLi/SFRi；MFCC特征提取处理后的MFCC参数输入给NN智能模型进行分析处理，NN智能模型对所选择指定种类的声音进行音效增强处理，对非指定种类的声音进行音效抑制，从而得到信号每帧各频段上的信号增益GALi/GARi。
将FBank处理后的每帧各频段上的信号SFLi/SFRi和每帧各频段信号对应的增益GALi/GARi相乘，输出每帧各频段上的声音信号SOLi/SORi，即为音效调节后的指定区域方向上指定种类的声音信号。
由于左右耳指定方向环境音并不是绝对方向上的声音，而是指定方向区域上的声音，在经空间音频捕获和空间音效调节后，两耳声音信号的音量(幅度)可能会出现不一致性的情况，需要对左右耳音量进行平衡调节，以获得用户理想的听觉感受。
如图7所示，根据输入的左右耳声音信号SOLi/SORi，先求取左右耳每帧各频段的音量，计算公式如下：
Figure BDA0003957494310000131
其中j为每帧声音信号在一个频段上的采样点。
根据计算出的左右耳每帧各频段的音量ELi/ERi对左右耳的音量进行平衡调节，调节的参考标准是将实际测试所得的通频带上左右耳音量的最大差值BEmax(实际测试结果是左右耳的音量差值在6dB范围内，即BEmax＝6dB)作为边界值，两耳的音量差不能超出此边界值。如果两耳的音量差在此边界值内，则符合预期，无需作平衡调节；如果两耳的音量差超出此边界值，则相应地调整对应频段信号SOLi/SORi的平衡系数GLi/GRi，将GLi/GRi作为对应各频段信号SOLi/SORi平衡调节的权重系数，对SOLi/SORi进行加权处理，获得最终的播放声音，从而实现左右耳音效平衡的目标。具体平衡调节方法如下：
设：Ediff＝|ELi-ERi|；
当Ediff<BEmax时，无需调整；
当Ediff>BEmax时，设Gi＝(1/2)*(Ediff–BEmax)
当ELi>ERi时，则GLi＝1-Gi/ELi；GRi＝1+Gi/ERi；
当ELi<ERi时，则GLi＝1+Gi/ELi；GRi＝1-Gi/ERi；
之后对每帧各频段的声音信号进行加权处理，获得目标声音信号
Figure BDA0003957494310000132
将信号SBL/SBR分别输出给左、右耳机的扬声器播放。
与现有技术相比较，本发明利用双耳耳机麦克风阵列和事先训练好的不同方向上的复数高斯混合模型捕获指定区域方向上的空间音频、利用一个神经网络智能模型对该指定区域方向上的指定种类的声音进行音效调节、再对双耳声道进行音效平衡调节处理后将用户指定方向上指定种类的声音透传给用户，实现不同用户、不同环境下、不同应用需求的智能化、个性化的理想音效体验，加强和延伸耳机在日常生活中的助听能力，切实满足人们把耳机作为日常生活帮手的需求。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种耳机智能透传***，包括：
左右耳麦克风阵列，对应双耳左右对称设置，包括多个麦克风，用以捕获音频信号；
左右耳空间音频捕获模块，包括多个与空间方向对应的复数高斯混合智能模型，所述左右耳空间音频捕获模块分别对左右耳麦克风阵列采集的声音信号进行FFT变换，之后同时输入给各复数高斯混合智能模型，各复数高斯混合智能模型根据用户所选择的声音方向、对输入的声音信号进行分析和处理以捕获指定方向上的空间音频信号，同时计算出每一个复数高斯混合智能模型所代表的方向和当前音源方向一致的似然值用以获取音源在各方向上的权重系数，各复数高斯混合智能模型捕获的空间音频信号再分别经IFFT变换后进行加权处理，以分别获取指定区域方向上的左耳声音信号与右耳声音信号；
左右耳***空间音效调节模块，包括一神经网络智能模型，左右耳***空间音效调节模块分别对左右耳空间音频捕获模块输出的左耳声音信号与右耳声音信号进行MFCC特征提取和利用滤波器组获取不同频段的音频信号，MFCC提取的特征参数输入给神经网络智能模型进行分析处理，对所选择指定种类的声音进行音效增强处理，对非指定种类的声音进行音效抑制，从而得到信号在不同频段上的左耳信号增益GALi与右耳信号增益GARi，同时经滤波器组处理后获得的各频段上的左耳信号SFLi与右耳信号SFRi，将各频段上的左耳信号SFLi与右耳信号SFRi与对应的左耳信号增益GALi与右耳信号增益GARi相乘，输出音效调节后的指定区域方向上指定种类的声音信号，即各频段上的左耳声音信号SOLi与右耳声音信号SORi；
声道平衡模块，根据输入的左耳声音信号SOLi与右耳声音信号SORi先求取左耳声音信号SOLi与右耳声音信号SORi每帧各频段的音量，之后对左右耳的音量进行平衡调节。
2.如权利要求1所述的耳机智能透传***，其特征在于：每个麦克风阵列均包括四个麦克风，其中第二麦克风与第三麦克风为外置麦克风，第四麦克风为通话麦克风，用于捕获外面空间环境声音，而第一麦克风为内置麦克风，用于捕获耳道内的声音。
3.如权利要求2所述的耳机智能透传***，其特征在于：所述左右耳空间音频捕获模块每一个均包括14个复数高斯混合模型，与预定义的听场空间的14个方向相对应，其中所述听场空间采用以人为中心的一个球体来表示，把这个空间以轴对称方式按上、下、左、右、前、后、上左前空间中心方向、上右前空间中心方向、上左后空间中心方向、上右后空间中心方向、下左前空间中心方向、下右前空间中心方向、下左后空间中心方向、下右后空间中心方向共划分为14个方向。
4.如权利要求3所述的耳机智能透传***，其特征在于：所述左右耳空间音频捕获模块的14个复数高斯混合智能模型分别对应14个听觉空间方向，每一个复数高斯混合智能模型根据用户所选择的声音方向、对输入的声音信号进行分析处理和空间音频信号捕获，输出14路捕获的声音信号，同时计算出每一个复数高斯混合智能模型所代表的方向和当前音源方向一致的似然值，并对这14个似然值做归一化处理，得到音源在各个方向上的权重，未被选择方向上的权重系数ωk＝0*权重k，被选择方向上的权重系数ωk＝1*权重k，各复数高斯混合智能模型捕获的声音信号分别经IFFT变换处理后进行加权计算，得到所选择指定区域方向上的左耳声音信号SSL与右耳声音信号SSR，加权运算公式如下：
Figure FDA0003957494300000031
其中Sk为每一个CGMM智能模型捕获的声音信号。
5.如权利要求4所述的耳机智能透传***，其特征在于：所述左右耳空间音效调节模块进行MFCC特征提取时特征提取按帧进行处理，每10ms为一帧，将每一帧分为n(n＝20～40)个频段，每个频段上都有160个采样点。
6.如权利要求5所述的耳机智能透传***，其特征在于：所述的耳机智能透传***需要对该NN模型进行训练，以便其支持所选择的透传声音种类，同时还可以根据用户的需要，按需训练所述NN模型，更新耳机的NN模型参数，按需提供可选声音种类。
7.如权利要求6所述的耳机智能透传***，其特征在于：所述空间音效调节模块利用Filter Bank按帧获取不同频段的左耳信号SFLi与右耳信号SFRi,其中i＝1～n,n为每帧信号所分的频段数，为20～40之间的整数。
8.如权利要求7所述的耳机智能透传***，其特征在于：所述声道平衡模块根据以下公式求取输入的左耳声音信号SOLi与右耳声音信号SORi每帧各频段的音量：
Figure FDA0003957494300000041
其中j为每帧声音信号在一个频段上的采样点，之后根据计算出的左右耳每帧各频段的音量ELi/ERi对左右耳的音量进行平衡调节，调节的参考标准是将实际测试所得的通频带上左右耳音量的最大差值BEmax作为边界值，两耳的音量差不能超出此边界值；如果两耳的音量差在此边界值内，则符合预期，无需作平衡调节；如果两耳的音量差超出此边界值，则相应地调整对应频段信号SOLi/SORi的平衡系数GLi/GRi，将平衡系数GLi/GRi作为对应左耳声音信号SOLi与右耳声音信号SORi各频段信号平衡调节的权重系数，对左耳声音信号SOLi与右耳声音信号SORi进行加权处理，获得最终的播放声音，从而实现左右耳音效平衡的目标，具体平衡调节方法如下：
设：Ediff＝|ELi-ERi|；
当Ediff<BEmax时，无需调整；
当Ediff>BEmax时，设Gi＝(1/2)*(Ediff–BEmax)
当ELi>ERi时，则GLi＝1-Gi/ELi；GRi＝1+Gi/ERi；
当ELi<ERi时，则GLi＝1+Gi/ELi；GRi＝1-Gi/ERi；
之后对每帧各频段的声音信号进行加权处理，获得目标声音信号
Figure FDA0003957494300000051
9.如权利要求8所述的耳机智能透传***，其特征在于：所述耳机智能透传***与一应用程序配合使用，使用者可通过应用程序选择声音方向与声音种类。
CN202211468553.0A 2022-11-22 2022-11-22 耳机智能透传*** Pending CN115835080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211468553.0A CN115835080A (zh) 2022-11-22 2022-11-22 耳机智能透传***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211468553.0A CN115835080A (zh) 2022-11-22 2022-11-22 耳机智能透传***

Publications (1)

Publication Number Publication Date
CN115835080A true CN115835080A (zh) 2023-03-21

Family

ID=85530286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211468553.0A Pending CN115835080A (zh) 2022-11-22 2022-11-22 耳机智能透传***

Country Status (1)

Country Link
CN (1) CN115835080A (zh)

Similar Documents

Publication Publication Date Title
CN107360527B (zh) 包括波束形成器滤波单元的听力装置
Luo et al. Adaptive null-forming scheme in digital hearing aids
US9681246B2 (en) Bionic hearing headset
Van den Bogaert et al. The effect of multimicrophone noise reduction systems on sound source localization by users of binaural hearing aids
CN104185130B (zh) 具有空间信号增强的助听器
US10587962B2 (en) Hearing aid comprising a directional microphone system
CN106535076B (zh) 一种立体声音响***的空间校准方法及其移动终端设备
AU2016201028A1 (en) Signal enhancement using wireless streaming
CN110740412A (zh) 包括语音存在概率估计器的听力装置
CN105981409A (zh) 会话辅助***
EP3799444A1 (en) A hearing aid comprising a directional microphone system
CN113316073A (zh) 用于估计声学传递函数的助听器***
CN112995876A (zh) 听力装置中的信号处理
CN113498005A (zh) 适于提供用户自我话音的估计量的听力装置
US20200296492A1 (en) Wearable directional microphone array system and audio processing method
Maj et al. Noise reduction results of an adaptive filtering technique for dual-microphone behind-the-ear hearing aids
EP1410382B1 (en) Method of noise reduction in a hearing aid and hearing aid implementing such a method
Maj et al. SVD-based optimal filtering for noise reduction in dual microphone hearing aids: a real time implementation and perceptual evaluation
Corey Microphone array processing for augmented listening
CN113038318A (zh) 一种语音信号处理方法及装置
CN115835080A (zh) 耳机智能透传***
CN214799882U (zh) 一种自适应方向助听器
EP4207804A1 (en) Headphone arrangement
Cho et al. A comparison of frequency-invariant beamforming algorithms for hearing aids: differential microphone-based beamformers and the broadband beamformer
CN116132898A (zh) 一种降噪拾音助听***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination