CN113132881B - 基于多麦克风自适应控制佩戴者声音放大程度的方法 - Google Patents
基于多麦克风自适应控制佩戴者声音放大程度的方法 Download PDFInfo
- Publication number
- CN113132881B CN113132881B CN202110414004.4A CN202110414004A CN113132881B CN 113132881 B CN113132881 B CN 113132881B CN 202110414004 A CN202110414004 A CN 202110414004A CN 113132881 B CN113132881 B CN 113132881B
- Authority
- CN
- China
- Prior art keywords
- signal
- subband
- wearer
- sub
- energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供了一种基于多麦克风自适应控制佩戴者声音放大程度的方法,用于助听器中,所述助听器包括前馈麦克风和反馈麦克风,所述反馈麦克风在所述助听器被佩戴时位于所述佩戴者耳道内,所述方法包括:通过所述前馈麦克风,捕获目标时段的周围环境信号;通过所述反馈麦克风,捕获所述目标时段的耳道信号;根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号;及若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益。本发明基于反馈麦克风的耳道信号,可以检测佩戴者自己在发声,当佩戴者自己在发声时,则调整周围环境信号的增益,从而防止过度放大佩戴者自己的声音,确保听觉舒适度。
Description
技术领域
本发明涉及语音处理领域,尤其涉及一种基于多麦克风自适应控制佩戴者声音放大程度的方法、***、计算机设备及计算机可读存储介质。
背景技术
随着电子设备的快速发展,针对听力障碍人士,人们开发出了助听器用于补充听力障碍人士的听力损失。助听器通常安装在用户的耳内或耳后,用于放大声音并将放大后的声音提供给佩戴者。常见类型的助听器包含耳后式(BTE)助听器、耳内式(ITE)助听器、耳道式(ITC)助听器、完全耳道式(CIC)助听器等。助听器通常包含外壳,该外壳内可容纳:一个用于收集声音信号的麦克风;一个用于放大声音信号的处理电路;和一个用于输出声音的扬声器(在助听器领域可被称为接收器)。
本发明人发现,佩戴者佩戴现有的助听器,容易出现过度放大佩戴者自己的声音的情况。尤其当佩戴者需要听远距离的声音信号时,往往需要将增益调整到比较大,从而导致佩戴者自己的声音也会被放大,从而会降低佩戴者的听觉舒适度。
发明内容
本发明的目的是提供一种基于多麦克风自适应控制佩戴者声音放大程度的方法、***、计算机设备及计算机可读存储介质,用于解决以下问题:现有的助听器容易出现过度放大佩戴者自己的声音的情况。
本发明实施例的一个方面提供了一种基于多麦克风自适应控制佩戴者声音放大程度的方法,用于助听器中,所述助听器包括前馈麦克风和反馈麦克风,所述反馈麦克风在所述助听器被佩戴时位于所述佩戴者耳道内,所述非目标语音信号包括所述佩戴者的声音信号;所述方法包括:通过所述前馈麦克风,捕获目标时段的周围环境信号;通过所述反馈麦克风,捕获所述目标时段的耳道信号;根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号;及若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益。
可选的,根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号的步骤,包括:计算所述耳道信号的第一信号能量;及根据所述第一信号能量和预设阈值,判断所述周围环境信号是否包括所述佩戴者的声音信号。
可选的,还包括阈值设置步骤:计算所述周围环境信号的第二信号能量;及根据所述第二信号能量调整所述预设阈值;所述第二信号能量和所述预设阈值为正向关系。
可选的,所述若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益的步骤,包括:将所述耳道信号分解成M个第一子带信号S11、S12、…S1M;将所述周围环境信号分解成N个第二子带信号S21、S22、…S2M、…S2N;第一子带信号S1i与对应的第二子带信号S2i对应于相同的信号频带,1≤i≤M,i为正整数;及根据各个第一子带信号,分别调整所述各个第一子带信号对应的第二子带信号的增益。
可选的,所述根据各个第一子带信号,分别调整所述各个第一子带信号对应的第二子带信号的增益的步骤,包括:计算所述第i个第一子带信号S1i的信号能量;及根据所述第i个第一子带信号S1i的信号能量,调整所述第i个第二子带信号S2i的增益。
可选的,所述若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益的步骤,还包括:根据第M个第一子带信号S1M的信号能量,调整所述第M+1个至第N个第二子带信号的增益;计算所述M个第一子带信号的能量平均值,并根据所述能量平均值调整所述第M+1个至第N个第二子带信号的增益;或基于人耳听觉特性计算所述M个第一子带信号的能量加权值,并根据所述能量加权值,调整所述第M+1个至第N个第二子带信号的增益。
可选的,根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号的步骤,包括:将所述耳道信号分解成M个第一子带信号S11、S12、…S1M;将所述周围环境信号分解成N个第二子带信号S21、S22、…S2M、…S2N;第一子带信号S1i与对应的第二子带信号S2i对应于相同的信号频带,1≤i≤M,i为正整数;及计算所述第i个第一子带信号S1i的信号能量或信噪比;计算所述第i个第二子带信号S2i的信号能量或信噪比;及若所述第i个第一子带信号S1i的信号能量或信噪比大于所述第i个第二子带信号S2i的信号能量或信噪比,且所述第i个第一子带信号S1i与所述第i个第二子带信号S2i之间的信号能量或信噪比差异值大于设定值,则判定所述第i个第二子带信号S2i包括所述佩戴者的声音信号。
本发明实施例的一个方面又提供了一种基于多麦克风自适应控制佩戴者声音放大程度的***,用于助听器中,所述助听器包括前馈麦克风和反馈麦克风,所述反馈麦克风在所述助听器被佩戴时位于所述佩戴者耳道内,所述非目标语音信号包括所述佩戴者的声音信号;所述***包括:第一捕获模块,用于通过所述前馈麦克风,捕获目标时段的周围环境信号;第二捕获模块,用于通过所述反馈麦克风,捕获所述目标时段的耳道信号;判断模块,用于根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号;及调整模块,用于若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益。
本发明实施例的一个方面又提供了一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述基于多麦克风自适应控制佩戴者声音放大程度的方法的步骤。
本发明实施例的一个方面又提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述基于多麦克风自适应控制佩戴者声音放大程度的方法的步骤。
本发明实施例提供的基于多麦克风自适应控制佩戴者声音放大程度的方法、***、设备及计算机可读存储介质,通过反馈麦克风捕获耳道信号,根据耳道信号判断佩戴者是否发出声音。当佩戴者发出声音,则调整周围环境信号的增益,从而降低佩戴者自己的声音信号的增益,有效防止过度放大佩戴者自己的声音,增加听觉舒适度。
附图说明
图1示意性示出了根据本发明实施例的基于多麦克风自适应控制佩戴者声音放大程度的方法的应用环境图;
图2示意性示出了根据本发明实施例一的基于多麦克风自适应控制佩戴者声音放大程度的方法的流程图;
图3为前馈麦克风和反馈麦克风的频谱对比图;
图4是图2中步骤S204的子流程图;
图5示意性示出了根据本发明实施例一的基于多麦克风自适应控制佩戴者声音放大程度的方法的新增流程图;
图6是图2中步骤S204的子流程图;
图7是图2中步骤S206的子流程图;
图8是图7中步骤S704的子流程图;
图9是图2中步骤S206的子流程图;
图10是图2中步骤S206的子流程图;
图11是图2中步骤S206的子流程图;
图12是助听器的***架构示例图;
图13是检测佩戴者是否在说话的一个示意图;
图14是检测佩戴者是否在说话的另一个示意图;
图15是前馈麦克风的周围环境信号的频带划分图;
图16是增益调整图;
图17是语音输出过程图;
图18示意性示出了根据本发明实施例二的基于多麦克风自适应控制佩戴者声音放大程度的***的框图;及
图19示意性示出了根据本发明实施例三的适于实现基于多麦克风自适应控制佩戴者声音放大程度的方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明实施例中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
在本发明的描述中,需要理解的是,步骤前的数字标号并不标识执行步骤的前后顺序,仅用于方便描述本发明及区别每一步骤,因此不能理解为对本发明的限制。
本发明的术语解释:
非目标语音信号,为或包括佩戴者自己的声音信号。
图1示意性示出了根据本发明实施例的基于多麦克风自适应控制佩戴者声音放大程度的方法的环境应用示意图。在示例性的实施例中,所述基于多麦克风自适应控制佩戴者声音放大程度的方法可以被执行在助听器2中。
助听器2,包括外壳,该外壳内包括前馈麦克风21、反馈麦克风22、处理器23、扬声器24。
前馈麦克风21,位于所述外壳的一侧,用于捕获佩戴者周围的声音信号,即周围环境信号。
反馈麦克风22,位于所述外壳的另一侧,当助听器2被佩戴时,其位于佩戴者的耳道4内,用于捕获耳道信号。所述耳道信号主要为佩戴者说话时通过头骨传输的信号。在一些示例性的实施例中,所述反馈麦克风22可以是骨传导麦克风。
处理器23,电连接前馈麦克风21、反馈麦克风22和扬声器24,用于处理周围环境信号和耳道信号。该处理器23可以是DSP(Digital Signal Processing,数字信号处理)芯片等。
扬声器24,用于接收处理器23处理后的声音信号,并将处理后的声音信号输出到耳道4中。
硅胶套25,用于当助听器2被佩戴时,至少部分***耳道4中。硅胶套25可以在一定程度阻断佩戴者周围的声音进入到耳道4中。当然,硅胶套25的材质可置换。
本发明在于提供一种基于多麦克风自适应控制佩戴者声音放大程度的方法,该方法可以通过反馈麦克风捕获22获耳道信号,根据耳道信号能够判断佩戴者是否在说话,或区分声音是以佩戴者的声音为主还是以外界其他发声体的声音为主。当判断佩戴者在说话或以佩戴者的声音为主,则可以调整通过前馈麦克风21捕获的周围环境信号的增益,例如,降低所述周围环境信号的增益,即降低佩戴者自己的声音信号的增益,有效防止过度放大佩戴者自己的声音,增加听觉舒适度。下文将提供多个实施例,下文提供的各个实施例可以用于实现上文描述的基于多麦克风自适应控制佩戴者声音放大程度的方法。为便于理解,下面将助听器2作为执行主体进行示例性描述。
实施例一
在本实施例中,基于多麦克风自适应控制佩戴者声音放大程度的方法被执行在助听器2中。
图2示意性示出了根据本发明实施例一的基于多麦克风自适应控制佩戴者声音放大程度的方法的流程图。如图2所示,基于多麦克风自适应控制佩戴者声音放大程度的方法可以包括步骤S200~S206,其中:
步骤S200,通过所述前馈麦克风,捕获目标时段的周围环境信号。
当助听器2被佩戴到佩戴者的耳朵上时,前馈麦克风21可以捕获到所述佩戴者的周围环境信号。在示例性的实施例中,所述周围环境信号,可以包括所述佩戴者周围的各种声音信号,如其他人的声音信号、动物的声音信号以及汽车等的各类噪音信号。
当所述佩戴者自己发出声音时,所述佩戴者自己的声音信号亦会通过空气传播到前馈麦克风21处,在此种情况下,所述周围环境信号还包括所述佩戴者自己的声音信号。
步骤S202,通过所述反馈麦克风,捕获所述目标时段的耳道信号。
所述耳道信号,为通过反馈麦克风22捕获的各类声音信号。但是,所述耳道不包括扬声器24输出的信号。
反馈麦克风22由于位于耳道4内,且由于耳塞的隔音作用,其捕获所述周围环境信号的能力比较弱。换句话说,所述周围环境信号传播到反馈麦克风22的过程中会有严重衰减。
然,如图3所示,相对于前馈麦克风21,由于反馈麦克风22在耳道内,其捕获的耳道信号主要集中在低频部分,主要为1KHZ以下的信号,能够有效抑制外界的各种噪声信号。且基于隔音作用,反馈麦克风22能够准确捕获到所述佩戴者的声音信号。
当所述佩戴者自己发出声音时,通过头骨传输,所述佩戴者自己的声音信号可以有效地传播到反馈麦克风22。因此,可以通过反馈麦克风22捕获所述耳道信号(主要为通过头骨传输的所述佩戴者自己的声音信号),确定所述佩戴者是否在说话。
步骤S204,根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号。
助听器2可以通过耳道信号的信号能量或其它声学检测信息,来判断所述佩戴者自己是否在说话,即:判断所述周围环境信号是否包括所述佩戴者的声音信号。
在示例性的实施例中,如图4所示,步骤S204可以通过以下步骤实现:步骤S400,计算所述耳道信号的第一信号能量;步骤S402,根据所述第一信号能量和预设阈值,判断所述周围环境信号是否包括所述佩戴者的声音信号。当所述佩戴者在说话时,其声音信号可以通过头骨被反馈麦克风22拾取,且头骨属于固态物理介质,传播衰减小,因此,当反馈麦克风22拾取到包括所述佩戴者声音信号的耳道信号时,信号能量会比较大。有鉴于此,本实施例可以动态生成或自定义一个预设阈值,当所述耳道信号的第一信号能量大于该预设阈值时,则判定所述佩戴者自己在说话。需注意,当所述预设阈值为自定义时,所述预设阈值可以设置在60~80分贝(dB)之间。
在示例性的实施例中,所述预设阈值可以根据周围实时环境做动态调整,以增加判断所述佩戴者是否在说话或所述周围环境信号是否主要来自佩戴者的声音信号的准确度。如图5所示,阈值设置步骤可以通过以下步骤实现:步骤S500,计算所述周围环境信号的第二信号能量;步骤S502,根据所述第二信号能量调整所述预设阈值;所述第二信号能量和所述预设阈值为正向关系。所述第二信号能量和所述预设阈值之间可以有线性或非线性关系。以下示例性提供二者之间的映射关系,所述第二信号能量为60(不包括端点)~70(包括端点)dB时,所述预设阈值可以为60dB,所述第二信号能量为70(不包括端点)~80(包括端点)dB时,所述预设阈值可以为70dB,所述第二信号能量大于80dB时,所述预设阈值可以为75dB。
在示例性的实施例中,如图6所示,步骤S204可以通过以下步骤实现:步骤S600,将所述耳道信号分解成M个第一子带信号S11、S12、…S1M;步骤S602,将所述周围环境信号分解成N个第二子带信号S21、S22、…S2M、…S2N;第一子带信号S1i与对应的第二子带信号S2i对应于相同的信号频带,1≤i≤M,i为正整数;步骤S604,计算所述第i个第一子带信号S1i的信号能量或信噪比;步骤S606,计算所述第i个第二子带信号S2i的信号能量或信噪比;步骤S608,若所述第i个第一子带信号S1i的信号能量或信噪比大于所述第i个第二子带信号S2i的信号能量或信噪比,且所述第i个第一子带信号S1i与所述第i个第二子带信号S2i之间的信号能量或信噪比差异值大于设定值,则判定所述第i个第二子带信号S2i包括所述佩戴者的声音信号。在本实施例中,助听器2可以通过检测对比反馈麦克风在各路子带的能量或者信噪比的能量,与前馈麦克风的各路子带的能量或者信噪比的能量的差异,计算得到在该子带内,是否有佩戴者说话的概率,每个子带内检测到说话的概率在0-1之间。举例来说,如果反馈麦克风的子带能量或者信噪比远远大于前馈麦克风的子带能量或者信噪比,那么更有可能是佩戴者在说话,如果是相反的情况,则更有可能是外界环境中的其他声音。
步骤S206,若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益。
①若所述周围环境信号包括所述佩戴者的声音信号,则可以降低所述周围环境信号的增益。
②若所述周围环境信号不包括所述佩戴者的声音信号,则保持或增加所述周围环境信号的增益。
在示例性的实施例中,如图7所示,步骤S206可以通过以下步骤实现:步骤S700,将所述耳道信号分解成M个第一子带信号S11、S12、…S1M;步骤S702,将所述周围环境信号分解成N个第二子带信号S21、S22、…S2M、…S2N;第一子带信号S1i与对应的第二子带信号S2i对应于相同的信号频带,1≤i≤M,i为正整数;及步骤S704,根据各个第一子带信号,分别调整所述各个第一子带信号对应的第二子带信号的增益。本实施例可以对所述各个第二子带信号做差异处理,抑所述周围环境信号中的所述佩戴者的声音信号,不抑制所述周围环境信号中的其他声音信号。
反馈麦克风22捕获的耳道信号主要集中在低频部分,主要为1KHZ以下的信号。因此,N大于M。
(1)在第一个至第M个信号频带:
第一子带信号S1i与对应的第二子带信号S2i具有一一对应关系。可以通过第一子带信号S1i指导对应的第二子带信号S2i的增益调整。例如,通过第一个第一子带信号S11指导对应的第一个第二子带信号S21的增益调整、通过第二个第一子带信号S12指导对应的第二个第二子带信号S22的增益调整、…通过第M个第一子带信号S1M指导对应的第M个第二子带信号S2M的增益调整。可以理解,通过这种精细指导,可以最大程度地输出所述周围环境信号中的非佩戴者的声音信号,并提升声音输出平稳性。
上述指导,可以基于各个第一子带信号S1i的信号能量。例如:
在示例性的实施例中,如图8所示,步骤S704可以通过以下步骤实现:步骤S800,计算所述第i个第一子带信号S1i的信号能量;步骤S802,根据所述第i个第一子带信号S1i的信号能量,调整所述第i个第二子带信号S2i的增益。所述第i个第一子带信号S1i的信号能量Ei越大,说明所述第i个第二子带信号S2i越有可能性包括所述佩戴者的声音信号以及所述佩戴者的声音信号的能量越大,因此,需要更大幅度的调低所述第i个第二子带信号S2i的增益GAINi。举例而言,可以设置一个标准信号能量E(例如,60dB),当所述第i个第一子带信号S1i的信号能量Ei大于标准信号能量E时,则可以通过以下公式的得到所述第i个第二子带信号S2i的增益GAINi的下降幅度:GAINi=Ei-E。作为示例,假设所述标准信号能量E为60dB,如果第一个第一子带信号S11的信号能量E1为68dB,则需要将第一个第二子带信号S21的增益在标准增益的基础上下调8dB。标准增益可为预设值。
(2)在第M+1个至第N个信号频带:
(2.1)通过第M个第一子带信号S1M指导第M+1个至第N个第二子带信号S2(M+1)~S2(N)的增益调整。
如图9所示,步骤S206还可以包括以下步骤:步骤S900,根据第M个第一子带信号S1M的信号能量,调整所述第M+1个至第N个第二子带信号的增益。增益调整幅度可以参照上文。本实施例的优势在于:第M个第一子带信号S1M的信号频带更加接近第M+1个至第N个第二子带信号S2(M+1)~S2(N)的信号频带,因此调整更加准确。
(2.2)通过第一个至第M个第一子带信号S11~S1M指导第M+1个至第N个第二子带信号S2(M+1)~S2(N)的增益调整。
如图10所示,步骤S206还可以包括以下步骤:步骤S1000,计算所述M个第一子带信号的能量平均值,并根据所述能量平均值调整所述第M+1个至第N个第二子带信号的增益。本实施例的优势在于:防止第M个第一子带信号S1M参数错误情形下,对第M+1个至第N个第二子带信号S2(M+1)~S2(N)的增益调整的错误指导,确保指导的有效性。
(2.3)通过第一个至第M个第一子带信号S11~S1M指导第M+1个至第N个第二子带信号S2(M+1)~S2(N)的增益调整。
如图11所示,步骤S206还可以包括以下步骤:步骤S1100,基于人耳听觉特性计算所述M个第一子带信号的能量加权值,并根据所述能量加权值,调整所述第M+1个至第N个第二子带信号的增益。本实施例的优势在于:可以根据精确地调整第M+1个至第N个第二子带信号S2(M+1)~S2(N)的增益。
为方便理解,以下提供一个示例。如图12所示,助听器2的***架构可以包括4个模块:
模块1:反馈麦克风,分析滤波器;
模块2:反馈麦克风,多子带VAD(声学事件)判别;
模块3:前馈麦克风,分析滤波器;
模块4:利用反馈麦克风VAD指导多子带增益放大;
如图13,模块1和模块2用于:通过检测反馈麦克风在各路子带的能量或者信噪比的能量,计算得到在该子带内,是否有佩戴者说话的概率,每个子带内检测到说话的概率在0-1之间。
如图14,模块1和模块2用于:通过检测对比反馈麦克风在各路子带的能量或者信噪比的能量,与前馈麦克风的各路子带的能量或者信噪比的能量的差异,计算得到在该子带内,是否有佩戴者说话的概率,每个子带内检测到说话的概率在0-1之间。举例来说,如果反馈麦克风的子带能量或者信噪比远远大于前馈麦克风的子带能量或者信噪比,那么更有可能是佩戴者在说话,如果是相反的情况,则更有可能是外界环境中的声音。
如图15,模块3用于:将前馈麦克风的输入信号经过一系列的滤波器,从而使得输出信号为各路的子带的信号,也就是将原本的时间域上的信号,转化为N个独立的频率域的信号。
如图16和图17,模块4用于:通过计算得到的各路子带内判别的佩戴着说话声音的概率,动态决定放大外接声音的增益。举例来说,如果前馈麦克风的采集的信号能量或者信噪比远大于反馈麦克风采集到的信号能量或者信噪比,那么此时可以采用线性放大,否则,则需要在该子带内采取一定压缩比放大的方式,防止过度放大佩戴者的说话的声音。
实施例二
如图18所示,图18示意性示出了根据本发明实施例二的基于多麦克风自适应控制佩戴者声音放大程度的***1800的框图。该基于多麦克风自适应控制佩戴者声音放大程度的***1800用于助听器中,所述助听器包括前馈麦克风和反馈麦克风,所述反馈麦克风在所述助听器被佩戴时位于所述佩戴者耳道内。该***可以被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本发明实施例。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,以下描述将具体介绍本实施例中各程序模块的功能。
如图18所示,该基于多麦克风自适应控制佩戴者声音放大程度的***1800可以包括第一捕获模块1802、第二捕获模块1804、判断模块1806和调整模块1808。其中:
第一捕获模块1802,用于通过所述前馈麦克风,捕获目标时段的周围环境信号。
第二捕获模块1804,用于通过所述反馈麦克风,捕获所述目标时段的耳道信号。
判断模块1806,用于根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号。
调整模块1808,用于若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益。
在示例性的实施例中,所述判断模块1806,还用于:计算所述耳道信号的第一信号能量;及根据所述第一信号能量和预设阈值,判断所述周围环境信号是否包括所述佩戴者的声音信号。
在示例性的实施例中,所述***还包括设置模块(未标识),用于:计算所述周围环境信号的第二信号能量;及根据所述第二信号能量调整所述预设阈值;所述第二信号能量和所述预设阈值为正向关系。
在示例性的实施例中,所述调整模块1808,还用于:将所述耳道信号分解成M个第一子带信号S11、S12、…S1M;所述周围环境信号分解成N个第二子带信号S21、S22、…S2M、…S2N;第一子带信号S1i与对应的第二子带信号S2i对应于相同的信号频带,1≤i≤M,i为正整数;及根据各个第一子带信号,分别调整所述各个第一子带信号对应的第二子带信号的增益。
在示例性的实施例中,所述调整模块1808,还用于:计算所述第i个第一子带信号S1i的信号能量;及根据所述第i个第一子带信号S1i的信号能量,调整所述第i个第二子带信号S2i的增益。
在示例性的实施例中,所述调整模块1808,还用于:根据第M个第一子带信号S1M的信号能量,调整所述第M+1个至第N个第二子带信号的增益。
在示例性的实施例中,所述调整模块1808,还用于:计算所述M个第一子带信号的能量平均值,并根据所述能量平均值调整所述第M+1个至第N个第二子带信号的增益;或基于人耳听觉特性计算所述M个第一子带信号的能量加权值,并根据所述能量加权值,调整所述第M+1个至第N个第二子带信号的增益。
在示例性的实施例中,所述判断模块1806,还用于:将所述耳道信号分解成M个第一子带信号S11、S12、…S1M;将所述周围环境信号分解成N个第二子带信号S21、S22、…S2M、…S2N;第一子带信号S1i与对应的第二子带信号S2i对应于相同的信号频带,1≤i≤M,i为正整数;及计算所述第i个第一子带信号S1i的信号能量或信噪比;计算所述第i个第二子带信号S2i的信号能量或信噪比;及若所述第i个第一子带信号S1i的信号能量或信噪比大于所述第i个第二子带信号S2i的信号能量或信噪比,且所述第i个第一子带信号S1i与所述第i个第二子带信号S2i之间的信号能量或信噪比差异值大于设定值,则判定所述第i个第二子带信号S2i包括所述佩戴者的声音信号。
实施例三
如图19所示,图19示意性示出了根据本发明实施例三的适于实现基于多麦克风自适应控制佩戴者声音放大程度的方法的计算机设备1900的硬件架构示意图。本实施例中,计算机设备1900是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。例如,可以是助听器,具有助听功能的耳机等。如图19所示,计算机设备1900至少包括但不限于:可通过***总线相互通信链接存储器1910、处理器1920、网络接口1930。其中:
存储器1910至少包括一种类型的计算机可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器1910可以是计算机设备1900的内部存储模块,例如该计算机设备1900的硬盘或内存。在另一些实施例中,存储器1910也可以是计算机设备1900的外部存储设备,例如该计算机设备1900上配备的插接式硬盘,智能存储卡(Smart Media Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,存储器1910还可以既包括计算机设备1900的内部存储模块也包括其外部存储设备。本实施例中,存储器1910通常用于存储安装于计算机设备1900的操作***和各类应用软件,例如基于多麦克风自适应控制佩戴者声音放大程度的方法的程序代码等。此外,存储器1910还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器1920在一些实施例中可以是中央处理器(Central Processing Unit,简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1920通常用于控制计算机设备1900的总体操作,例如执行与计算机设备1900进行数据交互或者通信相关的控制和处理等。本实施例中,处理器1920用于运行存储器1910中存储的程序代码或者处理数据。
网络接口1930可包括无线网络接口或有线网络接口,该网络接口1930通常用于在计算机设备1900与其他计算机设备之间建立通信链接。例如,网络接口1930用于通过网络将计算机设备1900与外部终端相连,在计算机设备1900与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(Global System of Mobile communication,简称为GSM)、宽带码分多址(WidebandCode Division Multiple Access,简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。·
需要指出的是,图19仅示出了具有部件1910-1930的计算机设备,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器1910中的基于多麦克风自适应控制佩戴者声音放大程度的方法还可以被分割为一个或者多个程序模块,并由一个或多个处理器(本实施例为处理器1920)所执行,以完成本发明实施例。
实施例四
本发明还提供一种计算机可读存储介质,计算机可读存储介质其上存储有计算机程序,计算机程序被处理器执行时实现实施例中的基于多麦克风自适应控制佩戴者声音放大程度的方法的步骤。
本实施例中,计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,计算机可读存储介质可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,计算机可读存储介质也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,计算机可读存储介质通常用于存储安装于计算机设备的操作***和各类应用软件,例如实施例中基于多麦克风自适应控制佩戴者声音放大程度的方法的程序代码等。此外,计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于多麦克风自适应控制佩戴者声音放大程度的方法,其特征在于,用于助听器中,所述助听器包括前馈麦克风和反馈麦克风,所述反馈麦克风在所述助听器被佩戴时位于所述佩戴者耳道内;所述方法包括:
通过所述前馈麦克风,捕获目标时段的周围环境信号;
通过所述反馈麦克风,捕获所述目标时段的耳道信号;
根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号;及
若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益;
其中,所述若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益的步骤,包括:
将所述耳道信号分解成M个第一子带信号S11、S12、…S1M;将所述周围环境信号分解成N个第二子带信号S21、S22、…S2M、…S2N;第一子带信号S1i与对应的第二子带信号S2i对应于相同的信号频带,1≤i≤M,i为正整数;及根据各个第一子带信号,分别调整所述各个第一子带信号对应的第二子带信号的增益;
其中,通过第一个第一子带信号S11指导对应的第一个第二子带信号S21的增益调整、通过第二个第一子带信号S12指导对应的第二个第二子带信号S22的增益调整、…通过第M个第一子带信号S1M指导对应的第M个第二子带信号S2M的增益调整;
根据第M个第一子带信号S1M的信号能量,调整所述第M+1个至第N个第二子带信号的增益;或计算所述M个第一子带信号的能量平均值,并根据所述能量平均值调整所述第M+1个至第N个第二子带信号的增益;或基于人耳听觉特性计算所述M个第一子带信号的能量加权值,并根据所述能量加权值,调整所述第M+1个至第N个第二子带信号的增益。
2.根据权利要求1所述的基于多麦克风自适应控制佩戴者声音放大程度的方法,其特征在于,根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号的步骤,包括:
计算所述耳道信号的第一信号能量;及
根据所述第一信号能量和预设阈值,判断所述周围环境信号是否包括所述佩戴者的声音信号。
3.根据权利要求2所述的基于多麦克风自适应控制佩戴者声音放大程度的方法,其特征在于,还包括阈值设置步骤:
计算所述周围环境信号的第二信号能量;及
根据所述第二信号能量调整所述预设阈值;所述第二信号能量和所述预设阈值为正向关系。
4.根据权利要求1所述的基于多麦克风自适应控制佩戴者声音放大程度的方法,其特征在于,所述根据各个第一子带信号,分别调整所述各个第一子带信号对应的第二子带信号的增益的步骤,包括:
计算所述第i个第一子带信号S1i的信号能量;及
根据所述第i个第一子带信号S1i的信号能量,调整所述第i个第二子带信号S2i的增益。
5.根据权利要求1所述的基于多麦克风自适应控制佩戴者声音放大程度的方法,其特征在于,根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号的步骤,包括:
将所述耳道信号分解成M个第一子带信号S11、S12、…S1M;
将所述周围环境信号分解成N个第二子带信号S21、S22、…S2M、…S2N;第一子带信号S1i与对应的第二子带信号S2i对应于相同的信号频带,1≤i≤M,i为正整数;及
计算所述第i个第一子带信号S1i的信号能量或信噪比;
计算所述第i个第二子带信号S2i的信号能量或信噪比;及
若所述第i个第一子带信号S1i的信号能量或信噪比大于所述第i个第二子带信号S2i的信号能量或信噪比,且所述第i个第一子带信号S1i与所述第i个第二子带信号S2i之间的信号能量或信噪比差异值大于设定值,则判定所述第i个第二子带信号S2i包括所述佩戴者的声音信号。
6.一种基于多麦克风自适应控制佩戴者声音放大程度的***,其特征在于,用于助听器中,所述助听器包括前馈麦克风和反馈麦克风,所述反馈麦克风在所述助听器被佩戴时位于所述佩戴者耳道内;所述***包括:
第一捕获模块,用于通过所述前馈麦克风,捕获目标时段的周围环境信号;
第二捕获模块,用于通过所述反馈麦克风,捕获所述目标时段的耳道信号;
判断模块,用于根据所述耳道信号,判断所述周围环境信号是否包括所述佩戴者的声音信号;及
调整模块,用于若所述周围环境信号包括所述佩戴者的声音信号,则调整所述周围环境信号的增益;
其中,所述调整模块还用于:
将所述耳道信号分解成M个第一子带信号S11、S12、…S1M;将所述周围环境信号分解成N个第二子带信号S21、S22、…S2M、…S2N;第一子带信号S1i与对应的第二子带信号S2i对应于相同的信号频带,1≤i≤M,i为正整数;及根据各个第一子带信号,分别调整所述各个第一子带信号对应的第二子带信号的增益;
通过第一个第一子带信号S11指导对应的第一个第二子带信号S21的增益调整、通过第二个第一子带信号S12指导对应的第二个第二子带信号S22的增益调整、…通过第M个第一子带信号S1M指导对应的第M个第二子带信号S2M的增益调整;
根据第M个第一子带信号S1M的信号能量,调整所述第M+1个至第N个第二子带信号的增益;或计算所述M个第一子带信号的能量平均值,并根据所述能量平均值调整所述第M+1个至第N个第二子带信号的增益;或基于人耳听觉特性计算所述M个第一子带信号的能量加权值,并根据所述能量加权值,调整所述第M+1个至第N个第二子带信号的增益。
7.一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时用于实现权利要求1至5中任一项所述的基于多麦克风自适应控制佩戴者声音放大程度的方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行权利要求1至5中任一项所述的基于多麦克风自适应控制佩戴者声音放大程度的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110414004.4A CN113132881B (zh) | 2021-04-16 | 2021-04-16 | 基于多麦克风自适应控制佩戴者声音放大程度的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110414004.4A CN113132881B (zh) | 2021-04-16 | 2021-04-16 | 基于多麦克风自适应控制佩戴者声音放大程度的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113132881A CN113132881A (zh) | 2021-07-16 |
CN113132881B true CN113132881B (zh) | 2022-07-19 |
Family
ID=76776992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110414004.4A Active CN113132881B (zh) | 2021-04-16 | 2021-04-16 | 基于多麦克风自适应控制佩戴者声音放大程度的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113132881B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114267373A (zh) * | 2021-08-31 | 2022-04-01 | 北京聆通科技有限公司 | 一种用于助听设备的声音处理方法和装置 |
CN117528370A (zh) * | 2022-07-30 | 2024-02-06 | 华为技术有限公司 | 信号处理方法及装置、设备控制方法及装置 |
CN118338219A (zh) * | 2023-01-11 | 2024-07-12 | 上海又为智能科技有限公司 | 音频信号处理设备及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1897765A (zh) * | 2005-07-11 | 2007-01-17 | 西门子测听技术有限责任公司 | 助听装置以及用于检测自身声音的相应方法 |
CN105979460A (zh) * | 2015-03-13 | 2016-09-28 | 西万拓私人有限公司 | 运行听力设备的方法以及听力设备 |
CN106792305A (zh) * | 2015-11-19 | 2017-05-31 | 鹦鹉无人机股份有限公司 | 音频头戴式耳机 |
CN107431867A (zh) * | 2014-11-19 | 2017-12-01 | 西万拓私人有限公司 | 用于快速识别自身语音的方法和设备 |
CN108200523A (zh) * | 2016-11-24 | 2018-06-22 | 奥迪康有限公司 | 包括自我话音检测器的听力装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2877813B2 (ja) * | 1988-03-23 | 1999-04-05 | 富士通テン株式会社 | 音量・音質調整装置 |
US9978397B2 (en) * | 2015-12-22 | 2018-05-22 | Intel Corporation | Wearer voice activity detection |
CN108694955B (zh) * | 2017-04-12 | 2020-11-17 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
-
2021
- 2021-04-16 CN CN202110414004.4A patent/CN113132881B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1897765A (zh) * | 2005-07-11 | 2007-01-17 | 西门子测听技术有限责任公司 | 助听装置以及用于检测自身声音的相应方法 |
CN107431867A (zh) * | 2014-11-19 | 2017-12-01 | 西万拓私人有限公司 | 用于快速识别自身语音的方法和设备 |
CN105979460A (zh) * | 2015-03-13 | 2016-09-28 | 西万拓私人有限公司 | 运行听力设备的方法以及听力设备 |
CN106792305A (zh) * | 2015-11-19 | 2017-05-31 | 鹦鹉无人机股份有限公司 | 音频头戴式耳机 |
CN108200523A (zh) * | 2016-11-24 | 2018-06-22 | 奥迪康有限公司 | 包括自我话音检测器的听力装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113132881A (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113132881B (zh) | 基于多麦克风自适应控制佩戴者声音放大程度的方法 | |
EP3701525B1 (en) | Electronic device using a compound metric for sound enhancement | |
US10051365B2 (en) | Method and device for voice operated control | |
US10631105B2 (en) | Hearing aid system and a method of operating a hearing aid system | |
EP3337190B1 (en) | A method of reducing noise in an audio processing device | |
EP3289782B1 (en) | Process and hearing aid adjustment system architecture for remotely adjusting a hearing aid | |
US10154353B2 (en) | Monaural speech intelligibility predictor unit, a hearing aid and a binaural hearing system | |
WO2009128853A1 (en) | Method and device for voice operated control | |
US9374646B2 (en) | Binaural enhancement of tone language for hearing assistance devices | |
EP2942777B1 (en) | Method and apparatus for pre-processing speech to maintain speech intelligibility | |
CN113225657B (zh) | 基于双麦克风架构的多通道啸叫抑制方法 | |
CN112822617B (zh) | 包括助听仪器的助听***以及用于操作助听仪器的方法 | |
CN115314823A (zh) | 一种基于数字发声芯片的助听方法、***及设备 | |
US20170325033A1 (en) | Method for operating a hearing device, hearing device and computer program product | |
US11445307B2 (en) | Personal communication device as a hearing aid with real-time interactive user interface | |
CN113132885B (zh) | 基于双麦克风能量差异判别耳机佩戴状态的方法 | |
KR102403996B1 (ko) | 보청기의 채널영역 방식, 채널영역 방식을 이용한 보청기의 피팅방법, 그리고 이를 통해 피팅된 디지털 보청기 | |
CN113132882B (zh) | 多动态范围压扩方法和*** | |
US11929071B2 (en) | Hearing device system and method for operating same | |
WO2023002515A1 (en) | Movement-controlled earphone device for the transceiving of acoustic signals | |
Doclo et al. | Editorial |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |