CN112954569A - 多核助听芯片、助听方法及助听器 - Google Patents
多核助听芯片、助听方法及助听器 Download PDFInfo
- Publication number
- CN112954569A CN112954569A CN202110191806.3A CN202110191806A CN112954569A CN 112954569 A CN112954569 A CN 112954569A CN 202110191806 A CN202110191806 A CN 202110191806A CN 112954569 A CN112954569 A CN 112954569A
- Authority
- CN
- China
- Prior art keywords
- howling
- kernel
- audio
- sound field
- subband signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/45—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
- H04R25/453—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Neurosurgery (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明属于芯片设计技术领域,公开了一种多核助听芯片、助听方法及助听器。本发明中滤波器组对音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合;声场分类内核根据所述音频子带信号集合确定当前所处的声场类型;若声场类型为噪声声场,则声场分类内核将音频子带信号集合传输至噪声抑制内核;噪声抑制内核对音频子带信号集合进行噪声抑制;若声场类型为啸叫声场,则声场分类内核将音频子带信号集合传输至啸叫抑制内核;啸叫抑制内核对音频子带信号集合进行啸叫抑制。本发明可以通过判断用户当前所述的声场类型,对采集的音频数据传输至对应的内核进行处理噪声抑制或啸叫抑制,从而提高当前声场下的言语识别率并提升了用户体验。
Description
技术领域
本发明涉及芯片设计技术领域,尤其涉及一种多核助听芯片、助听方法及助听器。
背景技术
助听器DSP芯片技术的研发主要通过两个渠道:一个是助听器整机厂家自主研发和独家使用DSP芯片,另一个是芯片公司提供可做二次开发的公用助听器芯片,例如美国的安森美半导体公司。目前全球六大主要助听器厂家均采用第一种方式,独立开发具有知识产权的芯片,仅用于自己的产品,形成了巨大的技术壁垒和竞争优势。而其他规模小的助听器厂家则只能采用第二种方式,向公用芯片厂家购买,没有深入优化公用芯片导致产品雷同,缺乏特色创新,只能进行价格战,并且音频处理效果差,无法满足用户需求。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种助听***及方法,旨在解决现有技术中声场分类能力差导致言语识别率低及用户体验差的技术问题。
为实现上述目的,本发明提供了一种多核助听芯片,其特征在于,所述多核助听芯片包括:滤波器组内核、声场分类内核、噪声抑制内核以及啸叫抑制内核;
所述滤波器组内核,用于在接收到音频采集设备发送的音频数据时,对所述音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合;
所述声场分类内核,还用于根据所述音频子带信号集合确定当前所处的声场类型;
所述声场分类内核,还用于若所述声场类型为噪声声场,则将所述音频子带信号集合传输至所述噪声抑制内核;
所述噪声抑制内核,用于对所述音频子带信号集合进行噪声抑制;
所述声场分类内核,还用于若所述声场类型为啸叫声场,则将所述音频子带信号集合传输至所述啸叫抑制内核;
所述啸叫抑制内核,用于对所述音频子带信号集合进行啸叫抑制。
可选地,所述滤波器组内核包括:频段选取模块和滤波器组模块;
所述频段选取模块,用于在接收到音频采集设备发送的音频数据时,按照预设选择策略从所述音频数据中选取预设频段的音频数据;
所述滤波器组模块,用于将所述预设频段的音频数据按照预设策略划分至预设频段范围的对应的通道,以获得所述音频子带信号集合。
可选地,所述声场分类内核包括:特征值确定模块和声场分类模块;
所述特征值模块,用于根据所述音频子带信号集合确定所述音频子带信号集合中各子带信号对应的特征值;
所述声场分类模块,用于根据所述特征值确定当前所处的声场类型。
可选地,所述噪声抑制内核包括:增益值模块和重构模块;
所述增益值模块,用于根据所述音频子带信号集合获得帧信号的各子带信号,根据各子带信号确定预设数量的粗分对数能量值,并确定各子带信号的对数能量值,并根据所述粗分对数能量值以及各子带的对数能量值获得各子带信号对应的增益值;
所述重构模块,用于根据各子带信号对应的增益值对各子带信号进行增益,并将增益后的各子带信号进行重构,以对所述音频子带信号集合进行噪声抑制。
可选地,所述啸叫抑制内核包括:啸叫探测模块和啸叫抑制模块;
所述啸叫探测模块,用于根据所述音频子带信号集合获得帧信号的各子带信号,并确定各子带信号的对数能量值,获得超过所述对数能量值大于预设对数能量值的目标子带信号;
所述啸叫抑制模块,用于对所述目标子带信号按照预设啸叫频率范围进行分通道,获得啸叫子带信号集合,并根据所述啸叫子带集合确定目标啸叫子带信号,对所述目标啸叫子带信号进行抑制。
可选地,所述啸叫抑制模块包括:二级滤波器组模块、对数能量值模块以及抑制模块;
所述二级滤波器组模块,用于对所述目标子带信号按照预设啸叫频率范围进行分通道,获得啸叫子带信号集合;
所述对数能量值模块,用于根据所述啸叫子带信号集合确定各啸叫子带信号的对数能量值,并根据所述对数能量值确定目标啸叫子带信号;
所述抑制模块,用于根据所述目标啸叫子带信号确定目标帧信号,并对所述目标帧信号的目标啸叫子带信号设置为预设值,以对所述目标啸叫子带信号进行抑制。
可选地,所述声场分类内核还包括:动态范围压缩模块和合成模块;
所述动态范围压缩模块,用于对经过所述啸叫抑制内核或噪声抑制内核的音频子带信号集合中的各音频子带信号的强度进行动态调整;
所述合成模块,用于对经过动态调整后的各音频子带信号进行合成,获得助听音频数据,并将所述助听音频数据传输至音频播放设备进行播放。
可选地,所述多核助听芯片还包括:编程运算内核;
所述编程运算内核,用于接收到音频采集设备采集的音频数据,并对所述音频数据进行缓存;
所述滤波器组内核,还用于从所述编程运算内核中获得所述音频采集设备缓存的音频数据。
此外,为实现上述目的,本发明还提出一种助听方法,所述助听方法包括:
所述滤波器组内核在接收到音频采集设备发送的音频数据时,对所述音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合;
所述声场分类内核根据所述音频子带信号集合确定当前所处的声场类型;
若所述声场类型为噪声声场,则所述声场分类内核将所述音频子带信号集合传输至所述噪声抑制内核;
所述噪声抑制内核对所述音频子带信号集合进行噪声抑制;
若所述声场类型为啸叫声场,则所述声场分类内核将所述音频子带信号集合传输至所述啸叫抑制内核;
所述啸叫抑制内核对所述音频子带信号集合进行啸叫抑制。
此外,为实现上述目的,本发明还提出一种助听器,所述助听器包括:如上文所述多核助听芯片。
本发明中滤波器组对音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合;声场分类内核根据所述音频子带信号集合确定当前所处的声场类型;若声场类型为噪声声场,则声场分类内核将音频子带信号集合传输至噪声抑制内核;噪声抑制内核对音频子带信号集合进行噪声抑制;若声场类型为啸叫声场,则声场分类内核将音频子带信号集合传输至啸叫抑制内核;啸叫抑制内核对音频子带信号集合进行啸叫抑制。通过上述方式,本发明可以通过音频数据各音频子带信号的特征值判断用户当前所述的声场类型,对采集的音频数据传输至对应的内核进行处理噪声抑制或啸叫抑制,输出噪声抑制或啸叫抑制的音频数据,从而提高当前声场下的言语识别率并提升了用户体验。
附图说明
图1是本发明多核助听芯片第一实施例的结构框图;
图2是本发明多核助听芯片一实施例的滤波器组内核的***框图;
图3是本发明多核助听芯片一实施例的噪声抑制内核流程图;
图4是本发明多核助听芯片一实施例的啸叫抑制内核流程图;
图5是本发明多核助听芯片第二实施例的结构框图;
图6是本发明多核助听芯片一实施例的编程运算内核***框图;
图7为本发明助听方法第一实施例的流程示意图;
图8为本发明助听器第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明多核助听芯片第一实施例的结构框图。
在本实施例中,所述多核助听芯片包括:滤波器组内核10、声场分类内核20、噪声抑制内核30以及啸叫抑制内核40,芯片采用***级封装(System In a Package,SIP)封装,SIP可为多芯片模块(Multi-chipModule,MCM)的平面式2D封装,也可再利用3D封装的结构,以有效缩减封装面积;而其内部接合技术可以是单纯的打线接合(WireBonding),亦可使用覆晶接合(FlipChip),但也可二者混用。
滤波器组内核10可以在接收到音频采集设备发送的音频数据时,对所述音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合。音频数据存在不同声频的部分,预设策略包含多个声频范围,从而可以将音频数据划分至对应声频范围的通道,获得多个音频子带信号,即音频子带信号集合,音频子带信号的数量由预设策略中的声频范围数量决定。滤波器组内核的***框图如图2所示,输入RAM中的缓存的音频数据,将预设声频范围通道输入,通过采用组内并行、组间串行的方法,通过输出控制器输出音频子带信号集合,在保障实时性处理的前提下同时减小了芯片面积和资源的需求。
滤波器组内核10包括:频段选取模块11和滤波器组模块12。
频段选取模块11可以在接收到音频采集设备发送的音频数据时,按照预设选择策略从所述音频数据中选取预设频段的音频数据。由于人耳听觉特性,人耳能听到的频率范围为20Hz至20KHz,但极端频率基本不包含言语信息,所以需要对音频数据的频率范围进行选取,例如预设频段可为:10Hz至8KHz,以上仅为举例说明,本实施例不做限制。
滤波器组模块12可以将预设频段的音频数据按照预设策略划分至预设频段范围的对应的通道,以获得音频子带信号集合。由于人类耳蜗对声音频率的感知并不是等间距的,在耳蜗结构中,低频段范围划分比较细,高频段范围划分比较粗,所以预设频率范围并不是均匀分布的。例如,可以采用非均匀的梅尔(Mel)尺度滤波器组。
声场分类内核20可以根据所述音频子带信号集合确定当前所处的声场类型。根据音频子带信号集合可以获得各音频子带信号的信号值,根据信号值查找预设的特征值表,可以获得信号值对应的特征值。将所有特征值输入至三层循环神经网络模型,根据三层循环神经网络模型训练得到的输出值,可以确定当前声场类型。并根据当前声场类型将音频子带信号集合传输至对应的内核进行处理。若声场类型为噪声声场,则将音频子带信号集合传输至噪声抑制内核;若声场类型为啸叫声场,则将音频子带信号集合传输至啸叫抑制内核。并且当前声场类型可能同时存在啸叫和噪声,则音频子带信号集合会经过噪声抑制内核以及啸叫抑制内核进行处理。
声场分类内核20包括:特征值确定模块21、声场分类模块22、动态范围压缩模块23以及合成模块24。
特征值确定模块21可以根据所述音频子带信号集合确定所述音频子带信号集合中各子带信号对应的特征值。根据音频子带信号集合可以获得各音频子带信号的信号值,根据信号值查找预设的特征值表,可以获得信号值对应的特征值。当实际信号值与特征值表中的信号值差异较大时,会造成误差扩大,则可根据实际信号值进行运算获得特征值,并将实际信号值与实际特征值记录到特征值表中。
声场分类模块22可以根据所述特征值确定当前所处的声场类型。将所有特征值输入至三层循环神经网络模型,根据三层循环神经网络模型训练得到的输出值,可以确定当前声场类型。不同的输出值对应不同的声场类型,声场类型包括:安静声场环境、交通噪声声场环境、餐馆咖啡馆声场环境、音乐厅声场环境、会议声场环境等。例如:根据输出值判定当前处于交通噪声声场环境,则将音频子带信号集合输入至噪声抑制内核进行降噪处理。
动态范围压缩模块23可以对经过所述啸叫抑制内核或噪声抑制内核的音频子带信号集合中的各音频子带信号的强度进行动态调整。例如:在音频子带信号集合经过啸叫抑制内核或噪声抑制内核处理后,当音频子带信号强度大于预设信号强度最大值时,则将此音频子带信号强度降低;当音频子带信号强度小于预设信号强度最小值时,则加强此音频子带信号强度。预设信号强度最大值及预设信号强度最小值均为经过大量实验得出。
合成模块24可以对经过动态调整后的各音频子带信号进行合成,获得助听音频数据,并将所述助听音频数据传输至音频播放设备进行播放。经过动态调整后的各音频子带信号能够让音频强度处理合适范围,将经过动态调整后的各音频子带信号进行合成,可以获得言语清晰的音频数据,并将此音频数据传输至音频播放设备进行播放。
噪声抑制内核30可以对音频子带信号集合进行降噪。噪声抑制内核30包括:增益值模块31和重构模块32。噪声抑制内核流程图如图3所示,带噪输入语音首先由梅尔滤波器组划分为若干个通道,并将各通道音频切分为固定时长的帧。特征提取以帧为基本单位,计算各子带信号的对数能量值,之后将相邻的每n个子带信号组合求取n个额外的粗分对数能量值,由此共得到m组输入数据。这些输入数据经降噪RNN推理计算后得到的增益值,将推理所得增益值与对应通道的输入带噪语音相乘并重构,便可输出所需的去噪后语音。
增益值模块31可以根据所述音频子带信号集合获得帧信号的各子带信号,根据各子带信号确定预设数量的粗分对数能量值,并确定各子带信号的对数能量值,并根据所述粗分对数能量值以及各子带的对数能量值获得各子带信号对应的增益值。获得对数能量值前,需将音频子带信号集合划分成若干帧的子带信号集合,例如:一帧为10毫秒,则帧信号包含10毫秒内的子带信号集合。根据帧信号的子带信号集合可以获得各子带信号的信号值,根据信号值查找预设的对数能量值表,可以获得信号值对应的对数能量值,当实际子带信号值与对数能量值表中的子带信号值差异较大时,则实时计算实际子带信号值的对数能量值。根据各子带信号确定预设数量的粗分对数能量值,例如:由梅尔滤波器组划分为16个通道获得16个音频子带信号的音频子带信号集合,并将音频子带信号集合切分为时长10毫秒的帧信号,确定帧信号各子带信号的对数能量,之后将相邻的每4个子带信号求取4个额外的粗分对数能量,由此共得到20组数据。
增益值模块31将粗分对数能量值以及各子带信号的对数能量值输入降噪循环神经网络模型中,获得各子带信号的增益值。
重构模块32可以根据各子带信号对应的增益值对各子带信号进行增益,并将增益后的各子带信号进行重构,以对所述音频子带信号集合进行噪声抑制。进行增益是指将增益值与与对应的子带信号相乘,可以得到增益后的子带信号,并对增益后的个各子带信号进行重构,即可以获得语音增强后的各子带信号。
啸叫抑制内核40可以对音频子带信号集合进行啸叫探测及抑制。所述啸叫抑制内核40包括:啸叫探测模块41和啸叫抑制模块42。啸叫抑制内核流程图如图4所示,啸叫探测采用能量与相关性联合检测的方法,从啸叫发生时的能量特征和时序特征上鉴别出啸叫的存在,而后启动啸叫抑制算法。啸叫抑制是在啸叫发生后,对啸叫存在的频点进行准确定位,通过二级滤波器将此窄频带的信号进行抑制。
啸叫探测模块41可以根据所述音频子带信号集合获得帧信号的各子带信号,并确定各子带信号的对数能量值,获得超过所述对数能量值大于预设对数能量值的目标子带信号。如上文所述,可通过查找对数能量值表获得各子带信号的对数能量值,若子带信号的对数能量值大于预设对数能量值时,则判定啸叫频点可能存在于此子带信号上,此子带信号即为目标子带信号。
啸叫抑制模块42可以对所述目标子带信号按照预设啸叫频率范围进行分通道,获得啸叫子带信号集合,并根据所述啸叫子带集合确定目标啸叫子带信号,对所述目标啸叫子带信号进行抑制。啸叫抑制模块42包括:二级滤波器组模块421、对数能量值模块422以及抑制模块423。
二级滤波器组模块421可以对所述目标子带信号按照预设啸叫频率范围进行分通道,获得啸叫子带信号集合。当帧信号的子带信号为目标子带信号时,需要对目标子带信号分成频带更细的啸叫子带信号,即预设啸叫频率范围比上述的预设频率范围的范围更小。例如:目标子带信号的频率在50Hz~600Hz,则可将50Hz~600Hz划分成50Hz~200Hz、201Hz~400Hz、401Hz~600Hz的啸叫子带信号,以上仅为举例说明,本实施例不做限制。
对数能量值模块422可以根据所述啸叫子带信号集合确定各啸叫子带信号的对数能量值,并根据所述对数能量值确定目标啸叫子带信号。如上文所述,可通过查找对数能量值表获得各啸叫子带信号的对数能量值,并可以确定各啸叫子带信号中对数能量值最大的啸叫子带信号,即目标啸叫子带信号。
抑制模块423可以根据所述目标啸叫子带信号确定目标帧信号,并对所述目标帧信号的目标啸叫子带信号设置为预设值,以对所述目标啸叫子带信号进行抑制。将目标啸叫子带信号的对数能量值比上相邻的前一啸叫子带信号的对数能量值,可以获得第一对数能量比值,将目标啸叫子带信号的对数能量值比上相邻的后一啸叫子带信号的对数能量值,可以获得第二对数能量比值,若第一对数能量比值及第二对数能量比值均大于预设对数能量比值,则进一步表明目标啸叫子带信号为此帧信号的啸叫频点,若连续三帧及以上的帧信号均存在啸叫频点,则这些帧信号为目标帧信号,需要对啸叫频点进行抑制,对啸叫频点设置为预设值,例如:可以将啸叫频点设置为0。
本实施例通过滤波器组对音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合;声场分类内核根据所述音频子带信号集合确定当前所处的声场类型;若声场类型为噪声声场,则声场分类内核将音频子带信号集合传输至噪声抑制内核;噪声抑制内核对音频子带信号集合进行噪声抑制;若声场类型为啸叫声场,则声场分类内核将音频子带信号集合传输至啸叫抑制内核;啸叫抑制内核对音频子带信号集合进行啸叫抑制。通过上述方式,本发明可以通过音频数据各音频子带信号的特征值判断用户当前所述的声场类型,对采集的音频数据传输至对应的内核进行处理噪声抑制或啸叫抑制,输出噪声抑制或啸叫抑制的音频数据,从而提高当前声场下的言语识别率并提升了用户体验。
基于上述多核助听芯片第一实施例,提出多核助听芯片第二实施例,参照图5,图5为本发明多核助听芯片第二实施例的结构框图。
多核助听芯片还包括:编程运算内核50。
编程运算内核50可以接收到音频采集设备采集的音频数据,并对所述音频数据进行缓存。在音频采集设备实时采集声音时,可以将需要处理的音频数据先缓存至编程运算内核中的随机存取存储器(Random Access Memory,RAM),而后将音频数据传输至滤波器组内核10进行处理。并且编程运算内核根据用户需求,在功能超出其他模块的运算功能时,额外的算法可灵活编写进编程运算内核进行工作。编程运算内核***框图如图所示6,其包含定点乘法器,并且乘法器和加法器组成了相乘累加器。此外,编程运算内核50还具有移位器以及除法器,该除法器可通过编程完成多位输出的除法。
滤波器组内核10可以从所述编程运算内核中获得所述音频采集设备缓存的音频数据。
本发明实施例提供了一种助听方法,参照图7,图7为本发明一种助听方法第一实施例的流程示意图。
本实施例中,所述助听方法包括以下步骤:
步骤S10:所述滤波器组内核在接收到音频采集设备发送的音频数据时,对所述音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合。
需要说明的是,音频数据存在不同声频的部分,预设策略包含多个声频范围,从而可以将音频数据划分至对应声频范围的通道,获得多个音频子带信号,即音频子带信号集合,音频子带信号的数量由预设策略中的声频范围数量决定。
进一步地,滤波器组内核在接收到音频采集设备发送的音频数据时,按照预设选择策略从所述音频数据中选取预设频段的音频数据。由于人耳听觉特性,人耳能听到的频率范围为20Hz至20KHz,但极端频率基本不包含言语信息,所以需要对音频数据的频率范围进行选取,例如预设频段可为:10Hz至8KHz,以上仅为举例说明,本实施例不做限制。
进一步地,滤波器组内核将预设频段的音频数据按照预设策略划分至预设频段范围的对应的通道,以获得音频子带信号集合。由于人类耳蜗对声音频率的感知并不是等间距的,在耳蜗结构中,低频段范围划分比较细,高频段范围划分比较粗,所以预设频率范围并不是均匀分布的。例如,可以采用非均匀的梅尔(Mel)尺度滤波器组。
步骤S20:所述声场分类内核根据所述音频子带信号集合确定当前所处的声场类型。
需要说明的是,根据音频子带信号集合可以获得各音频子带信号的信号值,根据信号值查找预设的特征值表,可以获得信号值对应的特征值。将所有特征值输入至三层循环神经网络模型,根据三层循环神经网络模型训练得到的输出值,可以确定当前声场类型。并根据当前声场类型将音频子带信号集合传输至对应的内核进行处理。若声场类型为噪声声场,则将音频子带信号集合传输至噪声抑制内核;若声场类型为啸叫声场,则将音频子带信号集合传输至啸叫抑制内核。并且当前声场类型可能同时存在啸叫和噪声,则音频子带信号集合会经过噪声抑制内核以及啸叫抑制内核进行处理。
进一步地,声场分类内核根据所述音频子带信号集合确定所述音频子带信号集合中各子带信号对应的特征值。根据音频子带信号集合可以获得各音频子带信号的信号值,根据信号值查找预设的特征值表,可以获得信号值对应的特征值。当实际信号值与特征值表中的信号值差异较大时,会造成误差扩大,则可根据实际信号值进行运算获得特征值,并将实际信号值与实际特征值记录到特征值表中。
进一步地,声场分类内核根据所述特征值确定当前所处的声场类型。将所有特征值输入至三层循环神经网络模型,根据三层循环神经网络模型训练得到的输出值,可以确定当前声场类型。不同的输出值对应不同的声场类型,声场类型包括:安静声场环境、交通噪声声场环境、餐馆咖啡馆声场环境、音乐厅声场环境、会议声场环境等。例如:根据输出值判定当前处于交通噪声声场环境,则将音频子带信号集合输入至噪声抑制内核进行降噪处理。
进一步地,声场分类内核可以对经过所述啸叫抑制内核或噪声抑制内核的音频子带信号集合中的各音频子带信号的强度进行动态调整。例如:在音频子带信号集合经过啸叫抑制内核或噪声抑制内核处理后,当音频子带信号强度大于预设信号强度最大值时,则将此音频子带信号强度降低;当音频子带信号强度小于预设信号强度最小值时,则加强此音频子带信号强度。预设信号强度最大值及预设信号强度最小值均为经过大量实验得出。
进一步地,声场分类内核对经过动态调整后的各音频子带信号进行合成,获得助听音频数据,并将所述助听音频数据传输至音频播放设备进行播放。经过动态调整后的各音频子带信号能够让音频强度处理合适范围,将经过动态调整后的各音频子带信号进行合成,可以获得言语清晰的音频数据,并将此音频数据传输至音频播放设备进行播放。
步骤S30:若所述声场类型为噪声声场,则所述声场分类内核将所述音频子带信号集合传输至所述噪声抑制内核。
需要说明的时,当声场类型内核确定当前所处的声场为噪声声场时,则所述声场分类内核将所述音频子带信号集合传输至所述噪声抑制内核。
步骤S40:所述噪声抑制内核对所述音频子带信号集合进行噪声抑制。
进一步地,噪声抑制内核根据所述音频子带信号集合获得帧信号的各子带信号,根据各子带信号确定预设数量的粗分对数能量值,并确定各子带信号的对数能量值,并根据所述粗分对数能量值以及各子带的对数能量值获得各子带信号对应的增益值。获得对数能量值前,需将音频子带信号集合划分成若干帧的子带信号集合,例如:一帧为10毫秒,则帧信号包含10毫秒内的子带信号集合。根据帧信号的子带信号集合可以获得各子带信号的信号值,根据信号值查找预设的对数能量值表,可以获得信号值对应的对数能量值,当实际子带信号值与对数能量值表中的子带信号值差异较大时,则实时计算实际子带信号值的对数能量值。根据各子带信号确定预设数量的粗分对数能量值,例如:由梅尔滤波器组划分为16个通道获得16个音频子带信号的音频子带信号集合,并将音频子带信号集合切分为时长10毫秒的帧信号,确定帧信号各子带信号的对数能量,之后将相邻的每4个子带信号求取4个额外的粗分对数能量,由此共得到20组数据。并将粗分对数能量值以及各子带信号的对数能量值输入降噪循环神经网络模型中,获得各子带信号的增益值。
进一步地,噪声抑制内核根据各子带信号对应的增益值对各子带信号进行增益,并将增益后的各子带信号进行重构,以对所述音频子带信号集合进行噪声抑制。进行增益是指将增益值与与对应的子带信号相乘,可以得到增益后的子带信号,并对增益后的个各子带信号进行重构,即可以获得语音增强后的各子带信号。
步骤S50:若所述声场类型为啸叫声场,则所述声场分类内核将所述音频子带信号集合传输至所述啸叫抑制内核。
需要说明的时,当声场类型内核确定当前所处的声场为啸叫声场时,则所述声场分类内核将所述音频子带信号集合传输至所述啸叫抑制内核。
步骤S60:所述啸叫抑制内核对所述音频子带信号集合进行啸叫抑制。
进一步地,啸叫抑制内核根据所述音频子带信号集合获得帧信号的各子带信号,并确定各子带信号的对数能量值,获得超过所述对数能量值大于预设对数能量值的目标子带信号。如上文所述,可通过查找对数能量值表获得各子带信号的对数能量值,若子带信号的对数能量值大于预设对数能量值时,则判定啸叫频点可能存在于此子带信号上,此子带信号即为目标子带信号。
进一步地,啸叫抑制内核对所述目标子带信号按照预设啸叫频率范围进行分通道,获得啸叫子带信号集合,并根据所述啸叫子带集合确定目标啸叫子带信号,对所述目标啸叫子带信号进行抑制。
进一步地,啸叫抑制内核对所述目标子带信号按照预设啸叫频率范围进行分通道,获得啸叫子带信号集合。当帧信号的子带信号为目标子带信号时,需要对目标子带信号分成频带更细的啸叫子带信号,即预设啸叫频率范围比上述的预设频率范围的范围更小。例如:目标子带信号的频率在50Hz~600Hz,则可将50Hz~600Hz划分成50Hz~200Hz、201Hz~400Hz、401Hz~600Hz的啸叫子带信号,以上仅为举例说明,本实施例不做限制。
进一步地,啸叫抑制内核根据所述啸叫子带信号集合确定各啸叫子带信号的对数能量值,并根据所述对数能量值确定目标啸叫子带信号。如上文所述,可通过查找对数能量值表获得各啸叫子带信号的对数能量值,并可以确定各啸叫子带信号中对数能量值最大的啸叫子带信号,即目标啸叫子带信号。
进一步地,根据所述目标啸叫子带信号确定目标帧信号,并对所述目标帧信号的目标啸叫子带信号设置为预设值,以对所述目标啸叫子带信号进行抑制。将目标啸叫子带信号的对数能量值比上相邻的前一啸叫子带信号的对数能量值,可以获得第一对数能量比值,将目标啸叫子带信号的对数能量值比上相邻的后一啸叫子带信号的对数能量值,可以获得第二对数能量比值,若第一对数能量比值及第二对数能量比值均大于预设对数能量比值,则进一步表明目标啸叫子带信号为此帧信号的啸叫频点,若连续三帧及以上的帧信号均存在啸叫频点,则这些帧信号为目标帧信号,需要对啸叫频点进行抑制,对啸叫频点设置为预设值,例如:可以将啸叫频点设置为0。
进一步地,多核助听芯片还包括编程运算内核,编程运算内核接收到音频采集设备采集的音频数据,并对所述音频数据进行缓存。在音频采集设备实时采集声音时,可以将需要处理的音频数据先缓存至编程运算内核中的随机存取存储器而后将音频数据传输至滤波器组内核进行处理。并且编程运算内核根据用户需求,在功能超出其他模块的运算功能时,额外的算法可灵活编写进编程运算内核进行工作。
进一步地,滤波器组内核从所述编程运算内核中获得所述音频采集设备缓存的音频数据。
本实施例通过滤波器组对音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合;声场分类内核根据所述音频子带信号集合确定当前所处的声场类型;若声场类型为噪声声场,则声场分类内核将音频子带信号集合传输至噪声抑制内核;噪声抑制内核对音频子带信号集合进行噪声抑制;若声场类型为啸叫声场,则声场分类内核将音频子带信号集合传输至啸叫抑制内核;啸叫抑制内核对音频子带信号集合进行啸叫抑制。通过上述方式,本发明可以通过音频数据各音频子带信号的特征值判断用户当前所述的声场类型,对采集的音频数据传输至对应的内核进行处理噪声抑制或啸叫抑制,输出噪声抑制或啸叫抑制的音频数据,从而提高当前声场下的言语识别率并提升了用户体验。
此外,本发明实施例还提出一种助听器,所述助听器上存储有助听程序,所述助听被处理器执行时实现如上文所述的助听方法的步骤。参照图8,图8为本发明一种助听器第一实施例的结构框图。
需要说明的是,本实施例包括:麦克风、模拟数字转换器(Analog-to-digitalconverter,ADC)、多核助听芯片、数字模拟转换器(Digital-to-analogconverter,DAC)、播放器以及无线收发机。
可以理解的是,麦克风用于采集周围环境声音,ADC将声音模拟信号转化为数字信号,多核助听芯片处理数字信号,DAC将处理后的数字信号转化为模拟信号,播放器播放模拟信号。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种多核助听芯片,其特征在于,所述多核助听芯片包括:滤波器组内核、声场分类内核、噪声抑制内核以及啸叫抑制内核;
所述滤波器组内核,用于在接收到音频采集设备发送的音频数据时,对所述音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合;
所述声场分类内核,还用于根据所述音频子带信号集合确定当前所处的声场类型;
所述声场分类内核,还用于若所述声场类型为噪声声场,则将所述音频子带信号集合传输至所述噪声抑制内核;
所述噪声抑制内核,用于对所述音频子带信号集合进行噪声抑制;
所述声场分类内核,还用于若所述声场类型为啸叫声场,则将所述音频子带信号集合传输至所述啸叫抑制内核;
所述啸叫抑制内核,用于对所述音频子带信号集合进行啸叫抑制。
2.如权利要求1所述的多核助听芯片,其特征在于,所述滤波器组内核包括:频段选取模块和滤波器组模块;
所述频段选取模块,用于在接收到音频采集设备发送的音频数据时,按照预设选择策略从所述音频数据中选取预设频段的音频数据;
所述滤波器组模块,用于将所述预设频段的音频数据按照预设策略划分至预设频段范围的对应的通道,以获得所述音频子带信号集合。
3.如权利要求1所述的多核助听芯片,其特征在于,所述声场分类内核包括:特征值确定模块和声场分类模块;
所述特征值模块,用于根据所述音频子带信号集合确定所述音频子带信号集合中各子带信号对应的特征值;
所述声场分类模块,用于根据所述特征值确定当前所处的声场类型。
4.如权利要求1所述的多核助听芯片,其特征在于,所述噪声抑制内核包括:增益值模块和重构模块;
所述增益值模块,用于根据所述音频子带信号集合获得帧信号的各子带信号,根据各子带信号确定预设数量的粗分对数能量值,并确定各子带信号的对数能量值,并根据所述粗分对数能量值以及各子带的对数能量值获得各子带信号对应的增益值;
所述重构模块,用于根据各子带信号对应的增益值对各子带信号进行增益,并将增益后的各子带信号进行重构,以对所述音频子带信号集合进行噪声抑制。
5.如权利要求1所述的多核助听芯片,其特征在于,所述啸叫抑制内核包括:啸叫探测模块和啸叫抑制模块;
所述啸叫探测模块,用于根据所述音频子带信号集合获得帧信号的各子带信号,并确定各子带信号的对数能量值,获得超过所述对数能量值大于预设对数能量值的目标子带信号;
所述啸叫抑制模块,用于对所述目标子带信号按照预设啸叫频率范围进行分通道,获得啸叫子带信号集合,并根据所述啸叫子带集合确定目标啸叫子带信号,对所述目标啸叫子带信号进行抑制。
6.如权利要求5所述的多核助听芯片,其特征在于,所述啸叫抑制模块包括:二级滤波器组模块、对数能量值模块以及抑制模块;
所述二级滤波器组模块,用于对所述目标子带信号按照预设啸叫频率范围进行分通道,获得啸叫子带信号集合;
所述对数能量值模块,用于根据所述啸叫子带信号集合确定各啸叫子带信号的对数能量值,并根据所述对数能量值确定目标啸叫子带信号;
所述抑制模块,用于根据所述目标啸叫子带信号确定目标帧信号,并对所述目标帧信号的目标啸叫子带信号设置为预设值,以对所述目标啸叫子带信号进行抑制。
7.如权利要求1所述的多核助听芯片,其特征在于,所述声场分类内核还包括:动态范围压缩模块和合成模块;
所述动态范围压缩模块,用于对经过所述啸叫抑制内核或噪声抑制内核的音频子带信号集合中的各音频子带信号的强度进行动态调整;
所述合成模块,用于对经过动态调整后的各音频子带信号进行合成,获得助听音频数据,并将所述助听音频数据传输至音频播放设备进行播放。
8.如权利要求1所述多核助听芯片,其特征在于,所述多核助听芯片还包括:编程运算内核;
所述编程运算内核,用于接收到音频采集设备采集的音频数据,并对所述音频数据进行缓存;
所述滤波器组内核,还用于从所述编程运算内核中获得所述音频采集设备缓存的音频数据。
9.一种助听方法,其特征在于,所述助听方法应用于如权利要求1至8中任一项所述的多核助听芯片,所述多核助听芯片包括:滤波器组内核、声场分类内核、噪声抑制内核以及啸叫抑制内核;
所述助听方法包括:
所述滤波器组内核在接收到音频采集设备发送的音频数据时,对所述音频数据根据预设策略划分至对应的通道,以获得音频子带信号集合;
所述声场分类内核根据所述音频子带信号集合确定当前所处的声场类型;
若所述声场类型为噪声声场,则所述声场分类内核将所述音频子带信号集合传输至所述噪声抑制内核;
所述噪声抑制内核对所述音频子带信号集合进行噪声抑制;
若所述声场类型为啸叫声场,则所述声场分类内核将所述音频子带信号集合传输至所述啸叫抑制内核;
所述啸叫抑制内核对所述音频子带信号集合进行啸叫抑制。
10.一种助听器,其特征在于,所述助听器包括:如权利要求1至8任一项所述多核助听芯片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110191806.3A CN112954569B (zh) | 2021-02-20 | 2021-02-20 | 多核助听芯片、助听方法及助听器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110191806.3A CN112954569B (zh) | 2021-02-20 | 2021-02-20 | 多核助听芯片、助听方法及助听器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112954569A true CN112954569A (zh) | 2021-06-11 |
CN112954569B CN112954569B (zh) | 2022-10-25 |
Family
ID=76244607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110191806.3A Active CN112954569B (zh) | 2021-02-20 | 2021-02-20 | 多核助听芯片、助听方法及助听器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112954569B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113541867A (zh) * | 2021-06-30 | 2021-10-22 | 南京奥通智能科技有限公司 | 一种用于融合终端的远程通信模块 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002032208A2 (de) * | 2002-01-28 | 2002-04-25 | Phonak Ag | Verfahren zur bestimmung einer akustischen umgebungssituation, anwendung des verfahrens und ein hörhilfegerät |
US20030012388A1 (en) * | 2001-07-16 | 2003-01-16 | Takefumi Ura | Howling detecting and suppressing apparatus, method and computer program product |
CN1612642A (zh) * | 2003-10-09 | 2005-05-04 | 优利康听力有限公司 | 助听器和其中用于自适应地处理信号的方法 |
CN101593522A (zh) * | 2009-07-08 | 2009-12-02 | 清华大学 | 一种全频域数字助听方法和设备 |
US20100128911A1 (en) * | 2008-11-24 | 2010-05-27 | Oticon A/S | Method to reduce feedback in hearing aids |
US20130322668A1 (en) * | 2012-06-01 | 2013-12-05 | Starkey Laboratories, Inc. | Adaptive hearing assistance device using plural environment detection and classificaiton |
US20140105433A1 (en) * | 2012-10-12 | 2014-04-17 | Michael Goorevich | Automated Sound Processor |
CN109493877A (zh) * | 2017-09-12 | 2019-03-19 | 清华大学 | 一种助听装置的语音增强方法和装置 |
CN110611871A (zh) * | 2019-09-09 | 2019-12-24 | 惠州市锦好医疗科技股份有限公司 | 一种数字助听器的啸叫抑制方法、***及专用dsp |
CN111491245A (zh) * | 2020-03-13 | 2020-08-04 | 天津大学 | 基于循环神经网络的数字助听器声场识别算法及硬件实现方法 |
-
2021
- 2021-02-20 CN CN202110191806.3A patent/CN112954569B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030012388A1 (en) * | 2001-07-16 | 2003-01-16 | Takefumi Ura | Howling detecting and suppressing apparatus, method and computer program product |
CN1398054A (zh) * | 2001-07-16 | 2003-02-19 | 松下电器产业株式会社 | 啸叫检测和抑制设备、方法和计算机程序产品 |
WO2002032208A2 (de) * | 2002-01-28 | 2002-04-25 | Phonak Ag | Verfahren zur bestimmung einer akustischen umgebungssituation, anwendung des verfahrens und ein hörhilfegerät |
CN1612642A (zh) * | 2003-10-09 | 2005-05-04 | 优利康听力有限公司 | 助听器和其中用于自适应地处理信号的方法 |
US20100128911A1 (en) * | 2008-11-24 | 2010-05-27 | Oticon A/S | Method to reduce feedback in hearing aids |
CN101593522A (zh) * | 2009-07-08 | 2009-12-02 | 清华大学 | 一种全频域数字助听方法和设备 |
US20130322668A1 (en) * | 2012-06-01 | 2013-12-05 | Starkey Laboratories, Inc. | Adaptive hearing assistance device using plural environment detection and classificaiton |
US20140105433A1 (en) * | 2012-10-12 | 2014-04-17 | Michael Goorevich | Automated Sound Processor |
CN109493877A (zh) * | 2017-09-12 | 2019-03-19 | 清华大学 | 一种助听装置的语音增强方法和装置 |
CN110611871A (zh) * | 2019-09-09 | 2019-12-24 | 惠州市锦好医疗科技股份有限公司 | 一种数字助听器的啸叫抑制方法、***及专用dsp |
CN111491245A (zh) * | 2020-03-13 | 2020-08-04 | 天津大学 | 基于循环神经网络的数字助听器声场识别算法及硬件实现方法 |
Non-Patent Citations (3)
Title |
---|
张雨晨: "基于循环神经网络与子带谱熵法的助听器语音增强", 《传感技术学报》 * |
蔡银华等: "助听器自动程序切换技术的发展――从自动导声到动态声景自适应", 《中国听力语言康复科学杂志》 * |
韩晓丽等: "一种用于助听器场景分类的对数能量特征", 《太赫兹科学与电子信息学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113541867A (zh) * | 2021-06-30 | 2021-10-22 | 南京奥通智能科技有限公司 | 一种用于融合终端的远程通信模块 |
Also Published As
Publication number | Publication date |
---|---|
CN112954569B (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10657779B2 (en) | Systems and methods using predictive analysis of audio signal to generate haptic data for enhanced user experience | |
KR102470962B1 (ko) | 사운드 소스들을 향상시키기 위한 방법 및 장치 | |
US20130094669A1 (en) | Audio signal processing apparatus, audio signal processing method and a program | |
US20090279715A1 (en) | Method, medium, and apparatus for extracting target sound from mixed sound | |
CN112767908B (zh) | 基于关键声音识别的主动降噪方法、电子设备及存储介质 | |
CN101917658A (zh) | 用于降低助听器中的反馈的方法 | |
CN112185408B (zh) | 音频降噪方法、装置、电子设备以及存储介质 | |
JPWO2006059567A1 (ja) | ステレオ符号化装置、ステレオ復号装置、およびこれらの方法 | |
US20120002823A1 (en) | Acoustic correction apparatus, audio output apparatus, and acoustic correction method | |
CN112735461B (zh) | 拾音方法以及相关装置、设备 | |
CN113949955B (zh) | 降噪处理方法、装置、电子设备、耳机及存储介质 | |
CN112954569B (zh) | 多核助听芯片、助听方法及助听器 | |
CN113168843B (zh) | 音频处理方法、装置、存储介质及电子设备 | |
WO2023287773A1 (en) | Speech enhancement | |
CN113593612B (zh) | 语音信号处理方法、设备、介质及计算机程序产品 | |
CN116980804B (zh) | 音量调整方法、装置、设备及可读存储介质 | |
CN113823301A (zh) | 语音增强模型的训练方法和装置及语音增强方法和装置 | |
JP2000081900A (ja) | 収音方法、その装置及びプログラム記録媒体 | |
CN113889135A (zh) | 一种估计声源波达方向的方法、电子设备及芯片*** | |
CN107197403A (zh) | 一种终端音频参数管理方法、装置及*** | |
WO2023118644A1 (en) | Apparatus, methods and computer programs for providing spatial audio | |
US20230319469A1 (en) | Suppressing Spatial Noise in Multi-Microphone Devices | |
WO2023287782A1 (en) | Data augmentation for speech enhancement | |
CN114023352A (zh) | 一种基于能量谱深度调制的语音增强方法及装置 | |
CN116895284B (zh) | 自适应声掩蔽方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |