CN105167883B

CN105167883B - 基于移频处理提高汉语声调识别率的言语处理方法和***

Info

Publication number: CN105167883B
Application number: CN201510624049.9A
Authority: CN
Inventors: 平利川; 傅前杰; 王宁远
Original assignee: Zhejiang Nurotron Neural Electronic Technology Co Ltd
Current assignee: Zhejiang Nurotron Neural Electronic Technology Co Ltd
Priority date: 2015-09-25
Filing date: 2015-09-25
Publication date: 2017-04-19
Anticipated expiration: 2035-09-25
Also published as: CN105167883A

Abstract

本发明公开了一种基于移频处理提高汉语声调识别率的言语处理方法和***。其中的方法实施例，包括了以下步骤：确定M个可用电极和H个活动电极，因此在固定电极序列中有M‑H个电极；根据参考基频来检测基频的变化，并以百分数表示；当H为2时，基频变化超过参考基频的20％时，将固定电极序列进行移位；当H为4时，基频变化超过参考基频的15％时，将固定电极序列进行移位；当H为6时，基频变化超过参考基频的10％时，将固定电极序列进行移位；在确定固定电极序列后，选取能量最大的N个通道进行刺激。本发明根据输入声信号的基频变化，适当改变刺激电极的整***置，从而能够传递声音信号中频率变化的信息，并最终达到提高汉语声调识别率的效果。

Description

基于移频处理提高汉语声调识别率的言语处理方法和***

技术领域

本发明属于医疗器械领域，特别涉及一种基于移频处理提高汉语声调识别率的言语处理方法和***。

背景技术

对于英文语音识别来说，语音产生过程中的声波的基频信息和周期性信息的贡献较弱，但对于中文的声调识别来讲，基频信息和周期性信息尤其重要。

汉语声调的识别主要是通过感知频域基频(F0)的变化来实现的。其他一些声学特性，在不同声调下也会有所不同，这些声学特征对声调的识别也可能有所帮助。例如，韵母长度：一般来说，第三声的韵母长度是最长的，而第四声是最短的；声音幅度：第三声的峰值幅度较低，而第四声的峰值幅度是最高的；幅度包络和F0轮廓相关性：很多声音的幅度变化包络与基频的变化轮廓有一定程度的相关性。在频域基频(F0)存在的情况下，这些声学特性对声调识别影响很小。因此，基频轮廓为说话人的身份鉴定，韵律辨识和声调识别提供了重要信息。

在人工耳蜗***中，大量的研究证明，虽然存在较大的个体差异，但植入者的音调(频率)感知随植入电极从蜗尖到蜗底呈从低到高排列，与正常听觉***中音调感知的部位编码理论相符。传统编码策略在对耳蜗进行电刺激时，电极的选择范围是固定的，导致针对较性差，并不能传递声信号基频变化的信息，功耗高。

发明内容

有鉴于此，本发明的目的在于提供一种基于移频处理提高汉语声调识别率的言语处理方法和***，根据输入声信号频率的变化，适当改变刺激电极的整***置，从而达到提高汉语声调识别的效果。本发明主要针对人工耳蜗，故下面的内容皆以人工耳蜗言语处理为基础。

为达到上述目的，本发明提供了一种基于移频处理提高汉语声调识别率的人工耳蜗言语处理方法，包括以下步骤：

确定M个可用电极，H个活动电极，固定电极序列中有M-H个电极；

对输入人工耳蜗言语处理器的声信号进行基频提取，得到稳定的参考基频，默认固定电极序列处于蜗底电极至蜗顶电极之间的中间位置，此处为固定电极序列的默认位置；

检测基频变化，以百分数表示；

当H为2时，基频变化高于参考基频的20％时，将固定电极序列向蜗底电极方向移动一位；基频变化低于参考基频的20％时，将固定电极序列向蜗顶电极方向移动一位；

当H为4时，基频变化高于参考基频的15％时，将固定电极序列向蜗底电极方向移动一位；高于参考基频的30％时，将固定电极序列向蜗底电极方向移动两位；基频变化低于参考基频的15％时，将固定电极序列向蜗顶电极方向移动一位；低于参考基频的30％时，将固定电极序列向蜗顶电极方向移动两位；

当H为6时，基频变化高于参考基频的10％时，将固定电极序列向蜗底电极方向移动一位；高于参考基频的20％时，将固定电极序列向蜗底电极方向移动两位；高于参考基频的30％时，将固定电极序列向蜗底电极方向移动三位；基频变化低于参考基频的10％时，将固定电极序列向蜗顶电极方向移动一位；基频变化低于参考基频的20％时，将固定电极序列向蜗顶电极方向移动两位；基频变化低于参考基频的30％时，将固定电极序列向蜗顶电极方向移动三位；

确定固定电极序列后，选取能量最大的N个通道进行刺激。

优选地，所述进行基频提取，得到稳定的参考基频，为连续提取3帧稳定的基频，确定为参考基频。

优选地，所述检测基频变化后，随基频即时做出相应移动。

优选地，当H为2时，刺激后200ms后，将固定电极序列切换回默认位置。

优选地，当H为4时，刺激后200ms后，将固定电极序列随基频即时做出相应移动。

优选地，当H为6时，刺激后200ms后，将固定电极序列随基频即时做出相应移动。

基于上述目的，本发明还提供了一种基于移频处理提高汉语声调识别率的人工耳蜗言语处理***，包括：

电极选取单元，用于确定M个可用电极，H个活动电极，固定电极序列中有M-H个电极；

基频提取单元，与所述电极选取单元连接，用于对输入人工耳蜗言语处理器的声信号进行基频提取，得到稳定的参考基频，默认固定电极序列处于蜗底电极至蜗顶电极之间的中间位置，此处为固定电极序列的默认位置；然后检测基频变化，以百分数表示；

移频决策单元，与所述基频提取单元连接，用于根据活动电极个数H不同，进行移频处理，当H为2，基频变化高于参考基频的20％时，将固定电极序列向蜗底电极方向移动一位；基频变化低于参考基频的20％时，将固定电极序列向蜗顶电极方向移动一位；当H为4，基频变化高于参考基频的15％时，将固定电极序列向蜗底电极方向移动一位；高于参考基频的30％时，将固定电极序列向蜗底电极方向移动两位；基频变化低于参考基频的15％时，将固定电极序列向蜗顶电极方向移动一位；低于参考基频的30％时，将固定电极序列向蜗顶电极方向移动两位；当H为6，基频变化高于参考基频的10％时，将固定电极序列向蜗底电极方向移动一位；高于参考基频的20％时，将固定电极序列向蜗底电极方向移动两位；高于参考基频的30％时，将固定电极序列向蜗底电极方向移动三位；基频变化低于参考基频的10％时，将固定电极序列向蜗顶电极方向移动一位；基频变化低于参考基频的20％时，将固定电极序列向蜗顶电极方向移动两位；基频变化低于参考基频的30％时，将固定电极序列向蜗顶电极方向移动三位；

通道刺激单元，与所述移频决策单元连接，用于在确定固定电极序列后，选取能量最大的N个通道进行刺激。

优选地，所述基频提取单元，为连续提取3帧稳定的基频，确定为参考基频。

优选地，所述基频提取单元，检测基频变化后，随基频即时做出相应移动。

优选地，所述移频决策单元，当H为2时，刺激后200ms后，将固定电极序列切换回默认位置；当H为4时，刺激后200ms后，将固定电极序列随基频即时做出相应移动；当H为6时，刺激后200ms后，将固定电极序列随基频即时做出相应移动。

本发明的有益效果在于：一般情况下，言语基频范围是100-350Hz，汉语四声的基频变化范围因男女声不同有近10dB的改变范围。其中，女声的四声基频变化范围分别为：第一声5.3％；第二声40.0％；第三声31.5％；第四声56.6％；男声四声基频变化范围分别为：第一声7％；第二声39.4％；第三声27.4％；第四声55.5％，所以汉语四声的基频变化范围较大，如果统一的使用所有的电极发出刺激，没有针对性，对声调识别的效果不好。现有技术中对电极刺激的优化仅仅通过提高幅度包络与基频的相关性，和通道自适应动态峰值刺激，本发明通过引入固定电极与活动电极，只使用固定电极序列，根据声信号频率的变化，适当改变固定电极序列位置，刺激不同频率感知位置，从而提高了人工耳蜗言语处理器的汉语声调识别率；同时，由于仅使用固定电极，有效减小了功耗；在移频决策单元后可以与连续交替取样或峰值选取或虚拟通道策略联合使用，具有广泛的适应性和实用性。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明实施例的基于移频处理提高汉语声调识别率的人工耳蜗言语处理方法的步骤流程图；

图2为本发明实施例的基于移频处理提高汉语声调识别率的人工耳蜗言语处理***的结构示意图；

图3为本发明实施例的基于移频处理提高汉语声调识别率的人工耳蜗言语处理***中活动电极H＝2的移频刺激示意图；

图4为本发明实施例的基于移频处理提高汉语声调识别率的人工耳蜗言语处理***中活动电极H＝4的移频刺激示意图；

图5为本发明实施例的基于移频处理提高汉语声调识别率的人工耳蜗言语处理***中活动电极H＝6的移频刺激示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

参见图1，所示为本发明实施例的基于移频处理提高汉语声调识别率的人工耳蜗言语处理方法的步骤流程图，包括以下步骤：

S101，确定M个可用电极，H个活动电极，固定电极序列中有M-H个电极；

S102，对输入人工耳蜗言语处理器的声信号进行基频提取，得到稳定的参考基频，默认固定电极序列处于蜗底电极至蜗顶电极之间的中间位置，此处为固定电极序列的默认位置；

S103，检测基频变化，以百分数表示；

S104，当H为2时，基频变化高于参考基频的20％时，将固定电极序列向蜗底电极方向移动一位；基频变化低于参考基频的20％时，将固定电极序列向蜗顶电极方向移动一位；

S105，当H为4时，基频变化高于参考基频的15％时，将固定电极序列向蜗底电极方向移动一位；高于参考基频的30％时，将固定电极序列向蜗底电极方向移动两位；基频变化低于参考基频的15％时，将固定电极序列向蜗顶电极方向移动一位；低于参考基频的30％时，将固定电极序列向蜗顶电极方向移动两位；

S106，当H为6时，基频变化高于参考基频的10％时，将固定电极序列向蜗底电极方向移动一位；高于参考基频的20％时，将固定电极序列向蜗底电极方向移动两位；高于参考基频的30％时，将固定电极序列向蜗底电极方向移动三位；基频变化低于参考基频的10％时，将固定电极序列向蜗顶电极方向移动一位；基频变化低于参考基频的20％时，将固定电极序列向蜗顶电极方向移动两位；基频变化低于参考基频的30％时，将固定电极序列向蜗顶电极方向移动三位；

S107，确定固定电极序列后，选取能量最大的N个通道进行刺激。

进一步地，S102中所述进行基频提取，得到稳定的参考基频，为连续提取3帧稳定的基频，确定为参考基频。

进一步地，所述S103步骤后，随基频即时做出相应移动。

进一步地，当H为2时，刺激后200ms后，将固定电极序列切换回默认位置。

进一步地，当H为4时，刺激后200ms后，将固定电极序列随基频即时做出相应移动。

进一步地，当H为6时，刺激后200ms后，将固定电极序列随基频即时做出相应移动。

与上述基于移频处理提高汉语声调识别率的人工耳蜗言语处理方法对应的是，本发明又一实施例提供了基于移频处理提高汉语声调识别率的人工耳蜗言语处理***的结构示意图，包括：

电极选取单元101，用于确定M个可用电极，H个活动电极，固定电极序列中有M-H个电极；

基频提取单元102，与电极选取单元101连接，用于对输入人工耳蜗言语处理器的声信号进行基频提取，得到稳定的参考基频，默认固定电极序列处于蜗底电极至蜗顶电极之间的中间位置，此处为固定电极序列的默认位置；然后检测基频变化，以百分数表示；

移频决策单元103，与基频提取单元102连接，用于根据活动电极个数H不同，进行移频处理，当H为2，基频变化高于参考基频的20％时，将固定电极序列向蜗底电极方向移动一位；基频变化低于参考基频的20％时，将固定电极序列向蜗顶电极方向移动一位；当H为4，基频变化高于参考基频的15％时，将固定电极序列向蜗底电极方向移动一位；高于参考基频的30％时，将固定电极序列向蜗底电极方向移动两位；基频变化低于参考基频的15％时，将固定电极序列向蜗顶电极方向移动一位；低于参考基频的30％时，将固定电极序列向蜗顶电极方向移动两位；当H为6，基频变化高于参考基频的10％时，将固定电极序列向蜗底电极方向移动一位；高于参考基频的20％时，将固定电极序列向蜗底电极方向移动两位；高于参考基频的30％时，将固定电极序列向蜗底电极方向移动三位；基频变化低于参考基频的10％时，将固定电极序列向蜗顶电极方向移动一位；基频变化低于参考基频的20％时，将固定电极序列向蜗顶电极方向移动两位；基频变化低于参考基频的30％时，将固定电极序列向蜗顶电极方向移动三位；

通道刺激单元104，与移频决策单元103连接，用于在确定固定电极序列后，选取能量最大的N个通道进行刺激。

进一步地，在具体应用实例中，基频提取单元102，为连续提取3帧稳定的基频，确定为参考基频。

进一步地，在具体应用实例中，基频提取单元102检测基频变化后，随基频即时做出相应移动。

进一步地，在具体应用实例中，移频决策单元103，当H为2时，刺激后200ms后，将固定电极序列切换回默认位置；当H为4时，刺激后200ms后，将固定电极序列随基频即时做出相应移动；当H为6时，刺激后200ms后，将固定电极序列随基频即时做出相应移动。在切换回默认位置和随基频即时做出相应移动的过程中，基频提取单元102不再进行基频提取。

本发明用于物理电极多于20个的人工耳蜗。具体实施例中24个可用电极，电极编号1-24号，对应从蜗顶到蜗底，即从低频到高频，6个活动电极，那么固定电极为18个，固定电极序列为4-21号电极。即分为18个通道，以第4号电极代表最低频的第一通道；以第21号电极代表最高频的第二十四个通道。每一帧只分频18个通道，电极号记为E1-E18。默认模式下，第4-21号电极分别对应E1-E18。

E1-E18的选择是连续的。

E1-E18的选择随输入声信号基频的变化而变化。极限是：E1-E18对应第1到第18号电极或E1-E18对应7-24号电极。

一般来说，两边蜗顶/蜗底(低频/高频)的活动电极个数要相等对称。活动电极个数不小于2个，不大于6个。固定电极个数不大于22，不小于18。

具体实施例中，参见图3-5，图中上半部分两个波形图为基频曲线，曲线1为基频的大小；下半部分的两个坐标图表示固定电极序列，小圆圈2表示该电极被激活。

参见图3，若活动电极为2个，即1对，记为1级；当基频提取单元102获得稳定的参考基频后，基频变化超过的20％即开始移频，若高于参考基频的20％，将固定电极序列向蜗底方向移动。

固定电极序列默认位置为第2到第23号电极，活动电极为第1及第24号电极。当检测基频变化为原来的120％，即高于参考基频20％时，小圆圈2移位为第3到第24号电极，；当检测基频变化为原来的80％时，小圆圈2移位为第1到第22号电极。

参见图4，若为2对，记为2级；当基频提取单元102获得稳定的参考基频后，基频变化超过15％即开始移频，移频方向与上述一致，高于参考基频的15％固定电极序列向编号大的电极移动一位，低于参考基频的15％固定电极序列向编号小的电极移动一位；高于参考基频的30％固定电极序列再向编号大的电极移动一位，与默认位置相比移动了两位，低于参考基频的30％固定电极序列向编号小的电极移动一位，与默认位置相比移动了两位。通过图4中曲线1的大小变化与小圆圈2的位置对应，可见移频效果很好。

参见图5，若为3对，记为3级；当基频提取单元102获得稳定的参考基频后，基频变化超过的10％即开始移频，移频方向与上述一致，高于参考基频的10％固定电极序列向编号大的电极移动一位，低于参考基频的10％固定电极序列向编号小的电极移动一位；高于参考基频的20％固定电极序列再向编号大的电极移动一位，与默认位置相比移动了两位，低于参考基频的20％固定电极序列向编号小的电极移动一位，与默认位置相比移动了两位；高于参考基频的30％固定电极序列再向编号大的电极移动一位，与默认位置相比移动了三位，低于参考基频的30％固定电极序列向编号小的电极移动一位，与默认位置相比移动了三位。通过图5中曲线1的大小变化与小圆圈2的位置对应，可见移频效果很好。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims

1.一种基于移频处理提高汉语声调识别率的言语处理方法，其特征在于，包括以下步骤：

确定M个可用电极，H个活动电极，因此固定电极序列中有M-H个电极；

对输入人工耳蜗言语处理器的声信号进行基频提取，得到稳定的参考基频，默认固定电极序列处于蜗底电极至蜗顶电极之间的中间位置，蜗底电极至蜗顶电极之间的中间位置为固定电极序列的默认位置；

检测基频变化，以百分数表示；

确定固定电极序列后，选取能量最大的N个通道进行刺激。

2.根据权利要求1所述的方法，其特征在于，所述进行基频提取，得到稳定的参考基频，为连续提取3帧稳定的基频，确定为参考基频。

3.根据权利要求2所述的方法，其特征在于，所述检测基频变化后，电极随基频即时做出相应移动。

4.根据权利要求1所述的方法，其特征在于，当H为2时，刺激后200ms后，将固定电极序列切换回默认位置。

5.根据权利要求1所述的方法，其特征在于，当H为4时，刺激后200ms后，将固定电极序列随基频即时做出相应移动。

6.根据权利要求5所述的方法，其特征在于，当H为6时，与H＝4时相同，在刺激后200ms后，将固定电极序列随基频即时做出相应移动。

7.一种基于移频处理提高汉语声调识别率的言语处理***，其特征在于，包括：

基频提取单元，与所述电极选取单元连接，用于对输入人工耳蜗言语处理器的声信号进行基频提取，得到稳定的参考基频，默认固定电极序列处于蜗底电极至蜗顶电极之间的中间位置，蜗底电极至蜗顶电极之间的中间位置为固定电极序列的默认位置；然后检测基频变化，以百分数表示；

8.根据权利要求7所述的***，其特征在于，所述基频提取单元，在连续提取3帧稳定的基频后，将第三帧中所提取的基频确定为参考基频。

9.根据权利要求7所述的***，其特征在于，所述基频提取单元，在检测到基频变化后，随基频即时做出相应移动。

10.根据权利要求9所述的***，其特征在于，所述移频决策单元，当H为2时，在刺激200ms后，将固定电极序列切换回默认位置；当H为4时，在刺激200ms后，将固定电极序列随基频即时做出相应移动；当H为6时，在刺激200ms后，将固定电极序列随基频即时做出相应移动。