CN1763843A - 用于语言学习机的发音质量评价方法 - Google Patents
用于语言学习机的发音质量评价方法 Download PDFInfo
- Publication number
- CN1763843A CN1763843A CNA2005101148488A CN200510114848A CN1763843A CN 1763843 A CN1763843 A CN 1763843A CN A2005101148488 A CNA2005101148488 A CN A2005101148488A CN 200510114848 A CN200510114848 A CN 200510114848A CN 1763843 A CN1763843 A CN 1763843A
- Authority
- CN
- China
- Prior art keywords
- model
- voice
- pronunciation
- received pronunciation
- phonetic feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 5
- 238000013441 quality evaluation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及用于语言学习机的发音质量评价方法,属于计算机辅助语言学习和语音技术领域,包括用于训练的语音特征提取,标准发音模型训练,标准发音网络的生成,语音端点检测,用于评价的语音特征提取,最优路径搜索,以及发音质量分数的计算各部分;本发明的发音质量评价方法具有与主观评价相关性较高、稳健性好等特点。构成的嵌入式英语学习***可以用于人机交互教学和自动口语测试。
Description
技术领域
本发明属于计算机辅助语言学习和语音技术领域,尤其涉及采用16位及以上的数字信号处理芯片实现的发音质量评价方法。
背景技术
近年来,嵌入式语言学习产品在国内外发展迅速。早期主要是复读机,它是在一台模拟磁带录音机上附加一个可将一小段语音数字化存储的装置,这一小段语音可以多次重复放音,利于学习者反复听音,跟读记忆。目前市场上主流的语言学习机是采用数字信号处理芯片(DSP,Digital Signal Processing)技术的第二代产品。硬件***一般包括微控制器(Micro Control Unit,MCU)、数字信号处理芯片(DSP)、多媒体数字信号编解码器(CODEC)、ROM、SRAM、快闪存储器(Flash Memory)、通用串行总线(USB)、键盘和液晶显示器(Liquid Crystal Display,LCD)等;其中MCU作为主控芯片,执行设备驱动和程序调度等***控制程序,DSP执行应用算法程序。应用程序包括录音、放音、语速调节等基本模块,有些产品还带有mp3模块。功能上具有复读,跟读,跟读对比,文字同步显示,内容检索查询和语速可调节的放音等。这类学习机大多可以通过互联网下载和更新学习材料。深圳好记星公司的好记星英语学习机是第二代数字式英语学习机的典型代表。
学习语言尤其是学习口语关键在于互动的学习过程,即在学习过程中教师及时地有针对性地评判和指导。然而在传统的以教师为中心的语言学习中,由于师资力量的缺乏,这一任务无法完成。而现有的语言学习机又都不具备这种评价学习者发音的能力。
发明内容
本发明的目的是为克服已有技术的不足之处,提出一种用于语言学***。
本发明提出的用于语言学习机的发音质量评价方法,包括用于训练的语音特征提取,标准发音模型训练,标准发音网络的生成,语音端点检测,用于评价的语音特征提取,最优路径搜索,以及发音质量分数的计算各部分;其特征在于,各部分的实现方法具体包括以下步骤:
A、用于训练的语音特征提取:
(1)预先建立包含大量朗读语音的训练数据库;
(2)对所说的训练数据库中的每个语音文件中的数字语音进行预加重和分帧加窗处理,得到具有准平稳性的分帧语音;
(3)对所说的分帧语音提取语音特征,该语音特征为倒谱系数;
B、标准发音模型训练
(1)利用步骤A所说的语音特征训练得到基于音素的标准发音模型;
(2)对所说的标准发音模型进行汉语人群口音的自适应作为最终的标准发音模型,优化模型对汉语人群的评价性能;
C、标准发音网络的生成
对给定的文本进行单词切分,查找发音字典得到音素标注,最后利用所说的基于音素的标准发音模型得到以状态为节点的线性标准发音网络;
D、语音端点检测:
(1)模拟语音信号经过A/D变换,得到数字语音;
(2)对所说的数字语音进行预加重和分帧加窗处理,得到具有准平稳性的分帧语音;
(3)对所说的分帧语音计算得到时域对数能量;
(4)采用滑动平均滤波(moving-average filter)的方法由所说的时域对数能量得到用于端点检测的特征(以下简称为端检特征);
(5)采用上限和下限双阈值和有限状态机结合的方法,对所说的端检特征进行端点检测,得到语音的起始和结束端点;
E、用于评价的语音特征提取
对步骤D所说的分帧语音提取语音特征,过程与步骤A的第(3)步相同。
F、最优路径搜索:
(1)将步骤E所说的语音特征与步骤C所说的标准发音网络进行强制匹配,得到网络中所有可能的路径信息;
(2)利用所说的路径信息,从网络允许的终止节点回溯出最优路径;
G、发音质量分数的计算:
(1)利用步骤F中所说的最优路径信息计算得到每帧语音特征的置信分数;
(2)利用步骤F中所说的最优路径信息计算路径上每个状态的置信分数;对最优路径上所有状态的置信分数取平均得到整句的置信分数;
(3)利用映射函数将所说的整句置信分数映射到主观评价分数区间,得到最终的发音质量分数。
所说的步骤A中的倒谱系数可以为美尔频标倒谱系数(MFCC,Mel-FrequencyCepstrum Coefficients),它利用了人耳的频率分辨特性。
所说的步骤B(1)中的标准发音模型为基于音素的隐含马尔可夫模型(HMM,HiddenMarkov Model),该模型的具体训练过程为:采用所有语音特征初始化一个高斯模型,利用这个模型复制出所有的音素模型,采用Baum-Welth的方法对模型进行多次训练。不断增加每个音素模型的高斯成分的数量,重新进行Baum-Welth训练。
所说的步骤B(2)中的对标准发音模型进行汉语人群口音的自适应的实现方法为:对得到的标准发音模型进行基于最大似然线性回归(Maximum Likelihood LinearRegression,MLLR)和最大后验概率(Maximum A Posteriori,MAP)方法的口音自适应,得到最终的标准发音模型。
所说的步骤C的标准发音网络可为一个具有确定的起始节点和终止节点,当前节点只与其前序节点相关的不考虑文法的以HMM的状态为节点的线性网络。
所说的步骤F的最优路径搜索的方法采用了帧同步维特比(Viterbi)束搜索的方法。
为能够在嵌入式***的有限内存资源上实现本发明的发音质量评价方法,步骤D、E、F和G都是以预先设定的固定帧数步长在时间上分段进行的,这样可大大降低对***资源的要求,使得嵌入式学习***能够处理比较长的语音;
本发明的发音质量评价方法使得语言学习机具有了交互功能。利用该方法实现的嵌入式英语学习***在实际应用中取得了较好的性能。
本发明具有如下特点:
(1)本发明具有评价准确性高、稳健性好、***资源开销小等特点;
(2)采用基于音素的标准发音模型,使得嵌入式学习***可以方便的更改课件内容,无需重新训练;
(3)考虑到母语口音对英语发音的影响,对音素模型进行了口音自适应;
(4)采用滑动平均滤波和有限状态机等技术进行实时的端点检测,提高了端点检测对英语语音的准确性和稳健性;
(5)可用于基于以DSP为核心的嵌入式语言学习***,具有体积小、重量轻、耗电省、成本低的突出特点;
(6)本发明的发音质量评价方法,结合丰富的课件形式,可以改变传统的学习机工作模式以及课堂教学模式。
附图说明
图1为本发明实施例的方法总体流程示意图。
图2为本发明实施例的标准发音模型训练流程图;图2(a)表示标准发音模型训练的全过程,图2(b)表示一个特定隐含马尔可夫模型的训练过程。
图3为本发明实施例的标准发音模型的拓扑结构图;图3(a)表示停顿模型,图3(b)表示音素和静音模型。
图4为本发明实施例的隐含马尔可夫模型口音自适应流程图。
图5为本发明实施例的标准发音网络的拓扑结构示意图;图5(a)表示整句以单词为节点的线性网络结构,图5(b)表示每一个单词以音素为节点的线性网络结构。
图6为本发明实施例的标准发音网络的生成过程示意图。
图7为本发明实施例的在嵌入式平台上实现的发音质量评价方法的详细流程图。
具体实施方式
本发明提出的一种用于语言学习机的发音质量评价方法实施例结合各图详细说明如下:
本发明方法的实施例总体流程如图1所示,分为:A、用于训练的语音特征提取;B、标准发音模型的训练;C、标准发音网络的生成(以上各步骤可事先利用计算机完成);D、语音端点检测;E、用于评价的语音特征提取;F、最优路径搜索;G、发音质量分数的计算和输出(以上各步骤利用嵌入式平台完成)。每个步骤的实施例详细说明如下。
A、用于训练的语音特征提取:
(1)预先建立包含大量英语朗读语音的训练数据库(要求包含的内容对每一个音素都有一定数量的覆盖);
(2)对所说的训练数据库中的每个语音文件中的数字语音进行预加重处理,预加重滤波器取为H(z)=1-0.9375z-1;对预加重后的语音进行分帧加窗(采用哈明窗)处理,帧长可为32ms,帧移可为16ms,得到具有准平稳性的分帧语音;
(3)对所说的分帧语音提取美尔频标倒谱系数(MFCC)作为语音特征;语音的短时频域特征能精确描述语音的变化,MFCC是根据人耳听觉的频率分辨特性计算出来的一种特征矢量,建立在傅立叶频谱分析的基础上,MFCC的计算方法为:首先对分帧语音进行快速傅立叶变换(Fast Fourier Transformation,FFT)得到信号的短时频谱,其次根据MEL频标把短时频谱等分成若干个带通组,其带通的频率响应为三角形,再次计算相应滤波器组的信号能量,最后通过离散余弦变换计算对应的倒谱系数;
MFCC特征主要反映语音的静态特征,语音信号的动态特征可以用静态特征的一阶差分谱和二阶差分谱来描述。整个语音特征由MFCC参数、MFCC一阶、二阶差分系数、归一化能量系数及其一阶、二阶差分系数构成。每帧共包含39维特征;
B、标准发音模型的训练:
(1)利用步骤A所说的语音特征训练基于音素的标准发音模型的过程,如图2所示:
a、根据语音特征的维数建立一个协方差矩阵为对角形式的单数据流的多维高斯分布的原型,使用全部的语音数据估计该高斯分布的均值矢量和协方差矩阵。
b、确定发音字典和音标体系,完成对所有语音的音素级标注,本实施例的音标体系包括40个音素以及1个静音标识、1个停顿标识。
c、本实施例采用基于音素的隐含马尔可夫模型(HMM)作为标准发音模型,HMM是目前被广泛采用的统计语音识别模型。HMM从左向右的状态转移模型,能够很好地描叙语音的发音特点。本发明采用的音素和静音模型为3状态的HMM,停顿模型为单状态可跨越的HMM,其拓扑结构如图3所示。其中qi表示HMM的状态。aij表示HMM的跳转概率。bj(Ot)为HMM模型的状态输出的多流混合高斯密度概率分布函数。如式(1)所示。
其中S是数据的流数,Ms是每一数据流中的混合高斯密度分布的个数;N为多维高斯分布,如式(2)所示:
本实施例的标准发音模型包括40个音素HMM模型以及一个静音HMM模型、一个停顿HMM模型;将所说的高斯分布原型复制成各个HMM模型;然后利用Baum-Welch算法对每个HMM模型进行多次估值,估值次数可为5;
d、逐步增加HMM模型中高斯成分的数量,对得到的模型再次进行Baum-Welch训练;高斯成分的数量增加依次为2、4、6、8;当高斯数量增长到8时,重复训练10次,训练过程结束。
(2)对所说的标准发音模型进行汉语人群口音的自适应,本发明实施例采用了基于全局MLLR和MAP串行的口音自适应方法,自适应次数设定为4,具体流程如图4所示。
a、MLLR是一种基于模型变换的自适应算法。这一类算法的基本假设是相近语音在说话人无关语音模型空间与被适应人语音空间之间的变换关系也是相近的,因此可以利用训练语音中出现过的语音统计出这一变换关系,对未出现的语音的模型用该变换实现从说话人无关模型到被适应人语音空间的映射,从而实现自适应。语音模型空间根据一定测度(如欧氏距离,似然度等)被划分为R类,各类的变换为Tr(*),各类对应的训练语音集为Xr,r=1,2,...,R,模型参数为λr,r=1,2,...,R,则自适应训练满足:
自适应后的参数
满足
由于这一类算法充分利用了语音间的相互关系,多个模型共享一个变换,需要估计的参数是各个变换的系数,较容易积累数据估计参数可以在较少自适应数据情况下生效,因此具有较快的自适应速度。本发明实施例采用的是未分类的全局MLLR自适应。
b、MAP算法的基本准则是后验概率最大化,因此具有理论上的最优性:
标准MAP算法的均值矢量估值公式为:
其中Lt是t时刻观测矢量对该高斯混合分量的概率,τ是自适应语音数据基于先验知识的权重,
μ是自适应语音的均值矢量,μ是说话人无关模型的均值矢量。由此也可看出,当自适应数据足够多时,自适应后的均值矢量
将趋向于说话人相关的均值矢量
μ。本发明实施例在MLLR自适应之后又采用MAP自适应的目的是充分利用自适应的语音数据,进一步提供口音自适应的效果。
将最终得到的标准发音模型存入嵌入式***的外部存储器。
C、标准发音网络的生成:
本发明实施例的标准发音网络如图5所示,其中(a)为以单词为节点的线性网络示例,起始节点为开始的“sil”,终止节点为最后的“sil”,(b)为每个单词内部的以音素为节点的线性网络,每个音素内部为如图3所示的以状态为节点的网络。网络生成过程如图6所示:首先对原始文本进行单词切分得到如图5(a)所示,其次对每一个单词查找发音字典得到如图5(b)所示。考虑到单词的多发音情况,为节省存储空间和提高搜索效率,本实施例在单词的多种发音之间进行了基于动态规划的音素字符串比对,将多个音素序列融合成一个以音素为节点的网络,使得各个发音之间的相同音素得到共享。最后利用音素HMM模型将网络最终展开成以状态为节点的网络,每个状态节点上记录了当前节点的状态标识、音素标识、单词标识以及前序节点数目和前序节点标识信息。至此,得到本实施例的具有确定的起始节点P和终止节点T,当前节点只与其前序节点相关的不考虑文法的以HMM的状态为节点的标准发音网络。
将所说的标准发音网络存入嵌入式***的外部存储器。
D、语音端点检测:
(1)语音信号首先进行低通滤波,然后通过16bit线性A/D进行采样和量化,成为数字语音。采样频率为8kHz;
(2)对所说的数字语音进行预加重和分帧加窗处理,得到具有准平稳性的分帧语音;方法与步骤A的第(2)步相同;
(3)再对所说的分帧语音计算短时对数能量。
(4)采用滑动平均滤波的方法由所说的时域对数能量得到端检特征:端点检测是实时进行的,实时端点检测方法需满足以下要求:a、对不同的背景噪声电平有一致的输出;b、能够检测到起始点和终止点;c、较短的延时;d、有限的响应区间;e、在端点处最大化信噪比;f、准确定位检测的端点;g、最大限度地抑制检测错误;综合考虑以上要求定义的目标函数,和图像处理中通常采用的图形边界检测函数(滑动平均滤波)非常相似。所说的滑动平均滤波器如式(7)所示,其中g(·)是时域对数能量,t为当前帧数,h(·)为滑动平均滤波器,如式(8)所示,可见h(·)是一个奇对称函数,W可取13,f(·)如式(9)所示,其参数可为:A=0.2208,s=0.5383,[K1...K6]=[1.583,1.468,-0.078,-0.036,-0.872,-0.56]。
f(x)=eAx[K1sin(Ax)+K2cos(Ax)]+e-Ax[K3sin(Ax)+K4cos(Ax)]+K5+K6esx(9)
(5)采用上限和下限双阈值和有限状态机结合的方法,对所说的端检特征进行端点检测,得到语音的起始和结束端点:所说的端检特征F(t)在语音的起始端为正值,在结束端为负值,在静音段则接近为零。根据预先设定的上限、下限阈值和语音最短持续时间,控制每一帧语音在语音、静音和离开语音状态之间进行跳转。初始设定为静音状态,当F(t)达到上限阈值时输出语音的起始端点,进入语音状态。处于语音状态,当F(t)达到下限阈值时就进入了离开语音状态。处于离开语音状态的时间达到一个设定的阈值时输出语音的结束端点,关闭录音通道,端点检测结束。
E、用于评价的语音特征提取:
对步骤D所说的分帧语音提取语音特征,过程与步骤A的第(3)步相同。
F、最优路径搜索:
(1)将步骤E所说的语音特征与步骤C所说的标准发音网络进行强制匹配,得到网络中所有可能的路径信息:本发明实施例的标准发音网络是自左向后的线性网络(如图5所示),可采用帧同步的维特比束搜索算法得到最优路径。给定HMM模型Φ和观察矢量序列O={o1,…,oT}后,需要求取产生此观察矢量序列的最佳状态序列S={s1,…sT},即
在维特比算法中,定义t时刻的最佳路径似然度为
Vi(t)=P(o1,…,ot,s1,…,st-1,st=i |Φ) (11)
在线性网络中,任意时刻的最优路径仅和当前帧与上一帧的信息相关,即满足无后效性的原则。因此,如果全局最优路径在t时刻通过节点i,那么,路径在0~t时刻之间的部分,一定是在t时刻以节点i为最终节点的各条路径中是最优的。如果我们只想获得最优路径,那么在t时刻,以节点i为最终节点的路径只需要保留一条就足够了。
根据上述原则,本实施例的搜索算法为:
定义:PreNode(i)为节点i的前序节点集合。BestPre(t,i)为t时刻节点i的最优前序节点。L(t,i)为t时刻的语音帧对应节点i的似然分数。L_Path(-1,i)和L_Path(0,i)分别为前一帧和当前帧以节点i为最终节点的最优路径似然分数。
步骤1:在t=0时刻
其中i∈Entry表示i为起始节点。
步骤2:在t时刻,对于任意的节点i已经得到当前帧的似然分数L(t,i),则当前帧的最优路径分数为:
将最优前序节点记入BestPre(t,i),将L_Path(-1,i)和L_Path(0,i)的数据进行交换为下一帧的计算做准备。
步骤3:如果t<T,转到步骤2;否则,结束。
(2)当语音结束时,可以从网络允许得终止节点回溯BestPre(t,i)获取到强制匹配的最优状态路径;
G、发音质量分数的计算
(1)利用步骤F中所说的最优路径信息计算每帧语音特征的置信分数,如式(14)所示:
(2)利用步骤F中所说的最优路径信息计算路径上每个状态的置信分数;对最优路径上所有状态的置信分数取平均得到整句的置信分数,如式(15)所示,其中N为最优路径包含的状态数。
(3)利用映射函数将所说的整句置信分数映射到主观评价分数区间:直接计算得到的置信分数的取值区间通常在(-∞,a]之间,其中a为一常数,与主观评价分数区间不一致,本发明实施例利用分段线性函数将其映射到主观分数区间,如式(16)所示,其中a和b由实验确定,a为一个调节因子:
也可以将得到的S进一步量化为优、良、中、差的发音质量等级。
考虑到内存资源的限制,本发明实施例的步骤D、E、F和G都是以预先设定的固定帧数步长在时间上分段进行的,每段大小可为40帧。
本实施例基于上述方法开发了基于发音质量评价的嵌入式英语学习***。学习内容可以根据教学要求随时自动地更新。采用发音质量评价技术可以使人机之间互动学习,大大减轻了课堂口语教学的工作量,缓解了教师供需紧张的问题,实现了英语口语的自主学习和自动测试。本发明可以评价汉语普通话人群的英语发音质量。该方法对汉语人群的英语发音质量评价在评分等级为4级(优、良、中、差)时,与主观评价的相关性达到了0.74。
Claims (5)
1、一种用于语言学习机的发音质量评价方法,包括用于训练的语音特征提取,标准发音模型训练,标准发音网络的生成,语音端点检测,用于评价的语音特征提取,最优路径搜索,以及发音质量分数的计算各部分;其特征在于,各部分的实现方法具体包括以下步骤:
A、用于训练的语音特征提取:
(1)预先建立包含大量朗读语音的训练数据库;
(2)对所说的训练数据库中的每个语音文件中的数字语音进行预加重和分帧加窗处理,得到具有准平稳性的分帧语音;
(3)对所说的分帧语音提取语音特征,该语音特征为倒谱系数;
B、标准发音模型训练
(1)利用步骤A所说的语音特征训练得到基于音素的标准发音模型;
(2)对所说的标准发音模型进行汉语人群口音的自适应作为最终的标准发音模型,优化模型对汉语人群的评价性能;
C、标准发音网络的生成
对给定的文本进行单词切分,查找发音字典得到音素标注,最后利用所说的基于音素的标准发音模型得到以状态为节点的线性标准发音网络;
D、语音端点检测:
(1)模拟语音信号经过A/D变换,得到数字语音;
(2)对所说的数字语音进行预加重和分帧加窗处理,得到具有准平稳性的分帧语音;
(3)对所说的分帧语音计算得到时域对数能量;
(4)采用滑动平均滤波的方法由所说的时域对数能量得到用于端点检测的端检特征;
(5)采用上限和下限双阈值和有限状态机结合的方法,对所说的端检特征进行端点检测,得到语音的起始和结束端点;
E、用于评价的语音特征提取
对步骤D所说的分帧语音提取语音特征,过程与步骤A的第(3)步相同。
F、最优路径搜索:
(1)将步骤E所说的语音特征与步骤C所说的标准发音网络进行强制匹配,得到网络中所有可能的路径信息;
(2)利用所说的路径信息,从网络允许的终止节点回溯出最优路径;
G、发音质量分数的计算:
(1)利用步骤F中所说的最优路径信息计算得到每帧语音特征的置信分数;
(2)利用步骤F中所说的最优路径信息计算路径上每个状态的置信分数;对最优路径上所有状态的置信分数取平均得到整句的置信分数;
(3)利用映射函数将所说的整句置信分数映射到主观评价分数区间,得到最终的发音质量分数。
2、如权利要求1所述的用于语言学习机的发音质量评价方法,其特征在于,所说的步骤A中的倒谱系数为利用人耳的频率分辨特性的美尔频标倒谱系数。
3、如权利要求1所述的用于语言学习机的发音质量评价方法,其特征在于,所说的步骤B(1)中的标准发音模型为基于音素的隐含马尔可夫模型,该模型的具体训练过程为:采用所有语音特征初始化一个高斯模型,利用该模型复制出所有的音素模型,采用Baum-Welth的方法对模型进行多次训练;不断增加每个音素模型的高斯成分的数量,重新进行Baum-Welth训练。
4、如权利要求1所述的用于语言学习机的发音质量评价方法,其特征在于,所说的步骤B(2)中的对标准发音模型进行汉语人群口音的自适应的实现方法为:对得到的标准发音模型进行基于最大似然线性回归和最大后验概率方法的口音自适应,得到最终的标准发音模型。
5、如权利要求1所述的用于语言学习机的发音质量评价方法,其特征在于,所说的步骤C的标准发音网络为一个具有确定的起始节点和终止节点,当前节点只与其前序节点相关的不考虑文法的以HMM的状态为节点的线性网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005101148488A CN100411011C (zh) | 2005-11-18 | 2005-11-18 | 用于语言学习机的发音质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005101148488A CN100411011C (zh) | 2005-11-18 | 2005-11-18 | 用于语言学习机的发音质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1763843A true CN1763843A (zh) | 2006-04-26 |
CN100411011C CN100411011C (zh) | 2008-08-13 |
Family
ID=36747941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005101148488A Expired - Fee Related CN100411011C (zh) | 2005-11-18 | 2005-11-18 | 用于语言学习机的发音质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100411011C (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009097738A1 (zh) * | 2008-01-30 | 2009-08-13 | Institute Of Computing Technology, Chinese Academy Of Sciences | 一种音频匹配方法及*** |
CN101246685B (zh) * | 2008-03-17 | 2011-03-30 | 清华大学 | 计算机辅助语言学习***中的发音质量评价方法 |
CN101996635A (zh) * | 2010-08-30 | 2011-03-30 | 清华大学 | 基于重音突显度的英语发音质量评价方法 |
CN101105894B (zh) * | 2006-07-12 | 2011-08-10 | 陈修志 | 多功能语言学习机 |
CN102237086A (zh) * | 2010-04-28 | 2011-11-09 | 三星电子株式会社 | 用于语音识别设备的补偿装置和方法 |
CN102253976A (zh) * | 2011-06-17 | 2011-11-23 | 苏州思必驰信息科技有限公司 | 一种用于口语学习的元数据处理方法和*** |
CN101826263B (zh) * | 2009-03-04 | 2012-01-04 | 中国科学院自动化研究所 | 基于客观标准的自动化口语评估*** |
CN101739868B (zh) * | 2008-11-19 | 2012-03-28 | 中国科学院自动化研究所 | 一种用于口语测试的文本朗读水平自动评估诊断方法 |
WO2012055113A1 (zh) * | 2010-10-29 | 2012-05-03 | 安徽科大讯飞信息科技股份有限公司 | 录音结束点检测方法及*** |
CN102568475A (zh) * | 2011-12-31 | 2012-07-11 | 安徽科大讯飞信息科技股份有限公司 | 用于普通话水平测评的***和方法 |
US8385221B2 (en) | 2010-02-28 | 2013-02-26 | International Business Machines Corporation | System and method for monitoring of user quality-of-experience on a wireless network |
CN102982811A (zh) * | 2012-11-24 | 2013-03-20 | 安徽科大讯飞信息科技股份有限公司 | 一种基于实时解码的语音端点检测方法 |
CN103177733A (zh) * | 2013-03-11 | 2013-06-26 | 哈尔滨师范大学 | 汉语普通话儿化音发音质量评测方法与*** |
CN103366759A (zh) * | 2012-03-29 | 2013-10-23 | 北京中传天籁数字技术有限公司 | 语音数据的测评方法和装置 |
CN104766607A (zh) * | 2015-03-05 | 2015-07-08 | 广州视源电子科技股份有限公司 | 一种电视节目推荐方法与*** |
CN105261246A (zh) * | 2015-12-02 | 2016-01-20 | 武汉慧人信息科技有限公司 | 一种基于大数据挖掘技术的英语口语纠错*** |
CN105529030A (zh) * | 2015-12-29 | 2016-04-27 | 百度在线网络技术(北京)有限公司 | 语音识别处理方法和装置 |
CN106328123A (zh) * | 2016-08-25 | 2017-01-11 | 苏州大学 | 小数据库条件下正常语音流中耳语音的识别方法 |
CN106558308A (zh) * | 2016-12-02 | 2017-04-05 | 深圳撒哈拉数据科技有限公司 | 一种互联网音频数据质量自动打分***及方法 |
CN106803424A (zh) * | 2015-11-26 | 2017-06-06 | 北京奥鹏远程教育中心有限公司 | 一种汉语水平测试技术 |
CN106847308A (zh) * | 2017-02-08 | 2017-06-13 | 西安医学院 | 一种英语发音质量评价*** |
CN107767858A (zh) * | 2017-09-08 | 2018-03-06 | 科大讯飞股份有限公司 | 发音词典生成方法及装置、存储介质、电子设备 |
CN107958673A (zh) * | 2017-11-28 | 2018-04-24 | 北京先声教育科技有限公司 | 一种口语评分方法及装置 |
CN108520749A (zh) * | 2018-03-06 | 2018-09-11 | 杭州孚立计算机软件有限公司 | 一种基于语音的网格化管理控制方法及控制装置 |
CN109313892A (zh) * | 2017-05-17 | 2019-02-05 | 北京嘀嘀无限科技发展有限公司 | 稳健的语言识别方法和*** |
CN109859773A (zh) * | 2019-02-14 | 2019-06-07 | 北京儒博科技有限公司 | 一种声音的录制方法、装置、存储介质及电子设备 |
CN110390948A (zh) * | 2019-07-24 | 2019-10-29 | 厦门快商通科技股份有限公司 | 一种快速语音识别的方法及*** |
CN110415725A (zh) * | 2019-07-15 | 2019-11-05 | 北京语言大学 | 使用第一语言数据评估第二语言发音质量的方法及*** |
CN111128181A (zh) * | 2019-12-09 | 2020-05-08 | 科大讯飞股份有限公司 | 背诵题评测方法、装置以及设备 |
CN111710332A (zh) * | 2020-06-30 | 2020-09-25 | 北京达佳互联信息技术有限公司 | 语音处理方法、装置、电子设备及存储介质 |
CN112530455A (zh) * | 2020-11-24 | 2021-03-19 | 东风汽车集团有限公司 | 基于mfcc的汽车关门声品质评价方法及评价*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1236928A (zh) * | 1998-05-25 | 1999-12-01 | 郭巧 | 计算机辅助汉语智能教学***及其实现方法 |
CN1123863C (zh) * | 2000-11-10 | 2003-10-08 | 清华大学 | 基于语音识别的信息校核方法 |
-
2005
- 2005-11-18 CN CNB2005101148488A patent/CN100411011C/zh not_active Expired - Fee Related
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101105894B (zh) * | 2006-07-12 | 2011-08-10 | 陈修志 | 多功能语言学习机 |
WO2009097738A1 (zh) * | 2008-01-30 | 2009-08-13 | Institute Of Computing Technology, Chinese Academy Of Sciences | 一种音频匹配方法及*** |
CN101246685B (zh) * | 2008-03-17 | 2011-03-30 | 清华大学 | 计算机辅助语言学习***中的发音质量评价方法 |
CN101739868B (zh) * | 2008-11-19 | 2012-03-28 | 中国科学院自动化研究所 | 一种用于口语测试的文本朗读水平自动评估诊断方法 |
CN101826263B (zh) * | 2009-03-04 | 2012-01-04 | 中国科学院自动化研究所 | 基于客观标准的自动化口语评估*** |
US8385221B2 (en) | 2010-02-28 | 2013-02-26 | International Business Machines Corporation | System and method for monitoring of user quality-of-experience on a wireless network |
CN102237086A (zh) * | 2010-04-28 | 2011-11-09 | 三星电子株式会社 | 用于语音识别设备的补偿装置和方法 |
CN101996635A (zh) * | 2010-08-30 | 2011-03-30 | 清华大学 | 基于重音突显度的英语发音质量评价方法 |
KR101417975B1 (ko) * | 2010-10-29 | 2014-07-09 | 안후이 유에스티씨 아이플라이텍 캄파니 리미티드 | 오디오 레코드의 엔드포인트를 자동 감지하는 방법 및 시스템 |
US9330667B2 (en) | 2010-10-29 | 2016-05-03 | Iflytek Co., Ltd. | Method and system for endpoint automatic detection of audio record |
WO2012055113A1 (zh) * | 2010-10-29 | 2012-05-03 | 安徽科大讯飞信息科技股份有限公司 | 录音结束点检测方法及*** |
CN102253976B (zh) * | 2011-06-17 | 2013-05-15 | 苏州思必驰信息科技有限公司 | 一种用于口语学习的元数据处理方法和*** |
CN102253976A (zh) * | 2011-06-17 | 2011-11-23 | 苏州思必驰信息科技有限公司 | 一种用于口语学习的元数据处理方法和*** |
CN102568475A (zh) * | 2011-12-31 | 2012-07-11 | 安徽科大讯飞信息科技股份有限公司 | 用于普通话水平测评的***和方法 |
CN102568475B (zh) * | 2011-12-31 | 2014-11-26 | 安徽科大讯飞信息科技股份有限公司 | 用于普通话水平测评的***和方法 |
CN103366759A (zh) * | 2012-03-29 | 2013-10-23 | 北京中传天籁数字技术有限公司 | 语音数据的测评方法和装置 |
CN102982811A (zh) * | 2012-11-24 | 2013-03-20 | 安徽科大讯飞信息科技股份有限公司 | 一种基于实时解码的语音端点检测方法 |
CN102982811B (zh) * | 2012-11-24 | 2015-01-14 | 安徽科大讯飞信息科技股份有限公司 | 一种基于实时解码的语音端点检测方法 |
CN103177733A (zh) * | 2013-03-11 | 2013-06-26 | 哈尔滨师范大学 | 汉语普通话儿化音发音质量评测方法与*** |
CN103177733B (zh) * | 2013-03-11 | 2015-09-09 | 哈尔滨师范大学 | 汉语普通话儿化音发音质量评测方法与*** |
CN104766607A (zh) * | 2015-03-05 | 2015-07-08 | 广州视源电子科技股份有限公司 | 一种电视节目推荐方法与*** |
CN106803424A (zh) * | 2015-11-26 | 2017-06-06 | 北京奥鹏远程教育中心有限公司 | 一种汉语水平测试技术 |
CN105261246A (zh) * | 2015-12-02 | 2016-01-20 | 武汉慧人信息科技有限公司 | 一种基于大数据挖掘技术的英语口语纠错*** |
CN105261246B (zh) * | 2015-12-02 | 2018-06-05 | 武汉慧人信息科技有限公司 | 一种基于大数据挖掘技术的英语口语纠错*** |
CN105529030A (zh) * | 2015-12-29 | 2016-04-27 | 百度在线网络技术(北京)有限公司 | 语音识别处理方法和装置 |
CN106328123A (zh) * | 2016-08-25 | 2017-01-11 | 苏州大学 | 小数据库条件下正常语音流中耳语音的识别方法 |
CN106328123B (zh) * | 2016-08-25 | 2020-03-20 | 苏州大学 | 小数据库条件下正常语音流中耳语音的识别方法 |
CN106558308A (zh) * | 2016-12-02 | 2017-04-05 | 深圳撒哈拉数据科技有限公司 | 一种互联网音频数据质量自动打分***及方法 |
CN106558308B (zh) * | 2016-12-02 | 2020-05-15 | 深圳撒哈拉数据科技有限公司 | 一种互联网音频数据质量自动打分***及方法 |
CN106847308A (zh) * | 2017-02-08 | 2017-06-13 | 西安医学院 | 一种英语发音质量评价*** |
CN109313892A (zh) * | 2017-05-17 | 2019-02-05 | 北京嘀嘀无限科技发展有限公司 | 稳健的语言识别方法和*** |
CN109313892B (zh) * | 2017-05-17 | 2023-02-21 | 北京嘀嘀无限科技发展有限公司 | 稳健的语言识别方法和*** |
CN107767858A (zh) * | 2017-09-08 | 2018-03-06 | 科大讯飞股份有限公司 | 发音词典生成方法及装置、存储介质、电子设备 |
CN107958673A (zh) * | 2017-11-28 | 2018-04-24 | 北京先声教育科技有限公司 | 一种口语评分方法及装置 |
CN108520749A (zh) * | 2018-03-06 | 2018-09-11 | 杭州孚立计算机软件有限公司 | 一种基于语音的网格化管理控制方法及控制装置 |
CN109859773A (zh) * | 2019-02-14 | 2019-06-07 | 北京儒博科技有限公司 | 一种声音的录制方法、装置、存储介质及电子设备 |
CN110415725A (zh) * | 2019-07-15 | 2019-11-05 | 北京语言大学 | 使用第一语言数据评估第二语言发音质量的方法及*** |
CN110390948A (zh) * | 2019-07-24 | 2019-10-29 | 厦门快商通科技股份有限公司 | 一种快速语音识别的方法及*** |
CN111128181A (zh) * | 2019-12-09 | 2020-05-08 | 科大讯飞股份有限公司 | 背诵题评测方法、装置以及设备 |
CN111710332A (zh) * | 2020-06-30 | 2020-09-25 | 北京达佳互联信息技术有限公司 | 语音处理方法、装置、电子设备及存储介质 |
CN112530455A (zh) * | 2020-11-24 | 2021-03-19 | 东风汽车集团有限公司 | 基于mfcc的汽车关门声品质评价方法及评价*** |
Also Published As
Publication number | Publication date |
---|---|
CN100411011C (zh) | 2008-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1763843A (zh) | 用于语言学习机的发音质量评价方法 | |
CN103971678B (zh) | 关键词检测方法和装置 | |
CN101661675B (zh) | 一种错误自感知的声调发音学习方法和*** | |
US8949125B1 (en) | Annotating maps with user-contributed pronunciations | |
CN101645271B (zh) | 发音质量评估***中的置信度快速求取方法 | |
Gao et al. | A study on robust detection of pronunciation erroneous tendency based on deep neural network. | |
CN103928023A (zh) | 一种语音评分方法及*** | |
CN101887725A (zh) | 一种基于音素混淆网络的音素后验概率计算方法 | |
CN101246685A (zh) | 计算机辅助语言学习***中的发音质量评价方法 | |
CN109377981B (zh) | 音素对齐的方法及装置 | |
US20220284882A1 (en) | Instantaneous Learning in Text-To-Speech During Dialog | |
CN109243460A (zh) | 一种自动生成基于地方方言的讯或询问笔录的方法 | |
Duan et al. | A Preliminary study on ASR-based detection of Chinese mispronunciation by Japanese learners | |
CN110047474A (zh) | 一种英语音标发音智能训练***及训练方法 | |
CN1787070A (zh) | 用于语言学习机的片上*** | |
Mary et al. | Searching speech databases: features, techniques and evaluation measures | |
Rasanen | Basic cuts revisited: Temporal segmentation of speech into phone-like units with statistical learning at a pre-linguistic level | |
Sinclair et al. | A semi-markov model for speech segmentation with an utterance-break prior | |
Liu et al. | AI recognition method of pronunciation errors in oral English speech with the help of big data for personalized learning | |
CN115376547B (zh) | 发音评测方法、装置、计算机设备和存储介质 | |
CN112767961B (zh) | 一种基于云端计算的口音矫正方法 | |
Yang et al. | Landmark-based pronunciation error identification on Chinese learning | |
US8768697B2 (en) | Method for measuring speech characteristics | |
Zheng | [Retracted] An Analysis and Research on Chinese College Students’ Psychological Barriers in Oral English Output from a Cross‐Cultural Perspective | |
Jin | Design of Students' Spoken English Pronunciation Training System Based on Computer VB Platform. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080813 Termination date: 20191118 |