CN1221937C - 语速自适应的语音识别*** - Google Patents
语速自适应的语音识别*** Download PDFInfo
- Publication number
- CN1221937C CN1221937C CNB021594066A CN02159406A CN1221937C CN 1221937 C CN1221937 C CN 1221937C CN B021594066 A CNB021594066 A CN B021594066A CN 02159406 A CN02159406 A CN 02159406A CN 1221937 C CN1221937 C CN 1221937C
- Authority
- CN
- China
- Prior art keywords
- syllable
- segment length
- module
- voice
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000003780 insertion Methods 0.000 claims abstract description 8
- 230000037431 insertion Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 11
- 238000013138 pruning Methods 0.000 claims description 9
- 238000010845 search algorithm Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 abstract description 5
- 230000037430 deletion Effects 0.000 abstract description 5
- 230000006978 adaptation Effects 0.000 abstract 1
- 150000001875 compounds Chemical class 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000019771 cognition Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
本发明提供了一种可以在线的、不需要预先获得语速的测度、同时增加的计算量很小的语速自适应的语音识别***,包括语音采集装置、前端处理模块、特征提取模块、基音特征提取模块、声调识别模块、训练模块、声学层识别模块、拼音文法理解模块、语言理解模块,训练模块训练的模型参数包括前后两个语音单元相连的情况下的段长均值、方差和前后两个语音单元段长的相关系数;声学层识别模块计算的段长概率,是指给定前一个音节的段长的条件下,计算当前音节段长的条件概率,并且在计算段长概率时,可以通过段长概率动态加权模块和汉语慢速语音调整模块对段长概率根据语速进行动态、实时调整,以提高***性能,降低***的***错误和删除错误。
Description
技术领域
本发明涉及一种语音识别技术领域中的语速自适应的语音识别***。
背景技术
在连续语音中,不同说话者由于说话习惯不一样,说话速度会有比较大的差异。即使同一个人的说话速度也会因为环境、心情等的不同有差异。这种差异在日常生活中是普遍存在的。偏离正常语速过大往往会造成识别错误的增加,过快的语速会使删除错误增加,过慢的语速会造成***错误增加,错误的分割点也会使替代错误增加,从而使识别性能下降。因此对如何进行语速自适应,减少偏离正常语速的情况下过大的***错误或者删除错误并进一步降低识别错误进行了研究。
已有的对语速自适应的技术主要分为两类。
一类经典HMM(隐含马尔可夫模型)为识别模型的***。转移概率为模型的基本参数,这种模型通过改变转移概率大小的方法对语速进行自适应:增大状态的自转移概率并减小离开的转移概率以适应慢速的情况;对转移概率作相反的变化,则能适应快速的情况。
另一类是以DDBHMM(基于段长分布的隐含马尔可夫模型)为识别模型的***,即在HMM中显式的使用了段长概率而不是转移概率,这种模型主要是通过对段长进行调整的方式来达到适应语速的目的。一种做法采用分类段长,即根据语速将训练数据分成慢速、适中语速和快速三类,并分别统计这三类语速下的段长信息;识别时先利用先验知识判断待识别的语句的语速,再采用相应语速情况下的段长信息进行识别。这种将训练数据分类的作法使得每一类的训练数据减少,从而每一类的段长信息训练并不充分。同时对识别的语料需要事先确定语速情况以选择相应的段长信息,对于实时***来说并不是很好的方法。另一种方式是对段长进行规整。这种作法认为语音单元的段长跟语速有一定的关系。因此先通过某种方式获得语速的测度,然后用这个语速去调整语音单元的段长。
上面提到的已有的方法需要预先知道待识别语句的语速,需要增加一定的计算量,而且需要比较准确获得语速的测度,否则对自适应效果会有一定的影响。
此外,在汉语中,有一部分音节没有声母,像a、ou等音节;还有一部分音节中声母是半元音,像yang、wu等音节,声母部分具有很多元音的特性。这些音节的发音和某些音节的韵母部分非常相似,比如音节you的发音跟音节jiu的韵母部分基本是一样的,音节wu的发音跟音节chu的韵母部分基本是一样的,音节e的发音和音节he的韵母部分基本一样的。在慢速情况下,jiu、chu这样的音节发音如果太长,就容易将元音部分识别成两部分,一部分和前面的声母组成一个音节,另一部分就识别成和该韵母相似的零声母音节或者半元音声母的音节,比如,“很久以前”中的“久(jiu)”识别成为“ji”和“you”。所以没有声母的音节和半元音声母的音节,在慢速情况下容易成为错误***的音节。而现有技术当中无法根据汉语语音的这个特点对慢速情况下作自动调整。
发明内容
本发明的目的在于提出了一种在进行语音识别的时候,不需要预先知道待识别语句的语速,同步、在线地自适应说话者语速,提高语音识别性能,同时可以对汉语语音慢速情况下作自动调整的语音识别***。
为达到上述目的,本发明是这样实现的:本发明采用DDBHMM模型,包括:
一个语音采集装置用于采集说话者的语音信号;
一个训练模块用于通过训练搜索算法得到语音信号特征矢量的VQ码本和DDBHMM模型参数;
一个前端处理模块用于对于输入的语音信号进行前端处理;
一个特征提取模块用于MFCC语音特征序列的提取;
一个基音特征提取模块用于语音信号的基音特征矢量的提取;
一个声学层识别模块用于通过DDBHMM最优路径搜索算法,产生拼音格,在搜索算法中,需要计算每个音节的段长概率;
一个声调识别模块利用基音特征矢量和拼音的分割点信息,得到拼音的声调信息并加入到拼音格中;
一个拼音文法理解模块用于对拼音格进行修剪;
一个语言理解模块用于将修剪后的音节格转化为拼音图和词图,并在词图中进行搜索,得到最后的理解结果;
所述的训练模块训练的DDBHMM模型参数包括前后两个语音单元相连的情况下的段长均值、方差和前后两个语音单元段长的相关系数;
所述的声学层识别模块在DDBHMM最优路径搜索时计算段长概率,是指给定前一个音节的段长的条件下,计算当前音节段长的条件概率。
所述的计算音节段长条件概率时,对后半音节计算段长条件概率使用如下的计算方法:如果是句头,该音节是开始音节,则只计算后半音节一元概率;如果不是开始音节,则判断该音节和前一个音节的二元组是否存在,如存在,则计算细化的后半音节二元概率;如果细化的后半音节二元组不存在,则计算不细化的后半音节二元概率;如果不细化的后半音节二元概率仍不存在,则计算后半音节的一元概率。
所述的声学层识别模块还包括一个段长概率动态加权模块,工作流程为:设定语速门限即快速门限和慢速门限,计算前一帧的平均语速,如果快速的情况下该平均语速小于快速门限或者慢速的情况下该平均语速大于慢速门限,则用该平均语速对当前帧语音单元段长条件概率进行指数加权,否则不对当前帧语音单元段长条件概率进行加权。
所述的声学层识别模块还包括一个汉语语音慢速调整模块,工作流程为:判断当前帧是否为慢速语音,如果不是则不进行任何操作,如果是则计算前一帧的平均语速,在搜索过程中每当一个新的音节要加入当前路径时,判断这个音节是否会是易产生***错误的音节,如果不是,则不采取任何措施;如果是易产生***错误的音节,则判断前一个音节持续时间是否较短,如果较短,认为加入这个音节可能会产生***错误,则对这个新的音节加上一个惩罚概率。
在本发明中,利用在DDBHMM模型中语速对段长的影响的几个特点:说话速度的变化直接反映为段长的变化,语速的变化对于段长的影响是同步增长或者同步下降的,在一个较短的时间内说话速度会比较稳定,简而言之,在一个较短的时间内,语音信号中的语音单元段长之间存在着相关性。本发明正是利用段长的相关性来达到对语速的自适应,而且语速的自适应是在识别的同时,用前一个语音单元对其平均段长的偏差来预测当前语音单元的段长,是一种在线的自适应方法,而且不需要预先获得语速的测度,同时需要增加的计算量很小。另外,本发明假设观测矢量帧间独立,观测概率的乘积将会比联合概率小,所以对段长概率进行一个比例因子的缩小,会使***的性能有所提升。利用本发明的段长概率动态加权模块可以使得在快速情况下,每个语音单元段长会变短,对应的观测矢量帧数也会少一些,那么观测矢量帧间独立假设带来的联合观测概率变小的幅度就会小一些;在慢速情况下,每个语音单元对应的观测矢量帧数会多一些,那么联合观测概率变小的幅度就会大一些。因此可以对段长概率的加权系数随着语速的快慢作自动的调整,从而本发明可以随着语速的快慢达到***性能的自我调整。最后,通过本发明的汉语语音慢速调整模块可以自动、有效调整汉语慢速语音的语速,防止识别过程中的***错误。
附图说明
图1为本发明实施例的总体流程框图;
图2为本发明声学层识别模块的工作流程图;
图3为本发明段长概率加权模块的工作流程图;
图4为本发明汉语语音慢速调整模块的工作流程图;
具体实施方式
以下结合附图和具体实施例对本发明做进一步的阐述:
如图1所示,本发明实施例采用DDBHMM模型(基于段长分布的隐含马尔可夫模型),包括:
一个语音采集装置用于采集说话者的语音信号;
一个训练模块用于通过训练搜索算法得到语音信号特征矢量的VQ码本和DDBHMM模型参数,该DDBHMM模型参数包括前后两个语音单元i、j相连的情况下的段长均值μi、μj,方差σi、σj和前后两个语音单元段长的相关系数r,其计算公式为:
其中M为两个语音单元i和j以相邻的形式在训练数据中出现的次数,τi (k)和τj (k)分别为第k次中的段长;;
一个前端处理模块用于对于输入的语音信号进行前端处理;
一个特征提取模块用于MFCC语音特征序列(基于Mel倒谱系数的语音特征,Mel-Frequency Cepstral Coefficients)的提取;
一个基音特征提取模块用于语音信号的基音特征矢量的提取;
一个声学层识别模块用于对上述MFCC语音特征序列,通过DDBHMM最优路径搜索算法,产生拼音格,在搜索算法中,需要计算每个音节的段长概率;
一个声调识别模块利用基音特征矢量和拼音的分割点信息,得到拼音的声调信息并加入到拼音格中;
一个拼音文法理解模块用于对拼音格进行修剪;
一个语言理解模块用于将修剪后的音节格转化为拼音图和词图,并在词图中进行搜索,得到最后的理解结果;
如图2所示,上述声学层识别模块采用了DDBHMM帧同步快速识别算法,对输入的MFCC语音特征序列按帧进行处理,首先计算当前帧特征和所有状态的距离,获得前一帧的最优距离,然后对每个音节进行DDBHMM快速搜索,得到当前帧的最优路径,在搜索过程中,利用汉语语音慢速调整模块,段长概率动态加权模块根据语速的快慢动态调整段长概率,以提高本***的工作性能,降低由于语速原因导致的***错误和删除错误。当所有帧都处理完毕,再回溯找到最优路径,得到拼音格形式的识别结果。
对每个音节进行DDBHMM快速搜索的工作流程是:
首先处理当前音节的后半音节:增加一条该后半音节的路径,然后对后半音节的其它路径进行Viterbi匹配,对该后半音节所有的路径进行比较剪枝,该剪枝过程为:先获得两条参与比较的路径当前后半音节段长以及两条路径中前面一个音节的后半音节单元段长,然后计算两条路径当前后半音节段长的条件概率,如果先进入当前音节的路径不占优,则在后面的识别中剪枝剪掉该条路径;
然后处理前半音节:增加一条该前半音节的路径,然后对前半音节的其它路径进行Viterbi匹配,对该前半音节所有的路径进行比较剪枝,该剪枝过程为:先获得两条参与比较的路径当前前半音节段长以及两条路径中前面一个音节的前半音节单元段长,然后计算两条路径当前前半音节段长的条件概率,如果先进入当前音节的路径不占优,则在后面的识别中剪枝剪掉该条路径;
在以上流程中,考虑相关性是后半音节之间的相关性。由于一个后半音节单元和不同的前半音节结合便形成不同的音节,同一个后半音节在不同音节中的段长不一样,所以将后半音节根据所处的音节不同进行了细化。在计算段长概率的时候,由于前半音节并没有考虑二元段长,所以只对后半音节计算段长概率时考虑如下的计算方法:如果是句头,该音节是开始音节,则只计算后半音节一元概率;如果不是开始音节,则判断该音节和前一个音节的二元组是否存在,如存在,则计算细化的后半音节二元概率;如果细化的后半音节二元组不存在,则计算不细化的后半音节二元概率;如果不细化的后半音节二元概率仍不存在,则计算后半音节的一元概率。
在DDBHMM快速搜索时计算段长条件概率,是指给定前一个音节的段长的条件下,计算当前音节段长的条件概率,其计算公式表述如下:假设τi,τi-1分别为相邻的前后两个音节的段长,μi,μi-1分别为其均值,σi,σi-1分别为其方差,r是τi和τi-1间的相关系数,由于可以用正态分布对段长进行很好的描述,则给定τi-1时τi的条件概率密度为:
定义
那么上式可以写成:
语速对于段长的影响是同步增长或者下降的,所以一般来说相关系数r>0。从上式可以看出条件概率p(τi/τi-1)相当于均值为
方差为
的一元正态分布。从
的表达式可以看到,受到语速的影响,如果前一个单元段长τi-1偏离其平均段长μi-1,则后一个单元段长τi将以同样的倾向偏离它的平均段长μi,从而使段长分布自动地调整到与说话速度相适应的程度。而且相关系数r越大,预测方差
就越小,前一个单元段长对于后一个单元段长的预测就越准确。因此,利用相邻单元段长之间的相关性可以更加有效地利用段长信息,从而降低由于语速引起的***错误和删除错误。还可以看到,这里语速的自适应是在识别的同时,用前一个语音单元对其平均段长的偏差来预测本单元的段长,是一种在线的自适应方法,而且不需要获得语速的测度。
如图3所示,上述段长概率动态加权模块工作流程为:设定语速门限即快速门限和慢速门限,计算前一帧的平均语速,计算方法为:得到前一帧的最优路径的信息,找到这个最优路径中个音节的分割点和音节号,通过分割点获得各音节的实际段长,假设最优路径上有K个音节,按下式计算当前的平均语速:
如果快速的情况下该平均语速小于快速门限或者慢速的情况下该平均语速大于慢速门限,则用该平均语速对当前帧语音单元段长条件概率进行指数加权,否则不对当前帧语音单元段长条件概率进行加权。
如图4所示,上述汉语语音慢速调整模块工作流程为:判断当前帧是否为慢速语音,如果不是则不进行任何操作,如果是则计算前一帧的平均语速(计算方法同上),在搜索过程中每当一个新的音节要加入当前路径时,判断这个音节是否会是易产生***错误的音节,如果不是,则不采取任何措施;如果是易产生***错误的音节,则判断前一个音节持续时间是否较短,如果较短,认为加入这个音节可能会产生***错误,则对这个新的音节加上一个惩罚概率。
从上面的说明可以看出,本发明利用段长的相关性来达到对语速的自适应,而且语速的自适应是在识别的同时,不需要预先获得语速的测度,是一种在线的自适应方法,而且***为此增加的运算量也很小,具有很大的推广和应用价值。
Claims (1)
1、一种语速自适应的语音识别***,采用DDBHMM模型,该语音识别***包括:
一个语音采集装置用于采集说话者的语音信号;
一个训练模块用于通过训练搜索算法得到语音信号特征矢量的VQ码本和DDBHMM模型参数;
一个前端处理模块用于对于输入的语音信号进行前端处理;
一个特征提取模块用于MFCC语音特征序列的提取;
一个基音特征提取模块用于语音信号的基音特征矢量的提取;
一个声学层识别模块用于通过DDBHMM最优路径搜索算法,产生拼音格,在搜索算法中,需要计算每个音节的段长概率;
一个声调识别模块利用基音特征矢量和拼音的分割点信息,得到拼音的声调信息并加入到拼音格中;
一个拼音文法理解模块用于对拼音格进行修剪;
一个语言理解模块用于将修剪后的音节格转化为拼音图和词图,并在词图中进行搜索,得到最后的理解结果;
其特征在于:所述的训练模块训练的DDBHMM模型参数包括前后两个语音单元相连的情况下的段长均值、方差和前后两个语音单元段长的相关系数;
所述的声学层识别模块在DDBHMM最优路径搜索时计算段长概率,是指给定前一个音节的段长的条件下,计算当前音节段长的条件概率,计算时,对后半音节计算段长条件概率使用如下的计算方法:
如果是句头,该音节是开始音节,则只计算后半音节一元概率;如果不是开始音节,则判断该音节和前一个音节的二元组是否存在,如存在,则计算细化的后半音节二元概率;如果细化的后半音节二元组不存在,则计算不细化的后半音节二元概率;如果不细化的后半音节二元概率仍不存在,则计算后半音节的一元概率;
所述的声学层识别模块还包括一个段长概率动态加权模块,工作流程为:设定语速门限即快速门限和慢速门限,计算前一帧的平均语速,如果快速的情况下该平均语速小于快速门限或者慢速的情况下该平均语速大于慢速门限,则用该平均语速对当前帧语音单元段长条件概率进行指数加权,否则不对当前帧语音单元段长条件概率进行加权;
所述的声学层识别模块还包括一个汉语语音慢速调整模块,工作流程为:首先判断当前帧是否为慢速语音,如果不是则不进行任何操作,如果是则计算前一帧的平均语速,在搜索过程中每当一个新的音节要加入当前路径时,判断这个音节是否会是易产生***错误的音节,如果不是,则不采取任何措施;如果是易产生***错误的音节,则判断前一个音节持续时间是否较短,如果较短,认为加入这个音节可能会产生***错误,则对这个新的音节加上一个惩罚概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB021594066A CN1221937C (zh) | 2002-12-31 | 2002-12-31 | 语速自适应的语音识别*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB021594066A CN1221937C (zh) | 2002-12-31 | 2002-12-31 | 语速自适应的语音识别*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1512485A CN1512485A (zh) | 2004-07-14 |
CN1221937C true CN1221937C (zh) | 2005-10-05 |
Family
ID=34237450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB021594066A Expired - Fee Related CN1221937C (zh) | 2002-12-31 | 2002-12-31 | 语速自适应的语音识别*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1221937C (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5072415B2 (ja) * | 2007-04-10 | 2012-11-14 | 三菱電機株式会社 | 音声検索装置 |
CN102013253B (zh) * | 2009-09-07 | 2012-06-06 | 株式会社东芝 | 基于语音单元语速的差异的语音识别方法及语音识别*** |
CN103345467B (zh) * | 2009-10-02 | 2017-06-09 | 独立行政法人情报通信研究机构 | 语音翻译*** |
CN102163428A (zh) * | 2011-01-19 | 2011-08-24 | 无敌科技(西安)有限公司 | 汉语发音判断方法 |
CN103297590B (zh) * | 2012-02-24 | 2016-12-14 | 中兴通讯股份有限公司 | 一种基于音频实现设备解锁的方法和*** |
CN107305767B (zh) * | 2016-04-15 | 2020-03-17 | 中国科学院声学研究所 | 一种应用于语种识别的短时语音时长扩展方法 |
CN106255010B (zh) * | 2016-08-18 | 2019-10-18 | 北京塞宾科技有限公司 | 一种声学前端模块 |
CN106548775B (zh) * | 2017-01-10 | 2020-05-12 | 上海优同科技有限公司 | 一种语音识别方法和*** |
CN107093422B (zh) * | 2017-01-10 | 2020-07-28 | 上海优同科技有限公司 | 一种语音识别方法和语音识别*** |
CN108922540B (zh) * | 2018-07-27 | 2023-01-24 | 重庆柚瓣家科技有限公司 | 与老人用户进行连续ai对话的方法及*** |
CN109671433B (zh) | 2019-01-10 | 2023-06-16 | 腾讯科技(深圳)有限公司 | 一种关键词的检测方法以及相关装置 |
CN110689887B (zh) * | 2019-09-24 | 2022-04-22 | Oppo广东移动通信有限公司 | 音频校验方法、装置、存储介质及电子设备 |
CN111696533B (zh) * | 2020-06-28 | 2023-02-21 | 中国银行股份有限公司 | 网点机器人自调节方法及装置 |
CN112599148A (zh) * | 2020-12-31 | 2021-04-02 | 北京声智科技有限公司 | 一种语音识别方法及装置 |
-
2002
- 2002-12-31 CN CNB021594066A patent/CN1221937C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1512485A (zh) | 2004-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10854193B2 (en) | Methods, devices and computer-readable storage media for real-time speech recognition | |
CN1221937C (zh) | 语速自适应的语音识别*** | |
CN1112669C (zh) | 采用连续密度隐藏式马尔克夫模型的语音识别方法和*** | |
CN1169115C (zh) | 语音合成***及方法 | |
CN1202512C (zh) | 用于识别连续和分立语音的语音识别*** | |
Chang et al. | Large vocabulary Mandarin speech recognition with different approaches in modeling tones. | |
CN1169116C (zh) | 语音识别装置和识别方法 | |
CN101645271B (zh) | 发音质量评估***中的置信度快速求取方法 | |
EP4018437B1 (en) | Optimizing a keyword spotting system | |
US20110015927A1 (en) | System and method for efficient laser processing of a moving web-based material | |
CN1763843A (zh) | 用于语言学习机的发音质量评价方法 | |
CN1169199A (zh) | 产生和利用上下文相关子音节模型来识别有调语言的***和方法 | |
JP2003036093A (ja) | 音声入力検索システム | |
CN1187693C (zh) | 以自底向上方式将声调集成到汉语连续语音识别***中的方法和*** | |
CN1234110C (zh) | 语音识别噪声自适应***及方法 | |
CN109273000B (zh) | 一种语音识别方法 | |
Sak et al. | On-the-fly lattice rescoring for real-time automatic speech recognition. | |
CN112509560B (zh) | 一种基于缓存语言模型的语音识别自适应方法和*** | |
US11145296B1 (en) | Language and grammar model adaptation | |
CN1787070A (zh) | 用于语言学习机的片上*** | |
CN1499484A (zh) | 汉语连续语音识别*** | |
CN1157711C (zh) | 自适应语音识别器的生成装置及方法 | |
CN1811912A (zh) | 小音库语音合成方法 | |
CN101645270A (zh) | 一种双向语音识别处理***及方法 | |
CN111179914B (zh) | 一种基于改进动态时间规整算法的语音样本筛选方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |