CN103632663A - 一种基于hmm的蒙古语语音合成及前端处理的方法 - Google Patents

一种基于hmm的蒙古语语音合成及前端处理的方法 Download PDF

Info

Publication number
CN103632663A
CN103632663A CN201310595871.8A CN201310595871A CN103632663A CN 103632663 A CN103632663 A CN 103632663A CN 201310595871 A CN201310595871 A CN 201310595871A CN 103632663 A CN103632663 A CN 103632663A
Authority
CN
China
Prior art keywords
hmm
speech
mongolian
training
mongol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310595871.8A
Other languages
English (en)
Other versions
CN103632663B (zh
Inventor
飞龙
高光来
赵建东
张学良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201310595871.8A priority Critical patent/CN103632663B/zh
Publication of CN103632663A publication Critical patent/CN103632663A/zh
Application granted granted Critical
Publication of CN103632663B publication Critical patent/CN103632663B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于HMM的蒙古语语音合成及前端处理的方法,方法为:首先要对音库中的语音数据进行分析;总结对上下文属性集和用于决策树聚类的问题集;进行HMM的训练,得到HMM的训练结果;得到对应的聚类状态模型,形成聚类状态模型序列;利用参数的动态特性来生成目标声学参数序列,并通过STRAIGHT合成器得到合成语音;前端处理的方法为:将输入的蒙文进行特殊字符进行处理;将蒙文转写到拉丁转写;对蒙文词性标注;采用G2P模型将拉丁转写到音素;采用规则将音节切分;合成韵律预测所需格式的数据;进行韵律预测;处理得到合成所需要文本格式。本发明可以自由地对合成语音的时长、基音周期参数进行调整,保持合成语音的自然流畅,降低了合成的成本。

Description

一种基于HMM的蒙古语语音合成及前端处理的方法
技术领域
本发明属于语音合成技术领域,尤其涉及一种基于HMM的蒙古语语音合成及前端处理的方法。
背景技术
语音合成是实现人机语音通信的一项关键技术,它涉及声学、语言学、数字信号处理、计算机科学等多个学科技术,是信息处理领域的一项前沿技术,解决的主要问题就是如何将文字信息转化为可听的声音信息,就是让机器像人一样开口说话。
当今主流的语音合成方法是基于HMM的语音合成技术,与基于大语料库的波形拼接技术相比,它具有可以在短时间内,基本不需要人工干预的情况下自动构建出一个新***,而且整个训练过程基本上不依赖于发音人、发音风格以及情感等因素的优点,在汉语、英语、日语等方面已经有了许多可以应用的语音合成***。在蒙古语的语音合成方面,前人做了基于大语料库的波形拼接方法方面的研究。这些研究工作对于蒙古语语音合成的发展具有重要意义,但是基于HMM的蒙古语语音合成研究还处于初级阶段。研究基于HMM的蒙古语音合成技术和构建基于HMM的蒙古语的语音合成***,对于少数民族地区的教育、交通、通讯、自动化办公具有重要的意义。
现有技术一,基于词干词缀的蒙古语语音合成方法:
首先由文本分析模块对输入的文本进行格式化处理,记录要发音的单词及标点符号,滤除不发音的字符;然后对每一个单词,首先在词干表中进行查找,如果找到该单词原形,则提取对应的语音数据;如果在词干表中找不到,则需要进行词干词缀的切分,以便找到该词对应的词干词缀,同时进行该单词的词干词缀所对应的语音数据的提取。接着记录韵律特征,并利PSOLA算法进行韵律修改。最后根据拼接规则对选取的语音音段进行拼接,产生最终的合成语音;
技术方案文本分析模块需要处理文本格式化和词干词缀的切分等问题。在***中,当遇到用英文表示的符号或英文单词时只进行简单的处理,就是依次读出每个英文字母,不进行进一步的考虑.对于文本分析中得到的每个词,首先在词干表中进行查找,如果找到该词,则提取语音数据,如果找不到则进行词干词缀的切分。蒙古语中的词可能只进行一次切分就能找到对应的词干词缀,有时可能需要对切分后的词干进行二次切分,或进行多次切分,所以提出了多级词干词缀切分器的概念;
通过在文本分析模块记录每个单词的韵律特征来表示词组、句子的韵律特征。通过记录单词的时长变化、基频变化和振幅的变化来表达单词的重音,词组中每个词的时长变化、重音变化,句子语气的变化(包括重音、时长和基频)。文本分析后,得出每个单词的韵律变化特征,***中通过TDPSOLA和FD-PSOLA来进行修改,最终得到修改后的语音音段;
语音合成单元的拼接最常用的有三种算法:双音子拼接、硬拼接、软拼接。硬拼接的方法是一种简单的将两个语音放在一起(简单拼接)的方法。软拼接,拼接的位置同样位于两个音段的边界处。但是,通过引入自然语言中的过渡特性来平滑语音拼接处的过渡情况。两个语音基元之间可能需要某种重叠。在语音拼接合成中,如果只使用硬拼接,合成后的语音听起来时快时慢,抖动很大,缺乏连贯性。所以在本技术方案中,进行拼接时采用了硬拼接和软拼接结合的方法。***中采用首尾交叠的软拼接方法进行过渡。所谓首尾交叠的软拼接方法为:对前一语音单元的尾部和后一语音单元的首部进行一定长度的波形叠加。当然前一语音音段和后一语音音段叠加部分长度的选取至关重要。通过总结出叠加的长度等于待叠加两个语音单元最小长度的八分之一左右比较合适。这样既可以保证合成后词和词之间的语音连贯、流畅,又可使读音清晰,提高了语音合成的自然度。
现有技术的缺点:基于大数据库的波形拼接一般需要使用一个很大的音库,这就阻碍了它在移动设备或嵌入式设备中的应用;其次,波形拼接的方法合成的声音较为单一,如果需要改变合成声音的性别、年龄等特征,则需要重新建立一个音库,所需的投入很大;而且,虽然有很多韵律调整的拼接算法,但对基音周期和时长调整的范围还是有限,如果调整比较大,合成语音的自然度会明显下降。
发明内容
本发明实施例的目的在于提供一种基于HMM的蒙古语语音合成及前端处理的方法,旨在解决现有的蒙古语语音合成方法存在的合成成本大、基音周期和时长调整的范围有限的问题。
本发明实施例是这样实现的,一种基于HMM的蒙古语语音合成的方法,该基于HMM的蒙古语语音合成的方法包括以下步骤:
步骤一,首先要对音库中的语音数据进行分析,提取出相应的语音参数;
步骤二,根据提取出的语音参数,HMM的观测向量可以分为谱和基频两个部分,总结对上下文属性集和用于决策树聚类的问题集;
步骤三,依照模型初始化、声韵母HMM训练、扩展上下文相关模型训练、聚类后的模型训练以及时长模型训练进行HMM的训练,最后得到包括谱、基频和时长参数的聚类HMM以及各自的决策树进行HMM的训练结果;
步骤四,输入文本经过文本分析后转换为上下文相关的单元序列,然后利用训练得到的决策树对每一个单元进行决策,得到对应的聚类状态模型,形成聚类状态模型序列;
步骤五,根据参数生成算法,利用参数的动态特性来生成目标声学参数序列,并通过STRAIGHT合成器得到最终的合成语音。
进一步,该基于HMM的蒙古语语音合成的方法分为训练阶段和合成阶段。
进一步,在步骤二中,谱参数部分采用连续概率分布HMM进行建模,基频部分采用多空间概率分布HMM。
本发明实施例的另一目的在于提供一种基于HMM的蒙古语语音合成前端处理的方法,该基于HMM的蒙古语语音合成前端处理的方法包括以下步骤:
第一步,将输入的蒙文进行特殊字符进行处理;
第二步,按规则将蒙文转写到拉丁转写;
第三步,对蒙文词性标注采用基于历史模型的方法进行词性自动标注;
第四步,采用G2P模型将拉丁转写到音素;
第五步,采用规则将音节切分,并统计每个词中包含的音节个数;
第六步,将得到的词性和音节信息组合成韵律预测所需格式的数据;
第七步,用基于条件随机场的方法进行韵律预测;
第八步,处理得到合成所需要文本格式。
进一步,在步骤一中,蒙文进行特殊字符包括数字、书名号字符。
本发明提供的基于HMM的蒙古语语音合成及前端处理的方法,通过基于HMM的语音合成***的语料库的建立,与蒙古语相关的上下文属性选择和用于聚类的问题集的确定,及其语音合成***前端的处理。本发明在前端处理过程中采用蒙文特殊符号处理,蒙文到拉丁转写,拉丁转写到音素,蒙古语音节的切分,蒙古语词性的自动标注和蒙古语韵律的预测。本发明可以自由地对合成语音的时长、基音周期等参数进行调整,同时保持合成语音的自然流畅;通过MLLR、MAP等算法对参数进行转换,从而能够合成出不同音色的声音,不需要另外制作音库,降低了合成的成本。
附图说明
图1是本发明实施例提供的基于HMM的蒙古语语音合成的方法流程图;
图2是本发明实施例提供的基于HMM的蒙古语语音合成前端处理的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面结合附图及具体实施例对本发明的应用原理作进一步描述。
如图1所示,本发明实施例的基于HMM的蒙古语语音合成的方法包括以下步骤:
S101:首先要对音库中的语音数据进行分析,提取出相应的语音参数;
S102:根据提取出的语音参数,HMM的观测向量可以分为谱和基频两个部分,总结对上下文属性集和用于决策树聚类的问题集;
S103:依照模型初始化、声韵母HMM训练、扩展上下文相关模型训练、聚类后的模型训练以及时长模型训练进行HMM的训练,最后得到包括谱、基频和时长参数的聚类HMM以及各自的决策树进行HMM的训练结果;
S104:输入文本经过文本分析后转换为上下文相关的单元序列,然后利用训练得到的决策树对每一个单元进行决策,得到对应的聚类状态模型,形成聚类状态模型序列;
S105:根据参数生成算法,利用参数的动态特性来生成目标声学参数序列,并通过STRAIGHT合成器得到最终的合成语音。
本发明实施例的基于HMM的蒙古语语音合成的方法具体步骤为:
分为两个阶段:训练阶段和合成阶段;
训练阶段主要包括预处理和HMM训练,在预处理阶段,首先要对音库中的语音数据进行分析,提取出相应的语音参数,根据提取出的语音参数,HMM的观测向量可以分为谱和基频两个部分,其中谱参数部分采用连续概率分布HMM进行建模,而基频部分采用多空间概率分布HMM,除此以外,模型训练前还有一个重要的工作就是对上下文属性集和用于决策树聚类的问题集进行设计,即根据先验知识来选择一些与蒙古语相关并对声学参数(谱、基频和时长)有一定影响的上下文属性并设计相应的问题集以用于上下文相关模型聚类;
预处理完成后就是整个HMM训练,其训练步骤依次为模型初始化、声韵母HMM训练、扩展上下文相关模型训练、聚类后的模型训练以及时长模型训练,最后得到的训练结果包括谱、基频和时长参数的聚类HMM以及各自的决策树;
在合成阶段,首先输入文本经过文本分析后转换为上下文相关的单元序列,然后利用训练得到的决策树对每一个单元进行决策,得到对应的聚类状态模型,并形成聚类状态模型序列,最后,根据参数生成算法,利用参数的动态特性来生成目标声学参数序列,并通过STRAIGHT合成器得到最终的合成语音。
如图2所示,本发明实施例的基于HMM的蒙古语语音合成前端处理的方法包括以下步骤:
S201:将输入的蒙文进行特殊字符进行处理;
S202:按规则将蒙文转写到拉丁转写;
S203:对蒙文词性标注采用基于历史模型的方法进行词性自动标注;
S204:采用G2P模型将拉丁转写到音素;
S205:采用规则将音节切分,并统计每个词中包含的音节个数;
S206:将得到的词性和音节信息组合成韵律预测所需格式的数据;
S207:用基于条件随机场的方法进行韵律预测;
S208:处理得到合成所需要文本格式。
本发明的基于HMM的蒙古语语音合成前端处理的方法具体步骤为:
一、将输入的蒙文进行特殊字符(包括数字、书名号等字符)进行处理;
二:按规则将蒙文转写到拉丁转写;
三:对蒙文词性标注采用基于历史模型的方法进行词性自动标注;
四:采用G2P模型将拉丁转写到音素;
五:采用规则将音节切分,并统计每个词中包含的音节个数;
六:将三、五得到的词性和音节信息组合成韵律预测所需格式的数据;
七:用基于条件随机场的方法进行韵律预测;
八:处理得到合成所需要文本格式。
本发明基于HMM的蒙古语语音合成方法可以自由地对合成语音的时长、基音周期等参数进行调整,同时保持合成语音的自然流畅;可以通过MLLR、MAP等算法对参数进行转换,从而能够合成出不同音色的声音,与波形拼接不同,这种转换不需要另外制作音库,只需少量训练数据进行训练即可。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于HMM的蒙古语语音合成的方法,其特征在于,该基于HMM的蒙古语语音合成的方法包括以下步骤:
步骤一,首先要对音库中的语音数据进行分析,提取出相应的语音参数;
步骤二,根据提取出的语音参数,HMM的观测向量可以分为谱和基频两个部分,总结对上下文属性集和用于决策树聚类的问题集;
步骤三,依照模型初始化、声韵母HMM训练、扩展上下文相关模型训练、聚类后的模型训练以及时长模型训练进行HMM的训练,最后得到包括谱、基频和时长参数的聚类HMM以及各自的决策树进行HMM的训练结果;
步骤四,输入文本经过文本分析后转换为上下文相关的单元序列,然后利用训练得到的决策树对每一个单元进行决策,得到对应的聚类状态模型,形成聚类状态模型序列;
步骤五,根据参数生成算法,利用参数的动态特性来生成目标声学参数序列,并通过STRAIGHT合成器得到最终的合成语音。
2.如权利要求1所述的基于HMM的蒙古语语音合成的方法,其特征在于,该基于HMM的蒙古语语音合成的方法分为训练阶段和合成阶段。
3.如权利要求1所述的基于HMM的蒙古语语音合成的方法,其特征在于,在步骤二中,谱参数部分采用连续概率分布HMM进行建模,基频部分采用多空间概率分布HMM。
4.一种基于HMM的蒙古语语音合成前端处理的方法,其特征在于,该基于HMM的蒙古语语音合成前端处理的方法包括以下步骤:
第一步,将输入的蒙文进行特殊字符进行处理;
第二步,按规则将蒙文转写到拉丁转写;
第三步,对蒙文词性标注采用基于历史模型的方法进行词性自动标注;
第四步,采用G2P模型将拉丁转写到音素;
第五步,采用规则将音节切分,并统计每个词中包含的音节个数;
第六步,将得到的词性和音节信息组合成韵律预测所需格式的数据;
第七步,用基于条件随机场的方法进行韵律预测;
第八步,处理得到合成所需要文本格式。
5.如权利要求4所述的基于HMM的蒙古语语音合成前端处理的方法,其特征在于,在步骤一中,蒙文进行特殊字符包括数字、书名号字符。
CN201310595871.8A 2013-11-25 2013-11-25 一种基于hmm的蒙古语语音合成前端处理的方法 Expired - Fee Related CN103632663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310595871.8A CN103632663B (zh) 2013-11-25 2013-11-25 一种基于hmm的蒙古语语音合成前端处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310595871.8A CN103632663B (zh) 2013-11-25 2013-11-25 一种基于hmm的蒙古语语音合成前端处理的方法

Publications (2)

Publication Number Publication Date
CN103632663A true CN103632663A (zh) 2014-03-12
CN103632663B CN103632663B (zh) 2016-08-17

Family

ID=50213641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310595871.8A Expired - Fee Related CN103632663B (zh) 2013-11-25 2013-11-25 一种基于hmm的蒙古语语音合成前端处理的方法

Country Status (1)

Country Link
CN (1) CN103632663B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427855A (zh) * 2015-11-09 2016-03-23 上海语知义信息技术有限公司 一种智能软件的语音播报***及语音播报方法
CN105679308A (zh) * 2016-03-03 2016-06-15 百度在线网络技术(北京)有限公司 基于人工智能的生成g2p模型和英文语音合成方法、装置
CN105957518A (zh) * 2016-06-16 2016-09-21 内蒙古大学 一种蒙古语大词汇量连续语音识别的方法
CN108334502A (zh) * 2017-12-29 2018-07-27 内蒙古蒙科立蒙古文化股份有限公司 一种传统蒙古文与西里尔蒙古文的相互转换方法
CN108766413A (zh) * 2018-05-25 2018-11-06 北京云知声信息技术有限公司 语音合成方法及***
CN110349564A (zh) * 2019-07-22 2019-10-18 苏州思必驰信息科技有限公司 一种跨语言语音识别方法和装置
CN112562637A (zh) * 2019-09-25 2021-03-26 北京中关村科金技术有限公司 拼接语音音频的方法、装置以及存储介质
CN114936555A (zh) * 2022-05-24 2022-08-23 内蒙古自治区公安厅 一种对蒙语进行ai智能标注的方法及其***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178896A (zh) * 2007-12-06 2008-05-14 安徽科大讯飞信息科技股份有限公司 基于声学统计模型的单元挑选语音合成方法
CN102063897A (zh) * 2010-12-09 2011-05-18 北京宇音天下科技有限公司 一种用于嵌入式语音合成***的音库压缩及使用方法
CN103226946A (zh) * 2013-03-26 2013-07-31 中国科学技术大学 一种基于受限玻尔兹曼机的语音合成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178896A (zh) * 2007-12-06 2008-05-14 安徽科大讯飞信息科技股份有限公司 基于声学统计模型的单元挑选语音合成方法
CN102063897A (zh) * 2010-12-09 2011-05-18 北京宇音天下科技有限公司 一种用于嵌入式语音合成***的音库压缩及使用方法
CN103226946A (zh) * 2013-03-26 2013-07-31 中国科学技术大学 一种基于受限玻尔兹曼机的语音合成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
吴义坚等: "基于HMM的可训练中文语音合成", 《中文信息学报》, vol. 20, no. 4, 30 July 2006 (2006-07-30) *
董远等: "条件随机场模型在韵律结构预测中的应用", 《北京邮电大学学报》, vol. 32, no. 5, 31 October 2009 (2009-10-31), pages 36 - 40 *
赵建东等: "基于历史模型的蒙古文自动词性标注研究", 《中文信息学报》, vol. 27, no. 5, 30 September 2013 (2013-09-30) *
飞龙等: "蒙古文字母到音素转换方法的研究", 《计算机应用研究》, vol. 30, no. 6, 30 June 2013 (2013-06-30), pages 1696 - 1700 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427855A (zh) * 2015-11-09 2016-03-23 上海语知义信息技术有限公司 一种智能软件的语音播报***及语音播报方法
CN105679308A (zh) * 2016-03-03 2016-06-15 百度在线网络技术(北京)有限公司 基于人工智能的生成g2p模型和英文语音合成方法、装置
CN105957518A (zh) * 2016-06-16 2016-09-21 内蒙古大学 一种蒙古语大词汇量连续语音识别的方法
CN105957518B (zh) * 2016-06-16 2019-05-31 内蒙古大学 一种蒙古语大词汇量连续语音识别的方法
CN108334502A (zh) * 2017-12-29 2018-07-27 内蒙古蒙科立蒙古文化股份有限公司 一种传统蒙古文与西里尔蒙古文的相互转换方法
CN108766413A (zh) * 2018-05-25 2018-11-06 北京云知声信息技术有限公司 语音合成方法及***
CN110349564A (zh) * 2019-07-22 2019-10-18 苏州思必驰信息科技有限公司 一种跨语言语音识别方法和装置
CN110349564B (zh) * 2019-07-22 2021-09-24 思必驰科技股份有限公司 一种跨语言语音识别方法和装置
CN112562637A (zh) * 2019-09-25 2021-03-26 北京中关村科金技术有限公司 拼接语音音频的方法、装置以及存储介质
CN112562637B (zh) * 2019-09-25 2024-02-06 北京中关村科金技术有限公司 拼接语音音频的方法、装置以及存储介质
CN114936555A (zh) * 2022-05-24 2022-08-23 内蒙古自治区公安厅 一种对蒙语进行ai智能标注的方法及其***

Also Published As

Publication number Publication date
CN103632663B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN103632663B (zh) 一种基于hmm的蒙古语语音合成前端处理的方法
CN105845125B (zh) 语音合成方法和语音合成装置
US11443733B2 (en) Contextual text-to-speech processing
CN101178896B (zh) 基于声学统计模型的单元挑选语音合成方法
WO2018153213A1 (zh) 一种多语言混合语音识别方法
KR102139387B1 (ko) 큰 말뭉치에 기초하여 음성 합성을 하기 위한 방법 및 장치
WO2017067206A1 (zh) 个性化多声学模型的训练方法、语音合成方法及装置
CN109389968A (zh) 基于双音节混搭的波形拼接方法、装置、设备及存储介质
CN107103900A (zh) 一种跨语言情感语音合成方法及***
CN104217713A (zh) 汉藏双语语音合成方法及装置
CN110767213A (zh) 一种韵律预测方法及装置
CN105390133A (zh) 藏语ttvs***的实现方法
CN106297764A (zh) 一种多语种混语文本处理方法及***
US9324316B2 (en) Prosody generator, speech synthesizer, prosody generating method and prosody generating program
CN101515456A (zh) 语音识别接口装置及其语音识别方法
CN1811912B (zh) 小音库语音合成方法
Mukherjee et al. A bengali hmm based speech synthesis system
CN114678001A (zh) 语音合成方法和语音合成装置
Kayte et al. A Marathi Hidden-Markov Model Based Speech Synthesis System
TWI605350B (zh) 文字轉語音方法以及多語言語音合成裝置
TW201937479A (zh) 一種多語言混合語音識別方法
Toman et al. Unsupervised and phonologically controlled interpolation of Austrian German language varieties for speech synthesis
Balyan et al. Automatic phonetic segmentation of Hindi speech using hidden Markov model
Barbosa Prominence-and boundary-related acoustic correlations in Brazilian Portuguese read and spontaneous speech
CN114822490A (zh) 语音拼接方法和语音拼接装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160615

Address after: 010021 Hohhot West Road, the Inner Mongolia Autonomous Region, No. 235

Applicant after: INNER MONGOLIA University

Address before: 010021 Hohhot West Road, the Inner Mongolia Autonomous Region, No. 235

Applicant before: Flying dragon

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160817

CF01 Termination of patent right due to non-payment of annual fee