CN101261835A - 基于超帧模式的多矢量多码本尺寸联合优化方法 - Google Patents

基于超帧模式的多矢量多码本尺寸联合优化方法 Download PDF

Info

Publication number
CN101261835A
CN101261835A CNA2008101051363A CN200810105136A CN101261835A CN 101261835 A CN101261835 A CN 101261835A CN A2008101051363 A CNA2008101051363 A CN A2008101051363A CN 200810105136 A CN200810105136 A CN 200810105136A CN 101261835 A CN101261835 A CN 101261835A
Authority
CN
China
Prior art keywords
code book
super frame
parameter
under
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101051363A
Other languages
English (en)
Other versions
CN101261835B (zh
Inventor
崔慧娟
唐昆
许明
李晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN2008101051363A priority Critical patent/CN101261835B/zh
Publication of CN101261835A publication Critical patent/CN101261835A/zh
Application granted granted Critical
Publication of CN101261835B publication Critical patent/CN101261835B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

基于超帧模式的多矢量多码本尺寸联合优化方法属于语音压缩编码技术领域，其特征在于，该方法首先根据带通清浊音参数分配的量化比特数训练其量化码本，并根据量化码本确定编码的超帧模式；根据基音周期参数、线谱频率参数、短时帧能量参数分配的量化比特数，联合分配各超帧模式下三者的码本尺寸；依据不同超帧模式下各参数的码本尺寸训练其对应的量化码本，对上述三个参数矢量分别进行矢量量化，该方法可提高上述参数量化精度，减小合成语音误差，增强清晰度，最适合低速率语音编码。

Description

基于超帧模式的多矢量多码本尺寸联合优化方法
技术领域
基于超帧模式的多矢量多码本尺寸联合优化方法属于语音编码技术领域，特别涉及语音编码参数量化技术。
背景技术
语音编码在通信***、语音存储回放***、具有语音功能的消费类产品中有广泛的应用。目前国内外的研究主要集中在1.2kb/s以下速率高质量语音压缩编码上，主要用于无线通信、保密通信、大容量语音存储回放、IP电话等。高质量低速率语音编码技术是语音信号处理领域中的重要研究课题之一。由于编码速率太低，必须采用多帧联合(即超帧)处理的参数语音编码技术。在超低速率语音编码算法中，编码参数通常进行基于超帧模式的多码本矢量量化，各编码参数的量化码本在不同超帧模式下具有相同的尺寸。
原有方法的流程如图1所示，包括以下步骤：
(1)根据语音编码算法分配给带通清浊音参数的量化比特数训练其量化码本；
(2)根据带通清浊音参数的量化码本确定不同的编码超帧模式；
(3)根据语音编码算法分配给基音周期参数，线谱频率参数、短时帧能量参数的量化比特数，分别训练各参数在不同超帧模式下的码本。不同的超帧模式下，各参数量化采用不同的量化码本，但是相同参数在不同超帧模式下码本尺寸相同。
发明内容
本发明的目的是改进已有的多参数矢量量化技术，超低速率语音编码算法比特资源十分有限，而各个参数的量化精度都需要进一步的提高，原有方法并没有完全利用参数在不同超帧模式下统计特性的差异。为此，本文提出了一种基于超帧模式的多矢量多码本尺寸联合优化方法，对各编码参数在不同超帧模式下码本的尺寸进行联合优化，实验结果表明，该联合优化算法能够明显降低各参数的量化误差，提高声码器合成语音的质量。
本发明提出的基于超帧模式的多矢量多码本尺寸联合优化方法，包括以下步骤：
步骤(1)根据语音编码算法中分配给带通清浊音参数矢量量化的比特数nb确定量化码本的尺寸M， M = 2 n b , 同时用模拟退火算法训练得到带通清浊音参数的量化码本；
步骤(2)根据带通清浊音矢量量化的码本将编码模式分为M种超帧模式；
步骤(3)以 Σ i = 1 M S pi = 2 n b + n p 为准则，对不同超帧模式下基音周期矢量的码本尺寸初始值联合调整，即依据所述准则增大全浊音超帧模式下的基音周期码本尺寸，降低全清音或者清音子帧超过三帧的超帧模式下基音周期码本尺寸，Spi表示第i个超帧模式下，基音周期矢量量化码本的尺寸， nb、np分别表示用于量化清浊音参数、基音周期矢量的比特数；
步骤(4)以 Σ i = 1 M S pi S li = 2 n b + n p + n l 为准则，在步骤(3)已调整好不同超帧模式下基音周期码本尺寸的基础上，对不同超帧模式下线谱频率矢量的码本尺寸动态调整，即依据准则增大基音周期码本较小的超帧模式下的线谱频率参数码本尺寸，降低基音周期码本较大的超帧模式下线谱频率参数码本尺寸，其中Sli表示第i个超帧模式下，线谱频率参数矢量最后一级的量化码本尺寸，nl表示用于量化线谱频率参数矢量最后一级的比特数；
步骤(5)以 Σ i = 1 M S pi S li S gi = 2 n b + n p + n l + n g 为准则，在步骤(4)已调整好基音周期和线谱频率参数矢量码本尺寸的基础上，对不同超帧模式下短时帧能量矢量的码本尺寸动态调整，即依据准则增大基音周期与线谱频率参数码本较小的超帧模式下的短时帧能量参数码本尺寸，降低其他超帧模式下短时帧能量参数码本尺寸，其中Sgi表示第i个超帧模式下，短时帧能量矢量的码本尺寸，ng表示用于量化短时帧能量矢量的比特数；
步骤(6)基于步骤(2)中得到的超帧模式及步骤(3)至步骤(5)中得到的此超帧模式下各参数码本尺寸，分别对基音周期、线谱频率参数、短时帧能量矢量训练码本。
本发明的特点为在超低速率语音编码算法中进行基于超帧模式的多码本矢量量化，充分利用参数在不同超帧模式下统计特性的差异，例如在某种出现概率较大或比较重要的超帧模式下，可以增大某种参数的码本尺寸。以此例推，对各参数在不同超帧模式下码本的尺寸进行联合优化，从而提高了量化精度。
将本文提出的这种基于超帧模式的多矢量多码本尺寸联合优化方法运用在一种基于MELP的300bps声码器上，实验结果表明，该联合优化算法能够明显降低各参数的量化误差，提高声码器合成语音的质量。
附图说明
图1为原有方法的基于超帧模式的多码本矢量量化算法流程框图。
图2为本发明提出的基于超帧模式的多矢量多码本尺寸联合优化方法流程框图。
具体实施方式
本发明提出的基于超帧模式的多矢量多码本尺寸联合优化方法结合附图及实施例进一步说明如下：
本发明的方法流程如图2所示，包括以下步骤：
步骤(1)根据语音编码算法中分配给带通清浊音参数矢量量化的比特数nb确定量化码本的尺寸M， M = 2 n b , 同时用模拟退火算法训练得到带通清浊音参数的量化码本；
步骤(2)根据带通清浊音矢量量化的码本将编码模式分为M种超帧模式；
步骤(3)以 Σ i = 1 M S pi = 2 n b + n p 为准则，对不同超帧模式下基音周期矢量的码本尺寸初始值联合调整，即依据所述准则增大全浊音超帧模式下的基音周期码本尺寸，降低全清音或者清音子帧超过三帧的超帧模式下基音周期码本尺寸，Spi表示第i个超帧模式下，基音周期矢量量化码本的尺寸，nb、np分别表示用于量化清浊音参数、基音周期矢量的比特数；
步骤(4)以 Σ i = 1 M S pi S li = 2 n b + n p + n l 为准则，在步骤(3)已调整好不同超帧模式下基音周期码本尺寸的基础上，对不同超帧模式下线谱频率矢量的码本尺寸动态调整，即依据准则增大基音周期码本较小的超帧模式下的线谱频率参数码本尺寸，降低基音周期码本较大的超帧模式下线谱频率参数码本尺寸，其中Sli表示第i个超帧模式下，线谱频率参数矢量最后一级的量化码本尺寸，nl表示用于量化线谱频率参数矢量最后一级的比特数；
步骤(5)以 Σ i = 1 M S pi S li S gi = 2 n b + n p + n l + n g 为准则，在步骤(4)已调整好基音周期和线谱频率参数矢量码本尺寸的基础上，对不同超帧模式下短时帧能量矢量的码本尺寸动态调整，即依据准则增大基音周期与线谱频率参数码本较小的超帧模式下的短时帧能量参数码本尺寸，降低其他超帧模式下短时帧能量参数码本尺寸，其中Sgi表示第i个超帧模式下，短时帧能量矢量的码本尺寸，ng表示用于量化短时帧能量矢量的比特数；
步骤(6)基于步骤(2)中得到的超帧模式及步骤(3)至步骤(5)中得到的此超帧模式下各参数码本尺寸，分别对基音周期、线谱频率参数、短时帧能量矢量训练码本。
上述方法步骤(1)的实施例为：根据语音编码算法中分配给带通清浊音参数矢量量化的比特数确定量化码本的尺寸M，比特分配方案参考美国政府多带激励的线性预测(MELP)语音编码算法标准。在基于MELP的300bps声码器中，用于量化带通清浊音参数的比特数为4， M = 2 n b = 16 . 同时训练得到带通清浊音参数的量化码本，量化码本的训练方法参见杨行峻等人编著的《语音信号数字处理》中描述的模拟退火算法。
上述方法步骤(2)的实施例为：根据步骤(1)中训练得到的带通清浊音矢量量化的码本将编码模式分为M种超帧模式。清浊音矢量量化码字是通过对训练语音样本统计得到的出现次数最多的16种超帧清浊音矢量，每个码字代表了超帧的一种超帧模式，对应的超帧模式在表1中给出。
表1带通清浊音参数矢量量化码本和对应的超帧模式
  带通清浊音参数矢量量化码本   对应超帧模式F0
  00000 00000 00000 00000 10000 11111   1
  11100 10000 10000 00000 10000 11110   2
  11111 11111 11111 11111 11111 11111   3
  11111 11111 11111 11111 11100 10000   4
  10000 11000 11111 11111 11111 11111   5
  10000 10000 00000 00000 00000 00000   6
  00000 00000 11100 11111 11111 11111   7
  11111 11111 11100 10000 00000 00000   8
  11111 11110 11000 10000 11000 11111   9
  00000 11100 11111 11111 11111 11111   10
  00000 00000 00000 11100 11111 11111   11
  11111 11111 11111 11000 10000 10000   12
  10000 10000 10000 10000 10000 10000   13
  00000 00000 00000 00000 00000 00000   14
  11111 11111 11111 11000 10000 00000   15
  11000 10000 10000 11100 11111 11111   16
上述方法步骤(3)的实施例为：基于超帧模式对基音周期的码本尺寸进行优化。此时准则为 Σ i = 1 M S pi = 2 n b + n p , 其中nb＝4、np＝8。由表1可见，超帧模式中含有全清音帧(00000 0000000000 00000 00000 00000)和全浊音帧(11111 11111 11111 11111 11111 11111)。清音帧的基音周期为固定值50；浊音帧的基音周期取值范围为[18，148]，需要高效量化。清音帧越多的超帧模式其码本尺寸越小，动态调整的具体步骤如下：
a.设置各超帧模式下基音周期码本尺寸初值，Sp1＝Sp2＝...＝Sp16＝256；
b.将全清音超帧模式的码本尺寸缩减为1，对应码矢为(50，50，50，50，50，50)；节省出来的码本尺寸增加到全浊音超帧模式上。
c.将含清音帧超过3帧以上的超帧模式码本尺寸缩减一半，节省出来的码本尺寸增加到全浊音超帧模式上。
得到16种超帧模式下基音周期参数各量化码本的尺寸如表2所示。
表2基音周期参数(P)各超帧模式(M)下码本尺寸
Figure A20081010513600082
上述方法步骤(4)的实施例为：在步骤(3)已确定不同超帧模式下基音周期的码本尺寸基础上，对线谱频率参数矢量进行码本尺寸动态调整。鉴于运算量和存储量的考虑，目前只对线谱频率参数多级矢量量化的最后一级采用了此方法。此时准则为 Σ i = 1 M S pi S li = 2 n b + n p + n l , 其中Sli也相应地表示线谱频率参数多级矢量量化最后一级的码本大小；nl＝5相应地表示用于量化线谱频率参数多级矢量量化最后一级的比特数。
首先，设定不同超帧模式下，线谱频率参数多级矢量量化最后一级的码本尺寸大小为
Figure A20081010513600084
缩减基音周期码本尺寸较大的超帧模式下线谱频率参数最后一级的量化码本尺寸，增加到基音周期码本尺寸较小的超帧模式下线谱频率参数的量化码本尺寸。
最终确定线谱频率参数最后一级量化码本的大小如表3所示。
表3线谱频率参数最后一级(l)各超帧模式(M)下码本尺寸
Figure A20081010513600085
上述方法步骤(5)的实施例为：在已确定不同超帧模式下基音周期及线谱频率参数码本尺寸的基础上，调整短时帧能量矢量在各超帧模式下的码本尺寸。此时准则为， Σ i = 1 M S pi S li S gi = 2 n b + n p + n l + n g , 其中Sgi表示第i个超帧模式下，短时帧能量矢量的码本尺寸；ng＝6，表示用于量化短时帧能量矢量的比特数。
首先，设定不同超帧模式下短时帧能量参数码本尺寸大小都为
Figure A20081010513600092
。缩减基音周期及线谱频率参数码本尺寸较大的超帧模式下短时帧能量参数的量化码本尺寸，增加到基音周期及线谱频率参数码本尺寸较小的超帧模式下短时帧能量参数的量化码本尺寸。得到16种超帧模式下短时帧能量参数各量化码本的尺寸如表4所示。
表4短时帧能量参数(G)各超帧模式(M)下码本尺寸
Figure A20081010513600093
上述方法步骤(3)至步骤(5)，在理想情况下，依据准则 Σ i = 1 M S pi S gi S li = 2 n b + n p + n g + n l , 同时调整各超帧模式下基音周期、线谱频率参数、短时帧能量参数矢量的码本尺寸，将得到各参数在不同超帧模式下的最优的码本尺寸。但联合动态分配多个编码参数的码本尺寸难以实现，故而采用分步分项解决的方案。
上述方法步骤(6)的实施例为：根据步骤(2)中得到的超帧模式及步骤(3)至步骤(5)中得到的此超帧模式下的各参数码本尺寸，分别对基音周期、线谱频率参数、短时帧能量参数矢量重新训练码本。码本训练方法参见杨行峻等人编著的《语音信号数字处理》中描述的模拟退火算法。

Claims (2)

1、基于超帧模式的多矢量多码本尺寸联合优化方法，其特征在于，该方法在编码端依次按以下步骤实现：
步骤(1)根据语音编码算法中分配给带通清浊音参数矢量量化的比特数nb确定量化码本的尺寸M， M = 2 n b , 同时用模拟退火算法训练得到带通清浊音参数的量化码本；
步骤(2)根据带通清浊音矢量量化的码本将编码模式分为M种超帧模式；
步骤(3)以 Σ i = 1 M S pi = 2 n b + n p 为准则，对不同超帧模式下基音周期矢量的码本尺寸初始值联合调整，即依据所述准则增大全浊音超帧模式下的基音周期码本尺寸，降低全清音或者清音子帧超过三帧的超帧模式下基音周期码本尺寸，Spi表示第i个超帧模式下，基音周期矢量量化码本的尺寸，nb、np分别表示用于量化清浊音参数、基音周期矢量的比特数；
步骤(4)以 Σ i = 1 M S pi S li = 2 n b + n p + n l 为准则，在步骤(3)已调整好不同超帧模式下基音周期码本尺寸的基础上，对不同超帧模式下线谱频率矢量的码本尺寸动态调整，即依据准则增大基音周期码本较小的超帧模式下的线谱频率参数码本尺寸，降低基音周期码本较大的超帧模式下线谱频率参数码本尺寸，其中Sli表示第i个超帧模式下，线谱频率参数矢量最后一级的量化码本尺寸，nl表示用于量化线谱频率参数矢量最后一级的比特数；
步骤(5)以 Σ i = 1 M S pi S li S gi = 2 n b + n p + n l + n g 为准则，在步骤(4)已调整好基音周期和线谱频率参数矢量码本尺寸的基础上，对不同超帧模式下短时帧能量矢量的码本尺寸动态调整，即依据准则增大基音周期与线谱频率参数码本较小的超帧模式下的短时帧能量参数码本尺寸，降低其他超帧模式下短时帧能量参数码本尺寸，其中Sgi表示第i个超帧模式下，短时帧能量矢量的码本尺寸，ng表示用于量化短时帧能量矢量的比特数；
步骤(6)基于步骤(2)中得到的超帧模式及步骤(3)至步骤(5)中得到的此超帧模式下各参数码本尺寸，分别对基音周期、线谱频率参数、短时帧能量矢量训练码本。
2、按权利要求1所述的方法，其特征在于，所述步骤(3)、(4)、(5)中，基音周期参数、线谱频率参数、短时帧能量参数的优化顺序是任意的。
CN2008101051363A 2008-04-25 2008-04-25 基于超帧模式的多矢量多码本尺寸联合优化方法 Expired - Fee Related CN101261835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101051363A CN101261835B (zh) 2008-04-25 2008-04-25 基于超帧模式的多矢量多码本尺寸联合优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101051363A CN101261835B (zh) 2008-04-25 2008-04-25 基于超帧模式的多矢量多码本尺寸联合优化方法

Publications (2)

Publication Number Publication Date
CN101261835A true CN101261835A (zh) 2008-09-10
CN101261835B CN101261835B (zh) 2010-12-15

Family

ID=39962247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101051363A Expired - Fee Related CN101261835B (zh) 2008-04-25 2008-04-25 基于超帧模式的多矢量多码本尺寸联合优化方法

Country Status (1)

Country Link
CN (1) CN101261835B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989428B (zh) * 2009-07-31 2012-07-04 华为技术有限公司 比特分配方法、编码方法、解码方法、编码器及解码器
CN102855878A (zh) * 2012-09-21 2013-01-02 山东省计算中心 一种窄带语音子带清浊音度参数的量化方法
CN103325375A (zh) * 2013-06-05 2013-09-25 上海交通大学 一种极低码率语音编解码设备及编解码方法
CN104795074A (zh) * 2015-03-19 2015-07-22 清华大学 多模式多级码本联合优化方法
US9805732B2 (en) 2013-07-04 2017-10-31 Huawei Technologies Co., Ltd. Frequency envelope vector quantization method and apparatus
CN109448739A (zh) * 2018-12-13 2019-03-08 山东省计算中心（国家超级计算济南中心） 基于分层聚类的声码器线谱频率参数量化方法
CN110428847A (zh) * 2019-08-28 2019-11-08 南京梧桐微电子科技有限公司 一种线谱频率参数量化比特分配方法及***
CN113808601A (zh) * 2021-11-19 2021-12-17 信瑞递（北京）科技有限公司 生成rdss短报文信道语音码本方法、装置、电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030377B (zh) * 2007-04-13 2010-12-15 清华大学 提高声码器基音周期参数量化精度的方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989428B (zh) * 2009-07-31 2012-07-04 华为技术有限公司 比特分配方法、编码方法、解码方法、编码器及解码器
CN102855878A (zh) * 2012-09-21 2013-01-02 山东省计算中心 一种窄带语音子带清浊音度参数的量化方法
CN102855878B (zh) * 2012-09-21 2014-05-14 山东省计算中心 一种窄带语音子带清浊音度参数的量化方法
CN103325375B (zh) * 2013-06-05 2016-05-04 上海交通大学 一种极低码率语音编解码设备及编解码方法
CN103325375A (zh) * 2013-06-05 2013-09-25 上海交通大学 一种极低码率语音编解码设备及编解码方法
US9805732B2 (en) 2013-07-04 2017-10-31 Huawei Technologies Co., Ltd. Frequency envelope vector quantization method and apparatus
US10032460B2 (en) 2013-07-04 2018-07-24 Huawei Technologies Co., Ltd. Frequency envelope vector quantization method and apparatus
CN104795074A (zh) * 2015-03-19 2015-07-22 清华大学 多模式多级码本联合优化方法
CN104795074B (zh) * 2015-03-19 2019-01-04 清华大学 多模式多级码本联合优化方法
CN109448739A (zh) * 2018-12-13 2019-03-08 山东省计算中心（国家超级计算济南中心） 基于分层聚类的声码器线谱频率参数量化方法
CN109448739B (zh) * 2018-12-13 2019-08-23 山东省计算中心（国家超级计算济南中心） 基于分层聚类的声码器线谱频率参数量化方法
CN110428847A (zh) * 2019-08-28 2019-11-08 南京梧桐微电子科技有限公司 一种线谱频率参数量化比特分配方法及***
CN110428847B (zh) * 2019-08-28 2021-08-24 南京梧桐微电子科技有限公司 一种线谱频率参数量化比特分配方法及***
CN113808601A (zh) * 2021-11-19 2021-12-17 信瑞递（北京）科技有限公司 生成rdss短报文信道语音码本方法、装置、电子设备

Also Published As

Publication number Publication date
CN101261835B (zh) 2010-12-15

Similar Documents

Publication Publication Date Title
CN101261835B (zh) 基于超帧模式的多矢量多码本尺寸联合优化方法
CN101030377B (zh) 提高声码器基音周期参数量化精度的方法
CN103325375B (zh) 一种极低码率语音编解码设备及编解码方法
CN102341852B (zh) 滤波语音信号的方法和滤波器
CN101283407B (zh) 变换编码装置和变换编码方法
CN101521014B (zh) 音频带宽扩展编解码装置
EP0910067A1 (en) Audio signal coding and decoding methods and audio signal coder and decoder
CN103050121A (zh) 线性预测语音编码方法及语音合成方法
JP6600054B2 (ja) 方法、符号化器、復号化器、及び移動体機器
CN104025189A (zh) 编码语音信号的方法、解码语音信号的方法，及使用其的装置
CN102855878B (zh) 一种窄带语音子带清浊音度参数的量化方法
EP3220390A1 (en) Transform encoding/decoding of harmonic audio signals
CN101656074A (zh) 解码装置、解码方法以及通信终端和基站装置
CN102947881A (zh) 解码装置、编码装置和解码方法、编码方法
CN104517612A (zh) 基于amr-nb语音信号的可变码率编码器和解码器及其编码和解码方法
CN103050122A (zh) 一种基于melp的多帧联合量化低速率语音编解码方法
CN102903365B (zh) 一种在解码端细化窄带声码器参数的方法
CN101800050B (zh) 基于感知自适应比特分配的音频精细分级编码方法及***
CN101295507B (zh) 带级间预测的超帧声道参数多级矢量量化方法
CN105957533B (zh) 语音压缩方法、语音解压方法及音频编码器、音频解码器
CN1284136C (zh) 一种超帧声道参数平滑和抽取矢量量化的方法
CN1284137C (zh) 一种超帧声道参数矢量量化方法
CN1284138C (zh) 自适应帧选择线谱频率参数量化方法
KR102539165B1 (ko) 협력 양자화에 기초한 lpc 계수의 잔차 신호 코딩 방법 및 상기 방법을 수행하는 컴퓨팅 장치
CN103035249B (zh) 一种基于时频平面上下文的音频算术编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101215

Termination date: 20150425

EXPY Termination of patent right or utility model