JP3063668B2 - 音声符号化装置及び復号装置 - Google Patents

音声符号化装置及び復号装置

Info

Publication number
JP3063668B2
JP3063668B2 JP9086663A JP8666397A JP3063668B2 JP 3063668 B2 JP3063668 B2 JP 3063668B2 JP 9086663 A JP9086663 A JP 9086663A JP 8666397 A JP8666397 A JP 8666397A JP 3063668 B2 JP3063668 B2 JP 3063668B2
Authority
JP
Japan
Prior art keywords
pulse
signal
auxiliary
decoding
pulse position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP9086663A
Other languages
English (en)
Other versions
JPH10282997A (ja
Inventor
俊之 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP9086663A priority Critical patent/JP3063668B2/ja
Priority to CA002233146A priority patent/CA2233146C/en
Priority to US09/053,606 priority patent/US6192334B1/en
Priority to DE69830816T priority patent/DE69830816T2/de
Priority to EP98250117A priority patent/EP0869477B1/en
Priority to EP04090222A priority patent/EP1473710B1/en
Priority to DE69837296T priority patent/DE69837296T2/de
Publication of JPH10282997A publication Critical patent/JPH10282997A/ja
Application granted granted Critical
Publication of JP3063668B2 publication Critical patent/JP3063668B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • G10L19/107Sparse pulse excitation, e.g. by using algebraic codebook

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、階層符号化に基づ
く音声符号化復号装置に関するものである。
【0002】
【従来の技術】従来、符号化によって得たビットストリ
ームの全てまたは一部から復号可能な階層符号化に基づ
く音声符号化復号装置は、音声信号をパケット通信網上
で伝送する際に、一部のパケットが欠落しても、音声信
号が復号可能であることを目的として用いられている。
例えば、CELP(Code Excited Linear Prediction)符号化
方式において、励振信号符号化部を多段接続することに
より実現する従来例がある。この従来例は、R.Drogらに
よる"Embedded CELP coding for variable bit-rate be
tween 6.4 and 9.6 kbit/s" (Proc. ICASSP,pp.681-68
4,1991年)と題した論文(文献1)、または、A.Le Gu
yaderらによる"Embedded algebraic CELP coders for w
ideband speech coding" (Proc. of EUSIPCO, signal p
rocessing VI, pp.527-530, 1992 年)と題した論文
(文献2)に記載されている。
【0003】図2を参照して従来例の動作を説明する。
簡単のため、励振信号符号化部を2段に接続した例を示
す。2段以上についても、同様に説明できる。
【0004】フレーム分割回路101は、入力信号を、
フレーム毎に分割し、サブフレーム分割回路102に出
力する。
【0005】サブフレーム分割回路102は、前記フレ
ーム内の入力信号を、さらに、サブフレーム毎に分割
し、線形予測分析回路103と聴感重み付け信号作成回
路105に出力する。
【0006】線形予測分析回路103は、サブフレーム
分割回路102を介して入力された信号をサブフレーム
毎に線形予測分析し、線形予測係数a(i),i=
1,...,Npを線形予測係数量子化回路104と聴
感重み付け信号作成回路105と聴感重み付け再生信号
作成回路106と適応コードブック探索回路109とマ
ルチパルス探索回路110と補助マルチパルス探索回路
112に出力する。ここで、Npは線形予測分析の次数
であり、例えば、10である。線形予測分析法には、自
己相関法、共分散法等があり、古井による“ディジタル
音声処理”と題した文献(東海大学出版会)の5章(文
献3)に詳しい。
【0007】線形予測係数量子化回路104では、サブ
フレーム毎に得られた前記線形予測係数をフレーム毎に
一括して量子化する。ビットレートを低減するために、
フレーム内の最後のサブフレームで量子化を行ない、他
のサブフレームの量子化値は、当該フレーム及び直前の
フレームの量子化値の補間値を用いる手法が利用される
ことが多い。この量子化や補間は、線形予測係数を線ス
ペクトル対(以後、LSPとする)に変換した後、行な
われる。ここで、線形予測係数からLSPへの変換は、
菅村らによる“線スペクトル対(LSP)音声分析合成
方式による音声情報圧縮”と題した論文(電子通信学会
論文誌、J64-A 、pp.599-606、1981年)(文献4)を参
照することができる。LSPの量子化法は、周知の手法
を用いることができる。具体的な方法は例えば、特開平
4-171500号公報(特願平2-297600号)(文献5)を参照
できるのでここでは説明は略する。さらに、線形予測係
数量子化回路104は、量子化LSPを量子化線形予測
係数a’(i),i=1,...,Npに変換した後、
前記量子化線形予測係数を聴感重み付け再生信号作成回
路106と適応コードブック探索回路109とマルチパ
ルス探索回路110と補助マルチパルス探索回路112
に、量子化LSPを表すインデックスをマルチプレクサ
114に出力する。
【0008】聴感重み付け信号作成回路105では、式
(1)で表される聴感重み付けフィルタHw(z)を、
前記サブフレーム内の入力信号で駆動し、聴感重み付け
信号を作成する。さらに、前記聴感重み付け信号をター
ゲット信号作成回路108に出力する。
【0009】
【数1】
【0010】ここで、R1,R2は、聴感重み付け量を
制御する重み係数である。例えば、R1=0.6,R2
=0.9である。
【0011】聴感重み付け再生信号作成回路106で
は、サブフレームバッファ107を介して得られる直前
サブフレームの励振信号を用いて、同回路内で保持した
直前サブフレームの線形予測合成フィルタ(式(2)参
照)と前記聴感重み付けフィルHw(z)を縦続接続し
た聴感重み付け合成フィルタを駆動する。駆動後、続け
て、信号値がすべて零である零入力信号を用いて、前記
聴感重み付け合成フィルタを駆動して、零入力応答信号
を算出し、ターゲット信号作成回路108に出力する。
【0012】
【数2】
【0013】ターゲット信号作成回路108では、前記
聴感重み付け信号から前記零入力応答信号を減算し、タ
ーゲット信号X(n),n=0,...,N−1を作成
する。ここで、Nはサブフレーム長である。さらに、タ
ーゲット信号X(n)を適応コードブック探索回路10
9とマルチパルス探索回路110とゲイン探索回路11
1と補助マルチパルス探索回路112と補助ゲイン探索
回路113に出力する。
【0014】適応コードブック探索回路109では、サ
ブフレームバッファ107を介して得られる 前サブフ
レームの励振信号により、適応コードブックと呼ばれる
過去の励振信号を保持する適応コードブックを更新す
る。ピッチdに対応する適応コードベクトル信号Ad
(n),n=0,...,N−1は、適応コードブック
に格納された過去の励振信号を、ピッチdだけ遅延させ
た信号である。ここで、ピッチdがサブフレーム長Nよ
りも短い場合には、現サブフレームの直前dサンプルを
適応コードブックから切り出し、サブフレーム長になる
までそれを繰り返し接続して適応コードベクトル信号を
作成する。作成した適応コードベクトル信号Ad
(n),n=0,...,N−1を用いて、サブフレー
ム毎に初期化した前記聴感重み付け合成フィルタ(以
後、零状態の聴感重み付け合成フィルタとする)を駆動
し、再生信号SAd(n),n=0,...,N−1を
作成し、式(3)で表される、ターゲット信号X(n)
と再生信号SAd(n)の誤差E(d)を最小とするピ
ッチd’を、予め定めた探索範囲(例えばd=1
7,...,144)から選択する。以後、簡単のた
め、選択したピッチd’をdとする。
【0015】
【数3】
【0016】また、適応コードブック探索回路109
は、選択されたピッチdをマルチプレクサ114に、選
択された適応コードベクトル信号Ad(n)をゲイン探
索回路111に、その再生信号SAd(n)をゲイン探
索回路111とマルチパルス探索回路110に、出力す
る。
【0017】マルチパルス探索回路110では、マルチ
パルス信号を構成するP個の非零のパルスを探索する。
ここで、各パルスの位置は、パルス毎に予め定められた
パルス位置候補に限定されている。ただし、すべてのパ
ルス位置候補は、互いに、異なった値をとる。また、パ
ルスの振幅は、極性のみである。従って、マルチパルス
信号の符号化は、パルス位置候補と極性の組合せの総数
をJとすると、そのうち、ひとつの組合せを表すインデ
ックスj(j=0,...,J−1)に対して、マルチ
パルス信号Cj(n),n=0,...,N−1を構成
し、前記マルチパルス信号で前記零状態の聴感重み付け
合成フィルタを駆動して、再生信号SCj(n),n=
0,...,N−1を作成し、式(4)で表される誤差
E(j)を最小化するようにインデックスjを選択すれ
ば良い。この方法は、J-P.Adoulらによる"Fast CELP co
ding based on algebraic codes" (Proc. ICASSP, pp.1
957-1960, 1987 年)と題した論文(文献6)に詳し
い。
【0018】
【数4】
【0019】ここで、X’(n),n=0,...,N
−1は、前記ターゲット信号X(n)を前記適応コード
ベクトル信号の再生信号SAd(n)により直交化した
信号であり、式(5)で与えられる。
【0020】
【数5】
【0021】なお、マルチパルス信号を表すインデック
スjは、パルス番号pのパルス位置候補数をM(p),
p=0,...,P−1とすると、
【0022】
【数6】
【0023】で伝送できる。例えば、8kHzサンプリ
ングでサブフレーム長が5msec(N=40サンプ
ル)、パルス数P=5、各パルスのパルス位置候補数M
(p)=8,p=0,...,P−1とする(簡単のた
め、すべてのパルス位置候補数を同じ値としている)
と、インデックスjの伝送には、20ビット必要とす
る。
【0024】また、マルチパルス探索回路110は、選
択されたマルチパルス信号Cj(n)及びその再生信号
SCj(n)をゲイン探索回路111に、対応するイン
デックスjをマルチプレクサ114に、出力する。
【0025】ゲイン探索回路111では、コードブック
サイズKのゲインコードブックに蓄えられた、適応コー
ドベクトル信号のゲインGA(k),k=0,...,
K−1とマルチパルス信号のゲインGE(k),k=
0,...,K−1の中から最適なゲインを探索する。
最適なゲインのインデックスkは、前記適応コードベク
トルの再生信号SAd(n)と前記マルチパルスの再生
信号SCj(n)と前記ターゲット信号X(n)を用い
て、式(6)で表される誤差E(k)を最小化するよう
に選択する。
【0026】
【数7】
【0027】また、選択したゲインと前記適応コードベ
クトルと前記マルチパルス信号を用いて励振信号D
(n),n=0,...,N−1を作成し、サブフレー
ムバッファ107と補助マルチパルス探索回路112に
出力する。さらに、励振信号D(n)を用いて、前記零
状態の聴感重み付け合成フィルタを駆動して、前記励振
信号の再生信号SD(n),n=0,...,N−1を
作成し、補助マルチパルス探索回路112と補助ゲイン
探索回路113に、前記ゲインに対応するインデックス
をマルチプレクサ114に、出力する。
【0028】補助マルチパルス探索回路112では、マ
ルチパルス探索回路110と同様に、補助マルチパルス
信号Cm(n),n=0,...,N−1とその再生信
号SCm(n),n=0,...,N−1を作成し、式
(7)で表される誤差E(m)を最小化するようにmを
選択する。ここで、補助マルチパルス信号のパルス数を
P’、パルス位置候補数をM’(p),p=
0,...,P’−1とすると、mはマルチパルス信号
Cm(n)を表すインデックスであり、
【0029】
【数8】
【0030】で伝送できる。例えば、パルス数P’=
5、各パルスのパルス位置候補数M’(p)=8,p=
0,...,P’−1とする(簡単のため、すべてのパ
ルス位置候補数を同じ値としている)と、インデックス
mの伝送には、20ビット必要とする。
【0031】
【数9】
【0032】ここで、X’’(n),n=0,...,
N−1は、前記ターゲット信号X(n)を前記励振信号
の再生信号SD(n)で直行化した信号であり、式
(8)で与えられる。
【0033】
【数10】
【0034】また、補助マルチパルス探索回路112
は、補助マルチパルス信号の再生信号SCm(n)を補
助ゲイン探索回路113に、対応するインデックスmを
マルチプレクサ114に、出力する。
【0035】補助ゲイン探索回路113では、コードブ
ックサイズK’のゲインコードブックに蓄えられた、励
振信号のゲインGEA(l),l=0,...,K’−
1と補助マルチパルス信号のゲインGEC(l),l=
0,...,l’−1の中から最適なゲインを探索す
る。最適なゲインのインデックスlは、前記励振信号の
再生信号SD(n)と前記補助マルチパルス信号の再生
信号SCm(n)と前記ターゲット信号X(n)を用い
て、式(9)で表される誤差E(l)を最小化するよう
に選択する。選択したインデックスlを、マルチプレク
サ114に出力する。
【0036】
【数11】
【0037】マルチプレクサ114は、前記量子化LS
Pと前記適応コードベクトルと前記マルチパルス信号と
前記ゲインと前記補助マルチパルス信号と前記補助ゲイ
ンに対応するインデックスをビットストリームに変換し
て、第一の出力端子115に出力する。
【0038】デマルチプレクサ117は、第二の入力端
子116からビットストリームを入力し、前記ビットス
トリームを前記量子化LSPと前記適応コードベクトル
と前記マルチパルス信号と前記ゲインと前記補助マルチ
パルス信号と前記補助ゲインに対応するインデックスに
変換する。また、前記量子化LSPのインデックスを線
形予測係数復号回路118に、前記ピッチのインデック
スを適応コードブック復号回路119に、前記マルチパ
ルス信号のインデックスをマルチパルス復号回路120
に、前記ゲインのインデックスをゲイン復号回路121
に、前記補助マルチパルス信号のインデックスを補助マ
ルチパルス復号回路124に、前記補助ゲインのインデ
ックスを補助ゲイン復号回路125に、それぞれ、出力
する。
【0039】線形予測係数復号回路118では、前記量
子化LSPのインデックスから、量子化線形予測係数
a’(i),i=1,...,Npを復号し、第一の再
生信号作成回路122と第二の再生信号作成回路126
に出力する。
【0040】適応コードブック復号回路119では、前
記ピッチのインデックスから適応コードベクトル信号A
d(n)を復号し、マルチパルス復号回路120では、
前記マルチパルス信号のインデックスからマルチパルス
信号Cj(n)を復号し、それぞれ、ゲイン復号回路1
21に出力する。ゲイン復号回路121では、前記ゲイ
ンのインデックスからゲインGA(k),GC(k)を
復号し、前記適応コードベクトル信号と前記マルチパル
ス信号と前記ゲインを用いて第一の励振信号を作成し、
第一の再生信号作成回路122と補助ゲイン復号回路1
25に出力する。
【0041】第一の再生信号作成回路122では、前記
第一の励振信号で線形予測合成フィルタHs(z)を駆
動することにより第一の再生信号を作成し、第二の出力
端子123に出力する。
【0042】補助マルチパルス復号回路124では、前
記補助マルチパルス信号のインデックスから補助マルチ
パルス信号Cm(n)を復号し、補助ゲイン復号回路1
25に出力する。補助ゲイン復号回路125では、前記
補助ゲインのインデックスから補助ゲインGEA
(l),GEC(l)を復号し、前記第一の励振信号と
前記補助マルチパルス信号と前記補助ゲインを用いて第
二の励振信号を作成し、第二の再生信号作成回路126
に出力する。
【0043】第二の再生信号作成回路126では、前記
第二の励振信号で線形予測合成フィルタHs(z)を駆
動することにより第二の再生信号を作成し、第三の出力
端子127に出力する。
【0044】
【発明が解決しようとする課題】上述した従来法では、
マルチパルス信号の多段符号化における第二段目以降の
符号化効率が十分でないという問題点がある。これは、
各段の符号化において、その前段までに符号化したパル
スと同じ位置にパルスを配置する可能性があるからであ
る。マルチパルス信号は、パルスの位置とその極性によ
り表されているため、同じ位置に複数のパルスを配置し
ても、一つのパルスが配置されている時と同じマルチパ
ルス信号となるので、符号化品質は向上しない。
【0045】
【課題を解決するための手段】本発明では、マルチパル
ス信号を多段符号化する際に、各段の符号化において、
その前段までに符号化したパルスの位置よりも、まだパ
ルスが配置されていないパルス位置を優先したパルス位
置候補を設定する補助マルチパルス設定回路を有する。
【0046】補助マルチパルス設定回路において、既に
符号化したパルスの位置よりも、まだパルスが配置され
ていないパルス位置を優先したパルス位置候補を設定
し、前記マルチパルス設定回路に続くマルチパルス探索
回路で、設定されたパルス位置候補の中から、パルス位
置を選択し、符号化する。このため、既存パルスを除い
たパルス位置候補の中でパルス位置を表す情報を符号化
すれば良いので、ビット数を低減できる。
【0047】
【発明の実施の形態】以下、図面を参照して本発明の実
施例について説明する。図1は本発明に基づいた音声符
号化復号装置の一実施例を示すブロック図である。
【0048】図1を参照して本発明に基づく音声符号化
復号装置の動作を説明する。簡単のため、励振信号符号
化部を2段に接続した例を示す。2段以上についても、
同様に実現できる。
【0049】この音声符号化復号装置は、従来例の音声
符号化復号装置(図2)と、補助マルチパルス設定回路
130,132と補助マルチパルス探索回路131と補
助マルチパルス復号回路133の動作のみが異なる。従
って、これらの回路の動作のみを説明する。
【0050】符号化側の補助マルチパルス設定回路13
0は、マルチパルス探索回路110において既に符号化
したパルスの位置よりも、まだパルスが配置されていな
いパルス位置が優先して、補助マルチパルス探索回路1
31において、選択されるようにパルス位置候補を設定
する。具体的には、例えば、以下のように動作する。補
助マルチパルス設定回路130は、パルス数をQ、パル
ス番号をq、パルスqに対するパルス位置候補の総数を
M’’(q)、そして、rをパルス位置候補の番号とし
て、Q個のパルスに対するパルス位置候補X(q,
r),q=0,...,Q−1,r=0,...,
M’’(q)−1を、予め備えている。ここで、パルス
数Q(例えば、10)は、前記マルチパルス信号のパル
ス数P(本実施例では、従来例の説明と同じく、例え
ば、5)とは異なる。本実施例では、すべてのqに対し
て、M’’(q)=4とする。ただし、パルス位置候補
X(q,r)は、qとrのすべての組合せに対して、互
いに、異なった値をとる。また、Q個のパルスに対応し
たカウンタCtr(q),q=0,...,Q−1を具
備している。カウンタCtr(q)の初期値は、0であ
る。前記パルス位置候補X(q,r)の中から、マルチ
パルス探索回路110から入力したマルチパルス信号の
パルス位置と同じ値を探すことにより、パルス番号qを
抽出し、対応するカウンタCtr(q)の値をインクリ
メントする。すべてのパルス位置に対して、同操作を順
次行なった後、カウンタCtr(q)の値が小さい方か
ら、Q’(例えば、5)個のカウンタ番号を選択する。
選択したカウンタ番号をs(t),t=0,...,
Q’−1とする。従って、s(t)は、Q個のパルス番
号0,...,Q−1のうち、一つを示す。選択におい
て、カウンタの値が同じ場合には、例えば、カウンタ番
号が小さい方を優先する。さらに、補助マルチパルス設
定回路130は、選択したQ’個のパルス番号s
(t),t=0,...,Q’−1を補助マルチパルス
探索回路131に出力する。
【0051】補助マルチパルス探索回路131は、補助
マルチパルス設定回路130と同じく、Q個のパルスに
対するパルス位置候補X(q,r),q=0,...,
Q−1,r=0,...,M’’(q)−1を、予め備
えている。補助マルチパルス探索回路131では、補助
マルチパルス信号を構成するQ’個の非零のパルスを探
索する。ここで、各パルスの位置は、入力したQ’個の
パルス番号s(t),t=0,...,Q’−1に従
い、各パルスに対するパルス位置候補X(s(t),
r),r=0,...,M’’(s(t))−1に限定
されている。また、パルスの振幅は、極性のみである。
従って、補助マルチパルス信号の符号化は、パルス位置
候補と極性のすべての組合せを表すインデックスmに対
して、補助マルチパルス信号Cm(n),n=
0,...,N−1を構成し、前記補助マルチパルス信
号で前記零状態の聴感重み付け合成フィルタを駆動し
て、再生信号SCm(n),n=0,...,N−1を
作成し、式(7)で表される誤差E(m)を最小化する
ようにインデックスmを選択すれば良い。この時、選択
したインデックスmは、
【0052】
【数12】
【0053】で伝送できる。本実施例では、Q’=5,
M’’(s(t))=4であるので、補助マルチパルス
信号の符号化に必要なビット数は、15ビットとなる。
従来例の補助マルチパルス探索回路112では、補助マ
ルチパルス信号の符号化に20ビット必要とするため、
5ビット低減できる。また、補助マルチパルス探索回路
131は、補助マルチパルス信号の再生信号SCm
(n)を補助ゲイン探索回路113に、対応するインデ
ックスmをマルチプレクサ114に、出力する。
【0054】復号側の補助マルチパルス設定回路132
は、符号化側の同回路130と同様な動作をし、マルチ
パルス復号回路120から入力したマルチパルス信号か
ら、Q’個のパルスにパルス番号s(t),t=
0,...,Q’−1を選択し、補助マルチパルス復号
回路133に出力する。
【0055】補助マルチパルス復号回路133では、デ
マルチプレクサ117から入力した前記補助マルチパル
ス信号のインデックスを用いて、補助マルチパルス設定
回路132により選択したパルス番号s(t),t=
0,...,Q’−1に従い、各パルスに対するパルス
位置候補X(s(t),r),r=0,...,M’’
(s(t))−1を参照して、補助マルチパルス信号を
復号し、補助ゲイン復号回路125に出力する。
【0056】
【発明の効果】本発明の効果は、マルチパルス信号の多
段符号化における第二段目以降の符号化効率を向上でき
ることである。その理由は、マルチパルス信号を構成す
るパルスが同じ位置に複数配置されにくくなるため、符
号化品質を劣化させることなく、符号化に必要なビット
数を低減できるからである。
【図面の簡単な説明】
【図1】本発明による音声符号化復号装置の実施例を示
すブロック図である。
【図2】従来の音声符号化復号装置の実施例を示すブロ
ック図である。
【符号の説明】
103 線形予測分析回路 104 線形予測係数量子化回路 105 聴感重み付け信号作成回路 106 聴感重み付け再生信号作成回路 108 ターゲット信号作成回路 109 適応コードブック探索回路 110 マルチパルス探索回路 111 ゲイン探索回路 112,131 補助マルチパルス探索回路 113 補助ゲイン探索回路 118 線形予測係数復号回路 119 適応コードブック復号回路 120 マルチパルス復号回路 121 ゲイン復号回路 122,126 再生信号作成回路 124,133 補助マルチパルス復号回路 125 補助ゲイン復号回路 130,132 補助マルチパルス設定回路
フロントページの続き (56)参考文献 特開 平9−160596(JP,A) 特開 平2−72400(JP,A) 特開 平1−286000(JP,A) 特開 平10−207496(JP,A) 特許3024467(JP,B2) 欧州特許出願公開869477(EP,A 2) 電子情報通信学会1997年総合大会講演 論文集,情報・システム1,SD−5− 3,「ビットレート制御可能なMP−C ELP音声符号化方式」,p.348− 349,(1997年3月6日発行) Proceedings of IE EE 1991 Internationa l Conference on Ac oustics,Speech and Signal Processin g,Vol.1,”S9.29 Embe dded CELP Coding f or Variable Bit−Ra te Between 6.4 and 9.6 kbit/s” p.681− 684 日本音響学会平成9年度秋季研究発表 会講演論文集 3−2−6「AMR標準 化向けマルチレートMP−CELPの音 質評価」p.277−278(平成9年9月17 日発行) 日本音響学会平成8年度春季研究発表 会講演論文集 1−4−22「マルチパル スベクトル量子化と位置の高速探索を用 いるMP−CELP音声符号化の検討」 p.261−262(平成8年3月26日発行) 日本音響学会平成8年度春季研究発表 会講演論文集 2−P−5「CELPに おけるパルス励振源の効率的な探索」 p.311−312(平成8年3月26日発行) 電子情報通信学会論文誌,Vol.J 79−A No.10,October 1996,「マルチパルスベクトル量子化音 源と高速探索に基づくMP−CELP音 声符号化」,p.1655−1663(平成8年 10月25日発行) (58)調査した分野(Int.Cl.7,DB名) G10L 11/00 - 13/08 G10L 19/00 - 21/06 JICSTファイル(JOIS)

Claims (19)

    (57)【特許請求の範囲】
  1. 【請求項1】音声信号の励振信号を複数のパルスから成
    るマルチパルス信号で表現し、前記励振信号により線形
    予測合成フィルタを励振して得られる再生音声信号と入
    力音声信号との間の歪みを最小化するような前記マルチ
    パルス信号のパルス位置を選択することにより前記励振
    信号を多段符号化する音声符号化装置であり、 予め定めたパルス位置候補情報に基づいて、前記音声信
    号から初段のマルチパルス信号のパルス位置を符号化す
    るマルチパルス探索手段と、 前段までに設定されたマルチパルス信号に基づいて現段
    で利用するパルス位置候補情報を設定する補助マルチパ
    ルス設定回路と、設定されたパルス位置候補情報に基づ
    いて前記音声信号から現段のマルチパルス信号のパルス
    位置を符号化する補助マルチパルス符号化回路とを含む
    少なくとも1つの補助マルチパルス探索手段とを含むこ
    とを特徴とする音声符号化装置。
  2. 【請求項2】 前記補助マルチパルス設定回路は、前段ま
    でに符号化したパルス位置よりも、まだパルスが配置さ
    れていないパルス位置を優先したパルス位置候補情報を
    設定することを特徴とする請求項1記載の音声符号化装
    置。
  3. 【請求項3】 符号化されたデータから複数のマルチパル
    スで表現されることにより多段符号化された励振信号を
    復号し、前記符号化されたデータから線形予測係数を復
    号し、前記励振信号により前記線形予測係数を有する線
    形予測合成フィルタを励振して再生音声信号を再生する
    音声復号装置であり、 予め定めたパルス位置候補情報に基づいて復号した初段
    の励振信号と前記線形予測係数とから初段再生信号を出
    力する再生信号生成手段と、 前段までに復号された励振信号に基づいて現段で利用す
    るパルス位置候補情報を設定する補助マルチパルス設定
    回路と、設定されたパルス位置候補情報に基づいて現段
    の励振信号を復号する補助マルチパルス復号回路とを含
    み、現段の励振信号と前記線形予測係数とを用いて補助
    再生信号を生成する少なくとも1つの補助再生信号生成
    手段とを含むことを特徴とする音声復号化装置。
  4. 【請求項4】 前記補助マルチパルス設定回路は、前段ま
    での復号化で設定されたパルス位置よりも、まだパルス
    が配置されていないパルス位置を優先したパルス位置候
    補情報を設定することを特徴とする請求項3記載の音声
    復号装置。
  5. 【請求項5】 請求項1または2に記載の音声符号化装置
    と請求項3または4に記載の音声復号装置とを組み合わ
    せてなる音声符号化復号化装置。
  6. 【請求項6】 音声信号の励振信号を複数のパルスから成
    るマルチパルス信号で表現し、前記励振信号により線形
    予測合成フィルタを励振して得られる再生音声信号と入
    力音声信号との間の歪みを最小化するような前記マルチ
    パルス信号のパルス位置を選択することにより前記励振
    信号を多段符号化する音声符号化方法であり、 予め定めたパルス位置候補情報に基づいて、前記音声信
    号から初段のマルチパルス信号のパルス位置を符号化す
    るマルチパルス探索ステップと、 前段までに設定されたマルチパルス信号に基づいて現段
    で利用するパルス位置候補情報を設定する補助マルチパ
    ルス設定ステップと、設定されたパルス位置候補情報に
    基づいて前記音声信号から現段のマルチパルス信号のパ
    ルス位置を符号化する補助マルチパルス符号化ステップ
    とを含む少なくとも1つの補助マルチパルス探索ステッ
    プとを含むことを特徴とする音声符号化方法。
  7. 【請求項7】 前記補助マルチパルス設定ステップは、前
    段までに符号化したパルス位置よりも、まだパルスが配
    置されていないパルス位置を優先したパルス位置候補情
    報を設定することを特徴とする請求項6記載の音声符号
    化方法。
  8. 【請求項8】 符号化されたデータから複数のマルチパル
    スで表現されることにより多段符号化された励振信号を
    復号し、前記符号化されたデータから線形予測係数を復
    号し、前記励振信号により前記線形予測係数を有する線
    形予測合成フィルタを励振して再生音声信号を再生する
    音声復号方法であり、 予め定めたパルス位置候補情報に基づいて復号した初段
    の励振信号と前記線形 予測係数とから初段再生信号を出
    力する再生信号生成ステップと、 前段までに復号された励振信号に基づいて現段で利用す
    るパルス位置候補情報を設定する補助マルチパルス設定
    ステップと、設定されたパルス位置候補情報に基づいて
    現段の励振信号を復号する補助マルチパルス復号ステッ
    プとを含み、現段の励振信号と前記線形予測係数とを用
    いて補助再生信号を生成する少なくとも1つの補助再生
    信号生成ステップとを含むことを特徴とする音声復号方
    法。
  9. 【請求項9】 前記補助マルチパルス設定ステップは、前
    段までの復号化で設定されたパルス位置よりも、まだパ
    ルスが配置されていないパルス位置を優先したパルス位
    置候補情報を設定することを特徴とする請求項8記載の
    音声復号方法。
  10. 【請求項10】 請求項6または7記載の音声符号化方法
    と請求項8または9記載の音声復号化方法とを組み合わ
    せてなる音声符号化復号化方法。
  11. 【請求項11】 音声信号の励振信号を複数のパルスから
    成るマルチパルス信号で表現し、前記励振信号により線
    形予測合成フィルタを励振して得られる再生音声信号と
    入力音声信号との間の歪みを最小化するような前記マル
    チパルス信号のパルス位置を選択することにより前記励
    振信号を多段符号化する音声符号化装置であり、 前段までに符号化したパルス位置よりも、まだパルスが
    配置されていないパルス位置を優先したパルス位置候補
    情報に基づいて前記音声信号から現段のマルチパルス信
    号のパルス位置を符号化する少なくとも1つの補助マル
    チパルス探索手段を含むことを特徴とする音声符号化装
    置。
  12. 【請求項12】 前記補助マルチパルス探索手段は、前段
    までに符号化したパルス位置よりも、まだパルスが配置
    されていないパルス位置を優先したパルス位置候補情報
    を設定する補助マルチパルス設定回路と、前記補助マル
    チパルス設定回路で設定されたパルス位置候補情報に基
    づいて前記音声信号から現段のマルチパルス信号のパル
    ス位置を符号化する補助マルチパルス符号化回路とを含
    むことを特徴とする請求項11記載の音声符号化装置。
  13. 【請求項13】 符号化されたデータから複数のパルスか
    ら成るマルチパルス信号で表現されることにより多段符
    号化された励振信号を復号化し、前記符号化されたデー
    タから線形予測係数を復号化し、前記励振信号により前
    記線形予測係数を有する線形予測合成フィルタを励振し
    て再生音声信号を再生する音声復号化装置であり、 前段
    までの復号化で設定されたパルス位置よりも、まだパル
    スが配置されていないパルス位置を優先したパルス位置
    候補情報に基づいて現段の励振信号を復号化し、この現
    段の励振信号と前記線形予測係数とを用いて補助再生信
    号を生成する少なくとも1つの補助再生信号生成手段を
    含むことを特徴とする音声復号化装置。
  14. 【請求項14】 前記補助再生信号生成手段は、前段まで
    の復号化で設定されたパルス位置よりも、まだパルスが
    配置されていないパルス位置を優先したパルス位置候補
    情報を設定する補助マルチパルス設定回路と、前記補助
    マルチパルス設定回路で設定されたパルス位置候補情報
    に基づいて現段の励振信号を復号化する補助マルチパル
    ス復号化回路とを含むことを特徴とする請求項13記載
    の音声復号化装置。
  15. 【請求項15】 請求項11又は12に記載の音声符号化
    装置と請求項13又は14に記載の音声復号化装置とを
    組み合わせてなる音声符号化復号化装置。
  16. 【請求項16】 音声信号の励振信号を複数のパルスから
    成るマルチパルス信号で表現し、前記励振信号により線
    形予測合成フィルタを励振して得られる再生音声信号と
    入力音声信号との間の歪みを最小化するような前記マル
    チパルス信号のパルス位置を選択することにより前記励
    振信号を多段符号化する音声符号化方法であり、 前段までに符号化したパルス位置よりも、まだパルスが
    配置されていないパルス位置を優先したパルス位置候補
    情報を設定する第1のステップと、 前記第1のステップで設定されたパルス位置候補情報に
    基づいて前記音声信号から現段のマルチパルス信号のパ
    ルス位置を符号化する第2のステップとを少なくとも含
    むことを特徴とする音声符号化方法。
  17. 【請求項17】 符号化されたデータから複数のパルスか
    ら成るマルチパルス信号で表現されることにより多段符
    号化された励振信号を復号化し、前記符号化されたデー
    タから線形予測係数を復号化し、前記励振信号により前
    記線形予測係数を有する線形予測合成フィルタを励振し
    て再生音声信号を再生する音声復号化方法であり、 前段までの復号化で設定されたパルス位置よりも、まだ
    パルスが配置されていないパルス位置を優先したパルス
    位置候補情報に基づいて現段の励振信号を復号化する第
    1のステップと、 前記第1のステップで復号化された現段の励振信号と前
    記線形予測係数とを用いて補助再生信号を生成する第2
    のステップとを少なくとも含むことを特徴とする音声復
    号化方法。
  18. 【請求項18】 前記第1のステップは、前段までの復号
    化で設定されたパルス位置よりも、まだパルスが配置さ
    れていないパルス位置を優先したパルス位置候補情報を
    設定する補助マルチパルス設定ステップと、前記補助マ
    ルチパルス設定ステップで設定されたパルス位置候補情
    報に基づいて現段の励振信号を復号化する補助マルチパ
    ルス復号化ステップとを少なくとも含むことを特徴とす
    る請求項18記載の音声復号化方法。
  19. 【請求項19】 請求項16に記載の音声符号化方法と請
    求項17又は18に記載の音声復号化方法とを組み合わ
    せてなる音声符号化復号化方法。
JP9086663A 1997-04-04 1997-04-04 音声符号化装置及び復号装置 Expired - Lifetime JP3063668B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP9086663A JP3063668B2 (ja) 1997-04-04 1997-04-04 音声符号化装置及び復号装置
CA002233146A CA2233146C (en) 1997-04-04 1998-03-26 Audio encoding apparatus and audio decoding apparatus
US09/053,606 US6192334B1 (en) 1997-04-04 1998-04-01 Audio encoding apparatus and audio decoding apparatus for encoding in multiple stages a multi-pulse signal
EP98250117A EP0869477B1 (en) 1997-04-04 1998-04-02 Multiple stage audio decoding
DE69830816T DE69830816T2 (de) 1997-04-04 1998-04-02 Mehrstufige Audiodekodierung
EP04090222A EP1473710B1 (en) 1997-04-04 1998-04-02 Multistage multipulse excitation audio encoding apparatus and method
DE69837296T DE69837296T2 (de) 1997-04-04 1998-04-02 Verfahren und Vorrichtung zur Audiokodierung mittels einer mehrstufigen Mehrimpulsanregung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9086663A JP3063668B2 (ja) 1997-04-04 1997-04-04 音声符号化装置及び復号装置

Publications (2)

Publication Number Publication Date
JPH10282997A JPH10282997A (ja) 1998-10-23
JP3063668B2 true JP3063668B2 (ja) 2000-07-12

Family

ID=13893282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9086663A Expired - Lifetime JP3063668B2 (ja) 1997-04-04 1997-04-04 音声符号化装置及び復号装置

Country Status (5)

Country Link
US (1) US6192334B1 (ja)
EP (2) EP1473710B1 (ja)
JP (1) JP3063668B2 (ja)
CA (1) CA2233146C (ja)
DE (2) DE69830816T2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2252170A1 (en) 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
EP1190460A4 (en) * 1999-05-06 2003-03-12 Sandia Corp FUEL CELL AND MEMBRANE
US6236960B1 (en) * 1999-08-06 2001-05-22 Motorola, Inc. Factorial packing method and apparatus for information coding
JP4304360B2 (ja) 2002-05-22 2009-07-29 日本電気株式会社 音声符号化復号方式間の符号変換方法および装置とその記憶媒体
JP4789430B2 (ja) 2004-06-25 2011-10-12 パナソニック株式会社 音声符号化装置、音声復号化装置、およびこれらの方法
US8265929B2 (en) * 2004-12-08 2012-09-11 Electronics And Telecommunications Research Institute Embedded code-excited linear prediction speech coding and decoding apparatus and method
ATE513290T1 (de) * 2005-03-09 2011-07-15 Ericsson Telefon Ab L M Wenig komplexe codeerregte linearprädiktions- codierung
US8000967B2 (en) 2005-03-09 2011-08-16 Telefonaktiebolaget Lm Ericsson (Publ) Low-complexity code excited linear prediction encoding
KR101414359B1 (ko) * 2007-03-02 2014-07-22 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치 및 부호화 방법
JP5403949B2 (ja) * 2007-03-02 2014-01-29 パナソニック株式会社 符号化装置および符号化方法
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
US7889103B2 (en) * 2008-03-13 2011-02-15 Motorola Mobility, Inc. Method and apparatus for low complexity combinatorial coding of signals
US20110035214A1 (en) * 2008-04-09 2011-02-10 Panasonic Corporation Encoding device and encoding method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3024467B2 (ja) 1993-12-10 2000-03-21 日本電気株式会社 音声符号化装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4890327A (en) * 1987-06-03 1989-12-26 Itt Corporation Multi-rate digital voice coder apparatus
SE463691B (sv) 1989-05-11 1991-01-07 Ericsson Telefon Ab L M Foerfarande att utplacera excitationspulser foer en lineaerprediktiv kodare (lpc) som arbetar enligt multipulsprincipen
US5060269A (en) * 1989-05-18 1991-10-22 General Electric Company Hybrid switched multi-pulse/stochastic speech coding technique
US5091945A (en) * 1989-09-28 1992-02-25 At&T Bell Laboratories Source dependent channel coding with error protection
US4980916A (en) * 1989-10-26 1990-12-25 General Electric Company Method for improving speech quality in code excited linear predictive speech coding
US5307441A (en) * 1989-11-29 1994-04-26 Comsat Corporation Wear-toll quality 4.8 kbps speech codec
US5097507A (en) * 1989-12-22 1992-03-17 General Electric Company Fading bit error protection for digital cellular multi-pulse speech coder
JP3114197B2 (ja) 1990-11-02 2000-12-04 日本電気株式会社 音声パラメータ符号化方法
US5138661A (en) * 1990-11-13 1992-08-11 General Electric Company Linear predictive codeword excited speech synthesizer
US5127053A (en) * 1990-12-24 1992-06-30 General Electric Company Low-complexity method for improving the performance of autocorrelation-based pitch detectors
CA2137756C (en) * 1993-12-10 2000-02-01 Kazunori Ozawa Voice coder and a method for searching codebooks
AU696092B2 (en) * 1995-01-12 1998-09-03 Digital Voice Systems, Inc. Estimation of excitation parameters

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3024467B2 (ja) 1993-12-10 2000-03-21 日本電気株式会社 音声符号化装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Proceedings of IEEE 1991 International Conference on Acoustics,Speech and Signal Processing,Vol.1,"S9.29 Embedded CELP Coding for Variable Bit−Rate Between 6.4 and 9.6 kbit/s" p.681−684
日本音響学会平成8年度春季研究発表会講演論文集 1−4−22「マルチパルスベクトル量子化と位置の高速探索を用いるMP−CELP音声符号化の検討」p.261−262(平成8年3月26日発行)
日本音響学会平成8年度春季研究発表会講演論文集 2−P−5「CELPにおけるパルス励振源の効率的な探索」p.311−312(平成8年3月26日発行)
日本音響学会平成9年度秋季研究発表会講演論文集 3−2−6「AMR標準化向けマルチレートMP−CELPの音質評価」p.277−278(平成9年9月17日発行)
電子情報通信学会1997年総合大会講演論文集,情報・システム1,SD−5−3,「ビットレート制御可能なMP−CELP音声符号化方式」,p.348−349,(1997年3月6日発行)
電子情報通信学会論文誌,Vol.J79−A No.10,October 1996,「マルチパルスベクトル量子化音源と高速探索に基づくMP−CELP音声符号化」,p.1655−1663(平成8年10月25日発行)

Also Published As

Publication number Publication date
DE69837296T2 (de) 2007-11-08
CA2233146A1 (en) 1998-10-04
EP1473710B1 (en) 2007-03-07
DE69830816T2 (de) 2006-04-20
EP0869477A3 (en) 1999-04-21
EP0869477B1 (en) 2005-07-13
EP1473710A1 (en) 2004-11-03
US6192334B1 (en) 2001-02-20
DE69830816D1 (de) 2005-08-18
EP0869477A2 (en) 1998-10-07
CA2233146C (en) 2002-02-19
JPH10282997A (ja) 1998-10-23
DE69837296D1 (de) 2007-04-19

Similar Documents

Publication Publication Date Title
JP3134817B2 (ja) 音声符号化復号装置
JPH0353300A (ja) 音声符号化装置
JP3063668B2 (ja) 音声符号化装置及び復号装置
JP4304360B2 (ja) 音声符号化復号方式間の符号変換方法および装置とその記憶媒体
JP3137176B2 (ja) 音声符号化装置
JPH09281995A (ja) 信号符号化装置及び方法
JP2002268696A (ja) 音響信号符号化方法、復号化方法及び装置並びにプログラム及び記録媒体
JP3582589B2 (ja) 音声符号化装置及び音声復号化装置
JPH1097295A (ja) 音響信号符号化方法及び復号化方法
JP3335841B2 (ja) 信号符号化装置
JPH0944195A (ja) 音声符号化装置
JP3329216B2 (ja) 音声符号化装置及び音声復号装置
JP3303580B2 (ja) 音声符号化装置
JP3299099B2 (ja) 音声符号化装置
JPH0519795A (ja) 音声の励振信号符号化・復号化方法
JP2004348120A (ja) 音声符号化装置、音声復号化装置及びこれらの方法
JP3490325B2 (ja) 音声信号符号化方法、復号方法およびその符号化器、復号器
JP2968109B2 (ja) コード励振線形予測符号化器及び復号化器
JP3319396B2 (ja) 音声符号化装置ならびに音声符号化復号化装置
JP3552201B2 (ja) 音声符号化方法および装置
JPH08185199A (ja) 音声符号化装置
JP2002073097A (ja) Celp型音声符号化装置とcelp型音声復号化装置及び音声符号化方法と音声復号化方法
JP2853170B2 (ja) 音声符号化復号化方式
JP3410931B2 (ja) 音声符号化方法及び装置
JP3845316B2 (ja) 音声符号化装置及び音声復号装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090512

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140512

Year of fee payment: 14

EXPY Cancellation because of completion of term