JPH06186999A - 音声コーデック装置 - Google Patents

音声コーデック装置

Info

Publication number
JPH06186999A
JPH06186999A JP4337650A JP33765092A JPH06186999A JP H06186999 A JPH06186999 A JP H06186999A JP 4337650 A JP4337650 A JP 4337650A JP 33765092 A JP33765092 A JP 33765092A JP H06186999 A JPH06186999 A JP H06186999A
Authority
JP
Japan
Prior art keywords
circuit
maximum value
voice
signal
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4337650A
Other languages
English (en)
Other versions
JP2947685B2 (ja
Inventor
Takahiko Nakano
貴彦 中野
Shuichi Yoshikawa
修一 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP4337650A priority Critical patent/JP2947685B2/ja
Publication of JPH06186999A publication Critical patent/JPH06186999A/ja
Priority to US08/540,314 priority patent/US5600755A/en
Application granted granted Critical
Publication of JP2947685B2 publication Critical patent/JP2947685B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【目的】 簡潔なシステム構成で、復号化される信号の
最大振幅を符号化時に検出でき、復号化時に出力信号の
ゲイン制御を的確に行うことが可能な音声コーデック装
置を実現する。 【構成】 減算器1、量子化回路2、符号化回路3、ス
テップ幅決定回路4、加算器5および予測回路6で構成
される予測符号化装置Xで入力される音声信号を差分量
子化方式で音声符号に符号化して記憶装置8の記憶領域
Aに蓄積する。また、最大値検出回路7で予測回路6の
出力である予測値を監視し、符号化の終了時に予測値の
最大値を検出して記憶装置8の記憶領域Bに蓄積する。
再生時には、ゲイン決定回路13が記憶領域Bに蓄積さ
れた最大値を読み出し、この最大値に基づき、符号化装
置Yにより記憶装置8の記憶領域Aから読み出され、音
声列に復号化される信号のゲインを決定、制御して出力
する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、音声コーデック(CO
DEC:coderとdecoderとの合成語)装置
に関し、特に予測符号化を行う音声コーデック装置に関
する。
【0002】
【従来の技術】スピーカや電話機等に装備される音声コ
ーデック装置においては、復号化した出力信号の利得
(以下ゲインという)を制御する必要があり、一般に、
このゲイン制御は、符号化しようとする音声信号(入力
音声信号)を監視することにより行われる。
【0003】この監視の簡略な方法として、符号化しよ
うとする音声信号の振幅を振幅検出回路で監視し、検出
されたその最大振幅値を用いる方法がある。この方法の
詳細は、特開昭59−44684号公報で提案された
「音声記憶機能付電子時計」に開示されており、そこで
は、符号化時に音声信号を監視し、検出された音声信号
の振幅の最大値を記憶しておき、復号化時に記憶した振
幅の最大値を基にゲインが最適になるように制御してい
る。
【0004】
【発明が解決しようとする課題】しかしながら、上記の
ように、入力信号である音声信号の振幅の最大値を検出
し、この最大値に基づきゲイン制御を行う従来例では、
符号化しようとする音声信号にインパルス性雑音が入っ
ている場合に、このインパルス性雑音と符号化しようと
する音声信号とを区別できないため、インパルス性雑音
を入力信号の最大値として誤検出するおそれがあり、ゲ
イン利得の制御を的確に行えないという問題がある。
【0005】図3に基づき今少し説明すると、同図
(a)に示すように、入力信号Sにインパルス性雑音N
が存在する場合は、入力信号Nの監視を行っている振幅
検出回路がそのピーク値を入力信号Sの最大値Smax
として誤検出し、これを記憶装置であるRAMに蓄積す
る。そして、ゲイン自動調整回路が復号時にRAMに蓄
積された最大値Smaxを読み出し、この最大値Sma
xに基づき出力信号のゲインを決定するので、ゲイン制
御を的確に行うことができない。
【0006】このような方法を、音声信号を最適に予測
できるように設計されている予測回路を用いた音声コー
デック装置に適用すると、音声と異なる性質を持つイン
パルス性雑音は追従できないため、復号化時にはインパ
ルス性雑音が再現されない。このため、符号化しようと
する音声信号の最大値、即ち、インパルス性雑音の最大
値Smaxを用いて復号化時のゲインを制御すると、図
3(b)に示すように、復号化時に本来の音声信号が更
に小さくなり(同図中の入力信号の最大値と予測波形の
最大値との差より明らか)、出力側で適正な音量が得ら
れないという問題がある。
【0007】すなわち、上記のような監視方法を予測回
路を用いた音声コーデック装置に適用すると、符号化さ
れる入力信号の最大値と復号化される信号の最大値との
間にギャップが存在するおそれがあるため、出力信号の
ゲイン制御を的確に行うことができない。
【0008】なお、音声と異なる性質を持つインパルス
性雑音が追従できないのは、以下の理由による。すなわ
ち、予測符号化を行う場合、予測符号化に用いる音声の
性質として、音声信号の相関があり、この音声信号の相
関は、鈴木久喜訳:”音声のディジタル信号処理
(上)”コロナ社(昭53年)に詳しく記載されてお
り、インパルス性雑音や瞬断による雑音は、相関が小さ
いため追従せず低域通過フィルタによる雑音消去と同等
の効果が得られることによる。
【0009】本発明はこのような従来技術の問題点を解
決するものであり、簡潔なシステム構成で、復号化され
る信号の最大振幅を符号化時に検出でき、復号化時に出
力信号のゲイン制御を的確に行うことが可能な音声コー
デック装置を提供することを目的とする。
【0010】
【課題を解決するための手段】本発明の音声コーデック
装置は、予測符号化を行う音声コーデック装置におい
て、符号化を行うときに生成する予測値の最大値を用い
て復号化時の利得を制御する自動利得制御回路を有して
おり、そのことにより上記目的が達成される。
【0011】好ましくは、前記自動利得制御回路を、入
力される音声信号を符号化すると共に、予測値を生成す
る予測符号化回路と、該予測符号化回路が生成した予測
値を監視し、符号化が終了した時点で該予測値の最大値
を入力された音声信号の最大振幅として検出する最大値
検出回路と、該最大値および符号化された音声符号を蓄
積する記憶回路と、復号時に、該記憶回路に蓄積された
該最大値を読み出し、該最大値により復号化回路の出力
信号の利得を決定する利得決定回路とで構成する。
【0012】また、好ましくは前記予測符号化回路とし
て、差分量子化の予測符号化を行うものを用いる。
【0013】また、好ましくは、前記記憶回路として、
前記音声符号と前記最大値とをそれぞれ独立して記憶す
る固体記憶装置を使用する。
【0014】
【作用】上記のように、符号化を行うときに生成される
予測値の最大値を入力された音声信号の最大振幅として
記憶しておき、復号化時にこの最大値を読み出し、これ
に基づきゲイン制御を行うものとすると、この予測値は
復号化時の信号と等しいため、復号化時の最大振幅を符
号化時に得ることができる。従って、復号化学時のゲイ
ン調整を的確に行うことができる。
【0015】以下に図2に従って、このゲイン制御の原
理が適用される本発明音声コーデック装置の概略構成を
その作用と共に説明する。まず、本発明音声コーデック
装置では、符号化時には入力信号、即ち音声信号そのも
のの振幅の最大値を検出するのではなく、符号化装置3
0が生成した予測値を最大値検出回路70で監視し、符
号化装置30の符号化が終了した時点で、最大値検出回
路70が符号化された予測値の最大値を検出し、検出し
た最大値を記憶装置(RAM)に蓄積する。
【0016】そして、復号化時には、まずゲイン決定回
路130が記憶装置に蓄積された最大値を読み出し、こ
の最大値に基づき復号化装置100から与えられる出力
信号のゲインを決定する。これにより、最適な振幅で再
生された復号化信号が得られる。
【0017】なお、符号化装置30により生成された予
測値(音声符号)は記憶装置80に一旦蓄積され、その
後、復号化装置100により復号されてゲイン決定回路
130に与えられる。
【0018】
【実施例】以下に本発明の実施例を説明する。
【0019】図1は差分量子化を用いて予測符号化を行
う音声コーデック装置に本発明を適用した実施例を示
す。
【0020】ここで、差分量子化を用いた予測符号化は
従来より良く知られており、例えば古井貞煕著:”ディ
ジタル信号処理”東海大学出版会(昭60年)にその詳
細が記載されている。この差分量子化を用いた予測符号
化は、入力信号から次の信号を予測して、その予測誤差
を符号化することにより高圧縮の符号化を実現する手法
である。
【0021】今少し説明すると、標本化処理された音声
信号(入力信号)は隣接標本間のみならず、更に離れた
点の間でも相関がある。このため、隣接標本間の差信号
(差分)、或はその相関を利用して予測した値と実際の
標本値の差分(予測誤差)を符号化すれば標本化デー
タ、すなわち情報の高圧縮を行うことができる。
【0022】このように高圧縮の符号化を行うと、記憶
しなければならない音声符号(符号化データ)の量を小
さくできるので、記憶装置として、RAMに代表される
小容量の固体記憶装置を使用できる利点がある。
【0023】また、固体記憶装置は、磁気記録テープと
異なり任意の位置に蓄積されたデータをランダムに取り
出すことができるので、以下に示すような音声符号と最
大値検出回路7で検出された最大値を別々に記憶するこ
とができる。すなわち、ある音声列を記録再生する場
合、音声列の音声符号を記憶装置の記憶領域Aに、音声
列の最大値を記憶領域Bに、それぞれ区分けして記憶で
きる利点がある。
【0024】以下に本発明音声コーデック装置の回路構
成を動作と共に説明する。入力信号である音声信号は、
減算器1、量子化回路2、符号化回路3、ステップ幅決
定回路4、加算器5および予測回路6で構成される予測
符号化装置Xによって上記した差分量子化の手法に従っ
て音声符号に符号化される。
【0025】今少し説明すると、量子化回路2には入力
信号と予測回路6の出力である予測値との差分が与えら
れ、この差分を量子化した信号が符号化回路3によって
符号化されて音声符号としてRAMからなる記憶装置8
の記憶領域Aに一旦蓄積される。すなわち、音声列を符
号化した音声符号を記憶装置8の記憶領域Aに蓄積す
る。
【0026】なお、量子化回路2および符号化回路3に
は、ステップ幅決定回路4よりステップ幅係数を設定す
るためのフィードバック信号が与えられ、これにより最
適の値のステップ幅係数が設定される。このようにステ
ップ幅係数を最適のものに設定すると、S/N比を向上
できる利点がある。
【0027】予測回路6の出力は最大値検出回路7によ
って監視されている。最大値検出回路7は、符号化回路
3による符号化が終了した時点で予測値の最大値を検出
し、この最大値を記憶装置8の記憶領域Bに蓄積する。
【0028】記憶装置8の記憶領域A、Bに対する具体
的な記憶手法は以下の通りである。すなわち、記憶領域
Aの位置は、16進数で0000からFFFFとし、記
憶領域Bの位置は、1000から1000Fとする。従
って、例えば3番目の音声列が入って来たとき、これを
符号した音声符号は0300から03FFに記憶する。
そして、予測値の最大値は音声符号を記憶する位置の先
頭の値の3を用いて1003の位置に記憶する。このよ
うな記憶方式により、F個の音声列の音声符号と最大値
を独立に、しかも共通の値で記憶することができる。従
って、復号化時に読み出しが容易に行える。
【0029】次に、符号化されたデータの再生、即ち復
号化について説明する。再生時には、ステップ幅決定回
路9、復号化回路10、加算器11および予測回路12
で構成される復号化装置Yが記憶装置8の記憶領域Aよ
り音声符号を読み出してゲイン決定回路13に出力す
る。今少し具体的に説明すると、ステップ幅決定回路9
により決定されるステップ幅係数で復号化回路10が記
憶装置8の記憶領域Aに蓄積された音声符号を読み出
す。そして、加算器11および予測回路12により音声
符号が元の音声信号に対応した音声列に復号化され、こ
の音声列がゲイン決定回路13に与えられる。
【0030】また、ゲイン決定回路13は記憶装置8の
記憶領域Bに蓄積された最大値を読み出し、この最大値
に基づき音声列のゲインを決定する。すなわち、音声列
の振幅の最大値が再生する音量の最適値になるようにゲ
イン制御する。ゲイン制御された出力信号はスピーカ等
の出力側に出力する。この時、記憶装置8の記憶領域B
は音声符号が蓄積されている記憶領域Aの位置とは独立
しているので、ゲインを制御する必要のない場合は、ゲ
イン決定回路13は最大値を読み出す必要がなく、この
場合に音声列に悪影響が及ぶことがない。
【0031】上記の実施例から明かなように、本発明で
は音声コーデック部分に従来からの一般的な手法をその
まま利用でき、既存のシステムに予測値の最大値を検出
する最大値検出回路7と、この最大値に基づいて出力信
号のゲインを決定、制御するゲイン決定回路13を追加
するだけで、的確なゲイン制御が可能な音声コーデック
装置を実現できる。
【0032】また、音声コーデックは、ソフトウェアで
実現されることが多いため、新たに追加される回路もハ
ードウェアを追加することなく、簡単に実現できる。す
なわち、該当するソフトウェアが搭載されたROM、M
PUおよびRAM等を備えたシステム構成で簡単に実現
できる。
【0033】なお、予測符号化方式については、上記の
差分量子化方式に限定されるものではない。
【0034】
【発明の効果】以上の本発明音声コーデック装置によれ
ば、復号化した信号の最大振幅を符号化時に検出できる
ので、復号化時に的確なゲイン制御で最適な出力信号の
振幅を得ることができる。従って、本発明の音声コーデ
ック装置が音声コーデック部に備えられた電話機や音響
機器等では、例えば、復号化した信号をスピーカで再生
する場合に、スピーカに過大入力を与えることのない最
大限の音量で精度よく再生することができる。それ故、
このような機器の信頼性を向上できる。
【0035】また、特に請求項3記載の音声コーデック
装置によれば、予測符号化を差分量子化方式で行うの
で、データの高圧縮化が図れ、記憶装置としてRAMに
代表される小容量の固体記憶装置を用いることができる
ので、かかる固体記憶装置が有する利点も併せて享受す
ることができる。
【図面の簡単な説明】
【図1】差分量子化方式で予測符号化を行う音声コーデ
ック装置に本発明を適用した実施例を示すブロック図。
【図2】本発明音声コーデック装置における利得制御方
法の原理を説明するためのブロック図。
【図3】従来方法の問題点を説明するための波形図。
【符号の説明】
1 減算器 2 量子化回路 3 符号化回路 4 ステップ幅決定回路 5 加算器 6 予測回路 7 最大値検出回路 8 記憶装置 9 ステップ幅決定回路 10 復号化回路 11 加算器 12 予測回路 13 ゲイン決定回路 X 予測符号化装置 Y 復号化装置

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 予測符号化を行う音声コーデック装置に
    おいて、 符号化を行うときに生成する予測値の最大値を用いて復
    号化時の利得を制御する自動利得制御回路を有する音声
    コーデック装置。
  2. 【請求項2】 前記自動利得制御回路が、 入力される音声信号を符号化すると共に、予測値を生成
    する予測符号化回路と、 該予測符号化回路が生成した予測値を監視し、符号化が
    終了した時点で該予測値の最大値を入力された音声信号
    の最大振幅として検出する最大値検出回路と、 該最大値および符号化された音声符号を蓄積する記憶回
    路と、 復号時に、該記憶回路に蓄積された該最大値を読み出
    し、該最大値により復号化回路の出力信号の利得を決定
    する利得決定回路とで構成されている請求項1記載の音
    声コーデック装置。
  3. 【請求項3】 前記予測符号化回路が差分量子化で予測
    符号化を行う請求項2記載の音声コーデック装置。
  4. 【請求項4】 前記記憶回路が、前記音声符号と前記最
    大値とをそれぞれ独立して記憶する固体記憶装置である
    請求項2記載の音声コーデック装置。
JP4337650A 1992-12-17 1992-12-17 音声コーデック装置 Expired - Lifetime JP2947685B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP4337650A JP2947685B2 (ja) 1992-12-17 1992-12-17 音声コーデック装置
US08/540,314 US5600755A (en) 1992-12-17 1995-10-11 Voice codec apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4337650A JP2947685B2 (ja) 1992-12-17 1992-12-17 音声コーデック装置

Publications (2)

Publication Number Publication Date
JPH06186999A true JPH06186999A (ja) 1994-07-08
JP2947685B2 JP2947685B2 (ja) 1999-09-13

Family

ID=18310653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4337650A Expired - Lifetime JP2947685B2 (ja) 1992-12-17 1992-12-17 音声コーデック装置

Country Status (2)

Country Link
US (1) US5600755A (ja)
JP (1) JP2947685B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122204A (ja) * 2007-11-12 2009-06-04 Nippon Telegr & Teleph Corp <Ntt> 音量調整装置、方法及びプログラム
JP2018163379A (ja) * 2010-12-03 2018-10-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 複数のメディア処理ノードによる適応処理
CN111081226A (zh) * 2018-10-18 2020-04-28 北京搜狗科技发展有限公司 语音识别解码优化方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5944684A (ja) * 1982-09-07 1984-03-13 Seiko Epson Corp 音声記憶機能付き電子機器
DE3783905T2 (de) * 1987-03-05 1993-08-19 Ibm Verfahren zur grundfrequenzbestimmung und sprachkodierer unter verwendung dieses verfahrens.
US5285520A (en) * 1988-03-02 1994-02-08 Kokusai Denshin Denwa Kabushiki Kaisha Predictive coding apparatus
JPH087597B2 (ja) * 1988-03-28 1996-01-29 日本電気株式会社 音声符号化器
US5307441A (en) * 1989-11-29 1994-04-26 Comsat Corporation Wear-toll quality 4.8 kbps speech codec
JP2895895B2 (ja) * 1989-12-29 1999-05-24 シャープ株式会社 変復調装置
US5233660A (en) * 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
US5327520A (en) * 1992-06-04 1994-07-05 At&T Bell Laboratories Method of use of voice message coder/decoder

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122204A (ja) * 2007-11-12 2009-06-04 Nippon Telegr & Teleph Corp <Ntt> 音量調整装置、方法及びプログラム
JP2018163379A (ja) * 2010-12-03 2018-10-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 複数のメディア処理ノードによる適応処理
JP2019152874A (ja) * 2010-12-03 2019-09-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 複数のメディア処理ノードによる適応処理
JP2020013143A (ja) * 2010-12-03 2020-01-23 ドルビー ラボラトリーズ ライセンシング コーポレイション 複数のメディア処理ノードによる適応処理
CN111081226A (zh) * 2018-10-18 2020-04-28 北京搜狗科技发展有限公司 语音识别解码优化方法及装置
CN111081226B (zh) * 2018-10-18 2024-02-13 北京搜狗科技发展有限公司 语音识别解码优化方法及装置

Also Published As

Publication number Publication date
JP2947685B2 (ja) 1999-09-13
US5600755A (en) 1997-02-04

Similar Documents

Publication Publication Date Title
US7698135B2 (en) Voice detecting method and apparatus using a long-time average of the time variation of speech features, and medium thereof
US7406411B2 (en) Bit error concealment methods for speech coding
EP0424161A2 (en) System for coding and decoding an orthogonally transformed audio signal
JPS6011360B2 (ja) 音声符号化方式
JPH02288520A (ja) 背景音再生機能付き音声符号復号方式
US4918729A (en) Voice signal encoding and decoding apparatus and method
JPH06303592A (ja) ディジタルビデオ信号の符号化装置
JP2947685B2 (ja) 音声コーデック装置
JP3227929B2 (ja) 音声符号化装置およびその符号化信号の復号化装置
KR100529267B1 (ko) 음성부호화복호화방법
JP2905215B2 (ja) 録音再生装置
JPH0426565B2 (ja)
KR0141237B1 (ko) 음성신호 기록/재생방법 및 그 장치
JP3753956B2 (ja) 符号化装置
JP2000049614A (ja) 再生装置
KR100776432B1 (ko) 오디오 기록 재생 장치 및 그 장치에서 실행 가능한 압축률개선을 위한 오디오 코딩 방법
JPS63231500A (ja) 音声符号化方式
JP2730028B2 (ja) 線形予測符号化方法
JPH0816199A (ja) 録音装置
JP2602641B2 (ja) 音声符号化方式
JPH0637734A (ja) 音声伝送方式
JP2679164B2 (ja) 符号化装置と復号化装置
JP2992994B2 (ja) デジタルオーディオデータのエンコード方法
JP2002366197A (ja) 音楽再生装置
JPH0683399A (ja) 音声符号化の無音化処理方式

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990617

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070702

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080702

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090702

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100702

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110702

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110702

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120702

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120702

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 14

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 14