JP2000029499A - 音声符号化装置ならびに音声符号化復号化装置 - Google Patents

音声符号化装置ならびに音声符号化復号化装置

Info

Publication number
JP2000029499A
JP2000029499A JP10197154A JP19715498A JP2000029499A JP 2000029499 A JP2000029499 A JP 2000029499A JP 10197154 A JP10197154 A JP 10197154A JP 19715498 A JP19715498 A JP 19715498A JP 2000029499 A JP2000029499 A JP 2000029499A
Authority
JP
Japan
Prior art keywords
signal
sound source
unit
gain
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10197154A
Other languages
English (en)
Other versions
JP3319396B2 (ja
Inventor
Kazunori Ozawa
一範 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP19715498A priority Critical patent/JP3319396B2/ja
Priority to US09/743,543 priority patent/US6856955B1/en
Priority to CA002337063A priority patent/CA2337063A1/en
Priority to PCT/JP1999/003722 priority patent/WO2000003385A1/ja
Priority to DE69931642T priority patent/DE69931642T2/de
Priority to EP99929775A priority patent/EP1113418B1/en
Publication of JP2000029499A publication Critical patent/JP2000029499A/ja
Application granted granted Critical
Publication of JP3319396B2 publication Critical patent/JP3319396B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】 【課題】 低ビットレートでも良好な音質の得られる音
声符号化装置の提供。 【解決手段】 音声符号化装置のモード判別回路800
において、サブフレーム毎に入力音声信号から特徴量
を用いてモードを判別し、音源量子化回路350におい
て、あらかじめ定められたモードの場合に、非零のパル
スの振幅もしくは極性をあらかじめ計算し、あらかじめ
定められたパルスの位置を時間的にシフトする複数のシ
フト量とゲインを量子化するゲインコードベクトルとの
組み合わせを探索し、再生音声と入力音声との歪みを最
小にするゲインコードベクトルとシフト量の組合せを選
択する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、音声信号を低いビ
ットレートで高品質に符号化するための音声符号化装置
ならびに音声符号化復号化装置に関するものである。
【0002】
【従来の技術】音声信号を高能率に符号化する方式とし
ては、例えば、M.Schroeder and B.Atal 氏による"Code
-excited linear prediction: High quality speech at
verylow bit rates" (Proc. ICASSP, pp.937-940, 198
5 年)と題した論文(文献1)や、Kleijn 氏らによる"
Improved speech quality and efficient vector quant
ization in SELP" (Proc. ICASSP, pp.155-158,1988
年)と題した論文(文献2)などに記載されているCELP
(Code Excited Linear Predictive Coding ) が知られ
ている。この従来例では、送信側では、フレーム毎(例
えば20ms)に音声信号から線形予測(LPC)分析
を用いて、音声信号のスペクトル特性を表すスペクトル
パラメータを抽出する。フレームをさらにサブフレーム
(例えば5ms)に分割し、サブフレーム毎に過去の音
源信号を基に適応コードブックにおけるパラメータ(ピ
ッチ周期に対応する遅延パラメータとゲインパラメー
タ)を抽出し、適応コードブックにより前記サブフレー
ムの音声信号をピッチ予測する。ピッチ予測して求めた
音源信号に対して、予め定められた種類の雑音信号から
なる音源コーブック(ベクトル量子化コードブック)か
ら最適な音源コードベクトルを選択し、最適なゲインを
計算することにより、音源信号を量子化する。音源コー
ドベクトルの選択の仕方は、選択した雑音信号により合
成した信号と、前記残差信号との誤差電力を最小化する
ように行う。そして、選択されたコードベクトルの種類
を表すインデクスとゲインならびに、前記スペクトルパ
ラメータと適応コードブックのパラメータをマルチプレ
クサ部により組み合わせて伝送する。受信側の説明は省
略する。
【0003】
【発明が解決しようとする課題】前記従来法では音源コ
ードブックから最適な音源コードベクトルを選択するの
に多大な演算量を要するという問題があった。これは、
文献1や2の方法では、音源コードベクトルを選択する
のに、各コードベクトルに対して一旦フィルタリングも
しくは畳み込み演算を行ない、この演算をコードブック
に格納されているコードベクトルの個数だけ繰り返すこ
とに起因する。例えば、コードブックのビット数がBビ
ットで、次元数がNのときは、フィルタリングあるいは
畳み込み演算のときのフィルタあるいはインパルス応答
長をKとすると、演算量は1秒当たり、NxKx2Bx
8000/Nだけ必要となる。一例として、B=10、
N=40、k=10とすると、1秒当たり81,92
0,000回の演算が必要となり、極めて膨大であると
いう問題点があった。
【0004】音源コードブック探索に必要な演算量を低
減する方法として、種々のものが提案されている。例え
ば、ACELP (Argebraic Code Excited Linear Predictio
n )方式が提案されている。これは、例えば、C.Laflamm
e らによる"16 kbps wideband speech coding techniqu
e based on algebraic CELP" と題した論文(Proc. ICAS
SP, pp. 13-16, 1991) (文献3)等を参照することが
できる。文献3の方法によれば、音源信号を複数個のパ
ルスで表し、各パルスの位置をあらかじめ定められたビ
ット数で表し伝送する。ここで、各パルスの振幅は+
1.0もしくは−1.0に限定されているため、パルス
探索の演算量を大幅に低減化できる。文献3の従来法で
は、演算量を大幅に低減化することが可能となる。
【0005】次に、8kb/s以上のビットレートでは
良好な音質が得られるが、それ未満のビットレートで
は、特に音声に背景雑音が重畳している場合に、パルス
の個数が充分でなく、符号化音声の背景雑音部分の音質
が極めて劣化するとい問題点があった。この理由として
は、音源信号を複数個のパルスの組合せで表すので、音
声の母音区間では、パルスがピッチの開始点であるピッ
チパルスの近辺に集中するために、少ない個数のパルス
で効率的に表すことができるが、背景雑音のようなラン
ダム信号に対しては、パルスをランダムに立てる必要が
あるため、少ない個数のパルスでは、背景雑音を良好に
表すことは困難であり、ビットレートを低減化し、パル
スの個数が削減されると、背景雑音に対する音質が急激
に劣化していた。
【0006】本発明の目的は、上述の問題を解決し、ビ
ットレートが低い場合にも、比較的少ない演算量で、特
に背景雑音に対する音質の劣化の少ない音声符号化方式
を提供することにある。
【0007】
【課題を解決するための手段】本発明によれば、音声信
号を入力しスペクトルパラメータを求めて量子化するス
ペクトルパラメータ計算部と、過去の量子化された音源
信号から適応コードブックにより遅延とゲインを求め音
声信号を予測して残差を求める適応コードブック部と、
前記スペクトルパラメータを用いて前記音声信号の音源
信号を量子化して出力する音源量子化部とを有する音声
符号化装置において、前記音声信号から特徴を抽出して
モードを判別する判別部と、前記判別部の出力があらか
じめ定められたモードの場合に、音源信号を複数個の非
零のパルスの組合せで表わし、前記音源信号のゲインを
量子化するゲインコードブックを有し、前記音声信号か
ら前記パルスの振幅もしくは極性をあらかじめ算出し、
前記パルスの位置をシフトする複数のシフト量とゲイン
コードブックに格納されたゲインコードベクトルとの組
み合わせについて探索し、入力音声と再生信号との歪み
を最小にするようにシフト量とゲインコードベクトルと
の組合せを選択して出力する音源量子化部と、スペクト
ルパラメータ計算部の出力と判別部の出力と適応コード
ブック部の出力と音源量子化部の出力とを組み合わせて
出力するマルチプレクサ部とを有することを特徴とする
音声符号化装置が得られる。
【0008】本発明によれば、音声信号を入力しスペク
トルパラメータを求めて量子化するスペクトルパラメー
タ計算部と、過去の量子化された音源信号から適応コー
ドブックにより遅延とゲインを求め音声信号を予測して
残差を求める適応コードブック部と、前記スペクトルパ
ラメータを用いて前記音声信号の音源信号を量子化して
出力する音源量子化部とを有する音声符号化装置におい
て、前記音声信号から特徴を抽出してモードを判別する
判別部と、前記判別部の出力があらかじめ定められたモ
ードの場合に音源信号を複数個の非零のパルスの組合せ
で表わし、前記音源信号のゲインを量子化するゲインコ
ードブックを有し、あらかじめ定められた規則により前
記パルスの位置をすくなくとも1セット発生し、前記パ
ルスの振幅もしくは極性を前記音声信号からあらかじめ
算出し、前記パルスの位置とゲインコードブックに格納
されたゲインコードベクトルとの組み合わせについて探
索し、入力音声と再生信号との歪みを最小にするように
位置とゲインコードベクトルとの組合せを選択して出力
する音源量子化部と、スペクトルパラメータ計算部の出
力と前記判別部の出力と適応コードブック部の出力と音
源量子化部の出力とを組み合わせて出力するマルチプレ
クサ部とを有することを特徴とする音声符号化装置が得
られる。
【0009】本発明によれば、符号化側では、音声信号
を入力しスペクトルパラメータを求めて量子化するスペ
クトルパラメータ計算部と、過去の量子化された音源信
号から適応コードブックにより遅延とゲインを求め音声
信号を予測して残差を求める適応コードブック部と、前
記スペクトルパラメータを用いて前記音声信号の音源信
号を量子化して出力する音源量子化部とを有する音声符
号化装置において、前記音声信号から特徴を抽出してモ
ードを判別する判別部と、前記判別部の出力があらかじ
め定められたモードの場合に、音源信号を複数個の非零
のパルスの組合せで表わし、前記音源信号のゲインを量
子化するゲインコードブックを有し、前記音声信号から
前記パルスの振幅もしくは極性をあらかじめ算出し、前
記パルスの位置をシフトする複数のシフト量とゲインコ
ードブックに格納されたゲインコードベクトルとの組み
合わせについて探索し、入力音声と再生信号との歪みを
最小にするようにシフト量とゲインコードベクトルとの
組合せを選択して出力する音源量子化部と、スペクトル
パラメータ計算部の出力と判別部の出力と適応コードブ
ック部の出力と音源量子化部の出力とを組み合わせて出
力するマルチプレクサ部とを有し、復号化側では、スペ
クトルパラメータに関する情報と判別信号に関する情報
と適応コードブックに関する情報と音源信号に関する情
報を入力し分離するデマルチプレクサ部と、前記判別信
号があらかじめ定められたモードの場合に、音源信号を
適応コードベクトルと複数個の非零のパルスの組合せと
位置をシフトさせるシフト量とゲインコードベクトルか
ら構成して発生させる音源信号発生部と、スペクトルパ
ラメータにより構成され前記音源信号を入力し再生信号
を出力する合成フィルタ部とを有することを特徴とする
音声符号化復号化装置が得られる。
【0010】本発明によれば、符号化側では、音声信号
を入力しスペクトルパラメータを求めて量子化するスペ
クトルパラメータ計算部と、過去の量子化された音源信
号から適応コードブックにより遅延とゲインを求め音声
信号を予測して残差を求める適応コードブック部と、前
記スペクトルパラメータを用いて前記音声信号の音源信
号を量子化して出力する音源量子化部とを有する音声符
号化装置において、前記音声信号から特徴を抽出してモ
ードを判別する判別部と、前記判別部の出力があらかじ
め定められたモードの場合に音源信号を複数個の非零の
パルスの組合せで表わし、前記音源信号のゲインを量子
化するゲインコードブックを有し、あらかじめ定められ
た規則により前記パルスの位置をすくなくとも1セット
発生し、前記パルスの振幅もしくは極性を前記音声信号
からあらかじめ算出し、前記パルスの位置とゲインコー
ドブックに格納されたゲインコードベクトルとの組み合
わせについて探索し、入力音声と再生信号との歪みを最
小にするように位置とゲインコードベクトルとの組合せ
を選択して出力する音源量子化部と、スペクトルパラメ
ータ計算部の出力と前記判別部の出力と適応コードブッ
ク部の出力と音源量子化部の出力とを組み合わせて出力
するマルチプレクサ部とを有し、復号化側では、スペク
トルパラメータに関する情報と判別信号に関する情報と
適応コードブックに関する情報と音源信号に関する情報
を入力し分離するデマルチプレクサ部と、前記判別信号
があらかじめ定められたモードの場合に、音源信号を適
応コードベクトルと選択されたパルスの位置に複数個の
非零のパルスを発生させさらにゲインコードベクトルを
用いて音源信号を発生させる音源信号発生部と、スペク
トルパラメータにより構成され前記音源信号を入力し再
生信号を出力する合成フィルタ部とを有することを特徴
とする音声符号化復号化装置が得られる。
【0011】
【発明の実施の形態】図1は本発明による音声符号化装
置の一実施例を示すブロック図である。
【0012】図において、入力端子100から音声信号
を入力し、フレーム分割回路110では音声信号をフレ
ーム(例えば20ms)毎に分割し、サブフレーム分割
回路120では、フレームの音声信号をフレームよりも
短いサブフレーム(例えば5ms)に分割する。
【0013】スペクトルパラメータ計算回路200で
は、少なくとも一つのサブフレームの音声信号に対し
て、サブフレーム長よりも長い窓(例えば24ms)を
かけて音声を切り出してスペクトルパラメータをあらか
じめ定められた次数(例えばP=10次)計算する。こ
こでスペクトルパラメータの計算には、周知のLPC分
析や、Burg分析等を用いることができる。ここで
は、Burg分析を用いることとする。Burg分析の
詳細については、中溝著による“信号解析とシステム同
定”と題した単行本(コロナ社1988年刊)の82〜
87頁(文献4)等に記載されているので説明は略す
る。さらにスペクトルパラメータ計算部では、Burg
法により計算された線形予測係数αi(i=1,…,1
0)を量子化や補間に適したLSP ラメータに変換す
る。ここで、線形予測係数からLSPへの変換は、菅村
他による”線スペクトル対(LSP)音声分析合成方式
による音声情報圧縮”と題した論文(電子通信学会論文
誌、J64-A、pp.599-606、1981年 )(文献5)を参照する
ことができる。例えば、第2、4サブフレームでBur
g法により求めた線形予測係数を、LSPパラメータに
変換し、第1、3サブフレームのLSPを直線補間によ
り求めて、第1、3サブフレームのLSPを逆変換して
線形予測係数に戻し、第1−4サブフレームの線形予測
係数αil(i=1,…,10,l=1,…,5)を聴
感重み付け回路230に出力する。また、第4サブフレ
ームのLSPをスペクトルパラメータ量子化回路210
へ出力する。
【0014】スペクトルパラメータ量子化回路210で
は、あらかじめ定められたサブフレームのLSPパラメ
ータを効率的に量子化し、下式の歪みを最小化する量子
化値を出力する。
【0015】
【数1】
【0016】ここで、LSP(i),QLSP(i)
j、W(i)はそれぞれ、量子化前のi次目のLSP、
量子化後のj番目の結果、重み係数である。
【0017】以下では、量子化法として、ベクトル量子
化を用いるものとし、第4サブフレームのLSPパラメ
ータを量子化するものとする。LSPパラメータのベク
トル量子化の手法は周知の手法を用いることができる。
具体的な方法は例えば、特開平4−171500号公報
(特願平2−297600号)(文献6)や特開平4−
363000号公報(特願平3−261925号)(文
献7)や、特開平5−6199号公報(特願平3−15
5049号)(文献8)や、T.Nomura et al.,による"L
SP Coding Using VQ-SVQ With Interpolation in 4.07
5 kbps M-LCELP Speech Coder"と題した論文(Proc. Mob
ile Multimedia Communications, pp.B.2.5,1993)(文
献9)等を参照できるのでここでは説明は略する。
【0018】また、スペクトルパラメータ量子化回路2
10では、第4サブフレームで量子化したLSPパラメ
ータをもとに、第1〜第4サブフレームのLSPパラメ
ータを復元する。ここでは、現フレームの第4サブフレ
ームの量子化LSPパラメータと1つ過去のフレームの
第4サブフレームの量子化LSPを直線補間して、第1
〜第3サブフレームのLSPを復元する。ここで、量子
化前のLSPと量子化後のLSPとの誤差電力を最小化
するコードベクトルを1種類選択した後に、直線補間に
より第1〜第4サブフレームのLSPを復元できる。さ
らに性能を向上させるためには、前記誤差電力を最小化
するコードベクトルを複数候補選択したのちに、各々の
候補について、累積歪を評価し、累積歪を最小化する候
補と補間LSPの組を選択するようにすることができ
る。詳細は、例えば、特願平5−8737号明細書(文
献10)を参照することができる。
【0019】以上により復元した第1−3サブフレーム
のLSPと第4サブフレームの量子化LSPをサブフレ
ーム毎に線形予測係数αil(i=1,…,10,l=
1,…,5)に変換し、インパルス応答計算回路310
へ出力する。また、第4サブフレームの量子化LSPの
コードベクトルを表すインデクスをマルチプレクサ40
0に出力する。
【0020】聴感重み付け回路230は、スペクトルパ
ラメータ計算回路200から、各サブフレーム毎に量子
化前の線形予測係数αil(i=1,…,10,l=
1,…,5)を入力し、前記文献1にもとづき、サブフ
レームの音声信号に対して聴感重み付けを行い、聴感重
み付け信号を出力する。
【0021】応答信号計算回路240は、スペクトルパ
ラメータ計算回路200から、各サブフレーム毎に線形
予測係数αilを入力し、スペクトルパラメータ量子化
回路210から、量子化、補間して復元した線形予測係
数αilをサブフレーム毎に入力し、保存されているフ
ィルタメモリの値を用いて、入力信号を零d(n)=0
とした応答信号を1サブフレーム分計算し、減算器23
5へ出力する。ここで、応答信号xz(n)は下式で表
される。
【0022】
【数2】
【0023】ここでNはサブフレーム長を示す。γは、
聴感重み付け量を制御する重み係数であり、下記の式
(7)と同一の値である。sw(n)、p(n)は、そ
れぞれ、重み付け信号計算回路の出力信号、後述の式
(7)における右辺第1項のフィルタの分母の項の出力
信号をそれぞれ示す。
【0024】減算器235は、下式により、聴感重み付
け信号から応答信号を1サブフレーム分減算し、x’w
(n)を適応コードブック回路300へ出力する。
【0025】
【数3】
【0026】インパルス応答計算回路310は、z変換
が下式で表される聴感重み付けフィルタのインパルス応
答hw(n)をあらかじめ定められた点数Lだけ計算
し、適応コードブック回路500、音源量子化回路35
0へ出力する。
【0027】
【数4】
【0028】モード判別回路800は、フレーム分割回
路の出力信号を用いて、特徴量を抽出し、フレーム毎に
モードの判別を行う。ここで、特徴としては、ピッチ予
測ゲインを用いることができる。サブフレーム毎に求め
たピッチ予測ゲインをフレーム全体で平均し、この値と
あらかじめ定められた複数のしきい値を比較し、あらか
じめ定められた複数のモードに分類する。ここでは、一
例として、モードの種類は4とする。この場合、モード
0、1、2、3は、それぞれ、無声区間、過渡区間、弱
い有声区間、強い有声区間にほぼ対応するものとする。
モード判別情報を音源量子化回路350とゲイン量子化
回路365とマルチプレクサ400へ出力する。
【0029】適応コードブック回路500では、ゲイン
量子化回路365から過去の音源信号v(n)を、減算
器235から出力信号x’w(n)を、インパルス応答
計算回路310から聴感重み付けインパルス応答hw
(n)を入力する。ピッチに対応する遅延Tを下式の歪
みを最小化するように求め、遅延を表すインデクスをマ
ルチプレクサ400に出力する。
【0030】
【数5】
【0031】式(8)において、記号*は畳み込み演算
を表す。
【0032】次に、ゲインβを下式に従い求める。
【0033】
【数6】
【0034】ここで、女性音や、子供の声に対して、遅
延の抽出精度を向上させるために、遅延を整数サンプル
ではなく、小数サンプル値で求めてもよい。具体的な方
法は、例えば、P.Kroon らによる、"Pitch pre-dictors
with high temporal resolution"と題した論文(Proc.
ICASSP, pp.661-664, 1990 年)(文献11)等を参照
することができる。さらに、適応コードブック回路50
0では式(10)に従いピッチ予測を行ない、予測残差
信号ew(n)を音源量子化回路350へ出力する。
【0035】
【数7】
【0036】音源量子化回路350では、モード判別情
報を入力し、モードにより、音源信号の量子化方法を切
り替える。
【0037】モード1、2、3では、M個のパルスをた
てるとものする。モード1、2、3では、パルスの振幅
をMパルス分まとめて量子化するための、Bビットの振
幅コードブック、もしくは極性コードブックを有してい
るものとする。以下では、極性コードブックを用いる場
合の説明を行なう。この極性コードブックは、音源コー
ドブック351に格納されている。
【0038】有声では、音源量子化回路350は、コー
ドブック351に格納された各極性コードベクトルを読
みだし、各コードベクトルに対して位置をあてはめ、式
(11)を最小化するコードベクトルと位置の組合せを
複数セット選択する。
【0039】
【数8】
【0040】ここで、hw(n)は、聴感重み付けイン
パルス応答である。式(11)を最小化するには、式
(12)を最大化する極性コードベクトルgikと位置
miの組合せを求めれば良い。
【0041】
【数9】
【0042】または、式(13)を最大化するように選
択しても良い。この方が分子の計算に要する演算量が低
減化される。
【0043】
【数10】
【0044】ここで、モード1−3の場合の各パルスの
とり得る位置は、演算量削減のため、文献3に示すよう
に、拘束することができる。一例として、N=40,M
=5とすると、各パルスのとり得る位置は表1のように
なる。
【0045】
【表1】
【0046】極性コードベクトルの探索終了後、選択さ
れた複数セットの極性コードベクトルと位置の組み合わ
せをゲイン量子化回路365に出力する。
【0047】あらかじめ定められたモード(この例では
モード0)では、表2のように、パルスの位置を一定の
間隔で定め、パルス全体の位置をシフトさせるための複
数のシフト量をさだめておく。以下の例の場合は、位置
を1サンプルずつシフトさせるとして、4種類のシフト
量(シフト0,シフト1,シフト2,シフト3)を用い
る。また、この場合はシフト量を2ビットで量子化して
伝送する。表2において、シフト量0の場合は基本的な
パルスの位置を表す。シフト量1、2、3の場合は、シ
フト量0の場合のパルス位置を一律にそれぞれ、1サン
プル、2サンプル、3サンプルシフトしたものである。
これらの4種類のシフト量を本実施例では用いることに
するが、シフト量の種類、シフトサンプル数は任意に設
定できる。
【0048】
【表2】
【0049】表2の各シフト量及び各パルス位置に対す
る極性を、式(14)からあらかじめ求めておく。
【0050】各シフト量毎に、表2に示す位置とそれに
対応する極性を、ゲイン量子化回路365に出力する。
【0051】ゲイン量子化回路365は、モード判別回
路800からモード判別情報を入力する。音源量子化回
路350から、モード1−3では、複数セットの極性コ
ードベクトルとパルス位置の組み合わせを入力し、モー
ド0では、シフト量毎にパルスの位置とそれに対応する
極性の組み合わせを入力する。
【0052】ゲイン量子化回路365は、ゲインコード
ブック380からゲインコードベクトルを読みだし、モ
ード1−3では、選択された複数セットの極性コードベ
クトルと位置の組み合わせに対して、式(15)を最小
化するようにゲインコードベクトルを探索し、歪みを最
小化するゲインコードベクトル、極性コードベクトルと
位置の組み合わせを1種類選択する。
【0053】
【数11】
【0054】ここでは、適応コードブックのゲインとパ
ルスで表した音源のゲインの両者を同時にベクトル量子
化する例について示した。選択された極性コードベクト
ルを表すインデクス、位置を表す符号、ゲインコードベ
クトルを表すインデクスをマルチプレクサ400に出力
する。
【0055】判別情報がモード0の場合は、複数のシフ
ト量と各シフト量の場合の各位置に対応した極性を入力
し、ゲインコードベクトルを探索し、式(16)を最小
化するようにゲインコードベクトルとシフト量を1種類
選択する。
【0056】
【数12】
【0057】ここで、βk、G’kは、ゲインコードブ
ック380に格納された2次元ゲインコードブックにお
けるk番目のコードベクトルである。また、δ(j)は
j番目のシフト量を示し、g’kは選択されたゲインコ
ードベクトルを表す。選択されたゲインコードベクトル
を表すインデクスとシフト量を表す符号をマルチプレク
サ400に出力する。
【0058】なお、モード1−3では、複数パルスの振
幅を量子化するためのコードブックを、音声信号を用い
てあらかじめ学習して格納しておくこともできる。コー
ドブックの学習法は、例えば、Linde 氏らによる"An al
gorithm for vector quantization design," と題した
論文(IEEE Trans. Commun., pp.84-95, January, 1980)
(文献12)等を参照できる。
【0059】重み付け信号計算回路360は、モード判
別情報とそれぞれのインデクスを入力し、インデクスか
らそれに対応するコードベクトルを読みだす。モード1
−3の場合は、式(17)にもとづき駆動音源信号v
(n)を求める。
【0060】
【数13】
【0061】v(n)は適応コードブック回路500に
出力される。
【0062】モード1−3の場合は、式(18)にもと
づき駆動音源信号v(n)を求める。
【0063】
【数14】
【0064】v(n)は適応コードブック回路500に
出力される。
【0065】次に、スペクトルパラメータ計算回路20
0の出力パラメータ、スペクトルパラメータ量子化回路
210の出力パラメータを用いて式(19)により、応
答信号sw(n)をサブフレーム毎に計算し、応答信号
計算回路240へ出力する。
【0066】
【数15】
【0067】以上により、第1の発明に対応する実施例
の説明を終える。
【0068】第2の実施例を示すブロック図を図2に示
す。図2において、図1と同一の番号を付した構成要素
は、図1と同一の動作を行うので、説明を省略する。
【0069】図2においては、音源量子化回路355の
動作が異なる。ここでは、モード判別情報がモード0の
場合に、パルスの位置として、あらかじ定められた規則
に従い発生した位置を使用する。
【0070】例えば、あらかじめ定められた個数(例え
ばM1)のパルスの位置を乱数発生回路600により発
生させる。つまり、乱数発生器により発生されたM1個
の数値をパルスの位置と考える。さらにこの位置のセッ
トを複数種類発生させる。これにより発生された複数セ
ット分のM1個の位置を音源量子化回路355に出力す
る。
【0071】音源量子化回路355は、モード判別情報
がモード1−3の場合は、図1の音源量子化回路350
と同一の動作を行なう。モード0の場合は、乱数発生回
路600から出力された複数セットの位置の各々に対し
て、式(14)から極性をあらかじめ計算する。
【0072】複数セットの位置と各々のパルス位置に対
応する極性を、ゲイン量子化回路370へ出力する。
【0073】ゲイン量子化回路370は、複数セットの
位置と各々のパルス位置に対応する極性を入力し、ゲイ
ンコードブック380に格納されたゲインコードベクト
ルを組み合わせ探索し、式(20)を最小化するような
位置のセットとゲインコードベクトルの組み合わせを1
種類選択して出力する。
【0074】
【数16】
【0075】以上で第2の発明の説明を終了する。
【0076】図3、図4は第3の実施例を示すブロック
図である。図3は符号化側を示し、図4は復号化側を示
す。図3、図4において、図1と同一の番号を付した構
成要素は、図1と同一の動作を行うので、説明は省略す
る。
【0077】図4において、デマルチプレクサ500
は、受信した信号から、モード判別情報、ゲインコード
ベクトルを示すインデクス、適応コードブックの遅延を
示すインデクス、音源信号の情報、音源コードベクトル
のインデクス、スペクトルパラメータのインデクスを入
力し、各パラメータを分離して出力する。
【0078】ゲイン復号回路510は、ゲインコードベ
クトルのインデクスとモード判別情報を入力し、ゲイン
コードブック380からインデクスに応じてゲインコー
ドベクトルを読み出し、出力する。
【0079】適応コードブック回路520は、モード判
別情報と適応コードブックの遅延を入力し、適応コード
ベクトルを発生し、ゲインコードベクトルにより適応コ
ードブックのゲインを乗じて出力する。
【0080】音源信号復元回路540では、モード判別
情報がモード1―3のときは、音源コードブック351
から読み出した極性コードベクトルと、パルスの位置情
報とゲインコードベクトルを用いて、音源信号を発生し
て加算器550に出力する。モード判別情報がモード0
の場合は、パルス位置、位置のシフト量とゲインコード
べクトルから音源信号を発生して加算器550に出力す
る。
【0081】加算器550は、適応コードブック回路5
20の出力と音源信号復元回路540の出力を用いて、
モード1−3の場合は式(17)にもとづき、モード0
の場合は式(18)にもとづき駆動音源信号v(n)を
発生し、適応コードブック回路520と合成フィルタ5
60に出力する。
【0082】スペクトルパラメータ復号回路570は、
スペクトルパラメータを復号し、線形予測係数に変換
し、合成フィルタ回路560に出力する。
【0083】合成フィルタ回路560は、駆動音源信号
v(n)と線形予測係数を入力し、再生信号を計算し端
子580から出力する。
【0084】以上で第3の実施例の説明を終える。
【0085】図5、図6は第4の実施例を示すブロック
図である。図5は符号化側を示し、図6は復号化側を示
す。図5、図6において、図2、図3、図4と同一の番
号を付した構成要素は、同一の動作をするので、説明は
省略する。
【0086】図において、音源信号復元回路590は、
モード判別情報がモード1−3のときは、音源コードブ
ック351から読み出した極性コードベクトルと、パル
スの位置情報とゲインコードベクトルを用いて、音源信
号を発生して加算器550に出力する。モード判別情報
がモード0の場合は、乱数発生器600からパルスの位
置を発生させ、ゲインコードべクトルを用いて音源信号
を発生して加算器550に出力する。
【0087】以上で第4の実施例の説明を終える。
【0088】
【発明の効果】以上説明したように、本発明によれば、
音声信号から特徴量をもとに、モードを判別し、あらか
じめ定められたモードの場合に、非零の振幅のパルスに
より音源信号を表し、パルス位置の振幅もしくは極性を
入力音声信号からあらかじめ計算し、複数種のシフト量
とゲインコードベクトルとの組み合わせを探索し、再生
信号と入力音声との歪みを最小にするゲインコードベク
トルとシフト量の組合せを1種類選択している。
【0089】また、本発明によれば、あらかじめ定めら
れたモードの場合に、非零の振幅のパルスにより音源信
号を表し、あらかじめ定められた規則により発生した複
数セットの位置に対応する振幅もしくは極性を入力音声
信号から計算し、前記複数セットの位置とゲインを量子
化するためのゲインコードブックに格納されるゲインコ
ードベクトルとを組み合わせて探索し、再生信号と入力
音声との歪みを最小にするゲインコードベクトルと位置
のセットとの組合せを選択している。
【0090】これらの構成により、あらかじめ定められ
たモードにおいて、従来方式に比べパルスの個数を大幅
に増やすことができるので、背景雑音が重畳した音声を
低ビットレートで符号化しても、背景雑音部分が良好に
符号化できるという効果がある。
【図面の簡単な説明】
【図1】第1の実施例を示す図
【図2】第2の実施例を示す図
【図3】第3の実施例を示す図
【図4】第3の実施例を示す図
【図5】第4の実施例を示す図
【図6】第4の実施例を示す図
【符号の説明】
110 フレーム分割回路 120 サブフレーム分割回路 200 スペクトルパラメータ計算回路 210 スペクトルパラメータ量子化回路 211 LSPコードブック 230 聴感重み付け回路 235 減算回路 240 応答信号計算回路 310 インパルス応答計算回路 350、355、356、357 音源量子化回路 351 音源コードブック 360 重み付け信号計算回路 365、370 ゲイン量子化回路 380 ゲインコードブック 400 マルチプレクサ 500 適応コードブック回路 510 デマルチプレクサ 510 ゲイン復号回路 520 適応コードブック回路 540 音源信号復元回路 550 加算回路 560 合成フィルタ回路 570 スペクトルパラメータ復号回路 600 乱数発生回路 800 モード判別回路

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】音声信号を入力しスペクトルパラメータを
    求めて量子化するスペクトルパラメータ計算部と、過去
    の量子化された音源信号から適応コードブックにより遅
    延とゲインを求め音声信号を予測して残差を求める適応
    コードブック部と、前記スペクトルパラメータを用いて
    前記音声信号の音源信号を量子化して出力する音源量子
    化部とを有する音声符号化装置において、前記音声信号
    から特徴を抽出してモードを判別する判別部と、前記判
    別部の出力があらかじめ定められたモードの場合に、音
    源信号を複数個の非零のパルスの組合せで表わし、前記
    音源信号のゲインを量子化するゲインコードブックを有
    し、前記音声信号から前記パルスの振幅もしくは極性を
    あらかじめ算出し、前記パルスの位置をシフトする複数
    のシフト量とゲインコードブックに格納されたゲインコ
    ードベクトルとの組み合わせについて探索し、入力音声
    と再生信号との歪みを最小にするようにシフト量とゲイ
    ンコードベクトルとの組合せを選択して出力する音源量
    子化部と、スペクトルパラメータ計算部の出力と判別部
    の出力と適応コードブック部の出力と音源量子化部の出
    力とを組み合わせて出力するマルチプレクサ部とを有す
    ることを特徴とする音声符号化装置。
  2. 【請求項2】音声信号を入力しスペクトルパラメータを
    求めて量子化するスペクトルパラメータ計算部と、過去
    の量子化された音源信号から適応コードブックにより遅
    延とゲインを求め音声信号を予測して残差を求める適応
    コードブック部と、前記スペクトルパラメータを用いて
    前記音声信号の音源信号を量子化して出力する音源量子
    化部とを有する音声符号化装置において、前記音声信号
    から特徴を抽出してモードを判別する判別部と、前記判
    別部の出力があらかじめ定められたモードの場合に音源
    信号を複数個の非零のパルスの組合せで表わし、前記音
    源信号のゲインを量子化するゲインコードブックを有
    し、あらかじめ定められた規則により前記パルスの位置
    をすくなくとも1セット発生し、前記パルスの振幅もし
    くは極性を前記音声信号からあらかじめ算出し、前記パ
    ルスの位置とゲインコードブックに格納されたゲインコ
    ードベクトルとの組み合わせについて探索し、入力音声
    と再生信号との歪みを最小にするように位置とゲインコ
    ードベクトルとの組合せを選択して出力する音源量子化
    部と、スペクトルパラメータ計算部の出力と前記判別部
    の出力と適応コードブック部の出力と音源量子化部の出
    力とを組み合わせて出力するマルチプレクサ部とを有す
    ることを特徴とする音声符号化装置。
  3. 【請求項3】符号化側では、音声信号を入力しスペクト
    ルパラメータを求めて量子化するスペクトルパラメータ
    計算部と、過去の量子化された音源信号から適応コード
    ブックにより遅延とゲインを求め音声信号を予測して残
    差を求める適応コードブック部と、前記スペクトルパラ
    メータを用いて前記音声信号の音源信号を量子化して出
    力する音源量子化部とを有する音声符号化装置におい
    て、前記音声信号から特徴を抽出してモードを判別する
    判別部と、前記判別部の出力があらかじめ定められたモ
    ードの場合に、音源信号を複数個の非零のパルスの組合
    せで表わし、前記音源信号のゲインを量子化するゲイン
    コードブックを有し、前記音声信号から前記パルスの振
    幅もしくは極性をあらかじめ算出し、前記パルスの位置
    をシフトする複数のシフト量とゲインコードブックに格
    納されたゲインコードベクトルとの組み合わせについて
    探索し、入力音声と再生信号との歪みを最小にするよう
    にシフト量とゲインコードベクトルとの組合せを選択し
    て出力する音源量子化部と、スペクトルパラメータ計算
    部の出力と判別部の出力と適応コードブック部の出力と
    音源量子化部の出力とを組み合わせて出力するマルチプ
    レクサ部とを有し、復号化側では、スペクトルパラメー
    タに関する情報と判別信号に関する情報と適応コードブ
    ックに関する情報と音源信号に関する情報を入力し分離
    するデマルチプレクサ部と、前記判別信号があらかじめ
    定められたモードの場合に、音源信号を適応コードベク
    トルと複数個の非零のパルスの組合せと位置をシフトさ
    せるシフト量とゲインコードベクトルから構成して発生
    させる音源信号発生部と、スペクトルパラメータにより
    構成され前記音源信号を入力し再生信号を出力する合成
    フィルタ部とを有することを特徴とする音声符号化復号
    化装置。
  4. 【請求項4】符号化側では、音声信号を入力しスペクト
    ルパラメータを求めて量子化するスペクトルパラメータ
    計算部と、過去の量子化された音源信号から適応コード
    ブックにより遅延とゲインを求め音声信号を予測して残
    差を求める適応コードブック部と、前記スペクトルパラ
    メータを用いて前記音声信号の音源信号を量子化して出
    力する音源量子化部とを有する音声符号化装置におい
    て、前記音声信号から特徴を抽出してモードを判別する
    判別部と、前記判別部の出力があらかじめ定められたモ
    ードの場合に音源信号を複数個の非零のパルスの組合せ
    で表わし、前記音源信号のゲインを量子化するゲインコ
    ードブックを有し、あらかじめ定められた規則により前
    記パルスの位置をすくなくとも1セット発生し、前記パ
    ルスの振幅もしくは極性を前記音声信号からあらかじめ
    算出し、前記パルスの位置とゲインコードブックに格納
    されたゲインコードベクトルとの組み合わせについて探
    索し、入力音声と再生信号との歪みを最小にするように
    位置とゲインコードベクトルとの組合せを選択して出力
    する音源量子化部と、スペクトルパラメータ計算部の出
    力と前記判別部の出力と適応コードブック部の出力と音
    源量子化部の出力とを組み合わせて出力するマルチプレ
    クサ部とを有し、復号化側では、スペクトルパラメータ
    に関する情報と判別信号に関する情報と適応コードブッ
    クに関する情報と音源信号に関する情報を入力し分離す
    るデマルチプレクサ部と、前記判別信号があらかじめ定
    められたモードの場合に、音源信号を適応コードベクト
    ルと選択されたパルスの位置に複数個の非零のパルスを
    発生させさらにゲインコードベクトルを用いて音源信号
    を発生させる音源信号発生部と、スペクトルパラメータ
    により構成され前記音源信号を入力し再生信号を出力す
    る合成フィルタ部とを有することを特徴とする音声符号
    化復号化装置。
JP19715498A 1998-07-13 1998-07-13 音声符号化装置ならびに音声符号化復号化装置 Expired - Fee Related JP3319396B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP19715498A JP3319396B2 (ja) 1998-07-13 1998-07-13 音声符号化装置ならびに音声符号化復号化装置
US09/743,543 US6856955B1 (en) 1998-07-13 1999-07-09 Voice encoding/decoding device
CA002337063A CA2337063A1 (en) 1998-07-13 1999-07-09 Voice coding/decoding apparatus
PCT/JP1999/003722 WO2000003385A1 (fr) 1998-07-13 1999-07-09 Codeur/decodeur vocal
DE69931642T DE69931642T2 (de) 1998-07-13 1999-07-09 Sprachkodier/dekodiervorrichtung
EP99929775A EP1113418B1 (en) 1998-07-13 1999-07-09 Voice encoding/decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19715498A JP3319396B2 (ja) 1998-07-13 1998-07-13 音声符号化装置ならびに音声符号化復号化装置

Publications (2)

Publication Number Publication Date
JP2000029499A true JP2000029499A (ja) 2000-01-28
JP3319396B2 JP3319396B2 (ja) 2002-08-26

Family

ID=16369673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19715498A Expired - Fee Related JP3319396B2 (ja) 1998-07-13 1998-07-13 音声符号化装置ならびに音声符号化復号化装置

Country Status (6)

Country Link
US (1) US6856955B1 (ja)
EP (1) EP1113418B1 (ja)
JP (1) JP3319396B2 (ja)
CA (1) CA2337063A1 (ja)
DE (1) DE69931642T2 (ja)
WO (1) WO2000003385A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002226717B2 (en) * 2001-03-02 2004-05-06 Matsushita Electric Industrial Co., Ltd. Apparatus for coding scaling factors in an audio coder
US8306813B2 (en) * 2007-03-02 2012-11-06 Panasonic Corporation Encoding device and encoding method
EP2506253A4 (en) 2009-11-24 2014-01-01 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AUDIO SIGNAL
US8924203B2 (en) 2011-10-28 2014-12-30 Electronics And Telecommunications Research Institute Apparatus and method for coding signal in a communication system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4910781A (en) 1987-06-26 1990-03-20 At&T Bell Laboratories Code excited linear predictive vocoder using virtual searching
JP3114197B2 (ja) 1990-11-02 2000-12-04 日本電気株式会社 音声パラメータ符号化方法
JP3151874B2 (ja) 1991-02-26 2001-04-03 日本電気株式会社 音声パラメータ符号化方式および装置
JP2613503B2 (ja) 1991-07-08 1997-05-28 日本電信電話株式会社 音声の励振信号符号化・復号化方法
JP3143956B2 (ja) 1991-06-27 2001-03-07 日本電気株式会社 音声パラメータ符号化方式
JP3050978B2 (ja) 1991-12-18 2000-06-12 沖電気工業株式会社 音声符号化方法
JP2746039B2 (ja) * 1993-01-22 1998-04-28 日本電気株式会社 音声符号化方式
JP3024468B2 (ja) * 1993-12-10 2000-03-21 日本電気株式会社 音声復号装置
CA2154911C (en) * 1994-08-02 2001-01-02 Kazunori Ozawa Speech coding device
JPH08272395A (ja) * 1995-03-31 1996-10-18 Nec Corp 音声符号化装置
US5732389A (en) 1995-06-07 1998-03-24 Lucent Technologies Inc. Voiced/unvoiced classification of speech for excitation codebook selection in celp speech decoding during frame erasures
JP3616432B2 (ja) 1995-07-27 2005-02-02 日本電気株式会社 音声符号化装置
JP3196595B2 (ja) * 1995-09-27 2001-08-06 日本電気株式会社 音声符号化装置
GB2312360B (en) * 1996-04-12 2001-01-24 Olympus Optical Co Voice signal coding apparatus
JP3092652B2 (ja) * 1996-06-10 2000-09-25 日本電気株式会社 音声再生装置
JP3092654B2 (ja) 1996-06-25 2000-09-25 日本電気株式会社 信号符号化装置
JP3462958B2 (ja) 1996-07-01 2003-11-05 松下電器産業株式会社 音声符号化装置および記録媒体
JPH1055198A (ja) 1996-08-09 1998-02-24 Nec Corp 音声符号化装置

Also Published As

Publication number Publication date
JP3319396B2 (ja) 2002-08-26
EP1113418B1 (en) 2006-05-31
EP1113418A4 (en) 2005-05-04
DE69931642D1 (de) 2006-07-06
EP1113418A1 (en) 2001-07-04
DE69931642T2 (de) 2007-05-24
US6856955B1 (en) 2005-02-15
WO2000003385A1 (fr) 2000-01-20
CA2337063A1 (en) 2000-01-20

Similar Documents

Publication Publication Date Title
JP3346765B2 (ja) 音声復号化方法及び音声復号化装置
JP3180762B2 (ja) 音声符号化装置及び音声復号化装置
JP3134817B2 (ja) 音声符号化復号装置
JP3196595B2 (ja) 音声符号化装置
JP3094908B2 (ja) 音声符号化装置
JPH0353300A (ja) 音声符号化装置
JP3180786B2 (ja) 音声符号化方法及び音声符号化装置
JP3582589B2 (ja) 音声符号化装置及び音声復号化装置
JP3137176B2 (ja) 音声符号化装置
JP3266178B2 (ja) 音声符号化装置
JP4008607B2 (ja) 音声符号化/復号化方法
CA2336360C (en) Speech coder
JP3319396B2 (ja) 音声符号化装置ならびに音声符号化復号化装置
JP3003531B2 (ja) 音声符号化装置
EP1154407A2 (en) Position information encoding in a multipulse speech coder
JP3299099B2 (ja) 音声符号化装置
JP3144284B2 (ja) 音声符号化装置
JP3153075B2 (ja) 音声符号化装置
JP2001142499A (ja) 音声符号化装置ならびに音声復号化装置
JP3192051B2 (ja) 音声符号化装置
JPH1069297A (ja) 音声符号化装置
JP3471542B2 (ja) 音声符号化装置
JPH08320700A (ja) 音声符号化装置
JP3092654B2 (ja) 信号符号化装置
JP3144244B2 (ja) 音声符号化装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020521

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080621

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090621

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100621

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100621

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110621

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110621

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120621

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120621

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130621

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees