JPH09127990A - 音声符号化方法及び装置 - Google Patents

音声符号化方法及び装置

Info

Publication number
JPH09127990A
JPH09127990A JP7279417A JP27941795A JPH09127990A JP H09127990 A JPH09127990 A JP H09127990A JP 7279417 A JP7279417 A JP 7279417A JP 27941795 A JP27941795 A JP 27941795A JP H09127990 A JPH09127990 A JP H09127990A
Authority
JP
Japan
Prior art keywords
vector
output
quantization
lpc
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7279417A
Other languages
English (en)
Other versions
JP3680380B2 (ja
Inventor
Kazuyuki Iijima
和幸 飯島
Masayuki Nishiguchi
正之 西口
Atsushi Matsumoto
淳 松本
Shiro Omori
士郎 大森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP27941795A priority Critical patent/JP3680380B2/ja
Priority to SG1996010888A priority patent/SG43428A1/en
Priority to KR1019960047282A priority patent/KR100427752B1/ko
Priority to EP96307729A priority patent/EP0770989B1/en
Priority to US08/736,988 priority patent/US5828996A/en
Priority to AT96307729T priority patent/ATE213086T1/de
Priority to DE69619054T priority patent/DE69619054T2/de
Priority to CN96121977A priority patent/CN1156872A/zh
Publication of JPH09127990A publication Critical patent/JPH09127990A/ja
Application granted granted Critical
Publication of JP3680380B2 publication Critical patent/JP3680380B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/038Vector quantisation, e.g. TwinVQ audio
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0004Design or structure of the codebook
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0007Codebook element generation

Abstract

(57)【要約】 【課題】 様々な音声の形態に対して良好な符号化を可
能にする。 【解決手段】 入力音声信号を時間軸上でブロック単位
で区分して各ブロック単位で符号化を行う音声符号化装
置であり、CELP符号化を行う符号化部120を備
え、符号化部120の雑音符号帳21は、ガウシアンノ
イズを複数の異なるスレシホールド値でクリッピングし
て生成したコードベクトルと、当該ガウシアンノイズを
クリッピングして生成したコードベクトルを初期値にし
て学習により求めたコードベクトルとを有している。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、入力音声信号をブロッ
ク単位で区分して、この区分されたブロックを単位とし
て符号化処理を行うような音声符号化方法及び装置に関
する。
【0002】
【発明の属する技術分野】オーディオ信号(音声信号や
音響信号を含む)の時間領域や周波数領域における統計
的性質と人間の聴感上の特性を利用して信号圧縮を行う
ような符号化方法が種々知られている。この符号化方法
としては、大別して時間領域での符号化、周波数領域で
の符号化、分析合成符号化等が挙げられる。
【0003】音声信号等の高能率符号化の例として、ハ
ーモニック(Harmonic)符号化、MBE(Multiband Ex
citation: マルチバンド励起)符号化等のサイン波分析
符号化や、SBC(Sub-band Coding:帯域分割符号
化)、LPC(Linear Predictive Coding: 線形予測符
号化)、あるいはDCT(離散コサイン変換)、MDC
T(モデファイドDCT)、FFT(高速フーリエ変
換)等が知られている。また、音声信号等の高能率符号
化の例としては、合成による分析法を用いて最適ベクト
ルのクローズドループサーチによるベクトル量子化を用
いた符号励起線形予測(CELP)符号化も存在する。
【0004】
【発明が解決しようとする課題】ところで、上記音声信
号の高能率符号化の一例としての符号励起線形予測符号
化において、符号化の品質は、符号化する音声信号の特
性によって大きく左右される。例えば、音声には様々な
形態があり、例えば「さ,し,す,せ,そ」のようなノ
イズに近い子音を含む音声や、例えば「ぱ,ぴ,ぷ,
ぺ,ぽ」のような立ち上がりの激しい子音(急峻な子
音)を含む音声の全てに対して、良好な符号化を行うこ
とは困難である。
【0005】そこで本発明は、このような実情に鑑みて
なされたものであり、様々な音声の形態に対して良好な
符号化が可能な音声符号化方法及び装置の提供を目的と
する。
【0006】
【課題を解決するための手段】本発明に係る音声符号化
方法及び装置は、入力音声信号を時間軸上で区分した各
ブロック単位で符号化を行うものであり、合成による分
析法を用いて最適ベクトルのクローズドループサーチに
よる時間軸波形のベクトル量子化を行う符号化におい
て、ベクトル量子化のコードブックにはガウシアンノイ
ズを複数の異なるスレシホールド値でクリッピングして
生成したコードベクトルからなるものを用いることによ
り、上述の課題を解決する。
【0007】すなわち、本発明によれば、ガウシアンノ
イズを複数の異なるスレシホールド値でクリッピングし
て生成したコードベクトルを用いてベクトル量子化する
ことで、様々な音声の形態に対応できるようにしてい
る。
【0008】
【発明の実施の形態】以下、本発明に係る好ましい実施
の形態について説明する。先ず、図1は、本発明に係る
音声符号化方法の実施の形態が適用された符号化装置の
基本構成を示している。
【0009】ここで、図1の音声信号符号化装置の基本
的な考え方は、入力音声信号の短期予測残差例えばLP
C(線形予測符号化)残差を求めてサイン波分析(sinu
soidal analysis )符号化、例えばハーモニックコーデ
ィング(harmonic coding )を行う第1の符号化部11
0と、入力音声信号に対して位相伝送を行う波形符号化
により符号化する第2の符号化部120とを有し、入力
信号の有声音(V:Voiced)の部分の符号化に第1の符
号化部110を用い、入力信号の無声音(UV:Unvoic
ed)の部分の符号化には第2の符号化部120を用いる
ようにすることである。
【0010】上記第1の符号化部110には、例えばL
PC残差をハーモニック符号化やマルチバンド励起(M
BE)符号化のようなサイン波分析符号化を行う構成が
用いられる。上記第2の符号化部120には、例えば合
成による分析法を用いて最適ベクトルのクローズドルー
プサーチによるベクトル量子化を用いた符号励起線形予
測(CELP)符号化の構成が用いられる。
【0011】図1の例では、入力端子101に供給され
た音声信号が、第1の符号化部110のLPC逆フィル
タ111及びLPC分析・量子化部113に送られてい
る。LPC分析・量子化部113から得られたLPC係
数あるいはいわゆるαパラメータは、LPC逆フィルタ
111に送られて、このLPC逆フィルタ111により
入力音声信号の線形予測残差(LPC残差)が取り出さ
れる。また、LPC分析・量子化部113からは、後述
するようにLSP(線スペクトル対)の量子化出力が取
り出され、これが出力端子102に送られる。LPC逆
フィルタ111からのLPC残差は、サイン波分析符号
化部114に送られる。サイン波分析符号化部114で
は、ピッチ検出やスペクトルエンベロープ振幅計算が行
われると共に、V(有声音)/UV(無声音)判定部1
15によりV/UVの判定が行われる。サイン波分析符
号化部114からのスペクトルエンベロープ振幅データ
がベクトル量子化部116に送られる。スペクトルエン
ベロープのベクトル量子化出力としてのベクトル量子化
部116からのコードブックインデクスは、スイッチ1
17を介して出力端子103に送られ、サイン波分析符
号化部114からの出力は、スイッチ118を介して出
力端子104に送られる。また、V/UV判定部115
からのV/UV判定出力は、出力端子105に送られる
と共に、スイッチ117、118の制御信号として送ら
れており、上述した有声音(V)のとき上記インデクス
及びピッチが選択されて各出力端子103及び104か
らそれぞれ取り出される。
【0012】図1の第2の符号化部120は、この例で
はCELP(符号励起線形予測)符号化構成を有してお
り、雑音符号帳121からの出力を、重み付きの合成フ
ィルタ122により合成処理し、得られた重み付き音声
を減算器123に送り、入力端子101に供給された音
声信号を聴覚重み付けフィルタ125を介して得られた
音声との誤差を取り出し、この誤差を距離計算回路12
4に送って距離計算を行い、誤差が最小となるようなベ
クトルを雑音符号帳121でサーチするような、合成に
よる分析(Analysis by Synthesis )法を用いたクロー
ズドループサーチを用いた時間軸波形のベクトル量子化
を行っている。このCELP符号化は、上述したように
無声音部分の符号化に用いられており、雑音符号帳12
1からのUVデータとしてのコードブックインデクス
は、上記V/UV判定部115からのV/UV判定結果
が無声音(UV)のときオンとなるスイッチ127を介
して、出力端子107より取り出される。
【0013】次に、図2は、本発明に係る音声復号化方
法の一実施の形態が適用された音声信号復号化装置とし
て、上記図1の音声信号符号化装置に対応する音声信号
復号化装置の基本構成を示すブロック図である。
【0014】この図2において、入力端子202には上
記図1の出力端子102からの上記LSP(線スペクト
ル対)の量子化出力としてのコードブックインデクスが
入力される。入力端子203、204、及び205に
は、上記図1の各出力端子103、104、及び105
からの各出力、すなわちエンベロープ量子化出力として
のインデクス、ピッチ、及びV/UV判定出力がそれぞ
れ入力される。また、入力端子207には、上記図1の
出力端子107からのUV(無声音)用のデータとして
のインデクスが入力される。
【0015】入力端子203からのエンベロープ量子化
出力としてのインデクスは、逆ベクトル量子化器212
に送られて逆ベクトル量子化され、LPC残差のスペク
トルエンベロープが求められて有声音合成部211に送
られる。有声音合成部211は、サイン波合成により有
声音部分のLPC(線形予測符号化)残差を合成するも
のであり、この有声音合成部211には入力端子204
及び205からのピッチ及びV/UV判定出力も供給さ
れている。有声音合成部211からの有声音のLPC残
差は、LPC合成フィルタ214に送られる。また、入
力端子207からのUVデータのインデクスは、無声音
合成部220に送られて、雑音符号帳を参照することに
より無声音部分のLPC残差が取り出される。このLP
C残差もLPC合成フィルタ214に送られる。LPC
合成フィルタ214では、上記有声音部分のLPC残差
と無声音部分のLPC残差とがそれぞれ独立に、LPC
合成処理が施される。あるいは、有声音部分のLPC残
差と無声音部分のLPC残差とが加算されたものに対し
てLPC合成処理を施すようにしてもよい。ここで入力
端子202からのLSPのインデクスは、LPCパラメ
ータ再生部213に送られて、LPCのαパラメータが
取り出され、これがLPC合成フィルタ214に送られ
る。LPC合成フィルタ214によりLPC合成されて
得られた音声信号は、出力端子201より取り出され
る。
【0016】次に、上記図1に示した音声信号符号化装
置のより具体的な構成について、図3を参照しながら説
明する。なお、図3において、上記図1の各部と対応す
る部分には同じ指示符号を付している。
【0017】この図3に示された音声信号符号化装置に
おいて、入力端子101に供給された音声信号は、ハイ
パスフィルタ(HPF)109にて不要な帯域の信号を
除去するフィルタ処理が施された後、LPC(線形予測
符号化)分析・量子化部113のLPC分析回路132
と、LPC逆フィルタ回路111とに送られる。
【0018】LPC分析・量子化部113のLPC分析
回路132は、入力信号波形の256サンプル程度の長
さを1ブロックとしてハミング窓をかけて、自己相関法
により線形予測係数、いわゆるαパラメータを求める。
データ出力の単位となるフレーミングの間隔は、160
サンプル程度とする。サンプリング周波数fsが例えば
8kHzのとき、1フレーム間隔は160サンプルで20
msec となる。
【0019】LPC分析回路132からのαパラメータ
は、α→LSP変換回路133に送られて、線スペクト
ル対(LSP)パラメータに変換される。これは、直接
型のフィルタ係数として求まったαパラメータを、例え
ば10個、すなわち5対のLSPパラメータに変換す
る。変換は例えばニュートン−ラプソン法等を用いて行
う。このLSPパラメータに変換するのは、αパラメー
タよりも補間特性に優れているからである。
【0020】α→LSP変換回路133からのLSPパ
ラメータは、LSP量子化器134によりマトリクスあ
るいはベクトル量子化される。このとき、フレーム間差
分をとってからベクトル量子化してもよく、複数フレー
ム分をまとめてマトリクス量子化してもよい。ここで
は、20msec を1フレームとし、20msec 毎に算出
されるLSPパラメータを2フレーム分まとめて、マト
リクス量子化及びベクトル量子化している。
【0021】このLSP量子化器134からの量子化出
力、すなわちLSP量子化のインデクスは、端子102
を介して取り出され、また量子化済みのLSPベクトル
は、LSP補間回路136に送られる。
【0022】LSP補間回路136は、上記20msec
あるいは40msec 毎に量子化されたLSPのベクトル
を補間し、8倍のレートにする。すなわち、2.5mse
c 毎にLSPベクトルが更新されるようにする。これ
は、残差波形をハーモニック符号化復号化方法により分
析合成すると、その合成波形のエンベロープは非常にな
だらかでスムーズな波形になるため、LPC係数が20
msec 毎に急激に変化すると異音を発生することがある
からである。すなわち、2.5msec 毎にLPC係数が
徐々に変化してゆくようにすれば、このような異音の発
生を防ぐことができる。
【0023】このような補間が行われた2.5msec 毎
のLSPベクトルを用いて入力音声の逆フィルタリング
を実行するために、LSP→α変換回路137により、
LSPパラメータを例えば10次程度の直接型フィルタ
の係数であるαパラメータに変換する。このLSP→α
変換回路137からの出力は、上記LPC逆フィルタ回
路111に送られ、このLPC逆フィルタ111では、
2.5msec 毎に更新されるαパラメータにより逆フィ
ルタリング処理を行って、滑らかな出力を得るようにし
ている。このLPC逆フィルタ111からの出力は、サ
イン波分析符号化部114、具体的には例えばハーモニ
ック符号化回路、の直交変換回路145、例えばDFT
(離散フーリエ変換)回路に送られる。
【0024】LPC分析・量子化部113のLPC分析
回路132からのαパラメータは、聴覚重み付けフィル
タ算出回路139に送られて聴覚重み付けのためのデー
タが求められ、この重み付けデータが後述する聴覚重み
付きのベクトル量子化器116と、第2の符号化部12
0の聴覚重み付けフィルタ125及び聴覚重み付きの合
成フィルタ122とに送られる。
【0025】ハーモニック符号化回路等のサイン波分析
符号化部114では、LPC逆フィルタ111からの出
力を、ハーモニック符号化の方法で分析する。すなわ
ち、ピッチ検出、各ハーモニクスの振幅Amの算出、有
声音(V)/無声音(UV)の判別を行い、ピッチによ
って変化するハーモニクスのエンベロープあるいは振幅
Amの個数を次元変換して一定数にしている。
【0026】図3に示すサイン波分析符号化部114の
具体例においては、一般のハーモニック符号化を想定し
ているが、特に、MBE(Multiband Excitation: マル
チバンド励起)符号化の場合には、同時刻(同じブロッ
クあるいはフレーム内)の周波数軸領域いわゆるバンド
毎に有声音(Voiced)部分と無声音(Unvoiced)部分と
が存在するという仮定でモデル化することになる。それ
以外のハーモニック符号化では、1ブロックあるいはフ
レーム内の音声が有声音か無声音かの択一的な判定がな
されることになる。なお、以下の説明中のフレーム毎の
V/UVとは、MBE符号化に適用した場合には全バン
ドがUVのときを当該フレームのUVとしている。
【0027】図3のサイン波分析符号化部114のオー
プンループピッチサーチ部141には、上記入力端子1
01からの入力音声信号が、またゼロクロスカウンタ1
42には、上記HPF(ハイパスフィルタ)109から
の信号がそれぞれ供給されている。サイン波分析符号化
部114の直交変換回路145には、LPC逆フィルタ
111からのLPC残差あるいは線形予測残差が供給さ
れている。オープンループピッチサーチ部141では、
入力信号のLPC残差をとってオープンループによる比
較的ラフなピッチのサーチが行われ、抽出された粗ピッ
チデータは高精度ピッチサーチ146に送られて、後述
するようなクローズドループによる高精度のピッチサー
チ(ピッチのファインサーチ)が行われる。また、オー
プンループピッチサーチ部141からは、上記粗ピッチ
データと共にLPC残差の自己相関の最大値をパワーで
正規化した正規化自己相関最大値r(p) が取り出され、
V/UV(有声音/無声音)判定部115に送られてい
る。
【0028】直交変換回路145では例えばDFT(離
散フーリエ変換)等の直交変換処理が施されて、時間軸
上のLPC残差が周波数軸上のスペクトル振幅データに
変換される。この直交変換回路145からの出力は、高
精度ピッチサーチ部146及びスペクトル振幅あるいは
エンベロープを評価するためのスペクトル評価部148
に送られる。
【0029】高精度(ファイン)ピッチサーチ部146
には、オープンループピッチサーチ部141で抽出され
た比較的ラフな粗ピッチデータと、直交変換部145に
より例えばDFTされた周波数軸上のデータとが供給さ
れている。この高精度ピッチサーチ部146では、上記
粗ピッチデータ値を中心に、0.2〜0.5きざみで±数サ
ンプルずつ振って、最適な小数点付き(フローティン
グ)のファインピッチデータの値へ追い込む。このとき
のファインサーチの手法として、いわゆる合成による分
析 (Analysis by Synthesis)法を用い、合成されたパワ
ースペクトルが原音のパワースペクトルに最も近くなる
ようにピッチを選んでいる。このようなクローズドルー
プによる高精度のピッチサーチ部146からのピッチデ
ータについては、スイッチ118を介して出力端子10
4に送っている。
【0030】スペクトル評価部148では、LPC残差
の直交変換出力としてのスペクトル振幅及びピッチに基
づいて各ハーモニクスの大きさ及びその集合であるスペ
クトルエンベロープが評価され、高精度ピッチサーチ部
146、V/UV(有声音/無声音)判定部115及び
聴覚重み付きのベクトル量子化器116に送られる。
【0031】V/UV(有声音/無声音)判定部115
は、直交変換回路145からの出力と、高精度ピッチサ
ーチ部146からの最適ピッチと、スペクトル評価部1
48からのスペクトル振幅データと、オープンループピ
ッチサーチ部141からの正規化自己相関最大値r(p)
と、ゼロクロスカウンタ412からのゼロクロスカウン
ト値とに基づいて、当該フレームのV/UV判定が行わ
れる。さらに、MBEの場合の各バンド毎のV/UV判
定結果の境界位置も当該フレームのV/UV判定の一条
件としてもよい。このV/UV判定部115からの判定
出力は、出力端子105を介して取り出される。
【0032】ところで、スペクトル評価部148の出力
部あるいはベクトル量子化器116の入力部には、デー
タ数変換(一種のサンプリングレート変換)部が設けら
れている。このデータ数変換部は、上記ピッチに応じて
周波数軸上での分割帯域数が異なり、データ数が異なる
ことを考慮して、エンベロープの振幅データ|Am|を
一定の個数にするためのものである。すなわち、例えば
有効帯域を3400kHzまでとすると、この有効帯域が
上記ピッチに応じて、8バンド〜63バンドに分割され
ることになり、これらの各バンド毎に得られる上記振幅
データ|Am|の個数mMX+1も8〜63と変化するこ
とになる。このためデータ数変換部119では、この可
変個数mMX+1の振幅データを一定個数M個、例えば4
4個、のデータに変換している。
【0033】このスペクトル評価部148の出力部ある
いはベクトル量子化器116の入力部に設けられたデー
タ数変換部からの上記一定個数M個(例えば44個)の
振幅データあるいはエンベロープデータが、ベクトル量
子化器116により、所定個数、例えば44個のデータ
毎にまとめられてベクトルとされ、重み付きベクトル量
子化が施される。この重みは、聴覚重み付けフィルタ算
出回路139からの出力により与えられる。ベクトル量
子化器116からの上記エンベロープのインデクスは、
スイッチ117を介して出力端子103より取り出され
る。なお、上記重み付きベクトル量子化に先だって、所
定個数のデータから成るベクトルについて適当なリーク
係数を用いたフレーム間差分をとっておくようにしても
よい。
【0034】次に、第2の符号化部120について説明
する。第2の符号化部120は、いわゆるCELP(符
号励起線形予測)符号化構成を有しており、特に、入力
音声信号の無声音部分の符号化のために用いられてい
る。この無声音部分用のCELP符号化構成において、
雑音符号帳、いわゆるストキャスティック・コードブッ
ク(stochastic code book)121からの代表値出力で
ある無声音のLPC残差に相当するノイズ出力を、ゲイ
ン回路126を介して、聴覚重み付きの合成フィルタ1
22に送っている。重み付きの合成フィルタ122で
は、入力されたノイズをLPC合成処理し、得られた重
み付き無声音の信号を減算器123に送っている。減算
器123には、上記入力端子101からHPF(ハイパ
スフィルタ)109を介して供給された音声信号を聴覚
重み付けフィルタ125で聴覚重み付けした信号が入力
されており、合成フィルタ122からの信号との差分あ
るいは誤差を取り出している。この誤差を距離計算回路
124に送って距離計算を行い、誤差が最小となるよう
な代表値ベクトルを雑音符号帳121でサーチする。こ
のような合成による分析(Analysis by Synthesis )法
を用いたクローズドループサーチを用いた時間軸波形の
ベクトル量子化を行っている。
【0035】このCELP符号化構成を用いた第2の符
号化部120からのUV(無声音)部分用のデータとし
ては、雑音符号帳121からのコードブックのシェイプ
インデクスと、ゲイン回路126からのコードブックの
ゲインインデクスとが取り出される。雑音符号帳121
からのUVデータであるシェイプインデクスは、スイッ
チ127sを介して出力端子107sに送られ、ゲイン
回路126のUVデータであるゲインインデクスは、ス
イッチ127gを介して出力端子107gに送られてい
る。
【0036】ここで、これらのスイッチ127s、12
7g及び上記スイッチ117、118は、上記V/UV
判定部115からのV/UV判定結果によりオン/オフ
制御され、スイッチ117、118は、現在伝送しよう
とするフレームの音声信号のV/UV判定結果が有声音
(V)のときオンとなり、スイッチ127s、127g
は、現在伝送しようとするフレームの音声信号が無声音
(UV)のときオンとなる。
【0037】次に、図4は、上記図2に示した本発明に
係る実施の形態としての音声信号復号化装置のより具体
的な構成を示している。この図4において、上記図2の
各部と対応する部分には、同じ指示符号を付している。
【0038】この図4において、入力端子202には、
上記図1、3の出力端子102からの出力に相当するL
SPのベクトル量子化出力、いわゆるコードブックのイ
ンデクスが供給されている。
【0039】このLSPのインデクスは、LPCパラメ
ータ再生部213のLSPの逆ベクトル量子化器231
に送られてLSP(線スペクトル対)データに逆ベクト
ル量子化され、LSP補間回路232、233に送られ
てLSPの補間処理が施された後、LSP→α変換回路
234、235でLPC(線形予測符号)のαパラメー
タに変換され、このαパラメータがLPC合成フィルタ
214に送られる。ここで、LSP補間回路232及び
LSP→α変換回路234は有声音(V)用であり、L
SP補間回路233及びLSP→α変換回路235は無
声音(UV)用である。またLPC合成フィルタ214
は、有声音部分のLPC合成フィルタ236と、無声音
部分のLPC合成フィルタ237とを分離している。す
なわち、有声音部分と無声音部分とでLPCの係数補間
を独立に行うようにして、有声音から無声音への遷移部
や、無声音から有声音への遷移部で、全く性質の異なる
LSP同士を補間することによる悪影響を防止してい
る。
【0040】また、図4の入力端子203には、上記図
1、図3のエンコーダ側の端子103からの出力に対応
するスペクトルエンベロープ(Am)の重み付けベクト
ル量子化されたコードインデクスデータが供給され、入
力端子204には、上記図1、図3の端子104からの
ピッチのデータが供給され、入力端子205には、上記
図1、図3の端子105からのV/UV判定データが供
給されている。
【0041】入力端子203からのスペクトルエンベロ
ープAmのベクトル量子化されたインデクスデータは、
逆ベクトル量子化器212に送られて逆ベクトル量子化
が施され、上記データ数変換に対応する逆変換が施され
て、スペクトルエンベロープのデータとなって、有声音
合成部211のサイン波合成回路215に送られてい
る。
【0042】なお、エンコード時にスペクトルのベクト
ル量子化に先だってフレーム間差分をとっている場合に
は、ここでの逆ベクトル量子化後にフレーム間差分の復
号を行ってからデータ数変換を行い、スペクトルエンベ
ロープのデータを得る。
【0043】サイン波合成回路215には、入力端子2
04からのピッチ及び入力端子205からの上記V/U
V判定データが供給されている。サイン波合成回路21
5からは、上述した図1、図3のLPC逆フィルタ11
1からの出力に相当するLPC残差データが取り出さ
れ、これが加算器218に送られている。
【0044】また、逆ベクトル量子化器212からのエ
ンベロープのデータと、入力端子204、205からの
ピッチ、V/UV判定データとは、有声音(V)部分の
ノイズ加算のためのノイズ合成回路216に送られてい
る。このノイズ合成回路216からの出力は、重み付き
重畳加算回路217を介して加算器218に送ってい
る。これは、サイン波合成によって有声音のLPC合成
フィルタへの入力となるエクサイテイション(Excitati
on:励起、励振)を作ると、男声等の低いピッチの音で
鼻づまり感がある点、及びV(有声音)とUV(無声
音)とで音質が急激に変化し不自然に感じる場合がある
点を考慮し、有声音部分のLPC合成フィルタ入力すな
わちエクサイテイションについて、音声符号化データに
基づくパラメータ、例えばピッチ、スペクトルエンベロ
ープ振幅、フレーム内の最大振幅、残差信号のレベル等
を考慮したノイズをLPC残差信号の有声音部分に加え
ているものである。
【0045】加算器218からの加算出力は、LPC合
成フィルタ214の有声音用の合成フィルタ236に送
られてLPCの合成処理が施されることにより時間波形
データとなり、さらに有声音用ポストフィルタ238v
でフィルタ処理された後、加算器239に送られる。
【0046】次に、図4の入力端子207s及び207
gには、上記図3の出力端子107s及び107gから
のUVデータとしてのシェイプインデクス及びゲインイ
ンデクスがそれぞれ供給され、無声音合成部220に送
られている。端子207sからのシェイプインデクス
は、無声音合成部220の雑音符号帳221に、端子2
07gからのゲインインデクスはゲイン回路222にそ
れぞれ送られている。雑音符号帳221から読み出され
た代表値出力は、無声音のLPC残差に相当するノイズ
信号成分であり、これがゲイン回路222で所定のゲイ
ンの振幅となり、窓かけ回路223に送られて、上記有
声音部分とのつなぎを円滑化するための窓かけ処理が施
される。
【0047】窓かけ回路223からの出力は、無声音合
成部220からの出力として、LPC合成フィルタ21
4のUV(無声音)用の合成フィルタ237に送られ
る。合成フィルタ237では、LPC合成処理が施され
ることにより無声音部分の時間波形データとなり、この
無声音部分の時間波形データは無声音用ポストフィルタ
238uでフィルタ処理された後、加算器239に送ら
れる。
【0048】加算器239では、有声音用ポストフィル
タ238vからの有声音部分の時間波形信号と、無声音
用ポストフィルタ238uからの無声音部分の時間波形
データとが加算され、出力端子201より取り出され
る。
【0049】上記音声信号符号化装置では、出力データ
のビットレートが可変されて出力される。具体的には、
出力データのビットレートを、低ビットレートと高ビッ
トレートとに切り換えることができる。例えば、低ビッ
トレートを2kbpsとし、高ビットレートを6kbpsとす
る場合には、以下の表1に示す各ビットレートのデータ
が出力される。
【0050】
【表1】
【0051】出力端子104からのピッチデータについ
ては、有声音時に、常に8bits/20msecで出力さ
れ、出力端子105から出力されるV/UV判定出力
は、常に1bit/20msecである。出力端子102から
出力されるLSP量子化のインデクスは、32bits/4
0msecと48bits/40msecとの間で切り換えが行わ
れる。また、出力端子103から出力される有声音時
(V)のインデクスは、15bits/20msecと87bit
s/20msecとの間で切り換えが行われ、出力端子10
7s、107gから出力される無声音時(UV)のイン
デクスは、11bits/10msecと23bits/5msecと
の間で切り換えが行われる。これにより、有声音時
(V)の出力データは、2kbpsでは40bits/20ms
ecとなり、6kbpsでは120bits/20msecとなる。
また、無声音時(UV)の出力データは、2kbpsでは
39bits/20msecとなり、6kbpsでは117bits/
20msecとなる。
【0052】尚、上記LSP量子化のインデクス、有声
音時(V)のインデクス、及び無声音時(UV)のイン
デクスについては、後述する各部の構成と共に説明す
る。
【0053】次に、図5及び図6を用いて、LSP量子
化器134におけるマトリクス量子化及びベクトル量子
化について詳細に説明する。
【0054】上述のように、LPC分析回路132から
のαパラメータは、α→LSP変換回路133に送られ
て、LSPパラメータに変換される。例えば、LPC分
析回路132でP次のLPC分析を行う場合には、αパ
ラメータはP個算出される。このP個のαパラメータ
は、LSPパラメータに変換され、バッファ610に保
持される。
【0055】このバッファ610からは、2フレーム分
のLSPパラメータが出力される。2フレーム分のLS
Pパラメータはマトリクス量子化部620でマトリクス
量子化される。マトリクス量子化部620は、第1のマ
トリクス量子化部6201と第2のマトリクス量子化部
6202とから成る。2フレーム分のLSPパラメータ
は、第1のマトリクス量子化部6201でマトリクス量
子化され、これにより得られる量子化誤差が、第2のマ
トリクス量子化部6202でさらにマトリクス量子化さ
れる。これらのマトリクス量子化により、時間軸方向の
相関を取り除く。
【0056】マトリクス量子化部6202からの2フレ
ーム分の量子化誤差は、ベクトル量子化部640に入力
される。ベクトル量子化部640は、第1のベクトル量
子化部6401と第2のベクトル量子化部6402とから
成る。さらに、第1のベクトル量子化部6401は、2
つのベクトル量子化部650、660から成り、第2の
ベクトル量子化部6402は、2つのベクトル量子化部
670、680から成る。第1のベクトル量子化部64
1のベクトル量子化部650、660で、マトリクス
量子化部620からの量子化誤差が、それぞれ1フレー
ム毎にベクトル量子化される。これにより得られる量子
化誤差ベクトルは、第2のベクトル量子化部6402
ベクトル量子化部670、680で、さらにベクトル量
子化される。これらのベクトル量子化により、周波数軸
方向の相関を処理する。
【0057】このように、マトリクス量子化を施す工程
を行うマトリクス量子化部620は、第1のマトリクス
量子化工程を行う第1のマトリクス量子化部620
1と、この第1のマトリクス量子化による量子化誤差を
マトリクス量子化する第2のマトリクス量子化工程を行
う第2のマトリクス量子化部6202とを少なくとも有
し、上記ベクトル量子化を施す工程を行うベクトル量子
化部640は、第1のベクトル量子化工程を行う第1の
ベクトル量子化部6401と、この第1のベクトル量子
化の際の量子化誤差ベクトルをベクトル量子化する第2
のベクトル量子化工程を行う第2のベクトル量子化部6
402とを少なくとも有する。
【0058】次に、マトリクス量子化及びベクトル量子
化について具体的に説明する。
【0059】バッファ610に保持された、2フレーム
分のLSPパラメータ、すなわち10×2の行列は、マ
トリクス量子化器6201に送られる。上記第1のマト
リクス量子化部6101では、2フレーム分のLSPパ
ラメータが加算器621を介して重み付き距離計算器6
23に送られ、最小となる重み付き距離が算出される。
【0060】この第1のマトリクス量子化部6201
よるコードブックサーチ時の歪尺度dMQ1は、LSPパ
ラメータX1、量子化値 1を用い、(1)式で示す。
【0061】
【数1】
【0062】ここで、tはフレーム番号、iはP次元の
番号を示す。
【0063】また、このときの、周波数軸方向及び時間
軸方向に重みの制限を考慮しない場合の重みWを(2)
式で示す。
【0064】
【数2】
【0065】この(2)式の重みWは、後段のマトリク
ス量子化及びベクトル量子化でも用いられる。
【0066】算出された重み付き距離はマトリクス量子
化器(MQ1)622に送られて、マトリクス量子化が
行われる。このマトリクス量子化により出力される8ビ
ットのインデクスは信号切換器690に送られる。ま
た、マトリクス量子化による量子化値は、加算器621
で、バッファ610からの次の2フレーム分のLSPパ
ラメータから減算される。重み付き距離計算器623で
は、加算器621からの出力を用いて、最小となる重み
付き距離が算出される。このように、2フレーム毎に、
順次、重み付き距離計算器623では重み付き距離が算
出されて、マトリクス量子化器622でマトリクス量子
化が行われる。また、加算器621からの出力は、第2
のマトリクス量子化部6202の加算器631に送られ
る。
【0067】第2のマトリクス量子化部6202でも第
1のマトリクス量子化部6201と同様にして、マトリ
クス量子化を行う。上記加算器621からの出力は、加
算器631を介して重み付き距離計算器633に送ら
れ、最小となる重み付き距離が算出される。
【0068】この第2のマトリクス量子化部6202
よるコードブックサーチ時の歪尺度dMQ2を、第1のマ
トリクス量子化部6201からの量子化誤差X2、量子化
2により、(3)式で示す。
【0069】
【数3】
【0070】この重み付き距離はマトリクス量子化器
(MQ2)632に送られて、マトリクス量子化が行わ
れる。このマトリクス量子化により出力される8ビット
のインデクスは信号切換器690に送られる。また、マ
トリクス量子化による量子化値は、加算器631で、次
の2フレーム分の量子化誤差から減算される。重み付き
距離計算器633では、加算器631からの出力を用い
て、最小となる重み付き距離が順次算出される。また、
加算器631からの出力は、第1のベクトル量子化部6
401の加算器651、661に1フレームずつ送られ
る。
【0071】この第1のベクトル量子化部6401
は、1フレーム毎にベクトル量子化が行われる。加算器
631からの出力は、1フレーム毎に、加算器651、
661を介して重み付き距離計算器653、663にそ
れぞれ送られ、最小となる重み付き距離が算出される。
【0072】量子化誤差X2と量子化値 2との差分は、
10×2の行列であり、 X2−X2’=[ 3-1 3-2] と表すときの、この第1のベクトル量子化部6401
ベクトル量子化器652、662によるコードブックサ
ーチ時の歪尺度dVQ1、dVQ2を、(4)、(5)式で示
す。
【0073】
【数4】
【0074】この重み付き距離はベクトル量子化器(V
1)652、ベクトル量子化器(VQ2)662にそれ
ぞれ送られて、ベクトル量子化が行われる。このベクト
ル量子化により出力される各8ビットのインデクスは信
号切換器690に送られる。また、ベクトル量子化によ
る量子化値は、加算器651、661で、次に入力され
る2フレーム分の量子化誤差ベクトルから減算される。
重み付き距離計算器653、663では、加算器65
1、661からの出力を用いて、最小となる重み付き距
離が順次算出される。また、加算器651、661から
の出力は、第2のベクトル量子化部6402の加算器6
71、681にそれぞれ送られる。
【0075】ここで、 4-1 =X3-13-1 4-2 =X3-23-2 と表すときの、この第2のベクトル量子化部6402
ベクトル量子化器672、682によるコードブックサ
ーチ時の歪尺度dVQ3、dVQ4を、(6)、(7)式で示
す。
【0076】
【数5】
【0077】この重み付き距離はベクトル量子化器(V
3)672、ベクトル量子化器(VQ4)682にそれ
ぞれ送られて、ベクトル量子化が行われる。このベクト
ル量子化により出力される各8ビットのインデクスは信
号切換器690に送られる。また、ベクトル量子化によ
る量子化値は、加算器671、681で、次に入力され
る2フレーム分の量子化誤差ベクトルから減算される。
重み付き距離計算器673、683では、加算器67
1、681からの出力を用いて、最小となる重み付き距
離が順次算出される。
【0078】また、コードブックの学習時には、上記各
歪尺度をもとにして、一般化ロイドアルゴリズム(GL
A)により学習を行う。
【0079】尚、コードブックサーチ時と学習時の歪尺
度は、異なる値であっても良い。
【0080】上記マトリクス量子化器622、632、
ベクトル量子化器652、662、672、682から
の各8ビットのインデクスは、信号切換器690で切り
換えられて、出力端子691から出力される。
【0081】具体的には、低ビットレート時には、上記
第1のマトリクス量子化工程を行う第1のマトリクス量
子化部6201、上記第2のマトリクス量子化工程を行
う第2のマトリクス量子化部6202、及び上記第1の
ベクトル量子化工程を行う第1のベクトル量子化部64
1での出力を取り出し、高ビットレート時には、上記
低ビットレート時の出力に上記第2のベクトル量子化工
程を行う第2のベクトル量子化部6402での出力を合
わせて取り出す。
【0082】これにより、2kbps時には、32bits/
40msecのインデクスが出力され、6kbps時には、4
8bits/40msecのインデクスが出力される。
【0083】また、上記マトリクス量子化部620及び
上記ベクトル量子化部640では、上記LPC係数を表
現するパラメータの持つ特性に合わせた、周波数軸方向
又は時間軸方向、あるいは周波数軸及び時間軸方向に制
限を持つ重み付けを行う。
【0084】先ず、LSPパラメータの持つ特性に合わ
せた、周波数軸方向に制限を持つ重み付けについて説明
する。例えば、次数P=10とするとき、LSPパラメ
ータX(i)を、低域、中域、高域の3つの領域とし
て、 L1={X(i)|1≦i≦2} L2={X(i)|3≦i≦6} L3={X(i)|7≦i≦10} とグループ化する。そして、各グループL1、L2、L3
の重み付けを1/4、1/2、1/4とすると、各グル
ープL1、L2、L3の周波数軸方向のみに制限を持つ重
みは、(8)、(9)、(10)式となる。
【0085】
【数6】
【0086】これにより、各LSPパラメータの重み付
けは、各グループ内でのみ行われ、その重みは各グルー
プに対する重み付けで制限される。
【0087】ここで、時間軸方向からみると、各フレー
ムの重み付けの総和は、必ず1となるので、時間軸方向
の制限は1フレーム単位である。この時間軸方向のみに
制限を持つ重みは、(11)式となる。
【0088】
【数7】
【0089】この(11)式により、周波数軸方向での
制限のない、フレーム番号t=0,1の2つのフレーム
間で、重み付けが行われる。この時間軸方向にのみ制限
を持つ重み付けは、マトリクス量子化を行う2フレーム
間で行う。
【0090】また、学習時には、学習データとして用い
る全ての音声フレーム、即ち全データのフレーム数Tに
ついて、(12)式により、重み付けを行う。
【0091】
【数8】
【0092】また、周波数軸方向及び時間軸方向に制限
を持つ重み付けについて説明する。例えば、次数P=1
0とするとき、LSPパラメータX(i,t)を、低
域、中域、高域の3つの領域として、 L1={X(i,t)|1≦i≦2,0≦t≦1} L2={X(i,t)|3≦i≦6,0≦t≦1} L3={X(i,t)|7≦i≦10,0≦t≦1} とグループ化する。各グループL1、L2、L3の重み付
けを1/4、1/2、1/4とすると、各グループ
1、L2、L3の周波数軸方向及び時間軸方向に制限を
持つ重み付けは、(13)、(14)、(15)式とな
る。
【0093】
【数9】
【0094】この(13)、(14)、(15)式によ
り、周波数軸方向では3つの帯域毎に、時間軸方向では
マトリクス量子化を行う2フレーム間に重み付けの制限
を加えた重み付けを行う。これは、コードブックサーチ
時及び学習時共に有効となる。
【0095】また、学習時においては、全データのフレ
ーム数について重み付けを行う。LSPパラメータX
(i,t)を、低域、中域、高域の3つの領域として、 L1={X(i,t)|1≦i≦2,0≦t≦T} L2={X(i,t)|3≦i≦6,0≦t≦T} L3={X(i,t)|7≦i≦10,0≦t≦T} とグループ化し、各グループL1、L2、L3の重み付け
を1/4、1/2、1/4とすると、各グループL1
2、L3の周波数軸方向及び時間軸方向に制限を持つ重
み付けは、(16)、(17)、(18)式となる。
【0096】
【数10】
【0097】この(16)、(17)、(18)式によ
り、周波数軸方向では3つの帯域毎に重み付けを行い、
時間軸方向では全フレーム間で重み付けを行うことがで
きる。
【0098】さらに、上記マトリクス量子化部620及
び上記ベクトル量子化部640では、上記LSPパラメ
ータの変化の大きさに応じて重み付けを行う。音声フレ
ーム全体においては少数フレームとなる、V→UV、U
V→Vの遷移(トランジェント)部において、子音と母
音との周波数特性の違いから、LSPパラメータは大き
く変化する。そこで、(19)式に示す重みを、上述の
重みW’(i,t)に乗算することにより、上記遷移部
を重視する重み付けを行うことができる。
【0099】
【数11】
【0100】尚、(19)式の代わりに、(20)式を
用いることも考えられる。
【0101】
【数12】
【0102】このように、LSP量子化器134では、
2段のマトリクス量子化及び2段のベクトル量子化を行
うことにより、出力するインデクスのビット数を可変に
することができる。
【0103】次に、ベクトル量子化部116の基本構成
を図7、図7のベクトル量子化部116のより具体的な
構成を図8に示し、ベクトル量子化器116におけるス
ペクトルエンベロープ(Am)の重み付きベクトル量子
化の具体例について説明する。
【0104】先ず、図3の音声信号符号化装置におい
て、スペクトル評価部148の出力側あるいはベクトル
量子化器116の入力側に設けられたスペクトルエンベ
ロープの振幅のデータ数を一定個数にするデータ数変換
の具体例について説明する。
【0105】このデータ数変換には種々の方法が考えら
れるが、本実施の形態においては、例えば、周波数軸上
の有効帯域1ブロック分の振幅データに対して、ブロッ
ク内の最後のデータからブロック内の最初のデータまで
の値を補間するようなダミーデータを付加してデータ個
数をNF 個に拡大した後、帯域制限型のOS 倍(例えば
8倍)のオーバーサンプリングを施すことによりOS
の個数の振幅データを求め、このOS 倍の個数((mMX
+1)×OS 個)の振幅データを直線補間してさらに多
くのNM 個(例えば2048個)に拡張し、このNM
のデータを間引いて上記一定個数M(例えば44個)の
データに変換している。
【0106】図7の重み付きベクトル量子化を行うベク
トル量子化器116は、第1のベクトル量子化工程を行
う第1のベクトル量子化部500と、この第1のベクト
ル量子化部500における第1のベクトル量子化の際の
量子化誤差ベクトルを量子化する第2のベクトル量子化
工程を行う第2のベクトル量子化部510とを少なくと
も有する。この第1のベクトル量子化部500は、いわ
ゆる1段目のベクトル量子化部であり、第2のベクトル
量子化部510は、いわゆる2段目のベクトル量子化部
である。
【0107】第1のベクトル量子化部500の入力端子
501には、スペクトル評価部148の出力ベクトル
、即ち一定個数Mのエンベロープデータが入力され
る。この出力ベクトルは、ベクトル量子化器502で
重み付きベクトル量子化される。これにより、ベクトル
量子化器502から出力されるシェイプインデクスは出
力端子503から出力され、また、量子化値 0’は出
力端子504から出力されると共に、加算器505、5
13に送られる。加算器505では、出力ベクトル
ら量子化値 0’が減算されて、複数次元の量子化誤差
ベクトルが得られる。
【0108】この量子化誤差ベクトルは、第2のベク
トル量子化部510内のベクトル量子化部511に送ら
れる。このベクトル量子化部511は、複数個のベクト
ル量子化器で構成され、図7では、2個のベクトル量子
化器5111、5112から成る。量子化誤差ベクトル
は次元分割されて、2個のベクトル量子化器5111
5112で、それぞれ重み付きベクトル量子化される。
これらのベクトル量子化器5111、5112から出力さ
れるシェイプインデクスは、出力端子5121、5122
からそれぞれ出力され、また、量子化値 1’、 2’は
次元方向に接続されて、加算器513に送られる。この
加算器513では、量子化値 1’、 2’と量子化値
0’とが加算されて、量子化値 1’が生成される。この
量子化値 1’は出力端子514から出力される。
【0109】これにより、低ビットレート時には、上記
第1のベクトル量子化部500による第1のベクトル量
子化工程での出力を取り出し、高ビットレート時には、
上記第1のベクトル量子化工程での出力及び上記第2の
量子化部510による第2のベクトル量子化工程での出
力を取り出す。
【0110】具体的には、図8に示すように、ベクトル
量子化器116内の第1のベクトル量子化部500のベ
クトル量子化器502は、L次元、例えば44次元の2
ステージ構成としている。
【0111】すなわち、44次元でコードブックサイズ
が32のベクトル量子化コードブックからの出力ベクト
ルの和に、ゲインgi を乗じたものを、44次元のスペ
クトルエンベロープベクトルの量子化値 0’として
使用する。これは、図8に示すように、2つのシェイプ
コードブックをCB0、CB1とし、その出力ベクトル
0i 1j、ただし0≦i,j≦31、とする。ま
た、ゲインコードブックCBgの出力をgl 、ただし0
≦l≦31、とする。gl はスカラ値である。この最終
出力 0’は、gi 0i 1j) となる。
【0112】LPC残差について上記MBE分析によっ
て得られたスペクトルエンベロープAmを一定次元に変
換したものをとする。このとき、をいかに効率的に
量子化するかが重要である。
【0113】ここで、量子化誤差エネルギEを、 E=‖W{H−Hgl 0i 1j)}‖2 ・・・ (21) =‖WH{−gl 0i 1j)}‖2 と定義する。この(21)式において、HはLPCの合
成フィルタの周波数軸上での特性であり、Wは聴覚重み
付けの周波数軸上での特性を表す重み付けのための行列
である。
【0114】現フレームのLPC分析結果によるαパラ
メータを、αi (1≦i≦P)として、
【0115】
【数13】
【0116】の周波数特性からL次元、例えば44次元
の各対応する点の値をサンプルしたものである。
【0117】算出手順としては、一例として、1、
α1、α2、・・・、αp に0詰めして、すなわち、1、
α1、α2、・・・、αp 、0、0、・・・、0として、
例えば256点のデータにする。その後、256点FF
Tを行い、(re 2+Im 21/2 を0〜πに対応する点に
対して算出して、その逆数をとる。それをL点、すなわ
ち例えば44点に間引いたものを対角要素とする行列
を、
【0118】
【数14】
【0119】とする。
【0120】聴覚重み付け行列Wは、
【0121】
【数15】
【0122】とする。この(23)式で、αi は入力の
LPC分析結果である。また、λa、λbは定数であり、
一例として、λa=0.4、λb=0.9が挙げられる。
【0123】行列あるいはマトリクスWは、上記(2
3)式の周波数特性から算出できる。一例として、1、
α1λb、α2λb2、・・・、αpλbp、0、0、・・・、
0として256点のデータとしてFFTを行い、0以上
π以下の区間に対して(re 2[i]+Im 2[i])1/2 、0
≦i≦128、を求める。次に、1、α1λa、α2λ
a2、・・・、αpλap 、0、0、・・・、0として分母
の周波数特性を256点FFTで0〜πの区間を128
点で算出する。これを(re'2[i]+Im'2[i])1/2
0≦i≦128、とする。
【0124】
【数16】
【0125】として、上記(23)式の周波数特性が求
められる。
【0126】これをL次元、例えば44次元ベクトルの
対応する点について、以下の方法で求める。より正確に
は、直線補間を用いるべきであるが、以下の例では最も
近い点の値で代用している。
【0127】すなわち、 ω[i]=ω0[nint(128i/L)] 1≦i≦L ただし、nint(X)は、Xに最も近い整数を返す関数 である。
【0128】また、上記Hに関しても同様の方法で、h
(1)、h(2)、・・・、h(L)を求めている。すなわち、
【0129】
【数17】
【0130】となる。
【0131】ここで、他の例として、FFTの回数を減
らすのに、H(z)W(z)を先に求めてから、周波数特性
を求めてもよい。すなわち、
【0132】
【数18】
【0133】この(25)式の分母を展開した結果を、
【0134】
【数19】
【0135】とする。ここで、1、β1、β2、・・・、
β2p、0、0、・・・、0として、例えば256点のデ
ータにする。その後、256点FFTを行い、振幅の周
波数特性を、
【0136】
【数20】
【0137】とする。これより、
【0138】
【数21】
【0139】これをL次元ベクトルの対応する点につい
て求める。上記FFTのポイント数が少ない場合は、直
線補間で求めるべきであるが、ここでは最寄りの値を使
用している。すなわち、
【0140】
【数22】
【0141】である。これを対角要素とする行列をW’
とすると、
【0142】
【数23】
【0143】となる。(26)式は上記(24)式と同
一のマトリクスとなる。
【0144】このマトリクス、すなわち重み付き合成フ
ィルタの周波数特性を用いて、上記(21)式を書き直
すと、
【0145】
【数24】
【0146】となる。
【0147】ここで、シェイプコードブックとゲインコ
ードブックの学習法について説明する。
【0148】先ず、CB0に関しコードベクトル 0c
選択する全てのフレームkに関して歪の期待値を最小化
する。そのようなフレームがM個あるとして、
【0149】
【数25】
【0150】を最小化すればよい。この(28)式中
で、W'kはk番目のフレームに対する重み、 k はk番
目のフレームの入力、gk はk番目のフレームのゲイ
ン、 1kはk番目のフレームについてのコードブックC
B1からの出力、をそれぞれ示す。
【0151】この(28)式を最小化するには、
【0152】
【数26】
【0153】
【数27】
【0154】次に、ゲインに関しての最適化を考える。
【0155】ゲインのコードワードgc を選択するk番
目のフレームに関しての歪の期待値Jg は、
【0156】
【数28】
【0157】上記(31)式及び(32)式は、シェイ
0i 1i及びゲインgi 、0≦i≦31の最適なセ
ントロイドコンディション(Centroid Condition)、すな
わち最適なデコーダ出力を与えるものである。なお、
1iに関しても 0iと同様に求めることができる。
【0158】次に、最適エンコード条件(Nearest Neig
hbour Condition )を考える。
【0159】歪尺度を求める上記(27)式、すなわ
ち、E=‖W'(−gl 0i 1j))‖2 を最小化
する 0i 1jを、入力、重みマトリクスW' が与え
られる毎に、すなわち毎フレームごとに決定する。
【0160】本来は、総当り的に全てのgl(0≦l≦
31)、 0i(0≦i≦31)、 1 j(0≦j≦31)
の組み合せの、32×32×32=32768通りにつ
いてEを求めて、最小のEを与えるgl 0i 1j
組を求めるべきであるが、膨大な演算量となるので、本
実施の形態では、シェイプとゲインのシーケンシャルサ
ーチを行っている。なお、 0i 1jとの組み合せにつ
いては、総当りサーチを行うものとする。これは、32
×32=1024通りである。以下の説明では、簡単化
のため、 0i 1j m と記す。
【0161】上記(27)式は、E=‖W'(−gl
m)‖2 となる。さらに簡単のため、 w=W' w
=W' m とすると、
【0162】
【数29】
【0163】となる。従って、gl の精度が充分にとれ
ると仮定すると、
【0164】
【数30】
【0165】という2つのステップに分けてサーチする
ことができる。元の表記を用いて書き直すと、
【0166】
【数31】
【0167】となる。この(35)式が最適エンコード
条件(Nearest Neighbour Condition)である。
【0168】ここで上記(31)、(32)式の条件
(Centroid Condition)と、(35)式の条件を用い
て、LBG(Linde-Buzo-Gray)アルゴリズム、いわゆる
一般化ロイドアルゴリズム(Generalized Lloyd Algori
thm:GLA)によりコードブック(CB0、CB1、C
Bg)を同時にトレーニングできる。
【0169】ところで、ベクトル量子化器116でのベ
クトル量子化の際の聴覚重み付けに用いられる重みW’
については、上記(26)式で定義されているが、過去
のW’も加味して現在のW’を求めることにより、テン
ポラルマスキングも考慮したW’が求められる。
【0170】上記(26)式中のwh(1),wh(2),・・・,w
h(L)に関して、時刻n、すなわち第nフレームで算出さ
れたものをそれぞれwhn(1),whn(2),・・・,whn(L) とす
る。
【0171】時刻nで過去の値を考慮した重みをA
n(i)、1≦i≦L と定義すると、 An(i)=λAn-1(i)+(1−λ)whn(i) (whn(i)≦An-1(i)) =whn(i) (whn(i)>An-1(i)) とする。ここで、λは例えばλ=0.2とすればよい。
このようにして求められたAn(i)、1≦i≦L につい
て、これを対角要素とするマトリクスを上記重みとして
用いればよい。
【0172】このように重み付きベクトル量子化により
得られたシェイプインデクス 0i 1jは、出力端子5
20、522からそれぞれ出力され、ゲインインデクス
lは、出力端子521から出力される。また、量子化
0’は、出力端子504から出力されると共に、加
算器505に送られる。
【0173】この加算器505では、出力ベクトル
ら量子化値 0’が減算されて、量子化誤差ベクトル
が生成される。この量子化誤差ベクトルは、具体的に
は、8個のベクトル量子化器5111〜5118から成る
ベクトル量子化部511に送られて、次元分割され、各
ベクトル量子化器5111〜5118で重み付きのベクト
ル量子化が施される。
【0174】第2のベクトル量子化部510では、第1
のベクトル量子化部500と比較して、かなり多くのビ
ット数を用いるため、コードブックのメモリ容量及びコ
ードブックサーチのための演算量(Complexity)が非常
に大きくなり、第1のベクトル量子化部500と同じ4
4次元のままでベクトル量子化を行うことは、不可能で
ある。そこで、第2のベクトル量子化部510内のベク
トル量子化部511を複数個のベクトル量子化器で構成
し、入力される量子化値を次元分割して、複数個の低次
元ベクトルとして、重み付きのベクトル量子化を行う。
【0175】ベクトル量子化器5111〜5118で用い
る各量子化値 0 7と、次元数と、ビット数との関係
を、表2に示す。
【0176】
【表2】
【0177】ベクトル量子化器5111〜5118から出
力されるインデクスIdvq0〜Idvq7は、各出力端
子5231〜5238からそれぞれ出力される。これらの
インデクスの合計は72ビットである。
【0178】また、ベクトル量子化器5111〜5118
から出力される量子化値 0’〜 ’を次元方向に接
続した値を’とすると、加算器513では、量子化値
’と量子化値 ’とが加算されて、量子化値 1
が得られる。よって、この量子化値 1’は、 1 ’= 0’+’ =’ で表される。すなわち、最終的な量子化誤差ベクトル
は、’−となる。
【0179】尚、音声信号復号化装置側では、この第2
のベクトル量子化部510からの量子化値 1’を復号
化するときには、第1のベクトル量子化部500からの
量子化値 0’は不要であるが、第1のベクトル量子化
部500及び第2のベクトル量子化部510からのイン
デクスは必要とする。
【0180】次に、上記ベクトル量子化部511におけ
る学習法及びコードブックサーチについて説明する。
【0181】先ず、学習法においては、量子化誤差ベク
トル及び重みW’を用い、表2に示すように、8つの
低次元ベクトル 0 7及びマトリクスに分割する。こ
のとき、重みW’は、例えば44点に間引いたものを対
角要素とする行列、
【0182】
【数32】
【0183】とすると、以下の8つの行列に分割され
る。
【0184】
【数33】
【0185】このように、及びW’の低次元に分割さ
れたものを、それぞれ i 、Wi’ (1≦i≦8) とする。
【0186】ここで、歪尺度Eを、 E=‖Wi'( i)‖2 ・・・(37) と定義する。このコードベクトル iの量子化結果
であり、歪尺度Eを最小化する、コードブックのコード
ベクトルがサーチされる。
【0187】尚、Wi’は、学習時には重み付けがあ
り、サーチ時には重み付け無し、すなわち単位行列と
し、学習時とコードブックサーチ時とでは異なる値を用
いるようにしてもよい。
【0188】また、コードブックの学習では、一般化ロ
イドアルゴリズム(GLA)を用い、さらに重み付けを
行っている。先ず、学習のための最適なセントロイドコ
ンディションについて説明する。コードベクトルを最
適な量子化結果として選択した入力ベクトルがM個あ
る場合に、トレーニングデータを kとすると、歪の期
待値Jは、全てのフレームkに関して重み付け時の歪の
中心を最小化するような(38)式となる。
【0189】
【数34】
【0190】上記(39)式で示すは最適な代表ベク
トルであり、最適なセントロイドコンディションであ
る。
【0191】また、最適エンコード条件は、‖Wi'(
i)‖2 の値を最小化するをサーチすればよい。
ここで、サーチ時のWi'は、必ずしも学習時と同じWi'
である必要はなく、重み無しで
【0192】
【数35】
【0193】のマトリクスとしてもよい。
【0194】このように、音声信号符号化装置内のベク
トル量子化部116を2段のベクトル量子化部から構成
することにより、出力するインデクスのビット数を可変
にすることができる。
【0195】次に、本発明の前記CELP符号化構成を
用いた第2の符号化部120は、より具体的には図9に
示すような、多段のベクトル量子化処理部(図9の例で
は2段の符号化部1201と1202)の構成を有するも
のとなされている。なお、当該図9の構成は、伝送ビッ
トレートを例えば前記2kbpsと6kbpsとで切り
換え可能な場合において、6kbpsの伝送ビットレー
トに対応した構成を示しており、さらにシェイプ及びゲ
インインデクス出力を23ビット/5msecと15ビ
ット/5msecとで切り換えられるようにしているも
のである。また、この図9の構成における処理の流れは
図10に示すようになっている。
【0196】この図9において、例えば、図9の第1の
符号化部200は前記図3の第1の符号化部113と略
々対応し、図9のLPC分析回路302は前記図3に示
したLPC分析回路132と対応し、図9のLSPパラ
メータ量子化回路303は図3の前記α→LSP変換回
路133からLSP→α変換回路137までの構成と対
応し、図9の聴覚重み付けフィルタ304は図3の前記
聴覚重み付けフィルタ算出回路139及び聴覚重み付け
フィルタ125と対応している。したがって、この図9
において、端子305には前記図3の第1の符号化部1
13のLSP→α変換回路137からの出力と同じもの
が供給され、また、端子307には前記図3の聴覚重み
付けフィルタ算出回路139からの出力と同じものが、
端子306には前記図3の聴覚重み付けフィルタ125
からの出力と同じものが供給される。ただし、この図5
の聴覚重み付けフィルタ304では、前記図3の聴覚重
み付けフィルタ125とは異なり、前記LSP→α変換
回路137の出力を用いずに、入力音声データと量子化
前のαパラメータとから、前記聴覚重み付けした信号
(すなわち前記図3の聴覚重み付けフィルタ125から
の出力と同じ信号)を生成している。
【0197】また、この図9に示す2段構成の第2の符
号化部1201及び1202において、減算器313及び
323は図3の減算器123と対応し、距離計算回路3
14及び324は図3の距離計算回路124と、ゲイン
回路311及び321は図3のゲイン回路126と、ス
トキャスティックコードブック310,320及びゲイ
ンコードブック315,325は図3の雑音符号帳12
1とそれぞれ対応している。
【0198】このような図9の構成において、先ず、図
10のステップS1に示すように、LPC分析回路30
2では、端子301から供給された入力音声データ
前述同様に適当なフレームに分割してLPC分析を行
い、αパラメータを求める。LSPパラメータ量子化回
路303では、上記LPC分析回路302からのαパラ
メータをLSPパラメータに変換して量子化し、さらに
この量子化したLSPパラメータを補間した後、αパラ
メータに変換する。次に、当該LSPパラメータ量子化
回路303では、当該量子化したLSPパラメータを変
換したαパラメータ、すなわち量子化されたαパラメー
タから、LPC合成フィルタ関数1/H(z)を生成
し、これを端子305を介して1段目の第2の符号化部
1201の聴覚重み付き合成フィルタ312に送る。
【0199】一方、聴覚重み付けフィルタ304では、
LPC分析回路302からのαパラメータ(すなわち量
子化前のαパラメータ)から、前記図3の聴覚重み付け
フィルタ算出回路139によるものと同じ聴覚重み付け
のためのデータを求め、この重み付けのためのデータが
端子307を介して、1段目の第2の符号化部1201
の聴覚重み付き合成フィルタ312に送られる。また、
当該聴覚重み付けフィルタ304では、図10のステッ
プS2に示すように、入力音声データと量子化前のαパ
ラメータとから、前記聴覚重み付けした信号(前記図3
の聴覚重み付けフィルタ125からの出力と同じ信号)
を生成する。すなわち、先ず、量子化前のαパラメータ
から聴覚重み付けフィルタ関数W(z)を生成し、さら
に入力音声データに当該フィルタ関数W(z)をかけ
Wを生成し、これを上記聴覚重み付けした信号とし
て、端子306を介して1段目の第2の符号化部120
1の減算器313に送る。
【0200】1段目の第2の符号化部1201では、9
ビットシェイプインデクス出力のストキャスティックコ
ードブック(stochastic code book)310からの代表
値出力(無声音のLPC残差に相当するノイズ出力)が
ゲイン回路311に送られ、このゲイン回路311に
て、ストキャスティックコードブック310からの代表
値出力に6ビットゲインインデクス出力のゲインコード
ブック315からのゲイン(スカラ値)を乗じ、このゲ
イン回路311にてゲインが乗じられた代表値出力が、
1/A(z)=(1/H(z))・W(z)の聴覚重み
付きの合成フィルタ312に送られる。この重み付きの
合成フィルタ312からは、図10のステップS3のよ
うに、1/A(z)のゼロ入力応答出力が減算器313
に送られる。当該減算器313では、上記聴覚重み付き
合成フィルタ312からのゼロ入力応答出力と、上記聴
覚重み付けフィルタ304からの上記聴覚重み付けした
信号 Wとを用いた減算が行われ、この差分或いは誤差
が参照ベクトルとして取り出される。図10のステッ
プS4に示すように、1段目の第2の符号化部1201
でのサーチ時には、この参照ベクトルが、距離計算回
路314に送られ、ここで距離計算が行われ、量子化誤
差エネルギEを最小にするシェイプベクトルとゲイン
gがサーチされる。ただし、ここでの1/A(z)はゼ
ロ状態である。すなわち、コードブック中のシェイプベ
クトルをゼロ状態の1/A(z)で合成したものを
synとするとき、式(40)を最小にするシェイプベク
トルとゲインgをサーチする。
【0201】
【数36】
【0202】ここで、量子化誤差エネルギEを最小とす
とgをフルサーチしてもよいが、計算量を減らすた
めに、以下のような方法をとることができる。
【0203】第1の方法として、以下の式(41)に定
義するEsを最小とするシェイプベクトルをサーチす
る。
【0204】
【数37】
【0205】第2の方法として、第1の方法により得ら
れたより、理想的なゲインは、式(42)のようにな
るから、式(43)を最小とするgをサーチする。
【0206】
【数38】
【0207】 Eg=(gref−g)2 (43) ここで、Eはgの二次関数であるから、Egを最小にす
るgはEを最小化する。
【0208】上記第1,第2の方法によって得られた
とgより、量子化誤差ベクトル(n)は次の式(4
4)のように計算できる。
【0209】 (n)=(n)−g syn(n) (44) これを、2段目の第2の符号化部1202のリファレン
ス入力として1段目と同様にして量子化する。
【0210】すなわち、上記1段目の第2の符号化部1
201の聴覚重み付き合成フィルタ312からは、端子
305及び端子307に供給された信号がそのまま2段
目の第2の符号化部1202の聴覚重み付き合成フィル
タ322に送られる。また、当該2段目の第2の符号化
部1202減算器323には、1段目の第2の符号化部
1201にて求めた上記量子化誤差ベクトル(n)が
供給される。
【0211】次に、図10のステップS5において、当
該2段目の第2の符号化部1202でも1段目と同様に
処理が行われる。すなわち、5ビットシェイプインデク
ス出力のストキャスティックコードブック320からの
代表値出力がゲイン回路321に送られ、このゲイン回
路321にて、当該コードブック320からの代表値出
力に3ビットゲインインデクス出力のゲインコードブッ
ク325からのゲインを乗じ、このゲイン回路321の
出力が、聴覚重み付きの合成フィルタ322に送られ
る。当該重み付きの合成フィルタ322からの出力は減
算器323に送られ、当該減算器323にて上記聴覚重
み付き合成フィルタ322からの出力と1段目の量子化
誤差ベクトル(n)との差分が求められ、この差分が
距離計算回路324に送られてここで距離計算が行わ
れ、量子化誤差エネルギEを最小にするシェイプベクト
とゲインgがサーチされる。
【0212】上述したような1段目の第2の符号化部1
201のストキャストコードブック310からのシェイ
プインデクス出力及びゲインコードブック315からの
ゲインインデクス出力と、2段目の第2の符号化部12
2のストキャストコードブック320からのインデク
ス出力及びゲインコードブック325からのインデクス
出力は、インデクス出力切り換え回路330に送られる
ようになっている。ここで、当該第2の符号化部120
から前記23ビット出力を行うときには、上記1段目と
2段目の第2の符号化部1201及び1202のストキャ
ストコードブック310,320及びゲインコードブッ
ク315,325からの各インデクスを合わせて出力
し、一方、前記15ビット出力を行うときには、上記1
段目の第2の符号化部1201のストキャストコードブ
ック310とゲインコードブック315からの各インデ
クスを出力する。
【0213】その後は、ステップS6のようにフィルタ
状態がアップデートされる。
【0214】ところで、本実施の形態では、2段目の第
2の符号化部1202のインデクスビット数が、シェイ
プベクトルについては5ビットで、ゲインについては3
ビットと非常に少ない。このような場合、適切なシェイ
プ、ゲインがコードブックに存在しないと、量子化誤差
を減らすどころか逆に増やしてしまう可能性がある。
【0215】この問題を防ぐためには、ゲインに0を用
意しておけばよいが、ゲインは3ビットしかなく、その
うちの一つを0にしてしまうのは量子化器の性能を大き
く低下させてしまう。そこで、比較的多いビット数を割
り当てたシェイプベクトルに、要素が全て0のベクトル
を用意する。そして、このゼロベクトルを除いて、前述
のサーチを行い、量子化誤差が最終的に増えてしまった
場合に、ゼロベクトルを選択するようにする。なお、こ
のときのゲインは任意である。これにより、2段目の第
2の符号化部1202が量子化誤差を増すことを防ぐこ
とができる。
【0216】なお、図9の例では、2段構成の場合を例
に挙げているが、2段に限らず複数段構成とすることが
できる。この場合、1段目のクローズドループサーチに
よるベクトル量子化が終了したら、N段目(2≦N)で
はN−1段目の量子化誤差をリファレンス入力として量
子化を行い、さらにその量子化誤差をN+1段目のリフ
ァレンス入力とする。
【0217】上述したように、図9及び図10から、第
2の符号化部に多段のベクトル量子化器を用いることに
より、従来のような同じビット数のストレートベクトル
量子化や共役コードブックなどを用いたものと比較し
て、計算量が少なくなる。特に、CELP符号化では、
合成による分析(Analysis by Synthesis )法を用いた
クローズドループサーチを用いた時間軸波形のベクトル
量子化を行っているため、サーチの回数が少ないことが
重要である。また、2段の第2の符号化部1201と1
202の両インデクス出力を用いる場合と、1段目の第
2の符号化部1201のインデクス出力のみを用いる
(2段目の第2の符号化部1202の出力インデクスを
用いない)場合とを切り換えることにより、簡単にビッ
ト数を切り換えることが可能となっている。さらに上述
したように、1段目と2段目の第2の符号化部1201
と1202の両インデクス出力を合わせて出力するよう
なことを行えば、後のデコーダ側において例えば何れか
を選ぶようにすることで、デコーダ側でも容易に対応で
きることになる。すなわち例えば6kbpsでエンコー
ドしたパラメータを、2kbpsのデコーダでデコード
するときに、デコーダ側で容易に対応できることにな
る。またさらに、例えば2段目の第2の符号化部120
2のシェイプコードブックにゼロベクトルを含ませるこ
とにより、割り当てられたビット数が少ない場合でも、
ゲインに0を加えるよりは少ない性能劣化で量子化誤差
が増加することを防ぐことが可能となっている。
【0218】次に、上記ストキャスティックコードブッ
クのコードベクトル(シェイプベクトル)は例えば以下
のようにして生成することができる。
【0219】例えば、ストキャスティックコードブック
のコードベクトルは、いわゆるガウシアンノイズのクリ
ッピングにより生成することができる。具体的には、ガ
ウシアンノイズを発生させ、これを適当なスレシホール
ド値でクリッピングし、それを正規化することで、コー
ドブックを構成することができる。
【0220】ところが、音声には様々な形態があり、例
えば「さ,し,す,せ,そ」のようなノイズに近い子音
の音声には、ガウシアンノイズが適しているが、例えば
「ぱ,ぴ,ぷ,ぺ,ぽ」のような立ち上がりの激しい子
音(急峻な子音)の音声については、対応しきれない。
【0221】そこで、本発明では、全コードベクトルの
うち、適当な数はガウシアンノイズとし、残りを学習に
より求めて上記立ち上がりの激しい子音とノイズに近い
子音の何れにも対応できるようにする。例えば、スレシ
ホールド値を大きくとると、大きなピークを幾つか持つ
ようなベクトルが得られ、一方、スレシホールド値を小
さくとると、ガウシアンノイズそのものに近くなる。し
たがって、このようにクリッピングスレシホールド値の
バリエーションを増やすことにより、例えば「ぱ,ぴ,
ぷ,ぺ,ぽ」のような立ち上がりの激しい子音や、例え
ば「さ,し,す,せ,そ」のようなノイズに近い子音な
どに対応でき、明瞭度を向上させることができるように
なる。なお、図11には、図中実線で示すガウシアンノ
イズと図中点線で示すクリッピング後のノイズの様子を
示している。また、図11の(A)はクリッピングスレ
シホールド値が1.0の場合(すなわちスレシホールド
値が大きい場合)を、図11の(B)にはクリッピング
スレシホールド値が0.4の場合(すなわちスレシホー
ルド値が小さい場合)を示している。この図11の
(A)及び(B)から、スレシホールド値を大きくとる
と、大きなピークを幾つか持つようなベクトルが得ら
れ、一方、スレシホールド値を小さくとると、ガウシア
ンノイズそのものに近くなることが判る。
【0222】このようなことを実現するため、先ず、ガ
ウシアンノイズのクリッピングにより初期コードブック
を構成し、さらに予め適当な数だけ学習を行わないコー
ドベクトルを決めておく。この学習しないコードベクト
ルは、その分散値が小さいものから順に選ぶようにす
る。これは、例えば「さ,し,す,せ,そ」のようなノ
イズに近い子音に対応させるためである。一方、学習を
行って求めるコードベクトルは、当該学習のアルゴリズ
ムとしてLBGアルゴリズムを用いるようにする。ここ
で最適エンコード条件(Nearest Neighbour Conditio
n)でのエンコードは固定したコードベクトルと、学習
対象のコードベクトル両方を使用して行う。セントロイ
ドコンディション(Centroid Condition)においては、
学習対象のコードベクトルのみをアップデートする。こ
れにより、学習対象となったコードベクトルは「ぱ,
ぴ,ぷ,ぺ,ぽ」などの立ち上がりの激しい子音に対応
するようになる。
【0223】なお、ゲインは通常通りの学習を行うこと
で、これらのコードベクトルに対して最適なものが学習
できる。
【0224】上述したガウシアンノイズのクリッピング
によるコードブックの構成のための処理の流れを図12
に示す。
【0225】この図12において、ステップS10で
は、初期化として、学習回数n=0とし、誤差D0=∞
とし、最大学習回数nmaxを決定し、学習終了条件を決
めるスレシホールド値εを決定する。
【0226】次のステップS11では、ガウシアンノイ
ズのクリッピングによる初期コードブックを生成し、ス
テップS12では学習を行わないコードベクトルとして
一部のコードベクトルを固定する。
【0227】次にステップS13では上記コードブック
を用いてエンコードを行い、ステップS14では誤差を
算出し、ステップS15では(Dn-1−Dn)/Dn
ε、若しくはn=nmaxか否かを判断し、Yesと判断
した場合には処理を終了し、Noと判断した場合にはス
テップS16に進む。
【0228】ステップS16ではエンコードに使用され
なかったコードベクトルの処理を行い、次のステップS
17ではコードブックのアップデートを行う。次にステ
ップS18では学習回数nを1インクリメントし、その
後ステップS13に戻る。
【0229】以上説明したような信号符号化装置及び信
号復号化装置は、例えば図13及び図14に示すような
携帯通信端末あるいは携帯電話機等に使用される音声コ
ーデックとして用いることができる。
【0230】すなわち、図13は、上記図1、図3に示
したような構成を有する音声符号化部160を用いて成
る携帯端末の送信側構成を示している。この図13のマ
イクロホン161で集音された音声信号は、アンプ16
2で増幅され、A/D(アナログ/ディジタル)変換器
163でディジタル信号に変換されて、音声符号化部1
60に送られる。この音声符号化部160は、上述した
図1、図3に示すような構成を有しており、この入力端
子101に上記A/D変換器163からのディジタル信
号が入力される。音声符号化部160では、上記図1、
図3と共に説明したような符号化処理が行われ、図1、
図2の各出力端子からの出力信号は、音声符号化部16
0の出力信号として、伝送路符号化部164に送られ
る。伝送路符号化部164では、いわゆるチャネルコー
ディング処理が施され、その出力信号が変調回路165
に送られて変調され、D/A(ディジタル/アナログ)
変換器166、RFアンプ167を介して、アンテナ1
68に送られる。
【0231】また、図14は、上記図2、図4に示した
ような構成を有する音声復号化部260を用いて成る携
帯端末の受信側構成を示している。この図14のアンテ
ナ261で受信された音声信号は、RFアンプ262で
増幅され、A/D(アナログ/ディジタル)変換器26
3を介して、復調回路264に送られ、復調信号が伝送
路復号化部265に送られる。264からの出力信号
は、上記図2、図4に示すような構成を有する音声復号
化部260に送られる。音声復号化部260では、上記
図2、図4と共に説明したような復号化処理が施され、
図2、図4の出力端子201からの出力信号が、音声復
号化部260からの信号としてD/A(ディジタル/ア
ナログ)変換器266に送られる。このD/A変換器2
66からのアナログ音声信号がスピーカ268に送られ
る。
【0232】なお、本発明は上記実施の形態のみに限定
されるものではなく、例えば音声分析側(エンコード
側)の構成や、音声合成側(デコード側)の構成につい
ては、各部をハードウェア的に記載しているが、いわゆ
るDSP(ディジタル信号プロセッサ)等を用いてソフ
トウェアプログラムにより実現することも可能である。
また、上記ベクトル量子化の代わりに、複数フレームの
データをまとめてマトリクス量子化を施してもよい。さ
らに、本発明が適用される音声符号化方法やこれに対応
する復号化方法は、上記マルチバンド励起を用いた音声
分析/合成方法に限定されるものではなく、有声音部分
に正弦波合成を用いたり、無声音部分をノイズ信号に基
づいて合成するような種々の音声分析/合成方法に適用
でき、用途としても、伝送や記録再生に限定されず、ピ
ッチ変換やスピード変換、規則音声合成、あるいは雑音
抑圧のような種々の用途に応用できることは勿論であ
る。
【0233】
【発明の効果】以上の説明から明らかなように、本発明
に係る音声符号化方法によれば、合成による分析法を用
いて最適ベクトルのクローズドループサーチによる時間
軸波形のベクトル量子化を行う符号化において、ベクト
ル量子化のコードブックには、ガウシアンノイズを複数
の異なるスレシホールド値でクリッピングして生成した
コードベクトルからなるものを用いることで、様々な音
声の形態に対して良好な符号化を可能にしている。
【図面の簡単な説明】
【図1】本発明に係る音声符号化方法の実施の形態が適
用される音声信号符号化装置の基本構成を示すブロック
回路図である。
【図2】本発明に係る音声復号化方法の実施の形態が適
用される音声信号復号化装置の基本構成を示すブロック
回路図である。
【図3】本発明の実施の形態となる音声信号符号化装置
のより具体的な構成を示すブロック回路図である。
【図4】本発明の実施の形態となる音声信号復号化装置
のより具体的な構成を示すブロック回路図である。
【図5】LSP量子化部の基本構成を示すブロック図で
ある。
【図6】LSP量子化部のより具体的な構成を示すブロ
ック図である。
【図7】ベクトル量子化部の基本構成を示すブロック図
である。
【図8】ベクトル量子化部のより具体的な構成を示すブ
ロック図である。
【図9】本発明の音声信号符号化装置のCELP符号化
部分(第2の符号化部)の具体的構成を示すブロック回
路図である。
【図10】図9の構成における処理の流れを示すフロー
チャートである。
【図11】ガウシアンノイズと、異なるスレシホールド
値でのクリッピング後のノイズの様子を示す図である。
【図12】学習によってシェイプコードブックを生成す
る際の処理の流れを示すフローチャートである。
【図13】本発明の音声信号符号化装置が適用される携
帯端末の送信側構成を示すブロック回路図である。
【図14】本発明の音声信号復号化装置が適用される携
帯端末の受信側構成を示すブロック回路図である。
【符号の説明】
110 第1の符号化部 111 LPC逆フィルタ 113 LPC分析・量子化部 114 サイン波分析符号化部 115 V/UV判定部 120,1201,1202 第2の符号化部 121 雑音符号帳 122,312,322 重み付き合成フィルタ 123,313,323 減算器 124,314,324 距離計算回路 125 聴覚重み付けフィルタ 302 LPC分析回路 303 LPCパラメータ量子化回路 304 聴覚重み付けフィルタ 310,320 ストキャスティックコードブック 315,325 ゲインコードブック 330 インデクス出力切り換え回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大森 士郎 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 入力音声信号を時間軸上でブロック単位
    に区分し、各ブロック単位で符号化を行う音声符号化方
    法において、 合成による分析法を用いて最適ベクトルのクローズドル
    ープサーチによる時間軸波形のベクトル量子化を行う符
    号化工程を有し、 上記ベクトル量子化のコードブックは、ガウシアンノイ
    ズを複数の異なるスレシホールド値でクリッピングして
    生成したコードベクトルからなることを特徴とする音声
    符号化方法。
  2. 【請求項2】 上記ベクトル量子化のコードブックは、
    上記ガウシアンノイズをクリッピングして生成したコー
    ドベクトルと、当該ガウシアンノイズをクリッピングし
    て生成したコードベクトルを初期値にして学習により求
    めたコードベクトルとからなることを特徴とする請求項
    1記載の音声符号化方法。
  3. 【請求項3】 入力音声信号を時間軸上でブロック単位
    に区分し、各ブロック単位で符号化を行う音声符号化装
    置において、 合成による分析法を用いて最適ベクトルのクローズドル
    ープサーチによる時間軸波形のベクトル量子化を行う符
    号化手段を有し、 上記ベクトル量子化のコードブックは、ガウシアンノイ
    ズを複数の異なるスレシホールド値でクリッピングして
    生成したコードベクトルからなることを特徴とする音声
    符号化装置。
  4. 【請求項4】 上記ベクトル量子化のコードブックは、
    上記ガウシアンノイズをクリッピングして生成したコー
    ドベクトルと、当該ガウシアンノイズをクリッピングし
    て生成したコードベクトルを初期値にして学習により求
    めたコードベクトルとからなることを特徴とする請求項
    3記載の音声符号化装置。
JP27941795A 1995-10-26 1995-10-26 音声符号化方法及び装置 Expired - Fee Related JP3680380B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP27941795A JP3680380B2 (ja) 1995-10-26 1995-10-26 音声符号化方法及び装置
SG1996010888A SG43428A1 (en) 1995-10-26 1996-10-18 Speech encoding method and apparatus
KR1019960047282A KR100427752B1 (ko) 1995-10-26 1996-10-21 음성부호화방법 및 장치
US08/736,988 US5828996A (en) 1995-10-26 1996-10-25 Apparatus and method for encoding/decoding a speech signal using adaptively changing codebook vectors
EP96307729A EP0770989B1 (en) 1995-10-26 1996-10-25 Speech encoding method and apparatus
AT96307729T ATE213086T1 (de) 1995-10-26 1996-10-25 Verfahren und vorrichtung zur sprachkodierung
DE69619054T DE69619054T2 (de) 1995-10-26 1996-10-25 Verfahren und Vorrichtung zur Sprachkodierung
CN96121977A CN1156872A (zh) 1995-10-26 1996-10-26 语音编码的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27941795A JP3680380B2 (ja) 1995-10-26 1995-10-26 音声符号化方法及び装置

Publications (2)

Publication Number Publication Date
JPH09127990A true JPH09127990A (ja) 1997-05-16
JP3680380B2 JP3680380B2 (ja) 2005-08-10

Family

ID=17610804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27941795A Expired - Fee Related JP3680380B2 (ja) 1995-10-26 1995-10-26 音声符号化方法及び装置

Country Status (8)

Country Link
US (1) US5828996A (ja)
EP (1) EP0770989B1 (ja)
JP (1) JP3680380B2 (ja)
KR (1) KR100427752B1 (ja)
CN (1) CN1156872A (ja)
AT (1) ATE213086T1 (ja)
DE (1) DE69619054T2 (ja)
SG (1) SG43428A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524796A (ja) * 1999-07-19 2003-08-19 クゥアルコム・インコーポレイテッド 音声コーダにおける線スペクトル情報量子化方法を交錯するための方法および装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2729246A1 (fr) * 1995-01-06 1996-07-12 Matra Communication Procede de codage de parole a analyse par synthese
FR2729247A1 (fr) * 1995-01-06 1996-07-12 Matra Communication Procede de codage de parole a analyse par synthese
JP4040126B2 (ja) * 1996-09-20 2008-01-30 ソニー株式会社 音声復号化方法および装置
JP3707153B2 (ja) * 1996-09-24 2005-10-19 ソニー株式会社 ベクトル量子化方法、音声符号化方法及び装置
JP3849210B2 (ja) * 1996-09-24 2006-11-22 ヤマハ株式会社 音声符号化復号方式
JPH10105195A (ja) * 1996-09-27 1998-04-24 Sony Corp ピッチ検出方法、音声信号符号化方法および装置
US6064954A (en) * 1997-04-03 2000-05-16 International Business Machines Corp. Digital audio signal coding
KR100568889B1 (ko) * 1997-07-11 2006-04-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 개선된 스피치 인코더 및 디코더를 갖는 송신기
JP3235526B2 (ja) * 1997-08-08 2001-12-04 日本電気株式会社 音声圧縮伸長方法及びその装置
TW408298B (en) * 1997-08-28 2000-10-11 Texas Instruments Inc Improved method for switched-predictive quantization
EP1734512B1 (en) * 1997-10-22 2015-09-09 Godo Kaisha IP Bridge 1 CELP encoder and a method of CELP encoding
CA2636552C (en) * 1997-12-24 2011-03-01 Mitsubishi Denki Kabushiki Kaisha A method for speech coding, method for speech decoding and their apparatuses
US6954727B1 (en) * 1999-05-28 2005-10-11 Koninklijke Philips Electronics N.V. Reducing artifact generation in a vocoder
JP4218134B2 (ja) * 1999-06-17 2009-02-04 ソニー株式会社 復号装置及び方法、並びにプログラム提供媒体
US7010482B2 (en) * 2000-03-17 2006-03-07 The Regents Of The University Of California REW parametric vector quantization and dual-predictive SEW vector quantization for waveform interpolative coding
US6901362B1 (en) * 2000-04-19 2005-05-31 Microsoft Corporation Audio segmentation and classification
US7386444B2 (en) * 2000-09-22 2008-06-10 Texas Instruments Incorporated Hybrid speech coding and system
US7171355B1 (en) 2000-10-25 2007-01-30 Broadcom Corporation Method and apparatus for one-stage and two-stage noise feedback coding of speech and audio signals
JP3404016B2 (ja) * 2000-12-26 2003-05-06 三菱電機株式会社 音声符号化装置及び音声符号化方法
US7110942B2 (en) * 2001-08-14 2006-09-19 Broadcom Corporation Efficient excitation quantization in a noise feedback coding system using correlation techniques
US7512535B2 (en) * 2001-10-03 2009-03-31 Broadcom Corporation Adaptive postfiltering methods and systems for decoding speech
US7206740B2 (en) * 2002-01-04 2007-04-17 Broadcom Corporation Efficient excitation quantization in noise feedback coding with general noise shaping
KR100492965B1 (ko) * 2002-09-27 2005-06-07 삼성전자주식회사 벡터 양자화를 위한 고속 탐색방법
US8473286B2 (en) * 2004-02-26 2013-06-25 Broadcom Corporation Noise feedback coding system and method for providing generalized noise shaping within a simple filter structure
JP4529492B2 (ja) * 2004-03-11 2010-08-25 株式会社デンソー 音声抽出方法、音声抽出装置、音声認識装置、及び、プログラム
US8335684B2 (en) * 2006-07-12 2012-12-18 Broadcom Corporation Interchangeable noise feedback coding and code excited linear prediction encoders
JP4827661B2 (ja) * 2006-08-30 2011-11-30 富士通株式会社 信号処理方法及び装置
US8532998B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Selective bandwidth extension for encoding/decoding audio/speech signal
WO2010028301A1 (en) * 2008-09-06 2010-03-11 GH Innovation, Inc. Spectrum harmonic/noise sharpness control
US8532983B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Adaptive frequency prediction for encoding or decoding an audio signal
WO2010028299A1 (en) * 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Noise-feedback for spectral envelope quantization
WO2010031049A1 (en) * 2008-09-15 2010-03-18 GH Innovation, Inc. Improving celp post-processing for music signals
WO2010031003A1 (en) 2008-09-15 2010-03-18 Huawei Technologies Co., Ltd. Adding second enhancement layer to celp based core layer
JP6844472B2 (ja) * 2017-08-24 2021-03-17 トヨタ自動車株式会社 情報処理装置
CN111341330B (zh) * 2020-02-10 2023-07-25 科大讯飞股份有限公司 音频编解码方法、存取方法及其相关设备及存储装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4052568A (en) * 1976-04-23 1977-10-04 Communications Satellite Corporation Digital voice switch
US4545065A (en) * 1982-04-28 1985-10-01 Xsi General Partnership Extrema coding signal processing method and apparatus
US4802221A (en) * 1986-07-21 1989-01-31 Ncr Corporation Digital system and method for compressing speech signals for storage and transmission
US4969192A (en) * 1987-04-06 1990-11-06 Voicecraft, Inc. Vector adaptive predictive coder for speech and audio
US5261027A (en) * 1989-06-28 1993-11-09 Fujitsu Limited Code excited linear prediction speech coding system
US5263119A (en) * 1989-06-29 1993-11-16 Fujitsu Limited Gain-shape vector quantization method and apparatus
JPH0365822A (ja) * 1989-08-04 1991-03-20 Fujitsu Ltd ベクトル量子化符号器及びベクトル量子化復号器
CA2027705C (en) * 1989-10-17 1994-02-15 Masami Akamine Speech coding system utilizing a recursive computation technique for improvement in processing speed
US5307441A (en) * 1989-11-29 1994-04-26 Comsat Corporation Wear-toll quality 4.8 kbps speech codec
JPH0418800A (ja) * 1990-05-14 1992-01-22 Hitachi Ltd 集積回路の3次元実装方法
CA2068526C (en) * 1990-09-14 1997-02-25 Tomohiko Taniguchi Speech coding system
JPH0782355B2 (ja) * 1991-02-22 1995-09-06 株式会社エイ・ティ・アール自動翻訳電話研究所 雑音除去と話者適応の機能を有する音声認識装置
US5271088A (en) * 1991-05-13 1993-12-14 Itt Corporation Automated sorting of voice messages through speaker spotting
JP2613503B2 (ja) * 1991-07-08 1997-05-28 日本電信電話株式会社 音声の励振信号符号化・復号化方法
JPH06138896A (ja) * 1991-05-31 1994-05-20 Motorola Inc 音声フレームを符号化するための装置および方法
DE69232202T2 (de) * 1991-06-11 2002-07-25 Qualcomm Inc Vocoder mit veraendlicher bitrate
JP3129778B2 (ja) * 1991-08-30 2001-01-31 富士通株式会社 ベクトル量子化器
US5233660A (en) * 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
JP3212123B2 (ja) * 1992-03-31 2001-09-25 株式会社東芝 音声符号化装置
JP3278900B2 (ja) * 1992-05-07 2002-04-30 ソニー株式会社 データ符号化装置及び方法
FI95085C (fi) * 1992-05-11 1995-12-11 Nokia Mobile Phones Ltd Menetelmä puhesignaalin digitaaliseksi koodaamiseksi sekä puhekooderi menetelmän suorittamiseksi
US5495555A (en) * 1992-06-01 1996-02-27 Hughes Aircraft Company High quality low bit rate celp-based speech codec
IT1257065B (it) * 1992-07-31 1996-01-05 Sip Codificatore a basso ritardo per segnali audio, utilizzante tecniche di analisi per sintesi.
EP0624965A3 (en) * 1993-03-23 1996-01-31 Us West Advanced Tech Inc Method and system for searching an on-line phone book in a phone station.
BR9404725A (pt) * 1993-03-26 1999-06-15 Motorola Inc Processo de quantificação por vetor de um vetor de coeficiente de reflexão ótimo processo de codificação de fala sistema de comunicação de rádio e processo de armazenagem de vetores de coeficiente de reflexão
US5491771A (en) * 1993-03-26 1996-02-13 Hughes Aircraft Company Real-time implementation of a 8Kbps CELP coder on a DSP pair
US5533133A (en) * 1993-03-26 1996-07-02 Hughes Aircraft Company Noise suppression in digital voice communications systems
JP3265726B2 (ja) * 1993-07-22 2002-03-18 松下電器産業株式会社 可変レート音声符号化装置
US5651090A (en) * 1994-05-06 1997-07-22 Nippon Telegraph And Telephone Corporation Coding method and coder for coding input signals of plural channels using vector quantization, and decoding method and decoder therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524796A (ja) * 1999-07-19 2003-08-19 クゥアルコム・インコーポレイテッド 音声コーダにおける線スペクトル情報量子化方法を交錯するための方法および装置

Also Published As

Publication number Publication date
DE69619054D1 (de) 2002-03-21
SG43428A1 (en) 1997-10-17
JP3680380B2 (ja) 2005-08-10
KR100427752B1 (ko) 2004-07-19
ATE213086T1 (de) 2002-02-15
EP0770989A2 (en) 1997-05-02
EP0770989A3 (en) 1998-10-21
DE69619054T2 (de) 2002-08-29
US5828996A (en) 1998-10-27
CN1156872A (zh) 1997-08-13
EP0770989B1 (en) 2002-02-06
KR970024627A (ko) 1997-05-30

Similar Documents

Publication Publication Date Title
JP3680380B2 (ja) 音声符号化方法及び装置
JP4005154B2 (ja) 音声復号化方法及び装置
JP3707116B2 (ja) 音声復号化方法及び装置
JP3707153B2 (ja) ベクトル量子化方法、音声符号化方法及び装置
JP3707154B2 (ja) 音声符号化方法及び装置
KR100487136B1 (ko) 음성복호화방법및장치
JP3747492B2 (ja) 音声信号の再生方法及び再生装置
US6532443B1 (en) Reduced length infinite impulse response weighting
EP0573398A2 (en) C.E.L.P. Vocoder
JPH0869299A (ja) 音声符号化方法、音声復号化方法及び音声符号化復号化方法
JPH09127996A (ja) 音声復号化方法及び装置
JPH10214100A (ja) 音声合成方法
JP2645465B2 (ja) 低遅延低ビツトレート音声コーダ
JP3675054B2 (ja) ベクトル量子化方法、音声符号化方法及び装置、並びに音声復号化方法
JPH09127997A (ja) 音声符号化方法及び装置
JPH09127993A (ja) 音声符号化方法及び音声符号化装置
JP4230550B2 (ja) 音声符号化方法及び装置、並びに音声復号化方法及び装置
JP3700310B2 (ja) ベクトル量子化装置及びベクトル量子化方法
JPH07212239A (ja) ラインスペクトル周波数のベクトル量子化方法および装置
AU7201300A (en) Speech encoding method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050509

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090527

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100527

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100527

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110527

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110527

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120527

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120527

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130527

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees