JPH08227300A - 符号化システムの性能を改善する方法 - Google Patents

符号化システムの性能を改善する方法

Info

Publication number
JPH08227300A
JPH08227300A JP7290637A JP29063795A JPH08227300A JP H08227300 A JPH08227300 A JP H08227300A JP 7290637 A JP7290637 A JP 7290637A JP 29063795 A JP29063795 A JP 29063795A JP H08227300 A JPH08227300 A JP H08227300A
Authority
JP
Japan
Prior art keywords
signal
excitation
frame
decoder
coded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7290637A
Other languages
English (en)
Other versions
JP3241978B2 (ja
Inventor
Juin-Hwey Chen
チェン ジュイン−ウェイ
Craig R Watkins
ロバート ワトキンズ クライグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AT&T Corp filed Critical AT&T Corp
Publication of JPH08227300A publication Critical patent/JPH08227300A/ja
Application granted granted Critical
Publication of JP3241978B2 publication Critical patent/JP3241978B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

(57)【要約】 【課題】 音声符号器または音声復号器を修正せずに、
フレーム消失のある符号化システムの性能を改善する。 【解決手段】 復号器プリプロセッサを用いて復号前に
符号化信号を修正する。符号化信号は、復号プロセスお
よびターゲット信号に基づいて、復号器が修正済み信号
を与えられたときにターゲット信号の近似を生成するよ
うに修正される。ターゲット信号は、それが復号器で利
用可能な場合に、復号器によって生成される再構成信号
の品質を改善するように選択される。第1実施例では、
CELP音声符号器が使用され、ターゲット信号は、す
べて0の励振ベクトルからなる励振信号であるように選
択される。第2実施例では、ターゲット信号は、1つ以
上の前のフレームに対する符号化信号によって表される
励振信号の外挿からなる励振信号であるように選択され
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、無線通信システム
またはパケット交換網に基づく通信システムで使用する
音声符号化方式に関し、特に、バースト誤りまたはパケ
ット損失が起きた場合のそのようなそれぞれの音声符号
器の機能に関する。
【0002】
【従来の技術】セルラ電話システムやパーソナル通信シ
ステムのような多くの通信システムは、情報を通信する
無線チャネルに基づく。このような情報を通信する際
に、無線通信チャネルは、マルチパスフェージングのよ
うないくつかの誤り源の影響を受ける。これらの誤り源
は、とりわけ、フレーム消失の問題を引き起こすことが
ある。消失とは、受信器へ通信されたビットの集合の全
損失または大部分の破壊をいう。フレームとは、通信シ
ステムが通信のために単一のエンティティとして扱う所
定の固定数のビットをいう。
【0003】1フレームのビットが完全に失われた場
合、受信器は解釈するビットを有しない。このような状
況では、受信器は意味のない結果を生成することがあ
る。受信したビットのフレームが破壊され、従って信頼
できない場合、受信器は、ひどく歪んだ結果を生成する
ことがある。
【0004】無線システム容量に対する需要が増大する
につれて、利用可能な無線システム帯域幅を最大限に利
用する必要性が生じている。システム帯域幅の使用効率
を向上させる1つの方法は、信号圧縮技術を使用するこ
とである。音声信号を伝送する無線システムでは、音声
圧縮(すなわち音声符号化)技術をこの目的で使用する
ことができる。このような音声符号化技術には、周知の
符号励振線形予測(CELP)音声符号器のような、分
析による合成音声符号器がある。
【0005】音声符号化方式を使用したパケット交換網
におけるパケット損失の問題は、無線の場合のフレーム
消失と非常に類似している。すなわち、パケット損失に
より、音声復号器は、フレームを受信することができな
いか、あるいは、かなりの数のビットが失われたフレー
ムを受信することがある。いずれの場合でも、音声復号
器には、本質的に同じ問題が提示される。すなわち、圧
縮された音声情報の損失にもかかわらず音声を合成する
必要があるということである。「フレーム消失」および
「パケット損失」はいずれも、伝送されたビットの損失
を引き起こす通信チャネル(あるいは網)の問題点に関
係する。従って、本願の説明では、「フレーム消失」と
いう用語はパケット損失と同義語とみなすことが可能で
ある。
【0006】CELP音声符号器は、原音声信号を符号
化するために励振信号のコードブックを使用する。この
励振信号は、励振に応答して、音声信号(または音声信
号への何らかのプリカーサ)を合成する線形予測(LP
C)フィルタを「励振する」ために使用される。合成さ
れた音声信号は、符号化すべき信号と比較される。原信
号に最も良く一致するコードブック励振信号が識別され
る。その後、識別された励振信号のコードブックインデ
ックスがCELP復号器へ通信される。(CELPシス
テムのタイプに依存して、他のタイプの情報を通信する
こともある。)復号器は、CELP符号器のものと同一
のコードブックを含む。復号器は、送信されたインデッ
クスを使用して、そのコードブックから励振信号を選択
する。この選択された励振信号は、復号器のLPCフィ
ルタを励振するために使用される。このようにして、励
振されると、復号器のLPCフィルタは、復号された
(すなわち量子化された)音声信号を生成する(これを
「再構成音声信号」という)。これは、前に原音声信号
に最も近いと判定されたのと同じ音声信号である。
【0007】CELP符号化方式の1つは、CCITT
によって「勧告G.728」として知られる国際標準と
して採用された周知の16kbit/s低遅延CELP
(LD−CELP)である。この方式では、例えば、1
024エントリ(すなわち10ビット)のコードブック
が2つの小さいコードブック、すなわち、128個の独
立な符号ベクトルを含む7ビットの「形状コードブッ
ク」と、8個のスカラー値を含む3ビットの「利得コー
ドブック」に分解される。前者のコードブックのコード
ベクトルは励振信号の形状を表し、後者のコードブック
の値は、これらのコードベクトルにかける利得係数を表
す。従って、復号器へ伝送される励振信号インデックス
は2つの部分からなる。一方は、復号器内にある対応す
る形状コードブックから取得するコードベクトルを識別
し(7ビットインデックス)、もう一方は、それに適用
される利得係数を識別する(3ビットインデックス)。
G.728CELP符号化方式では、このような(10
ビットの)励振信号インデックスが5個の隣接する音声
サンプルの各セットに対して伝送される。音声サンプル
は、8kHzのレートでサンプリングされたものであ
る。5個のサンプルからなるこのセットは「ベクトル」
として知られる。各フレームは、固定数(例えば16)
のこのような「ベクトル」からなる。
【0008】音声符号器を使用したシステムは、音声を
圧縮しないシステムの場合よりも、フレーム消失の問題
に敏感である。この敏感さは、符号化した音声の冗長性
が減少することによって、通信される各ビットの損失の
可能性が(非符号化音声に比べて)増大することによ
る。フレーム消失を受けるCELP音声符号器の場合、
励振信号コードブックインデックスが、失われ、また
は、かなり破壊されることがある。消失フレームのた
め、復号器は、音声を合成するためにコードブックのど
のエントリを使用すべきかを信頼性良く識別することが
できない。その結果、音声符号化システムの性能は大幅
に劣化することがある。
【0009】
【発明が解決しようとする課題】フレーム消失の問題を
解決する従来のほとんどの試みでは、音声復号器、また
は、音声復号器および音声符号器の両方を変更して、こ
のような消失のあるシステムの性能を改善する必要があ
る。しかし、G.728のような標準化された符号化方
式を使用する場合、これらの構成要素を修正することは
可能でないか、あるいは、好ましくない。これは特に、
標準の「オフシェル」要素を使用して符号器および復号
器を実装する場合にそうである。例えば、G.728の
ような標準の符号化方式をVLSI(超大規模集積)A
SIC(特定応用集積回路)チップで実装する場合、こ
のようなチップを利用しながら復号器または符号器を修
正することは不可能である。あるいは、符号化方式をD
SP(ディジタル信号プロセッサ)のような汎用プロセ
ッサで実装するが、復号器および符号器のプログラムコ
ードは(ソースコードではなく)オブジェクトコードの
形式でのみ提供されたベンダ供給ソフトウェアからなる
場合、復号器または符号器の挙動を修正するようにプロ
グラムコードを変更することは不可能である。
【0010】
【課題を解決するための手段】本発明は、音声符号器ま
たは音声復号器にそのような修正をすることを必要とせ
ずに、フレーム消失のある符号化システムの性能を改善
する。復号器プリプロセッサを使用して、伝送後、復号
前に、符号化信号(すなわち、符号器によって圧縮され
た信号)を修正する。プリプロセッサが、与えられたフ
レームが破壊されていることを認識して符号化信号を修
正することにより、そうでない場合に復号器によって生
成されるよりも優れた再構成信号が復号によって生成さ
れるようにする。
【0011】特に、符号化された信号は、復号プロセス
の知識に基づいて、および、所定の信号(「ターゲット
信号」という。)に基づいて、復号器が、修正された信
号を与えられたときに、所定のターゲット信号の近似を
生成するように修正される。所定のターゲット信号は、
それが復号器で利用可能な場合に、復号器によって生成
される再構成信号の品質を改善するように選択される。
このようにして、復号器がターゲット信号の近似を生成
することが可能となるため、修正信号の使用により再構
成信号の品質が改善される。(「近似」とは、結果とし
て得られる再構成信号が、修正のないシステムの動作に
比べて符号化システムの性能の向上を提供するように、
復号器が、ターゲット信号に十分に近い信号を生成する
ことを意味する。当業者には周知のように、再構成信号
の知覚品質は、通常、「平均オピニオン評点」インデッ
クスのような、客観尺度に基づいて評価される。)
【0012】例えば、第1の実施例では、CELP音声
符号器が使用され、ターゲット信号は、すべて0の励振
ベクトルからなる励振信号であるように選択される。こ
の実施例では、消失フレームに対する励振信号インデッ
クスはプリプロセッサによって修正され、低エネルギー
を有する励振信号、すなわち、ターゲット信号(すべて
0の励振ベクトル)を近似する信号が復号によって生成
されるようにする。特に、フレームが破壊されていると
認識されると、フレームの各ベクトルに対する利得係数
を識別する伝送された励振信号インデックスの部分(す
なわち、利得コードブックのインデックス)は、可能な
最小の絶対値を有する利得係数を識別する値に設定され
る。このようにして、再構成音声信号における破壊され
たフレームの効果は最小化される。
【0013】第2の実施例では、CELP符号器が使用
され、ターゲット信号は、1つ以上の前のフレームに対
する符号化信号によって表される励振信号の外挿からな
る励振信号であるように選択される。この実施例では、
プリプロセッサは、符号器内でも生成される励振信号を
生成するのに必要な範囲で非消失フレームの符号化音声
信号を「復号」する。換言すれば、プリプロセッサは、
復号器と同様にしてコードブック「ルックアップ」を実
行する。その後、消失フレームが認識されると、プリプ
ロセッサは、消失フレームの期間を通じて、前のフレー
ムの「復号された」励振信号を外挿する。プリプロセッ
サは、一連のコードブック「検索」を実行することによ
って、利用可能な最良のコードブック一致を使用して外
挿された励振信号を符号化する。特に、外挿励振信号の
各ベクトルに最も良く一致するコードブックベクトルが
選択される。次に、プリプロセッサは、最良コードブッ
クベクトルを表すインデックスを識別し、このインデッ
クスを使用して、修正された符号化音声信号を生成す
る。この修正信号によって、復号器は、ターゲット信号
(すなわち、外挿された励振信号)を近似することが可
能となり、これにより、再構成音声信号における破壊さ
れたフレームの効果を最小にする。
【0014】
【発明の実施の形態】 [A.はじめに]本発明は、例えば、フレーム消失、す
なわち、通常は音声を合成するために使用される圧縮ビ
ットストリーム内の連続するビットのグループの損失の
ある音声符号化システムの動作に関する。以下の説明
は、例として、CCITTによって国際標準「勧告G.
728」として採用された周知の16kbit/s低遅
延CELP(LD−CELP)に適用した本発明の特徴
に関する。
【0015】G.728標準の動作の詳細は、米国特許
出願第08/212,408号(発明者:ジェイ−エイ
チ.チェン(J-H. Chen)、出願日:1994年3月14
日)に記載されている。(その勧告草案をここでは
「G.728標準草案」と呼ぶ。これは、その第3節お
よび第4節に、標準の音声符号器および復号器の詳細な
説明がある。)ここではG.728標準について記載す
るが、当業者であれば、他の符号化方式にも本発明の特
徴を適用することができる。
【0016】[B.概観]図1に、本発明による無線通
信システムの例を示す。符号器12は、従来のG.72
8LD−CELP符号器からなり、復号器18は、従来
のG.728LD−CELP復号器からなる。復号器1
8は、励振信号生成器17および再構成音声生成器19
からなる。チャネル14は、伝送される符号化信号のデ
ータ破壊の可能性がある従来の通信チャネルである。チ
ャネル14は例えば、無線通信チャネルまたはパケット
交換網である。復号器プリプロセッサ16は、消失した
(破壊された)フレームの認識に基づいて、本発明の実
施例により符号化音声信号を修正し、それによって、フ
レーム消失がある場合の符号化システムの性能を改善す
る。
【0017】動作時には、符号化すべき入力音声は符号
器12に供給される。符号器12は、チャネル14を通
じて送信する符号化音声信号を生成する。チャネル14
の「遠端」で受信される、結果として得られる符号化音
声信号は、フレーム消失を含むことがある。最終的に
は、復号器18は再構成音声信号を生成し、最初に符号
器12に提供された入力音声をできる限り忠実に再生し
ようと試みる。特に、復号器18の励振信号生成器17
は、まず、送られた符号化音声信号(すなわち、コード
ブックインデックス)に基づいてコードブックルックア
ップを実行することによって、励振信号を生成する。次
に、この励振信号に基づいて、再構成音声生成器19は
再構成音声信号を生成する。
【0018】「ふつうの」動作時には(すなわち、フレ
ーム消失がない場合には)、復号器18は、符号器12
によって生成され、チャネル14を通じて通信され、プ
リプロセッサ16によって受信された、もとの符号化音
声信号に作用する。換言すれば、プリプロセッサ16
は、与えられたフレームに対する符号化音声信号が妥当
である(すなわち、チャネル14を通じての通信によっ
て破壊されていない)と判断した場合、信号を修正せず
に復号器18へと通過させる。
【0019】上記およびG.728標準草案に記載され
ているように、符号化音声信号はコードブックインデッ
クスからなる。各インデックスは、符号器12と、復号
器18の励振信号生成器17の両方にある(同一の)励
振コードブックから得られる5個の励振信号サンプルか
らなるベクトルである。各コードブック(すなわち、符
号器コードブックおよび復号器コードブック)は、利得
コードブックおよび形状コードブックからなる。3ビッ
トインデックスの利得コードブックは8個の符号付きス
カラーエントリからなり、7ビットインデックスの形状
コードブックは128個(5サンプル)のコードベクト
ルエントリからなる。利得コードブックのスカラー値は
0に関して対称であり、符号を表すのに1ビット(最上
位ビット)、および、その値の大きさを表すのに2ビッ
ト(下位2ビット)からなる。符号化信号を構成する全
部で10ビットのインデックスは、形状コードブックか
らの識別されたコードベクトルと、利得コードブックか
らの識別された利得係数の「積」を表す。
【0020】復号器は、各受信インデックスを使用し
て、コードブックから励振コードベクトルを抽出する。
抽出されたコードベクトルは、原信号に最も良く一致す
るように符号器によって決定されたものである。特に、
受信インデックスは2つの部分、すなわち、形状コード
ブックインデックスおよび利得コードブックインデック
スからなる。復号器によって最終的に抽出される励振コ
ードベクトルは、(7ビット形状コードブックから)抽
出された形状コードベクトルと、(3ビット利得コード
ブックから)抽出された利得レベルの積である。(注意
すべき点であるが、G.728標準によれば、復号され
た信号はさらに後方適応ベクトル利得によってスケーリ
ングされる。この利得スケーリングプロセスは、上記の
利得コードブックから抽出された利得係数の使用に加え
て、しかしそれとは別個に、実行される。例えば、図1
に例示したシステムを参照すれば、後方適応利得スケー
リングは再構成音声生成器19の一部として実行される
が、抽出された形状コードベクトルと利得コードブック
から抽出された利得係数の乗算は励振信号生成器17の
一部として実行される。)
【0021】フレーム消失がある場合、図1のプリプロ
セッサ16は、(何かを受信した場合に)励振信号サン
プルのどのベクトルを復号器18の励振信号生成器のコ
ードブックから抽出すべきかに関して信頼できる情報を
受信しない。従って、プリプロセッサ16が、符号化さ
れた音声信号を修正せずに復号器18へ通過させるとし
た場合(あるいは、同じことであるが、プリプロセッサ
16が図1のシステムに存在しないとした場合)には、
破壊されたフレームに対して結果として得られる音声信
号は、励振コードベクトルの本質的に任意の(すなわ
ち、ランダムな)選択に基づいて生成されることにな
る。このような、コードベクトルのランダムな選択は、
きわめて重大な知覚歪みを引き起こし、一般には多くの
大振幅で短時間の「爆発」として現れる。このようなエ
ラーは、再構成音声の聴取を非常につらいものにするこ
ともあるが、20%のフレーム消失周波数であっても、
ほとんど知覚可能であることが多い。フレーム消失レー
トが1%ほどに低い場合であっても、結果として得られ
る再構成音声信号の聴取は不快であることが多い。
【0022】[C.第1実施例]図2に、図1の復号器
プリプロセッサの第1実施例の流れ図を示す。この実施
例では、CELP音声符号器(例えばG.728標準)
が使用され、ターゲット信号はすべて0の励振ベクトル
からなる。プリプロセッサによって、復号器は、符号化
音声信号の消失フレームに対応する利得係数を低い値に
設定することにより修正することによってターゲット信
号を近似することが可能となる。特に、プリプロセッサ
は、消失フレームに対する利得コードブックインデック
スを、可能な最小の絶対値の利得係数を表すインデック
スに設定する。
【0023】図2において、チャネル14から受信した
(ステップ20)各フレームに対して、プリプロセッサ
16は、そのフレームの符号化音声信号が破壊されてい
るか否かを判断する(ステップ22)。与えられたフレ
ームが破壊されているという判断は、当業者に周知の従
来のいくつかの方法のうちの任意のものにより行われ
る。例えば、フレーム消失は、通常の誤り検出符号を使
用して検出可能である。さらに、このような符号は、例
えば、プリプロセッサ16の一部としてではなく、無線
通信システムの通常の無線送受信サブシステム(これは
例えばチャネル14の一部として含まれる)の一部とし
て実装可能である。同様に、このような誤り検出符号
は、パケット交換網環境では、網プロトコルインタフェ
ースサブシステムの一部として実装可能である。このよ
うにして、与えられたフレームが破壊されているか否か
に関する判断は、プリプロセッサ16内で実行されるこ
とも可能であり、あるいは、このような情報は外部源か
らプリプロセッサに提供されることもある。いずれの場
合でも、プリプロセッサ16は、フレーム消失が起きた
か否かを認識する。
【0024】与えられたフレームが破壊されていないと
判断されると(判断24)、プリプロセッサ16は、上
記のように、符号化音声信号を修正せずに復号器18へ
送る(ステップ26)。他方、プリプロセッサ16が、
与えられたフレームが破壊されていると認識した場合、
符号化音声信号は修正され、そのフレームに対する修正
信号の復号が低エネルギーを有する(それによりほぼ全
0励振ベクトルを近似する)励振信号を生じることを保
証する。特に、破壊されたフレーム内の各ベクトルに対
して、利得係数を識別する伝送励振信号インデックス
(すなわち、利得コードブックのインデックス)の部分
は、低い利得係数を表す値に(すなわち、利得係数が可
能な最小の絶対値を有するように)設定される。
【0025】例えば、G.728標準によれば、利得コ
ードブックは、配列インデックス「1」(チャネルイン
デックス「0」と等価)において、および、配列インデ
ックス「5」(チャネルインデックス「4」と等価)に
おいて、可能な最小の絶対値を有する利得係数を含む
(例えばG.728標準草案参照)。従って、図2の実
施例では、破壊されたフレーム内の各ベクトルに対する
利得係数インデックスは、3ビットの利得コードブック
の下位2ビットが「00」に設定されるように修正され
(ステップ28)、これによりチャネルインデックス
「0」またはチャネルインデックス「4」のいずれかを
識別する。注意すべき点であるが、励振信号における好
ましくない周期性を回避するために、励振信号インデッ
クスの他のビット、すなわち、3ビットの利得コードブ
ックインデックスの最上位ビット(これは利得の符号を
反映する)および7ビットの形状コードブックインデッ
クスの最上位ビットは、実質的に乱数値を有すると有利
である。このような乱数値は、これらのビットに明示的
に適用することも可能であり、あるいは、これらのビッ
トは、自然に十分ランダムであろうという(合理的な)
仮定によって、修正しないままとすることも可能であ
る。最後に、プリプロセッサ16が、ステップ26で符
号化音声信号を復号器18へと通した後、または、ステ
ップ28で上記のようにして符号化音声信号を修正した
後、制御はステップ20に戻り、次のフレームを受信す
ることになる。
【0026】[D.第2実施例]図3に、図1の復号器
プリプロセッサの第2実施例の流れ図を示す。この実施
例では、CELP音声符号器(例えばG.728標準)
が使用され、ターゲット信号は、前のフレームに対する
符号化信号によって表される励振信号の外挿からなる励
振信号であるとして選択される。プリプロセッサは、励
振信号を生成するのに必要な範囲で非消失フレームの符
号化音声信号を「復号」する。すなわち、プリプロセッ
サは、復号器の励振信号生成器17内で実行されるのと
同じコードブックルックアップを実行する。従って、プ
リプロセッサ16は、符号器および復号器の両方にある
のと同じコードブックのコピーを含むことになる。消失
フレームが認識されると、プリプロセッサ16は、前の
フレームに対して復号した励振信号を消失フレームの期
間へと外挿する。その後、プリプロセッサはコードブッ
ク検索を実行し、外挿した励振信号を表す(最良一致)
コードブックインデックスを生成する。
【0027】特に、図3を参照すると、チャネル14か
ら受信した各フレーム(ステップ30)に対して、プリ
プロセッサ16は、そのフレームに対する符号化音声信
号が破壊されているか否かを判断する(ステップ3
2)。ステップ32は、図2の流れ図のステップ22に
対応し、上記のように、任意の従来の方法で実行可能で
ある。
【0028】与えられたフレームが破壊されていないと
判断されると(判断34)、プリプロセッサ16は符号
化音声信号を修正せずに復号器18へ送る(ステップ3
6)。さらに、プリプロセッサ16は、与えられたフレ
ームに含まれる各コードブックインデックスに対してコ
ードブックルックアップを実行し、その結果、励振信号
を生成し格納する。このプロセスは、本質的に、上記の
図1の復号器18の励振信号生成器17によって実行さ
れるのと同一である。この格納されたデータは、次のフ
レームの処理中に(次のフレームが消失フレームである
ことがわかった場合に)使用可能なように保存される。
【0029】他方、プリプロセッサ16が、判断34
で、与えられたフレームが破壊されていると認識した場
合、ステップ40〜44において、符号化音声信号を修
正し、当該フレームに対する修正済み信号の復号が、前
のフレームの処理中に格納した励振信号の外挿を近似す
ることを保証する。特に、ステップ40は、まず、前の
フレームの励振信号(これはステップ38で復号し格納
した)の外挿を実行する。このような外挿は、当業者に
周知の通常の外挿法を使用して実行することが可能であ
る。このような外挿の1つの方法は、米国特許出願第0
8/212,408号の詳細な説明の部分の第II.A
節に記載されている。
【0030】次に、ステップ42は、外挿した励振信号
の「符号化」を実行する。すなわち、コードブック検索
を実行して、外挿した信号に最も良く一致するコードブ
ックエントリを見つける。消失フレームの各ベクトルに
対して、コードブックを検索し、外挿励振信号の対応す
る部分に最も良く一致するエントリを見つける。最良一
致基準は、例えば、当業者に周知の平均二乗誤差尺度や
その他の誤差基準に基づくことが可能である。
【0031】最後に、ステップ44は、符号化音声信号
の消失フレーム部分を、ステップ42で生成したコード
ブックインデックスで置き換える。このコードブックイ
ンデックスの使用により、復号器は、ステップ40で生
成した外挿励振信号を近似する励振信号を生成すること
が可能となり、それにより、符号化システムの性能を高
める。プリプロセッサ16が、ステップ36で符号化音
声信号を復号器16へ送った(そしてステップ38で励
振信号を生成した)後、または、ステップ40〜44で
上記のように符号化音声信号を修正した後、制御はステ
ップ30に戻り、次のフレームを受信することになる。
【0032】[E.他の実施例]説明を明確にするた
め、本発明の上記の実施例は、個別の機能ブロックから
なるものとして提示した。これらのブロックが表す機能
は、共用または専用のハードウェアを用いて実現可能で
あり、ハードウェアにはソフトウェアを実行可能なハー
ドウェアも含まれるが、それに制限されるものではな
い。例えば、図1に示したブロックは、1つまたは複数
のプロセッサによって実現可能である。(「プロセッ
サ」という用語の使用は、ソフトウェアを実行可能なハ
ードウェアのみを指すものと解釈してはならない。)
【0033】実施例は、AT&TのDSP16またはD
SP32Cのようなディジタル信号プロセッサ(DS
P)ハードウェアと、上記の動作を実行するソフトウェ
アを記憶する読み出し専用メモリ(ROM)と、DSP
の結果を記憶するランダムアクセスメモリ(RAM)と
からなることが可能である。超大規模集積(VLSI)
ハードウェア実施例や、カスタムVLSI回路を汎用D
SP回路と組み合わせたものも使用可能である。
【0034】その他、さまざまな変形例が可能である。
例えば、本発明はG.728のLD−CELP音声符号
化標準に関して説明したが、本発明の原理は他の音声符
号化システムにも同様に適用可能である。例えば、その
ような符号化方式には、利得スケールド励振信号をピッ
チ周期性を有する信号に変換する長期予測子(長期合成
フィルタ)がある。さらに、このような符号化システム
はポストフィルタを含むことも可能である。さらに、本
発明は、オーディオ信号、画像信号およびビデオ信号を
含む音声信号以外の信号の符号化にも適用可能である。
【0035】いくつかのCELP音声符号化方式では、
コードブックインデックス以外の符号化パラメータ(例
えば、LPC(線形予測)フィルタ係数やピッチ予測パ
ラメータがある)を、コードブックインデックスに加え
て伝送することも可能である。本発明の原理は、このよ
うな方式におけるフレーム消失の場合にも適用可能であ
る。例えば、そのような符号化パラメータが消失フレー
ムに含まれる場合、前の1つ以上の(非消失)フレーム
に基づくこれらのパラメータの値の外挿からなるターゲ
ット信号を使用することができる。上記の励振信号の外
挿の場合と同様に、そのような外挿は当業者に周知の通
常の外挿法を使用して実行することが可能である。LP
C係数に適用するこのような外挿の1つの方法は、米国
特許出願第08/212,408号の詳細な説明の部分
の第II.B節に記載されている。
【0036】さらに、本発明の技術思想または技術的範
囲から離れることなく、励振信号やパラメータ信号のよ
うな信号の(外挿ではなく)内挿も、本発明において使
用可能である。この場合、ターゲット信号を決定するた
めに、消失フレームの前の1つ以上のフレームに加え
て、消失フレームの後の1つ以上の(非消失)フレーム
を使用することができる。もちろん、後続のフレームを
利用するためには、それらのフレームは現在の消失フレ
ームが処理可能となる前に受信されなければならないた
め、さらに遅延を必要とする。
【0037】
【発明の効果】以上述べたごとく、本発明によれば、音
声符号器または音声復号器に修正を加えることを必要と
せずに、フレーム消失のある符号化システムの性能を改
善する。復号器プリプロセッサを使用して、伝送後、復
号前に、符号化信号(すなわち、符号器によって圧縮さ
れた信号)を修正する。プリプロセッサが、与えられた
フレームが破壊されていることを認識して符号化信号を
修正することにより、そうでない場合に復号器によって
生成されるよりも優れた再構成信号が復号によって生成
されるようになる。
【図面の簡単な説明】
【図1】本発明による無線通信システムの実施例の図で
ある。
【図2】図1の復号器プリプロセッサの第1実施例の流
れ図である。
【図3】図1の復号器プリプロセッサの第2実施例の流
れ図である。
【符号の説明】
12 符号器 14 チャネル 16 復号器プリプロセッサ 17 励振信号生成器 18 復号器 19 再構成音声生成器
───────────────────────────────────────────────────── フロントページの続き (72)発明者 クライグ ロバート ワトキンズ オーストラリア,4007 ハミルトン キュ ーエルディー,キララ アヴェニュー 45

Claims (23)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも1つのフレームがフレーム消
    失を受けている複数のフレームからなる符号化信号に応
    答して復号プロセスを実行する復号器を有する符号化シ
    ステムの性能を改善する方法において、 符号化信号中のフレームがフレーム消失を受けているこ
    とを認識する認識ステップと、 前記復号プロセスと所定の信号とに基づいて前記フレー
    ムの符号化信号を修正し、前記復号器が、修正済み符号
    化信号に応答して前記所定の信号を近似する信号を生成
    することを可能にする修正ステップとからなることを特
    徴とする、符号化システムの性能を改善する方法。
  2. 【請求項2】 前記認識ステップは、フレーム消失の生
    起を検出するステップからなることを特徴とする請求項
    1の方法。
  3. 【請求項3】 前記修正済み符号化信号を復号して再構
    成信号を生成するステップをさらに有することを特徴と
    する請求項1の方法。
  4. 【請求項4】 前記符号化信号は符号化音声信号からな
    ることを特徴とする請求項1の方法。
  5. 【請求項5】 前記フレームは利得係数を表す符号化利
    得信号からなり、 前記修正ステップは、前記符号化利得信号によって表さ
    れる利得係数より絶対値が小さい利得係数を表す別の符
    号化利得信号で前記符号化利得信号を置換するステップ
    からなることを特徴とする請求項1の方法。
  6. 【請求項6】 前記符号化利得信号はコードブックイン
    デックスからなることを特徴とする請求項5の方法。
  7. 【請求項7】 前記所定の信号は前記フレームの前の1
    つ以上のフレームに基づくことを特徴とする請求項1の
    方法。
  8. 【請求項8】 前記所定の信号はさらに前記フレームの
    後の1つ以上のフレームに基づくことを特徴とする請求
    項7の方法。
  9. 【請求項9】 各フレームは1つ以上の励振指示信号か
    らなり、各励振指示信号は励振信号を表し、前記修正ス
    テップは、 前記フレームの前の1つ以上のフレームの励振指示信号
    によって表される励振信号を判定する判定ステップと、 判定された励振信号に基づいて前記フレームに対する1
    つ以上の外挿励振信号を生成するステップと、 前記1つ以上の外挿励振信号に基づいて1つ以上の外挿
    励振指示信号を生成する外挿励振指示信号生成ステップ
    と、 前記フレームに対する1つ以上の励振指示信号を前記1
    つ以上の外挿励振指示信号で置換するステップとからな
    ることを特徴とする請求項7の方法。
  10. 【請求項10】 前記励振指示信号および前記外挿励振
    指示信号はコードブックインデックスからなることを特
    徴とする請求項9の方法。
  11. 【請求項11】 前記判定ステップは1つ以上のコード
    ブックルックアップを実行するステップからなり、 前記外挿励振指示信号生成ステップは1つ以上のコード
    ブック検索を実行するステップからなることを特徴とす
    る請求項10の方法。
  12. 【請求項12】 前記符号化信号はG.728 LD−
    CELP標準に準拠することを特徴とする請求項6また
    は11の方法。
  13. 【請求項13】 少なくとも1つのフレームがフレーム
    消失を受けている複数のフレームからなる符号化信号に
    応答して復号プロセスを実行する復号器を有する符号化
    システムの性能を改善する復号器プリプロセッサにおい
    て、 符号化信号中のフレームがフレーム消失を受けているこ
    とを認識する認識手段と、 前記復号プロセスと所定の信号とに基づいて前記フレー
    ムの符号化信号を修正し、前記復号器が、修正済み符号
    化信号に応答して前記所定の信号を近似する信号を生成
    することを可能にする修正手段とからなることを特徴と
    する、復号器プリプロセッサ。
  14. 【請求項14】 前記認識手段は、フレーム消失の生起
    を検出する手段からなることを特徴とする請求項13の
    復号器プリプロセッサ。
  15. 【請求項15】 前記符号化信号は符号化音声信号から
    なることを特徴とする請求項13の復号器プリプロセッ
    サ。
  16. 【請求項16】 前記フレームは利得係数を表す符号化
    利得信号からなり、 前記修正手段は、前記符号化利得信号によって表される
    利得係数より絶対値が小さい利得係数を表す別の符号化
    利得信号で前記符号化利得信号を置換する手段からなる
    ことを特徴とする請求項13の復号器プリプロセッサ。
  17. 【請求項17】 前記符号化利得信号はコードブックイ
    ンデックスからなることを特徴とする請求項16の復号
    器プリプロセッサ。
  18. 【請求項18】 前記所定の信号は前記フレームの前の
    1つ以上のフレームに基づくことを特徴とする請求項1
    3の復号器プリプロセッサ。
  19. 【請求項19】 前記所定の信号はさらに前記フレーム
    の後の1つ以上のフレームに基づくことを特徴とする請
    求項18の復号器プリプロセッサ。
  20. 【請求項20】 各フレームは1つ以上の励振指示信号
    からなり、各励振指示信号は励振信号を表し、前記修正
    手段は、 前記フレームの前の1つ以上のフレームの励振指示信号
    によって表される励振信号を判定する判定手段と、 判定された励振信号に基づいて前記フレームに対する1
    つ以上の外挿励振信号を生成する手段と、 前記1つ以上の外挿励振信号に基づいて1つ以上の外挿
    励振指示信号を生成する外挿励振指示信号生成手段と、 前記フレームに対する1つ以上の励振指示信号を前記1
    つ以上の外挿励振指示信号で置換する手段とからなるこ
    とを特徴とする請求項18の復号器プリプロセッサ。
  21. 【請求項21】 前記励振指示信号および前記外挿励振
    指示信号はコードブックインデックスからなることを特
    徴とする請求項20の復号器プリプロセッサ。
  22. 【請求項22】 前記判定手段は1つ以上のコードブッ
    クルックアップを実行する手段からなり、 前記外挿励振指示信号生成手段は1つ以上のコードブッ
    ク検索を実行する手段からなることを特徴とする請求項
    21の復号器プリプロセッサ。
  23. 【請求項23】 前記符号化信号はG.728 LD−
    CELP標準に準拠することを特徴とする請求項17ま
    たは22の方法。
JP29063795A 1994-10-14 1995-10-13 符号化システムの性能を改善する方法 Expired - Lifetime JP3241978B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/324,283 US5550543A (en) 1994-10-14 1994-10-14 Frame erasure or packet loss compensation method
US324283 1994-10-14

Publications (2)

Publication Number Publication Date
JPH08227300A true JPH08227300A (ja) 1996-09-03
JP3241978B2 JP3241978B2 (ja) 2001-12-25

Family

ID=23262912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29063795A Expired - Lifetime JP3241978B2 (ja) 1994-10-14 1995-10-13 符号化システムの性能を改善する方法

Country Status (9)

Country Link
US (1) US5550543A (ja)
EP (1) EP0707308B1 (ja)
JP (1) JP3241978B2 (ja)
KR (1) KR960016291A (ja)
AU (1) AU3313395A (ja)
CA (1) CA2156000C (ja)
DE (1) DE69521004T2 (ja)
ES (1) ES2157302T3 (ja)
MX (1) MX9504290A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052660A (en) * 1997-06-16 2000-04-18 Nec Corporation Adaptive codebook
JP2012098740A (ja) * 2005-01-31 2012-05-24 Qualcomm Inc 音声通信におけるフレーム消失キャンセル

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680506A (en) * 1994-12-29 1997-10-21 Lucent Technologies Inc. Apparatus and method for speech signal analysis
US5715372A (en) * 1995-01-10 1998-02-03 Lucent Technologies Inc. Method and apparatus for characterizing an input signal
US5699485A (en) * 1995-06-07 1997-12-16 Lucent Technologies Inc. Pitch delay modification during frame erasures
US5774856A (en) * 1995-10-02 1998-06-30 Motorola, Inc. User-Customized, low bit-rate speech vocoding method and communication unit for use therewith
US5867814A (en) * 1995-11-17 1999-02-02 National Semiconductor Corporation Speech coder that utilizes correlation maximization to achieve fast excitation coding, and associated coding method
JP2838994B2 (ja) * 1995-12-27 1998-12-16 日本電気株式会社 データ信号受信装置
US6765904B1 (en) 1999-08-10 2004-07-20 Texas Instruments Incorporated Packet networks
US6205130B1 (en) * 1996-09-25 2001-03-20 Qualcomm Incorporated Method and apparatus for detecting bad data packets received by a mobile telephone using decoded speech parameters
US7788092B2 (en) * 1996-09-25 2010-08-31 Qualcomm Incorporated Method and apparatus for detecting bad data packets received by a mobile telephone using decoded speech parameters
DE69712538T2 (de) * 1996-11-07 2002-08-29 Matsushita Electric Industrial Co., Ltd. Verfahren zur Erzeugung eines Vektorquantisierungs-Codebuchs
CA2276202C (en) * 1997-04-23 2000-12-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Methods for concealing errors in an audio data stream
US5968182A (en) * 1997-05-12 1999-10-19 International Business Machines Corporation Method and means for utilizing device long busy response for resolving detected anomalies at the lowest level in a hierarchical, demand/response storage management subsystem
US6148422A (en) * 1997-10-07 2000-11-14 Nortel Networks Limited Telecommunication network utilizing an error control protocol
JP3252782B2 (ja) * 1998-01-13 2002-02-04 日本電気株式会社 モデム信号対応音声符号化復号化装置
TW401699B (en) * 1998-04-01 2000-08-11 Koninkl Philips Electronics Nv A method and device for generating display frames from a sequence of source frames through synthesizing one or more intermediate frames exclusively from an immediately preceding source frame
US6775652B1 (en) 1998-06-30 2004-08-10 At&T Corp. Speech recognition over lossy transmission systems
US6744757B1 (en) 1999-08-10 2004-06-01 Texas Instruments Incorporated Private branch exchange systems for packet communications
US6801499B1 (en) * 1999-08-10 2004-10-05 Texas Instruments Incorporated Diversity schemes for packet communications
US6678267B1 (en) 1999-08-10 2004-01-13 Texas Instruments Incorporated Wireless telephone with excitation reconstruction of lost packet
US6804244B1 (en) 1999-08-10 2004-10-12 Texas Instruments Incorporated Integrated circuits for packet communications
US6757256B1 (en) 1999-08-10 2004-06-29 Texas Instruments Incorporated Process of sending packets of real-time information
US6801532B1 (en) * 1999-08-10 2004-10-05 Texas Instruments Incorporated Packet reconstruction processes for packet communications
US7574351B2 (en) * 1999-12-14 2009-08-11 Texas Instruments Incorporated Arranging CELP information of one frame in a second packet
US6570509B2 (en) * 2000-03-03 2003-05-27 Motorola, Inc. Method and system for encoding to mitigate decoding errors in a receiver
US6584438B1 (en) * 2000-04-24 2003-06-24 Qualcomm Incorporated Frame erasure compensation method in a variable rate speech coder
JP2002162998A (ja) * 2000-11-28 2002-06-07 Fujitsu Ltd パケット修復処理を伴なう音声符号化方法
EP1217613A1 (fr) * 2000-12-19 2002-06-26 Koninklijke Philips Electronics N.V. Reconstitution de trames manquantes ou mauvaises en téléphonie cellulaire
DE10124421C1 (de) * 2001-05-18 2002-10-17 Siemens Ag Verfahren zur Schätzung eines Codecparameters
US7711563B2 (en) * 2001-08-17 2010-05-04 Broadcom Corporation Method and system for frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
US7143032B2 (en) * 2001-08-17 2006-11-28 Broadcom Corporation Method and system for an overlap-add technique for predictive decoding based on extrapolation of speech and ringinig waveform
KR100413039B1 (ko) * 2002-01-16 2003-12-31 어뮤즈텍(주) 피치보정방법 및 그 장치
US20040064308A1 (en) * 2002-09-30 2004-04-01 Intel Corporation Method and apparatus for speech packet loss recovery
KR100462024B1 (ko) * 2002-12-09 2004-12-17 한국전자통신연구원 부가 음성 데이터를 이용한 패킷 손실 복구 방법 및 이를이용한 송수신기
US20040122680A1 (en) * 2002-12-18 2004-06-24 Mcgowan James William Method and apparatus for providing coder independent packet replacement
US7411985B2 (en) * 2003-03-21 2008-08-12 Lucent Technologies Inc. Low-complexity packet loss concealment method for voice-over-IP speech transmission
US7379864B2 (en) * 2003-05-06 2008-05-27 Lucent Technologies Inc. Method and apparatus for the detection of previous packet loss in non-packetized speech
JP2006033356A (ja) * 2004-07-15 2006-02-02 Renesas Technology Corp 音声データ処理装置
US7930176B2 (en) 2005-05-20 2011-04-19 Broadcom Corporation Packet loss concealment for block-independent speech codecs
JP4983606B2 (ja) * 2005-12-21 2012-07-25 日本電気株式会社 符号変換装置及びそれに用いる符号変換方法並びにそのプログラム
WO2007077841A1 (ja) * 2005-12-27 2007-07-12 Matsushita Electric Industrial Co., Ltd. 音声復号装置および音声復号方法
US8015000B2 (en) * 2006-08-03 2011-09-06 Broadcom Corporation Classification-based frame loss concealment for audio signals
US8280728B2 (en) * 2006-08-11 2012-10-02 Broadcom Corporation Packet loss concealment for a sub-band predictive coder based on extrapolation of excitation waveform

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4375581A (en) * 1980-06-30 1983-03-01 Bell Telephone Laboratories, Incorporated Digital transmission error reduction
GB9008145D0 (en) * 1989-05-31 1990-06-06 Ibm Microcomputer system employing address offset mechanism to increase the supported cache memory capacity
US5233660A (en) * 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding
IT1257065B (it) * 1992-07-31 1996-01-05 Sip Codificatore a basso ritardo per segnali audio, utilizzante tecniche di analisi per sintesi.
US5615298A (en) 1994-03-14 1997-03-25 Lucent Technologies Inc. Excitation signal synthesis during frame erasure or packet loss
US5450449A (en) * 1994-03-14 1995-09-12 At&T Ipm Corp. Linear prediction coefficient generation during frame erasure or packet loss

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052660A (en) * 1997-06-16 2000-04-18 Nec Corporation Adaptive codebook
JP2012098740A (ja) * 2005-01-31 2012-05-24 Qualcomm Inc 音声通信におけるフレーム消失キャンセル

Also Published As

Publication number Publication date
US5550543A (en) 1996-08-27
EP0707308A1 (en) 1996-04-17
DE69521004D1 (de) 2001-06-28
ES2157302T3 (es) 2001-08-16
CA2156000A1 (en) 1996-04-15
JP3241978B2 (ja) 2001-12-25
KR960016291A (ko) 1996-05-22
MX9504290A (es) 1997-01-31
EP0707308B1 (en) 2001-05-23
DE69521004T2 (de) 2001-11-29
CA2156000C (en) 1999-11-02
AU3313395A (en) 1996-04-26

Similar Documents

Publication Publication Date Title
JP3241978B2 (ja) 符号化システムの性能を改善する方法
JP3102015B2 (ja) 音声復号化方法
JP3439869B2 (ja) 音声信号合成方法
JP3241961B2 (ja) 線形予測係数信号生成方法
US6134518A (en) Digital audio signal coding using a CELP coder and a transform coder
US7613606B2 (en) Speech codecs
US20020159472A1 (en) Systems and methods for encoding & decoding speech for lossy transmission networks
US8214203B2 (en) Method and apparatus for recovering line spectrum pair parameter and speech decoding apparatus using same
JPH07311598A (ja) 線形予測係数信号生成方法
JP2006099124A (ja) デジタル無線チャネル上の自動音声/話者認識
JPS60116000A (ja) 音声符号化装置
JPH06202696A (ja) 音声復号化装置
JP3459133B2 (ja) 復号器の動作方法
US20190180765A1 (en) Signal codec device and method in communication system
JP3396480B2 (ja) 多重モード音声コーダのためのエラー保護
JPH1097295A (ja) 音響信号符号化方法及び復号化方法
JP2002268696A (ja) 音響信号符号化方法、復号化方法及び装置並びにプログラム及び記録媒体
EP0747884A2 (en) Codebook gain attenuation during frame erasures
JP3206497B2 (ja) インデックスによる信号生成型適応符号帳
JP3050978B2 (ja) 音声符号化方法
JP3649854B2 (ja) 音声符号化装置
JP4597360B2 (ja) 音声復号装置及び音声復号方法
JP3496618B2 (ja) 複数レートで動作する無音声符号化を含む音声符号化・復号装置及び方法
JP3508850B2 (ja) 疑似背景雑音生成方法
US20040019480A1 (en) Speech encoding device having TFO function and method

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071019

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081019

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081019

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term