JP3278863B2 - 音声合成装置 - Google Patents

音声合成装置

Info

Publication number
JP3278863B2
JP3278863B2 JP13402291A JP13402291A JP3278863B2 JP 3278863 B2 JP3278863 B2 JP 3278863B2 JP 13402291 A JP13402291 A JP 13402291A JP 13402291 A JP13402291 A JP 13402291A JP 3278863 B2 JP3278863 B2 JP 3278863B2
Authority
JP
Japan
Prior art keywords
waveform
period
periodic
component waveform
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP13402291A
Other languages
English (en)
Other versions
JPH04358200A (ja
Inventor
俊一 矢島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP13402291A priority Critical patent/JP3278863B2/ja
Priority to US07/888,208 priority patent/US5369730A/en
Priority to DE4218623A priority patent/DE4218623C2/de
Publication of JPH04358200A publication Critical patent/JPH04358200A/ja
Application granted granted Critical
Publication of JP3278863B2 publication Critical patent/JP3278863B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/06Elementary speech units used in speech synthesisers; Concatenation rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、音声合成装置に関し、
特に高品質な合成音を得るに好適な音声合成装置に関す
る。
【0002】
【従来の技術】従来、音声合成系の基本的な構成に関し
ては、例えば、ラビナー著(鈴木訳)、「音声のディジ
タル信号処理」(1983年4月刊)や、古井著、東海
大学出版会「ディジタル音声処理」(1985年9月
刊)に詳しく述べられている。
【0003】これらに音声合成装置の一種として「ボコ
ーダ」が紹介されている。これは音声の情報圧縮率を高
めて伝送、合成するものである。「ボコーダ」では音声
からスペクトル包絡情報を求め、これに基き音声を合成
する。いままで音質の向上を図るためにいろいろなボコ
ーダが開発されているが、代表的なものとしてはチャネ
ルボコーダやホモモルフィックボコーダなどが挙げられ
ている。
【0004】しかし、これらのボコーダを用いる方式で
は、スペクトル包絡情報の抽出精度が不十分で、合成音
声の品質に問題があった。これに対して、最近新しいス
ペクトル包絡情報の抽出方法としてPSE(パワースペ
クトル包絡)法が提案されている。この方法は、音声の
フーリェパワースペクトルをピッチ周波数で標本化する
もので、その合成音は従来方式に比べて高品質になると
されている。なお、この詳細については、中島他著、
「パワースペクトル包絡(PSE)音声分析・合成系」
(日本音響学会誌44巻11号、昭和63−11)を参
照することができる。
【0005】
【発明が解決しようとする課題】上述のPSE分析・合
成方式における音声の合成方法は、ホモモルフィックボ
コーダと同様に、インパルス応答をピッチ周期間隔で加
えあわせることによっている。中島らの上記文献によれ
ば、インパルス応答は零位相を設定して求めている。こ
れは、人間の聴覚特性は位相に対して感度が鈍いといっ
た従来の知見に基づいている。また、ラビナー著「音声
のディジタル信号処理」によれば、零位相のほかに最小
位相、最大位相を設定してインパルス応答を求め、各々
の合成音質を比較して最小位相法が最も良好な合成音質
が得られると結論付けている。
【0006】しかしながら発明者らの検討では肉声波形
の高域成分にはランダムな位相成分が存在し、これが肉
声らしさに重要な役割を果たしている。しかし、上述の
方法においては、これらのランダムな位相成分波形を一
様な位相の波形にしてしまうため、得られる合成音から
は、肉声らしさが失われ、合成音独特の人工感が生ず
る。また同様の事実が楽器音に関しても認められた。
【0007】本発明は上記事情に鑑みてなされたもので
あり、その目的とするところは、従来の技術における上
述の如き問題を解消し、高品質の合成音声を安定して求
められるようにした音声合成装置を提供することにあ
る。
【0008】
【課題を解決するための手段】本発明の上述の目的は、
あらかじめ記憶された部分波形を読みだし、重ねあわせ
て音声を生成する音声合成装置において、周期波形を記
憶する手段と、非周期波形を記憶する手段と、対応する
時点の周期波形と非周期波形とを加算する手段を有する
ことを特徴とする音声合成装置によって達成される。
【0009】
【作用】本発明に係る音声合成装置においては、前述の
ごとく従来手法の合成音質劣化原因が、一様な位相設定
ではランダムな高域波形成分を実現できない事に鑑みて
ランダムな高域成分を生成しうるようにしたものであ
る。
【0010】すなわち、本発明に係る音声合成装置にお
いては、周期的な成分(インパルス応答)波形と非周期
的な成分波形とを別個に記憶しておき、周期的な成分波
形に関しては、当該指定周期間隔でインパルス応答波形
を移動加算し、これに非周期的な成分波形を加算するこ
とで、ランダムな成分波形が重畳した音声波形が得られ
る。
【0011】次に、周期的な成分波形と非周期的な成分
波形との求め方であるが、非周期的な成分は高周波数
(例えば2kHz以上)成分中に存在する。従って原音
声の低域通過型フィルターの出力結果を周期的な成分波
形の抽出に用い、高域通過型フィルターの出力結果を非
周期的な成分波形の抽出に用いる。周期的な成分(イン
パルス応答)波形の求め方に関しては前述の中島らの文
献に詳しい。これは音声に対してデータの更新周期(例
えば、10ms)毎に時間窓(例えばハミング窓)をか
けて後に求めている。非周期的な成分波形の抽出は、周
期的な成分波形の抽出と同一の更新周期毎に、更新周期
と同一長の時間窓(矩形窓)を掛けて求める。
【0012】
【実施例】以下、本発明の実施例を図面に基いて詳細に
説明する。
【0013】図1は本発明の一実施例を示す音声合成シ
ステムのブロック構成図である。図1において、101
は一周期波形格納部、102は周期間隔で一周期波形を
移動加算する移動加算部、103は移動加算された波形
と非周期波形とを加算する単純加算部、104は音声出
力用の二面バッファメモリー、105はディジタル・ア
ナログ(D/A)変換器を示している。また110は周
期格納部、120は非周期波形格納部を示している。
【0014】このように構成された本実施例の音声合成
システムの動作のあらましは次の通りである。102の
移動加算部では、110の周期格納部から読みだした周
期間隔で101の一周期波形格納部から読みだした一周
期波形データを移動加算する。103の単純加算部で
は、移動加算された波形データと120の非周期波形格
納部から読みだした非周期波形データとを加算する。こ
の結果が音声出力用の二面バッファメモリー104を経
て、D/A変換器105により出力音声106として出
力される。
【0015】図2は本発明の一実施例を示す規則合成シ
ステム1のブロック構成図である。図2において、21
0は周期生成部である。それ以外の名称は図1に準ず
る。このように構成された本実施例の規則合成システム
1の動作のあらましは次の通りである。102の移動加
算部では、210の周期生成部で求めた周期間隔で一周
期波形データの移動加算を行なう。以降の動作は上記の
音声合成システムの動作例と同様である。周期の生成法
としては、所定の音声の高さを変更(ピッチシフト)す
る事を目的として周期にある定数値の加減算を行なう方
法や、規則合成システムへの適用を目的とした藤崎モデ
ル法等が知られている。藤崎モデルによる周期生成法
は、例えば特開平1−28695にも詳しく述べられて
おり当業者には実現は容易である。
【0016】図3は本発明の一実施例を示す規則合成シ
ステム2のブロック構成図である。規則合成(規則によ
る音声合成)においては合成音質を肉声らしくする事が
重要な課題である。この点に関する発明者の予備検討の
結果、肉声波形においては文章音声の位置に応じて波形
中の周期波形と非周期波形とのレベル比率が変化する傾
向が見られた。比率変化の一つの傾向は例えば文末でピ
ッチ周期が長くなると、非周期波形レベルの比率が高ま
るものである。この肉声波形の特性を反映した規則合成
システムでは、得られる合成音は肉声に近づき、合成音
質は高まる。これが規則合成システム2である。
【0017】図3において、211は非周期波形データ
の波高値を制御するレベル制御部である。それ以外の名
称は図1、図2に準ずる。このように構成された本実施
例の規則合成システム2の動作のあらましは次の通りで
ある。レベル制御部211では210で生成された周期
の値に対して、それに正相関のレベル値(非周期波形波
高値)を求め、非周期波形データにレベル値を乗ずる。
それ以外の動作は上記の音声合成システムの動作例と同
様である。
【0018】図4は周期波形、非周期波形の抽出部の構
成例を示す図である。図4において401はマイクロフ
ォン等によって音声−電気変換された入力音声信号、4
02はアナログ・ディジタル(A/D)変換器、403
は二面構成のバッファメモリーを示している。このメモ
リ403は以下に述べる処理の時間調整と入力音声の中
断を防止する為に設けられているものである。また、4
05は周期・非周期波形分離部、406は一周期波形信
号、407は非周期波形信号を示している。
【0019】このように構成された周期波形、非周期波
形の抽出部の動作のあらましは以下の通りである。
【0020】マイクロフォン等によって音声−電気変換
された入力音声信号401はA/D変換器402を経
て、二面構成のバッファメモリー403に入力される。
該バッファメモリー403から読み出された音声データ
404は、周期・非周期波形分離部405に入力され、
波形を分離した結果、一周期波形信号406、非周期波
形信号407を出力する。
【0021】図5は、周期・非周期波形分離部405を
説明するための構成例を示す図である。図5において、
404は図4中の二面バッファメモリー403から読み
出された音声データ、501はフレーム切り出し部、5
02は低域と高域と二つの帯域に波形データを分割する
帯域分割部、510はその結果得られる低域波形、また
520は高域波形である。503は低域波形からピッチ
周期を求めるピッチ抽出部、504は高域波形の周期性
を判定する周期性判定部、505は周期性判定結果に応
じて波形編集を行なう波形編集部、506は周期波形か
ら一周期波形データをもとめる一周期波形生成部、50
7は非周期波形からフレーム周期長切り出す矩形窓掛け
部である。
【0022】このように構成された周期・非周期波形分
離部の動作のあらましは以下の通りである。
【0023】音声データ404に対して、フレーム切り
出し部501では、フレーム周期毎に一定時間長の波形
データを得る。帯域分割部502ではこの波形データを
低域と高域と二つの帯域に分割して、低域波形データ5
10と高域波形データ520とを出力する。ピッチ抽出
部503では低域波形データ510からピッチ周期を求
める。これは低域波形の周期性が安定しているからであ
る。周期性判定部504では、高域波形データ520に
対して503で得られたピッチ周期長の相関値を求めて
その大小で高域波形の周期性を判定する。相関が大きけ
れば周期性があり、相関が小さければ周期性が無い。波
形編集部505では周期性判定結果に応じて波形編集を
行なう。波形編集は周期性が有るときには、低域波形デ
ータ510と高域波形データ520とを加算した波形デ
ータを周期波形データとして出力し、非周期波形データ
としては全区間にわたり値0の波形データを出力する。
一方、周期性が無いときには低域波形データ510を周
期波形データとして出力し、高域波形データ520を、
非周期波形データとして出力する。周期波形データに対
しては、一周期波形生成部506により一周期波形デー
タ406をもとめる。また、非周期波形データに対して
は507により矩形窓などの窓掛け処理を行ないフレー
ム周期長の非周期波形データ407を得る。
【0024】以下、周期・非周期波形分離部の動作の詳
細を説明する。帯域分割部502の実現方法にはいくつ
かの方法が有る。その一つの方法は低域通過型フィルタ
ーを用意し、これに音声データ404を入力して得られ
る出力を低域波形データとし、音声データ404から低
域波形データを減ずることで得られるデータを高域波形
データとする方法である。低域通過型フィルター等のデ
ィジタルフィルターの設計に関しては例えば、ラビナー
著(鈴木訳)、「音声のディジタル信号処理」に詳し
い。無論、高域通過型フィルターを用意しても同様な分
離処理が可能である。またディジタルフィルターによら
ない方法としては、フーリェ変換処理が有る。
【0025】この方法ではフーリェ変換結果の所定周波
数以上の数値を0として、フーリェ逆変換を施せば、低
域波形データが得られる。この高速な実行法として高速
フーリェ変換(通称FFT)処理が知られている。ここ
で高域、低域の分離周波数(低域通過型フィルターのカ
ットオフ周波数)は2〜3kHzに設定するのが妥当で
ある。
【0026】またピッチ周期の求め方に関しても同著作
に詳しく述べられている。
【0027】周期性判定部504において計算する相関
値とは、ピッチ周期だけ遅れた自己相関係数を意味す
る。この計算式は次の式で表わされる。
【0028】
【数1】
【0029】ここでφは自己相関係数、Tpはピッチ周
期、W(i)は時点iの波形データ(波高値)である。
なお W(0)はフレーム周期毎に切り出された波形の
中心位置の波形データを意味する。自己相関係数φは−
1から+1の値となる。波形を周期的と判断するのは自
己相関係数φが1に近いときで、0.7ないし0.5未
満の時は非周期的と判断して良い。
【0030】また周期波形データから一周期波形データ
を求める方法は、ラビナー著(鈴木訳)、「音声のディ
ジタル信号処理」の準同形(ホモモルフィック)ボコー
ダに関する説明の中で詳しく述べられている。
【0031】以上図4、図5を用いて述べた周期波形、
非周期波形の抽出部により得られた一周期波形データ並
びに非周期波形データ、ピッチ周期を前述の音声合成シ
ステム、規則合成システムの一周期波形格納部並びに非
周期波形格納部、周期格納部にそれぞれ記録する事で音
声分析合成システムが実現できる。特に音声分析処理と
音声合成処理とに時間的なずれが無いときには各波形デ
ータ、ピッチ周期データの格納部を用意することなく、
各データを移動加算部102、単純加算部103に入力
することで音声合成機能は実現できる。
【0032】これらの実施例によれば、以下に示すよう
な効果が得られる。
【0033】図6は本発明の効果を説明する図で、原波
形並びにそれに対して本発明により得られた合成波形の
高域成分波形、従来方式(零位相設定)により得られた
合成波形の高域成分波形を示している。この波形の相違
に現われる如く、聴取感も顕著な差があり、本発明によ
り合成音質の向上は著しい。またこの合成音質の向上は
肉声に限定されるものではなく、楽器音などに関しても
同様の効果がある。
【0034】上記実施例は本発明の一例を示したもの
で、本発明はこれに限定されるべきものではないことは
言うまでもない。
【0035】
【発明の効果】以上、詳細に説明した如く、本発明によ
れば、高品質の合成音声もしくは規則合成音声を安定し
て求められるようにした音声合成装置を実現できるとい
う顕著な効果を奏するものである。
【図面の簡単な説明】
【図1】本発明の一実施例を示す音声合成システムのブ
ロック構成図である。
【図2】本発明の一実施例を示す規則合成システムのブ
ロック構成図である。
【図3】本発明の一実施例を示す規則合成システムのブ
ロック構成図である。
【図4】周期波形、非周期波形の抽出部の構成例を示す
図である。
【図5】周期・非周期波形分離部の構成例を示す図であ
る。
【図6】本発明の効果を説明する図である。
【符号の説明】
101 ..一周期波形格納部、102 ..移動加算
部、103 ..単純加算部、104 ..バッファメ
モリー、105 ..D/A変換器、106 ..出力
音声、110 ..周期格納部、120 ..非周期波
形格納部、210..周期生成部、211 ..レベル
制御部、401 ..入力音声、402..A/D変換
器、403 ..バッファメモリー、405 ..周期
・非周期波形分離部、406 ..一周期波形、407
..非周期波形、501 ..フレーム切り出し部、
502 ..帯域分割部、503 ..ピッチ抽出部、
504 ..周期性判定部、505 ..波形編集部、
506 ..一周期波形生成部、507 ..矩形窓掛
け部、510 ..低域波形、520 ..高域波形。

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 音声波形の一部を重ねあわせることにより
    音声を合成する音声合成装置において、 上記音声波形をフレーム周期ごとに波形データを切り出
    すフレーム切り出し手段と、上記波形データを低域波形
    データと高域波形データとに分割する帯域分割手段と、
    上記低域波形データからピッチ周期を求めるピッチ抽出
    手段と、上記ピッチ周期に応じて、上記高域波形データ
    の周期性を判定する周期性判定手段とにより上記音声波
    形を周期的な成分波形と非周期的な成分波形とに分離す
    る分離手段と、 音声波形の周期的な成分波形の一周期の成分波形を保持
    する第1の記憶手段と、 上記音声波形の非周期的な成分波形を保持する第2の記
    憶手段と、 上記一周期の成分波形と上記非周期的な成分波形とを加
    算する加算手段とを有することを特徴とする音声合成装
    置。
  2. 【請求項2】所定の周期で上記第1の記憶手段から上記
    一周期の成分波形を読み出し、その一周期の成分波形を
    移動加算する移動加算手段をさらに有し、 上記加算手段は、上記移動加算された波形と上記非周期
    的な成分波形とを加算することを特徴とする請求項1記
    載の音声合成装置。
  3. 【請求項3】周期を保持する周期保持手段をさらに有
    し、 上記移動加算手段は、上記周期保持手段に保持されてい
    る周期に応じて、上記第1の記憶手段から上記一周期の
    成分波形を読み出すことを特徴とする請求項2記載の音
    声合成装置。
  4. 【請求項4】上記非周期的は成分波形のピーク値を制御
    するレベル制御部をさらに有することを特徴とする請求
    項1乃至請求項3の何れかに記載の音声合成装置。
  5. 【請求項5】上記非周期的な成分波形は、上記周期的な
    成分波形の周波数よりも高周波成分を有することを特徴
    とする請求項1乃至請求項4の何れかに記載の音声合成
    装置。
JP13402291A 1991-06-05 1991-06-05 音声合成装置 Expired - Lifetime JP3278863B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP13402291A JP3278863B2 (ja) 1991-06-05 1991-06-05 音声合成装置
US07/888,208 US5369730A (en) 1991-06-05 1992-05-26 Speech synthesizer
DE4218623A DE4218623C2 (de) 1991-06-05 1992-06-05 Sprachsynthesizer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13402291A JP3278863B2 (ja) 1991-06-05 1991-06-05 音声合成装置

Publications (2)

Publication Number Publication Date
JPH04358200A JPH04358200A (ja) 1992-12-11
JP3278863B2 true JP3278863B2 (ja) 2002-04-30

Family

ID=15118553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13402291A Expired - Lifetime JP3278863B2 (ja) 1991-06-05 1991-06-05 音声合成装置

Country Status (3)

Country Link
US (1) US5369730A (ja)
JP (1) JP3278863B2 (ja)
DE (1) DE4218623C2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE516521C2 (sv) * 1993-11-25 2002-01-22 Telia Ab Anordning och förfarande vid talsyntes
JP3559588B2 (ja) * 1994-05-30 2004-09-02 キヤノン株式会社 音声合成方法及び装置
BE1010336A3 (fr) * 1996-06-10 1998-06-02 Faculte Polytechnique De Mons Procede de synthese de son.
JP3266819B2 (ja) * 1996-07-30 2002-03-18 株式会社エイ・ティ・アール人間情報通信研究所 周期信号変換方法、音変換方法および信号分析方法
CA2242610C (en) * 1996-11-11 2003-01-28 Matsushita Electric Industrial Co., Ltd. Sound reproducing speed converter
JP3644263B2 (ja) * 1998-07-31 2005-04-27 ヤマハ株式会社 波形形成装置及び方法
US6298322B1 (en) 1999-05-06 2001-10-02 Eric Lindemann Encoding and synthesis of tonal audio signals using dominant sinusoids and a vector-quantized residual tonal signal
JP2000330599A (ja) * 1999-05-21 2000-11-30 Sony Corp 信号処理方法及び装置、並びに情報提供媒体
JP5159325B2 (ja) * 2008-01-09 2013-03-06 株式会社東芝 音声処理装置及びそのプログラム
WO2010032405A1 (ja) * 2008-09-16 2010-03-25 パナソニック株式会社 音声分析装置、音声分析合成装置、補正規則情報生成装置、音声分析システム、音声分析方法、補正規則情報生成方法、およびプログラム
US9741343B1 (en) * 2013-12-19 2017-08-22 Amazon Technologies, Inc. Voice interaction application selection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3872250A (en) * 1973-02-28 1975-03-18 David C Coulter Method and system for speech compression
US4058676A (en) * 1975-07-07 1977-11-15 International Communication Sciences Speech analysis and synthesis system
US4163120A (en) * 1978-04-06 1979-07-31 Bell Telephone Laboratories, Incorporated Voice synthesizer
JP2590997B2 (ja) * 1987-12-29 1997-03-19 日本電気株式会社 音声合成装置

Also Published As

Publication number Publication date
JPH04358200A (ja) 1992-12-11
DE4218623C2 (de) 1996-07-04
DE4218623A1 (de) 1992-12-10
US5369730A (en) 1994-11-29

Similar Documents

Publication Publication Date Title
JP2763322B2 (ja) 音声処理方法
JP3294604B2 (ja) 波形の加算重畳による音声合成のための処理装置
US8706496B2 (en) Audio signal transforming by utilizing a computational cost function
EP0982713A2 (en) Voice converter with extraction and modification of attribute data
EP1422693B1 (en) Pitch waveform signal generation apparatus; pitch waveform signal generation method; and program
JPS623439B2 (ja)
JP2006215204A (ja) 音声合成装置およびプログラム
JP3278863B2 (ja) 音声合成装置
Bonada et al. Sample-based singing voice synthesizer by spectral concatenation
JP3430985B2 (ja) 合成音生成装置
JP4170458B2 (ja) 波形信号の時間軸圧縮伸長装置
JPH0193795A (ja) 音声の発声速度変換方法
JP4214842B2 (ja) 音声合成装置及び音声合成方法
JPH079591B2 (ja) 楽器音響解析装置
JP3511360B2 (ja) 音楽音響信号分離方法、その装置およびそのプログラム記録媒体
JP2798003B2 (ja) 音声帯域拡大装置および音声帯域拡大方法
Sanjaume Audio Time-Scale Modification in the Context of Professional Audio Post-production
JPH04116700A (ja) 音声分析・合成装置
KR100359988B1 (ko) 실시간 화속 변환 장치
JPH07261798A (ja) 音声分析合成装置
JPH09510554A (ja) 言語合成
JP3284634B2 (ja) 規則音声合成装置
JP2871001B2 (ja) 音声分析合成装置
JPH0715640B2 (ja) 音響解析装置の合成装置
JPH10187180A (ja) 楽音発生装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 10