JPH0556499A - デイジタル補聴器 - Google Patents

デイジタル補聴器

Info

Publication number
JPH0556499A
JPH0556499A JP21187291A JP21187291A JPH0556499A JP H0556499 A JPH0556499 A JP H0556499A JP 21187291 A JP21187291 A JP 21187291A JP 21187291 A JP21187291 A JP 21187291A JP H0556499 A JPH0556499 A JP H0556499A
Authority
JP
Japan
Prior art keywords
digital
hearing aid
processing
signal
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP21187291A
Other languages
English (en)
Other versions
JP3308567B2 (ja
Inventor
Yoshito Nene
義人 禰寝
Hiroshi Ikeda
宏 池田
Masao Hotta
正生 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP21187291A priority Critical patent/JP3308567B2/ja
Priority to DE4227826A priority patent/DE4227826C2/de
Publication of JPH0556499A publication Critical patent/JPH0556499A/ja
Priority to US08/462,268 priority patent/US5794201A/en
Priority to US09/132,214 priority patent/US6226605B1/en
Application granted granted Critical
Publication of JP3308567B2 publication Critical patent/JP3308567B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】本発明は難聴者の聴覚を補助する補聴器に関
し、入力された音声の特性を加工して低速度で呈示する
機能と、入力された音声を繰返し再生できる機能を有す
るディジタル補聴器を提供することにある。 【構成】A/D変換を行う手段11と、音声の周波数特
性を加工する手段121と音声を入力時とは異なる速度
で出力する手段122とからなるディジタル信号処理を
行う手段12と、D/A変換を行う手段13と、録音を
行う手段14と、制御信号の入出力を行う手段15とか
らなり、マイクロホン2と、イヤホン3と、補聴器の動
作を制御するコントローラ4とともに使用される。 【効果】特性加工された音声の低速度再生と繰返し再生
により、時間分解能の劣る難聴者の聴覚特性を補うこと
が可能となる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は難聴者の聴覚を補助する
補聴器に関し、特に明瞭度向上のためのディジタル信号
処理を行うディジタル補聴器に関する。
【0002】
【従来の技術】難聴者の聴覚を補助する補聴器において
は、従来アナログ回路を用いて音声の振幅及びその周波
数特性を加工するアナログ型補聴器が主に使用されてき
た。これに対し近年、ディジタル信号処理を応用したデ
ィジタル補聴器の研究開発が盛んに行われている。この
研究開発動向については、例えば日本音響学会誌(19
89年45巻7号、P549〜P555)「補聴器の最
近の動向」等に詳述されている。
【0003】このディジタル補聴器における音声信号処
理は、ディジタルシグナルプロセッサ(以下DSPと略
す)を使用したディジタル信号処理により行われる。そ
してその処理内容はプログラムによって記述されてい
る。このためディジタル補聴器は従来の補聴器に比較し
て、音声処理の内容の変更がメモリ上のプログラムの変
更で行え、個々の患者に対して音声の明瞭度を最大にす
るための調整がより容易に行えるようになる。
【0004】ディジタル補聴器に用いられる音声信号処
理には、難聴者の周波数分解能、時間分解能、スペクト
ル弁別能、音像合成能力等の劣化を補う処理がある。例
としてはディジタルフィルタを用いた周波数特性加工
や、子音−母音間への無音区間挿入などが挙げられる。
これらの処理については、例えば日本音響学会誌(19
87年43巻5号、P356〜P361)「音声特徴抽
出機能を備えたディジタル補聴器」等に詳述されてい
る。
【0005】また上記ディジタル補聴器ではアナログ型
補聴器に代わるという意味から、リアルタイム処理、す
なわち使用者に感じられない程度の時間遅れ内に全ての
処理が終了することが前提になっている。
【0006】
【発明が解決しようとする課題】高齢者に多い感音性難
聴者を対象とした場合、音声を加工してその明瞭度を向
上させるためには、単に音声の周波数特性を加工しただ
けでは効果が少なく、時間特性も同時に加工して「ゆっ
くり、はっきり」とした音声にする必要がある。ところ
が従来のアナログ型補聴器ではもちろん、ディジタル補
聴器においても上述のとおりリアルタイム性が前提とな
っているため、音声の明瞭度を向上させるための処理に
加えて、加工した音声を低速度で呈示する手段について
は考慮されていなかった。
【0007】また、難聴者は対話の相手に対して繰返し
聞き直すことで、相手の話している内容を理解すること
が多いが、1対1の対話以外の場面ではこの聞き直し動
作ができないため不自由を余儀なくされている。ところ
が従来の補聴器では、この聞き直し動作を補助するため
の手段については全く考慮されていなかった。
【0008】本発明の第1の目的は、周波数特性が加工
された音声を入力時よりも低速度で呈示する機能を有す
るディジタル補聴器を提供することにある。
【0009】また、本発明の第2の目的は、入力された
音声を繰返し再生できる機能を有するディジタル補聴器
を提供することにある。
【0010】
【課題を解決するための手段】上記第1の目的は、ディ
ジタル補聴器内に音声が録音される手段と、音声信号の
時間軸を伸長する信号処理手段を設けることにより、達
成される。
【0011】上記第2の目的は、ディジタル補聴器内に
長時間の音声が録音される手段と、使用者が再生動作を
制御するための手段とを設けることにより、達成され
る。
【0012】
【作用】本発明のディジタル補聴器においては、音声が
録音手段によって録音された後、音声信号の時間軸を伸
長する処理が施されるので、加工処理後の音声が低速度
で使用者に呈示されるようになる。
【0013】また使用者は、再生動作を制御するための
手段を用いて、上記録音手段に録音された音声を繰返し
て再生することができるので、直接話者に対して聞き直
し動作ができない場面においても、直前に呈示された音
声を繰返し聞き直すことが可能となる。
【0014】
【実施例】以下、本発明の実施例を、図面を用いて詳細
に説明する。図1は、本発明のディジタル補聴器の構成
図である。本発明のディジタル補聴器1は、A/D変換
を行う手段11と、ディジタル信号処理を行う手段12
と、D/A変換を行う手段13と、録音を行う手段14
と、制御信号の入出力を行う手段15とからなる。また
ディジタル信号処理を行う手段12は音声の周波数特性
を加工する手段121と、音声を入力時とは異なる速度
で出力する手段122とからなる。
【0015】図2には、本発明のディジタル補聴器の一
実施例の詳細な構成図を示す。本実施例におけるA/D
変換を行う手段11は、マイクロホン出力を増幅する増
幅器と、A/D変換器とからなる。同様に処理されたデ
ィジタル信号をD/A変換する手段13は、D/A変換
器とイヤホンを駆動するための増幅器とからなる。また
録音手段14はディジタル化された音声信号を保持する
半導体データメモリからなり、下記コントローラ4から
の信号の入出力を制御する手段15はI/O回路からな
る。さらに本実施例におけるディジタル信号処理を行う
手段12は格納したプログラムにより処理内容が定めら
れるデジタルシグナルプロセッサ(DSP)である。上
記のディジタル補聴器1には、音声を入力するためのマ
イクロホン2と、音声を出力するイヤホン3と、補聴器
の動作を制御するコントローラ4とが接続されて使用さ
れる。上記DSPに内蔵されているプログラムメモリ内
には、音声の周波数特性を加工する手段121として周
波数特性加工プログラムが、また音声を入力時とは異な
る速度で出力する手段122として音声の時間軸伸長を
行うプログラムが設けられている。
【0016】一方、難聴者の聴覚特性は個人差が大きい
ので、上記の音声加工プログラムは、各個人の特性に合
わせて処理のパラメータを調整した後に上記プログラム
メモリに格納される。図3には、上述のパラメータ調整
を行うためのシステムを示す。図2に詳細を示したディ
ジタル補聴器1は、DSPエミュレータ6を通じてパソ
コン5と接続されている。DSPエミュレータ6とパソ
コン5は、ディジタル補聴器に内蔵されているDSPの
機能をパソコン上の特性調整用プログラム51を用いて
模擬する。この特性調整用プログラム51のパラメータ
を変更し、使用者の反応を参考にしながら、音声加工処
理の内容を使用者各個人に最適な処理となるように調整
する。調整後のパラメータを、実際にディジタル補聴器
1に内蔵するDSP中のプログラムメモリに保存し使用
する。
【0017】図4には、上記時間軸伸長処理のアルゴリ
ズムの概念図を示す。このアルゴリズムは一般に時間領
域調波構造伸縮またはTDHSと呼ばれる処理で、重複
する長さ2Pずつの区間にそれぞれ三角形の重みをづけ
を掛けて加え合わせたものをPの長さに圧縮し、元の1
/2の周期で標本化するというものである。
【0018】図5には、上記時間軸伸縮処理の第2のア
ルゴリズムの概念図を示す。このアルゴリズムは元の音
声信号中の無音区間を検出し、この無音区間だけを伸長
する処理である。これらの処理はテープレコーダの低速
度再生とは異なり、元の音声のピッチを落すことなく低
速度で音声が呈示できる処理である。
【0019】一方、本発明のディジタル補聴器は2つの
動作モードを持つ。その1つはリアルタイムモードで、
使用者に感じられない程度の時間遅れ内に、全ての処理
が終了するモードである。この動作モードでは、A/D
変換器出力に対して高域強調やホルマント強調などの周
波数特性加工処理、およびリアルタイム性を失わない程
度の時間軸加工処理(例えば子音−母音間に数ミリ秒の
無音区間を挿入など)を行う。この動作モードにおいて
は、A/D変換出力は常にデータメモリへも格納され続
けている。なお、データメモリの容量を超えて録音が続
くときは、データメモリのアドレスを周期的に使用する
ことで、最も新しいデータだけが常に残るようにする。
【0020】もう1つのモードは、データメモリに録音
された音声に対して加工処理を施す録音再生モードであ
る。このモードでは、リアルタイムモードで行われる処
理に加え、上述の時間軸伸長処理を施すことが可能であ
る。このモードの使用により、使用者は聞き直し動作が
行えるようになる。また、時間軸伸長処理の使用によ
り、録音時に実際に呈示された速度よりも遅い速度で音
声を再生することが可能となる。さらに、リアルタイム
モードでの処理と時間軸伸長処理を併用することで、録
音された音声を使用者の聴覚特性に合った、しかもゆっ
くりとした音声として聞くことが可能となる。
【0021】使用者は通常、リアルタイムモードで本デ
ィジタル補聴器を使用する。そして、直前に与えられた
音声を聞き直したい場合には録音再生モードを使用す
る。2つのモードの切り替え、録音再生モードにおける
再生の開始及び停止、およびデータメモリ上の再生開始
番地の設定は、コントローラからの制御信号によって行
う。使用者は使用状況に対応して、コントローラを通じ
これらの制御を行う。再生番地の設定については、例え
ば、コントローラ上のスイッチを1度押すと数秒前の音
声から再生が始まり、スイッチを押すごとに同じ時間間
隔だけ過去に遡って再生する方法などが考えられる。
【0022】なお、以上の説明においては、音声の特性
を加工する信号処理をDSPを用いて行う例を示した
が、必要なディジタル信号処理を行う回路をゲートアレ
イ等のディジタル回路を用いて実現しても、上記の例と
全く同じ機能が実現できることは言うまでもない。
【0023】
【発明の効果】本発明によれば、各個人の特性に適合す
るように周波数特性が加工された音声を低速度で呈示す
ることができるので、時間分解能の劣る難聴者の聴覚特
性を補うことが可能となる。
【0024】また、本発明によれば音声を録音する機能
を有することができるので、入力された音声を後に繰返
し再生することが可能となる。これにより、難聴者が聞
き直し動作ができないような場面でも、音声により与え
られる情報を理解することが可能になる。
【0025】さらに、録音再生モードにおいて時間軸伸
長処理を行う場合には、低速度で再生する分だけ時間的
に余裕があるため、リアルタイム処理ではDSPの処理
速度の点から実現できなかった複雑な処理も、使用する
ことが可能となる。
【図面の簡単な説明】
【図1】本発明のディジタル補聴器の構成図である。
【図2】本発明のディジタル補聴器の一実施例の構成図
である。
【図3】本発明の実施例を使用する際の特性調整を行う
システムを示す構成図である。
【図4】本発明の実施例で用いる第1の時間軸伸長アル
ゴリズムの概念図である。
【図5】本発明の実施例で用いる第2の時間軸伸長アル
ゴリズムの概念図である。
【符号の説明】
1…ディジタル補聴器、11…A/D変換を行う手段、
12…ディジタル信号処理を行う手段、121…音声の
周波数特性を加工する手段、122…音声を入力時とは
異なる速度で出力する手段、13…D/A変換を行う手
段、14…録音を行う手段、15…制御信号を入出力す
る手段、2…マイクロホン、3…イヤホン、4…コント
ローラ、5…パソコン、51…特性調整用プログラム、
6…DSPエミュレータ。

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】入力した音声信号をディジタル化し、その
    特性をディジタル信号処理によって加工して難聴者の聴
    覚補助を行うディジタル補聴器において、上記入力した
    音声信号を録音する録音手段と、上記音声信号の周波数
    特性を加工する手段と、上記録音手段から読みだす信号
    を用い、上記入力した音声を音声のピッチを変えず、入
    力時とは異なる速度で出力する手段と、上記録音音声を
    入力時とは異なる速度で出力する手段を選択的に動作さ
    せる制御手段を有することを特徴とした、ディジタル補
    聴器。
  2. 【請求項2】上記録音音声を入力時とは異なる速度で出
    力する手段は、時間領域において入力音声信号の調波構
    造を伸縮するディジタル信号処理で実現されることを特
    徴とする請求項1に記載のディジタル補聴器。
  3. 【請求項3】上記録音音声を入力時とは異なる速度で出
    力する手段は、音声信号中の無音区間を伸長するディジ
    タル信号処理で実現されることを特徴とした、特許請求
    項第1項記載のディジタル補聴器。
  4. 【請求項4】上記ディジタル信号処理は、ディジタルシ
    グナルプロセッサを用いて行われ、該信号処理に必要な
    パラメータは使用者個々の聴覚特性に合わせて調整さ
    れ、かつ、該調整のための手段は、ディジタル補聴器内
    で使用されるディジタルシグナルプロセッサの動作を模
    擬するDSPエミュレータと、計算機と、該計算機上で
    実行されるディジタル信号処理プログラムで構成され、
    該プログラムの内容を使用者の反応に応じて変更するこ
    とによって実現されることを特徴とする請求項2もしく
    は3に記載のディジタル補聴器。
  5. 【請求項5】上記録音手段は、音声信号を増幅した後A
    /D変換を行って得られたディジタル信号を半導体メモ
    リに記憶することによって実現されることを特徴とする
    請求項1に記載のディジタル補聴器。
  6. 【請求項6】音声を入力するためのマイクロホン出力を
    増幅する増幅器と、該増幅器出力をディジタル化するA
    /D変換器と、ディジタル化された音声信号を保持する
    半導体データメモリと、上記A/D変換器出力または上
    記データメモリ上に保持された音声信号を加工処理する
    ディジタルシグナルプロセッサと、加工処理されたディ
    ジタル信号をアナログ信号に変換するD/A変換器と、
    該D/A変換器出力を増幅してイヤホンを駆動する増幅
    器と、補聴器の動作を制御するコントローラからの制御
    信号を入出力するI/O回路とを有し、上記前ディジタ
    ルシグナルプロセッサは音声の周波数特性を加工するた
    めのプログラムと、音声の時間軸伸長を行うプログラム
    の双方もしくは使用者に選択されたいずれか一方に従っ
    て音声信号を加工処理することを特徴とするディジタル
    補聴器。
  7. 【請求項7】上記ディジタルシグナルプロセッサによる
    音声信号の加工処理として、前記A/D変換器出力を用
    いた実質的に実時間の処理と、上記でーたデータメモリ
    上に保持された音声信号を用いた過去に遡った信号の処
    理とのうち使用者により選択された一方が行われること
    を特徴とする請求項6に記載のディジタル補聴器。
  8. 【請求項8】上記ディジタルシグナルプロセッサによる
    音声信号の加工処理に必要なパラメータは使用者個々の
    聴覚特性に合わせて調整され、かつ、該調整のための手
    段は、ディジタル補聴器内で使用されるディジタルシグ
    ナルプロセッサの動作を模擬するDSPエミュレータ
    と、計算機と、該計算機上で実行されるディジタル信号
    処理プログラムで構成され、該プログラムの内容を使用
    者の反応に応じて変更することによって実現されること
    を特徴とする請求項6に記載のディジタル補聴器。
  9. 【請求項9】上記半導体メモリに録音された音声の、再
    生におけるメモリ上の再生開始番地は、制御信号が使用
    者から与えられる毎に、同じ時間間隔だけ過去に遡って
    設定されることを特徴とする請求項5もしくは6に記載
    のディジタル補聴器。
JP21187291A 1991-08-23 1991-08-23 ディジタル音声処理装置及びディジタル音声処理方法 Expired - Lifetime JP3308567B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP21187291A JP3308567B2 (ja) 1991-08-23 1991-08-23 ディジタル音声処理装置及びディジタル音声処理方法
DE4227826A DE4227826C2 (de) 1991-08-23 1992-08-21 Digitales Verarbeitungsgerät für akustische Signale
US08/462,268 US5794201A (en) 1991-08-23 1995-06-05 Digital acoustic signal processing apparatus
US09/132,214 US6226605B1 (en) 1991-08-23 1998-08-11 Digital voice processing apparatus providing frequency characteristic processing and/or time scale expansion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21187291A JP3308567B2 (ja) 1991-08-23 1991-08-23 ディジタル音声処理装置及びディジタル音声処理方法

Publications (2)

Publication Number Publication Date
JPH0556499A true JPH0556499A (ja) 1993-03-05
JP3308567B2 JP3308567B2 (ja) 2002-07-29

Family

ID=16613017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21187291A Expired - Lifetime JP3308567B2 (ja) 1991-08-23 1991-08-23 ディジタル音声処理装置及びディジタル音声処理方法

Country Status (1)

Country Link
JP (1) JP3308567B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867581A (en) * 1994-10-14 1999-02-02 Matsushita Electric Industrial Co., Ltd. Hearing aid
JP2000308198A (ja) * 1999-02-16 2000-11-02 Gm & M:Kk 補聴器
WO2004004415A1 (en) * 2002-05-28 2004-01-08 Blumenau Trevor I Hearing aid with sound replay capability
JP2004522333A (ja) * 2000-09-18 2004-07-22 フォーナック アーゲー 伝送システムの制御方法、同方法の適用、伝送システム、受信装置及び補聴器
US6839446B2 (en) 2002-05-28 2005-01-04 Trevor I. Blumenau Hearing aid with sound replay capability
US7336796B2 (en) 2002-05-28 2008-02-26 Blumenau Trevor I Hearing assistive apparatus having sound replay capability and spatially separated components
US7356153B2 (en) 2002-05-28 2008-04-08 Blumenau Trevor I Hearing assistive apparatus having sound replay capability
JP2008148317A (ja) * 2006-12-11 2008-06-26 Siemens Audiologische Technik Gmbh 自動プログラミング式聴取装置及びそのプログラミング方法
US7676372B1 (en) 1999-02-16 2010-03-09 Yugen Kaisha Gm&M Prosthetic hearing device that transforms a detected speech into a speech of a speech form assistive in understanding the semantic meaning in the detected speech
WO2014030704A1 (ja) * 2012-08-23 2014-02-27 株式会社レーベン販売 補聴器
JP2015007683A (ja) * 2013-06-25 2015-01-15 日本電気株式会社 音声処理器具、音声処理方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867581A (en) * 1994-10-14 1999-02-02 Matsushita Electric Industrial Co., Ltd. Hearing aid
JP2000308198A (ja) * 1999-02-16 2000-11-02 Gm & M:Kk 補聴器
US7676372B1 (en) 1999-02-16 2010-03-09 Yugen Kaisha Gm&M Prosthetic hearing device that transforms a detected speech into a speech of a speech form assistive in understanding the semantic meaning in the detected speech
JP2004522333A (ja) * 2000-09-18 2004-07-22 フォーナック アーゲー 伝送システムの制御方法、同方法の適用、伝送システム、受信装置及び補聴器
WO2004004415A1 (en) * 2002-05-28 2004-01-08 Blumenau Trevor I Hearing aid with sound replay capability
US6839446B2 (en) 2002-05-28 2005-01-04 Trevor I. Blumenau Hearing aid with sound replay capability
US7336796B2 (en) 2002-05-28 2008-02-26 Blumenau Trevor I Hearing assistive apparatus having sound replay capability and spatially separated components
US7356153B2 (en) 2002-05-28 2008-04-08 Blumenau Trevor I Hearing assistive apparatus having sound replay capability
JP2008148317A (ja) * 2006-12-11 2008-06-26 Siemens Audiologische Technik Gmbh 自動プログラミング式聴取装置及びそのプログラミング方法
WO2014030704A1 (ja) * 2012-08-23 2014-02-27 株式会社レーベン販売 補聴器
JP2014042213A (ja) * 2012-08-23 2014-03-06 Leben Hanbai:Kk 補聴器
JP2015007683A (ja) * 2013-06-25 2015-01-15 日本電気株式会社 音声処理器具、音声処理方法

Also Published As

Publication number Publication date
JP3308567B2 (ja) 2002-07-29

Similar Documents

Publication Publication Date Title
US6226605B1 (en) Digital voice processing apparatus providing frequency characteristic processing and/or time scale expansion
KR20000010930A (ko) 음성 속도 변환 방법 및 그 장치
JP2008103879A (ja) オーディオ再生装置
US6240195B1 (en) Hearing aid with different assemblies for picking up further processing and adjusting an audio signal to the hearing ability of a hearing impaired person
JP3308567B2 (ja) ディジタル音声処理装置及びディジタル音声処理方法
US6839446B2 (en) Hearing aid with sound replay capability
JPH1020873A (ja) 音声信号処理装置
US6085157A (en) Reproducing velocity converting apparatus with different speech velocity between voiced sound and unvoiced sound
US20030223607A1 (en) Hearing assistive apparatus having sound replay capability and spatially separated components
US7356153B2 (en) Hearing assistive apparatus having sound replay capability
JPH0916193A (ja) 話速変換装置
JPS60143100A (ja) 補聴器
JP4134844B2 (ja) 聴覚補助装置
JPH09146587A (ja) 話速変換装置
KR100447371B1 (ko) 녹음 비교 기능을 갖는 어학 학습 장치 및 이를 이용한어학학습 방법
JPH09271094A (ja) ヘッドフォン及びプラグアダプタ
JP4038844B2 (ja) ディジタル信号再生装置、ディジタル信号再生方法、ディジタル信号記録装置、ディジタル信号記録方法及び記録媒体
JPH05252594A (ja) ディジタル音声処理装置
JP2832202B2 (ja) 自然音再生装置
JPH0698398A (ja) 音声の無音区間検出伸長装置及び音声の無音区間検出伸長方法
JPH0965492A (ja) ラウドネス補償装置および聴覚補助器
JPH0954592A (ja) アクティブノイズイレーサ
JPS6232797B2 (ja)
KR19990012715U (ko) 자동 음량 조절 장치
JPH08294199A (ja) 話速変換装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20080517

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080517

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090517

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100517

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110517

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110517

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20120517

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120517

Year of fee payment: 10