JP3205108B2 - 音声処理装置 - Google Patents

音声処理装置

Info

Publication number
JP3205108B2
JP3205108B2 JP02645793A JP2645793A JP3205108B2 JP 3205108 B2 JP3205108 B2 JP 3205108B2 JP 02645793 A JP02645793 A JP 02645793A JP 2645793 A JP2645793 A JP 2645793A JP 3205108 B2 JP3205108 B2 JP 3205108B2
Authority
JP
Japan
Prior art keywords
storage
information
unit
signal processing
storage information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP02645793A
Other languages
English (en)
Other versions
JPH06242794A (ja
Inventor
宏 池田
義人 禰寝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP02645793A priority Critical patent/JP3205108B2/ja
Publication of JPH06242794A publication Critical patent/JPH06242794A/ja
Application granted granted Critical
Publication of JP3205108B2 publication Critical patent/JP3205108B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Telephone Set Structure (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、後天性難聴者による音
声聴取や騒音下での健聴者による音声聴取に有効な電話
機やテレビ等に好適な音声処理装置に関する。
【0002】
【従来の技術】従来の音声処理装置は、予め設定された
特定の周波数ポイントにおいてのみ音質可変が可能であ
り、使用者や使用環境に適合するように音質を変えるこ
とはできなかった。
【0003】
【発明が解決しようとする課題】そのため、後天的な障
害や老齢化等により聴取能力が衰えた難聴者による音声
聴取や騒音下での健聴者による音声聴取において、音声
情報の識別が低下するという問題があった。特に、難聴
者の場合、その可聴域が千差万別に異なるため、使用者
に対応して周波数特性や時間特性を適宜変更する必要が
あった。
【0004】
【課題を解決するための手段】この問題を解決するた
め、本発明の音声処理装置においては第1の記憶手段
と、着脱可能な第2の記憶手段と、第2の記憶手段から
情報を取り込む記憶情報入手手段と、入力音声信号に対
して聴覚特性補償の信号処理を行い音声出力する信号処
理手段と、第1の記憶手段及び記憶情報入手手段のいず
れか一方を選択的に信号処理手段に接続する選択手段
と、第1の記憶手段及び記憶情報入手手段にアクセスし
て記憶情報の読み出しを制御する記憶情報制御手段と、
記憶情報制御手段に対して所望する記憶情報を指定する
記憶情報選択手段とを設けた。
【0005】
【作用】第1の記憶手段は、例えば、老人性難聴等によ
くみられる高音が聞こえにくいという現象を補償するた
めの典型的な信号処理情報を予め複数記憶する。
【0006】第2の記憶手段は、装置本体に着脱可能な
形態を有して、使用者の聴覚特性に起因する聴取能低下
を補償するための信号処理情報を複数記憶する。
【0007】記憶情報入手手段は、第2の記憶手段が装
置本体に接続された際、第2の記憶手段から記憶情報を
取り込む。
【0008】信号処理手段は、第1の記憶手段あるいは
第2の記憶手段に記憶されている信号処理情報にもとづ
き入力音声信号に対して聴覚特性補償のための信号処理
を行ない、音声出力する。
【0009】選択手段は、第1の記憶手段及び記憶情報
入手手段のいずれか一方を選択的に信号処理手段に接続
する。
【0010】記憶情報制御手段は、第1の記憶手段並び
に記憶情報入手手段にアクセスして信号処理情報の読み
出しを行うにあたり、アドレス制御や信号受信のタイミ
ング制御等を行う。
【0011】記憶情報選択手段は、所望の情報が第1の
記憶手段及び記憶情報入手手段のいずれにあり、かつ、
どのアドレス範囲にあるのかを指定する。
【0012】これにより、使用者は予め設定されている
特定の信号処理パターンから聞きやすくなるようなモー
ドを選択することが可能であるとともに、特定パターン
で対処できない場合には個人専用の信号処理パターンを
音声処理装置に転送して信号処理を行い、音声情報の識
別を向上させることができる。
【0013】
【実施例】図1は、本発明の構成を示す一実施例であ
る。図1において、装置本体1に内蔵されている第1の
記憶手段4には、例えば、老人性難聴によくみられる高
音が聞こえにくいといった特性や、あるいは、ヘッドホ
ンステレオを過度に使用した人によくみられる低音が聞
こえにくいといった特性等の代表的な聴力損失パターン
をもとに、その聴力損失を補い聞こえが向上するような
補償パターンを信号処理パラメータとして複数記憶され
ている。
【0014】通常の使用では、使用者は記憶情報選択手
段2により、選択手段7を第1の記憶手段4と信号処理
手段8が接続されるように制御するとともに、記憶情報
制御手段3を介して第1の記憶手段4に記憶されている
複数の補償パターンから所望する補償パターンを一つ選
択する。選択された補償パターンに相当する信号処理パ
ラメータは、記憶情報制御手段3の制御により選択手段
7を介して順次信号処理手段8に送信される。
【0015】信号処理手段8では、送られてきた信号処
理パラメータをもとに、入力音声信号を加工して出力す
る。使用者は、この出力信号を聴取する。仮に、補償パ
ターンが適当でなく聞こえが向上しなかった場合、使用
者は上述した操作を繰り返し実行することにより、第1
の記憶手段4に記憶されている種々の補償パターンで聴
取することができる。健聴者が静かな場所で本発明を使
用する場合には、第1の記憶手段4に予め健聴者用の信
号処理パターン、例えば、入力信号をそのまま出力する
ような信号処理パラメータを記憶させておく必要があ
る。
【0016】一方、装置本体1に対して着脱可能な形態
をとり持ち運び自由な第2の記憶手段6には、使用者が
耳科医やオージオロジスト等が実施する聴力検査を受け
て得た聴覚特性をもとに、その聴覚特性を補償し、ある
いは聴覚特性を補償するとともに使用環境にも適合して
聞こえを向上させるための信号処理パラメータが複数記
憶されている。
【0017】使用者が、装置本体に内蔵されている補償
パターン以外の補償パターンで聴取したい場合には、ま
ず、装置本体1に設けられている記憶情報入手手段5に
この第2の記憶手段6を接続する。記憶情報入手手段5
は、記憶情報制御手段3の制御により第2の記憶手段6
から信号処理パラメータを取り込む。この情報取り込み
操作は、接続後直ちに実行して記憶情報入手手段5にバ
ッファリングしておいてもよいし、使用者が記憶情報選
択手段2により記憶情報制御手段3を介して記憶情報入
手手段5を選択した際に実行し、記憶情報入手手段5を
介して直ちに信号処理手段8に転送してもよい。使用者
が記憶情報選択手段2により第2の記憶手段6に記憶さ
れている補償パターンを所望する場合、第1の記憶手段
4に対する操作と同様に、選択手段7を記憶情報入手手
段5と信号処理手段8が接続されるように制御するとと
もに、記憶情報制御手段3及び記憶情報入手手段5を介
して第2の記憶手段6に記憶されている複数の補償パタ
ーンから所望する補償パターンを一つ選択する。
【0018】選択された補償パターンに相当する信号処
理パラメータは、記憶情報制御手段3の制御により記憶
情報入手手段5及び選択手段7を介して信号処理手段8
に送信される。使用者は上述した操作により、自身に適
した補償パターンで音声を聴取することが可能となるの
で、騒音下等での音声聴取に際しても識別の低下を抑え
て聞こえを向上させることができる。
【0019】図2は、他の本発明の構成を示す一実施例
である。図1と基本的な構成は同一である。図2の構成
において、選択手段7の出力は、信号処理手段8に送ら
れる系とは別に、キャラクタ情報抽出手段9にも送られ
る。キャラクタ情報抽出手段9では、送られてきた情報
から補償パターンの内容を示すキャラクタ情報を抽出
し、使用者に分かるようなキャラクタ情報に変換する。
このキャラクタ情報は、キャラクタ表示手段10へと送
られて、視覚情報としてキャラクタ表示手段10にキャ
ラクタ表示される。
【0020】図3は、図2で説明したキャラクタ表示の
ための情報記憶について示したものであり、各記憶手段
の情報配列を示す一実施例である。図3において、記憶
手段には聴力を補助するための情報1〜4で表される4
種類の補償パターンと、各補償パターンに付随してその
内容をキャラクタ化する際に必要なインデックス情報1
〜4が記憶されている。例えば、アドレス0h〜ffh
には健聴者に特化された情報、アドレス100h〜1f
fhには高音が聞き取りにくい人に特化された情報、ア
ドレス200h〜2ffhには低音が聞き取りにくい人
に特化された情報、アドレス300h〜3ffhには可
聴周波数帯域全体で聞き取りにくい人に特化された情報
がそれぞれ記憶されている。
【0021】そして、インデックス情報は、特化された
各アドレスの始めから20h分のアドレスに記憶されて
いる。尚、アドレスを意味する数字の最後のhは、数字
がヘキサ表現されていることを示す。図2のキャラクタ
情報抽出手段9では、各アドレスの始めに記憶されてい
るインデックス情報をもとにキャラクタ情報を発生す
る。キャラクタは、漢字,ひらがな,数字,ローマ字,
記号あるいは絵等使用者が表示を見てその内容が理解で
きるものであれば何でもよい。
【0022】図4は、キャラクタ情報抽出手段9のキャ
ラクタ表示例を示すものである。例えば、本発明が家庭
機器で使用される場合、健聴者=日立太郎,高音が聞き
取りにくい人=日立花子,低音が聞き取りにくい人=日
立次郎,可聴周波数帯域全体で聞き取りにくい人=日立
三郎の名称で特化されたとすると、同図(a)に示すよ
うになる。尚、同図では、選択されていることが分かる
ように選択名称を枠で囲ったが、これに限定されず輝度
変調や色を違える等で表現してもよい。ここで、日立太
郎が使用する場合には、図1及び図2で示した記憶情報
選択手段2により、日立太郎の名称が選択されるような
信号処理パラメータを選択すればよい。同図(b)は、
信号処理パラメータが環境に対応している場合の表示例
である。図5は、図1及び図2で示した記憶情報入手手
段5の一実施例について示したものである。第2の記憶
手段6は接続手段54に接続される。接続確認手段52
は、接続手段54と第2の記憶手段6が正常に接続され
たことを確認する。もし正常に接続されていない場合に
は、警告発生手段53を用いて警告を発生する。警告方
法は、計算機や家電品等によくみられるビープ音の発生
や発光ダイオードやランプ等による発光、あるいはディ
スプレイへのメッセージ表示等が適当である。記憶情報
制御手段3からの制御信号がアドレス制御手段51に入
力されると、アドレス制御手段51は接続手段54を介
して第2の記憶手段6のアドレスを制御する。これによ
り所望する記憶情報は接続手段54を介して選択手段7
に送られる。
【0023】図6は、他の記憶情報入手手段5の一実施
例について示したものである。第2の記憶手段6は接続
手段54に接続される。第2の記憶手段6が接続される
と、記憶情報転送手段50は、まず、スイッチ手段55
を導通状態にして第3の記憶手段56と接続手段54と
を接続する。一方、記憶情報転送手段50は第2の記憶
手段6が接続手段54に正常に接続されたことを確認す
る。もし正常に接続されていない場合には、図5と同様
に警告発生手段53を用いて警告を発生する。
【0024】記憶情報制御手段3からの制御信号は、記
憶情報転送手段50とアドレス制御手段51に入力され
る。記憶情報転送手段50は、第2の記憶手段6が接続
手段54に正常に接続されている場合、アドレス制御手
段51に記憶情報転送のためのアドレス制御命令を与え
る。尚、第2の記憶手段6が接続手段54に正常に接続
されていない場合にはアドレス制御手段51に停止命令
を与える。アドレス制御手段51は接続手段54を介し
て第2の記憶手段6のアドレスを制御し、所望する記憶
情報を接続手段54及びスイッチ手段55を介して第3
の記憶手段56に転送記憶する。
【0025】同様に、記憶情報は接続手段54及び記憶
情報転送手段50を介して記憶情報照合手段57にも転
送される。記憶情報照合手段57は、第3の記憶手段5
6に記憶された内容と記憶情報転送手段50を介して入
手した情報とを照合して、内容が一致しいていればその
ままシーケンスを続行する。仮に、照合結果が一致しな
い場合には、警告発生手段53を用いて警告を発生す
る。第3の記憶手段56に記憶された情報は、必要に応
じて選択手段7へと送られる。尚、記憶情報の照合は全
情報が転送された後に一括して行ってもよい。しかし、
この場合、記憶情報照合手段57には、第3の記憶手段
56と同等の記憶容量が必要となる。
【0026】図7は、図3で示した聴力を補助するため
の情報例を示すものであり、周波数特性を変更する場合
の一例について示すものである。同図において、横軸は
周波数、縦軸は音圧に相当する音量である。聴力を補助
するための情報は、例えば、各周波数に対するゲインで
あり、周波数300Hzでゲイン1,………………,4
KHzでゲイン2,…………で増幅するものである。こ
れにより、信号処理後の音声信号が使用者の最大可聴域
を越えない範囲であれば、例えば、最小可聴域がAの人
も最小可聴域がBの人と同等の音声情報を聞くことが可
能になる。尚、補助するための情報は、周波数に対する
ゲイン情報のみに限らず、時間特性を制御するための情
報や振幅圧縮に関する情報等も考えられる。
【0027】図8は本発明を電話機に適応した場合の一
実施例であり、電話機と本発明が一体化した場合の外観
を表したものである。図8において、電話機11にはキ
ャラクタ表示手段10と第2の記憶手段6の挿入口が設
けられている。プッチュ式のボタン0〜9及び*と#は
通話時のダイヤル操作に使うためのものである。ボタン
EとFは、使用する記憶手段を選択するためのものであ
り、例えば、ボタンEは電話機11に内蔵されている第
1の記憶手段1を、ボタンFは第2の記憶手段6を各々
選択する。ボタンA〜Dは各記憶手段に記憶されている
複数の情報から所望する補償パターンを選択するための
ものであり、この場合、4種類のパターンから選択する
ことができる。選択された内容は、キャラクタ表示手段
10にキャラクタ表示される。尚、図1に示す構成の場
合には、キャラクタ表示手段10はいらない。
【0028】図9は、他の本発明を電話機に適応した場
合の一実施例であり、電話機と本発明の装置本体1が別
個に設けられた場合の外観を表したものである。図9に
おいて、電話機11とヘッドセットを接続するケーブル
はその途中で切断されている。電話機11からのケーブ
ルは、装置本体1への音声入力となる。また、ヘッドセ
ットへのケーブルは、装置本体1からの音声出力とな
る。その他の記号等は図8と同一である。尚、図9で
は、電話機11とヘッドセットを接続するケーブルを途
中で切断して装置本体1への音声入力及び音声出力とし
たが、本発明はこれに限定されず、他の信号系の途中で
行っても良い。
【0029】本実施例では、記憶手段に記憶されている
補償パターンを4種類として説明を行ったが、特に種類
数を限定するものではなく、2種類,8種類等など記憶
容量に応じて、また、選択手段での選択可能な種類数に
対応して変更してもよい。
【0030】
【発明の効果】使用者や周囲環境に応じて聴取音声の質
を変更することができるので、後天的に聞こえが悪くな
った難聴者であっても健聴者に比較して音声情報の誤認
を少なくすることができる。また、背景雑音が大きい騒
音下であっても同様の効果を得ることができる。
【図面の簡単な説明】
【図1】本発明の構成を示す一実施例のブロック図。
【図2】本発明の構成を示す第二の実施例のブロック
図。
【図3】記憶手段の情報配列を示す一実施例の説明図。
【図4】キャラクタ表示手段の表示例の説明図。
【図5】記憶情報入手手段の一実施例のブロック図。
【図6】記憶情報入手手段の第二の実施例のブロック
図。
【図7】聴力を補助するための情報例の説明図。
【図8】本発明を電話機に適応した場合の一実施例の斜
視図。
【図9】本発明を電話機に適応した場合の第二の実施例
の斜視図。
【符号の説明】
1…装置本体、2…記憶情報選択手段、3…記憶情報制
御手段、4…第1の記憶手段、5…記憶情報入手手段、
6…第2の記憶手段、7…選択手段、8…信号処理手
段。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平4−96500(JP,A) 特開 平2−43900(JP,A) 特開 昭57−185800(JP,A) 特開 平5−344594(JP,A) 特開 平1−93800(JP,A) 実開 平2−85479(JP,U) 実開 平2−51498(JP,U) (58)調査した分野(Int.Cl.7,DB名) G10L 21/04 H04R 25/00

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】代表的な聴取能低下を補償するための信号
    処理情報を予め複数記憶する第1の記憶手段と、使用者
    の聴覚特性に起因した聴取能低下を補償するための信号
    処理情報を複数記憶する着脱可能な第2の記憶手段と、
    前記第2の記憶手段から記憶情報を装置本体に取り込む
    記憶情報入手手段と、前記第1の記憶手段あるいは前記
    第2の記憶手段に記憶されている信号処理情報にもとづ
    き入力音声信号を加工出力する信号処理手段と、前記信
    号処理手段と前記第1の記憶手段及び前記記憶情報入手
    手段のいずれか一方を選択的に接続する選択手段と、前
    記第1の記憶手段及び記憶情報入手手段にアクセスして
    記憶情報の読み出しを制御する記憶情報制御手段と、前
    記記憶情報制御手段及び前記選択手段に接続され所望の
    記憶情報を指定する記憶情報選択手段とで構成されたこ
    とを特徴とする音声処理装置。
  2. 【請求項2】代表的な聴取能低下を補償するための信号
    処理情報を予め複数記憶する第1の記憶手段と、使用者
    の聴覚特性に起因した聴取能低下を補償するための信号
    処理情報を複数記憶する着脱可能な第2の記憶手段と、
    前記第2の記憶手段から記憶情報を装置本体に取り込む
    記憶情報入手手段と、前記第1の記憶手段あるいは前記
    第2の記憶手段に記憶されている信号処理情報にもとづ
    き入力音声信号を加工出力する信号処理手段と、前記信
    号処理手段と前記第1の記憶手段及び前記記憶情報入手
    手段のいずれか一つを選択的に接続する選択手段と、前
    記選択手段に接続され選択された記憶情報から記憶情報
    の内容を意味するキャラクタ情報を抽出するためのキャ
    ラクタ情報抽出手段と、前記キャラクタ情報抽出手段で
    抽出変換されたキャラクタを表示するためのキャラクタ
    表示手段と、前記第1の記憶手段並びに前記記憶情報入
    手手段にアクセスして記憶情報の読み出しを制御する記
    憶情報制御手段と、前記記憶情報制御手段及び前記選択
    手段に接続され所望する記憶情報を指定する記憶情報選
    択手段とで構成されたことを特徴とする音声処理装置。
  3. 【請求項3】請求項1または2において、前記記憶情報
    入手手段は、前記第2の記憶手段が正常に接続されてい
    ないのにもかかわらず前記第2の記憶手段の選択が行わ
    れた場合に使用者に警告を促す警告発生手段を有する音
    声処理装置。
  4. 【請求項4】請求項3において、前記記憶情報入手手段
    は、前記第3の記憶手段と、前記第2の記憶手段の接続
    後、直ちに記憶情報を前記第3の記憶手段に転送する記
    憶情報転送手段と、前記第3の記憶手段に転送する情報
    と第3の記憶手段に記憶された情報とを照合する情報照
    合手段と、前記情報照合手段による照合結果が間違って
    いる場合に警告を促す手段とを有する音声処理装置。
JP02645793A 1993-02-16 1993-02-16 音声処理装置 Expired - Lifetime JP3205108B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02645793A JP3205108B2 (ja) 1993-02-16 1993-02-16 音声処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02645793A JP3205108B2 (ja) 1993-02-16 1993-02-16 音声処理装置

Publications (2)

Publication Number Publication Date
JPH06242794A JPH06242794A (ja) 1994-09-02
JP3205108B2 true JP3205108B2 (ja) 2001-09-04

Family

ID=12194042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02645793A Expired - Lifetime JP3205108B2 (ja) 1993-02-16 1993-02-16 音声処理装置

Country Status (1)

Country Link
JP (1) JP3205108B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000352991A (ja) * 1999-06-14 2000-12-19 Nippon Telegr & Teleph Corp <Ntt> スペクトル補正機能つき音声合成器
US8073170B2 (en) 2005-04-12 2011-12-06 Panasonic Corporation Hearing aid adjuster
JP5962038B2 (ja) 2012-02-03 2016-08-03 ソニー株式会社 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末

Also Published As

Publication number Publication date
JPH06242794A (ja) 1994-09-02

Similar Documents

Publication Publication Date Title
US5189692A (en) Telephone operator simulator
GB2367723A (en) Identifying incoming mobile phone call
JPH10200989A (ja) イヤホン
JP2004501520A (ja) 無線通信装置のためのオーディオ・フィードバックを持つ直観的なキーパッド・ナビゲーションのための装置及び方法
WO1998005150A1 (en) Method and apparatus for applying a user selected frequency response pattern to audio signals provided to a cellular telephone speaker
JP3205108B2 (ja) 音声処理装置
US6184796B1 (en) Method and apparatus for automatic telephone dialing from a pager message
JPH1084404A (ja) 携帯電話
JP2001136593A (ja) ユーザの聴覚科学的な分布にカスタマイズできる音声を備えた電話
JP2002223500A (ja) モバイルフィッティングシステム
JPH1039869A (ja) 電子楽器
US20060189357A1 (en) Mobile communication apparatus and method for altering telephone audio functions
US5128991A (en) Dialing confirmation tone output apparatus
JP3967161B2 (ja) 通信応答システム
JPH0491600A (ja) 音響機器
KR100248191B1 (ko) 청력 진단 전화기와 그 제어방법
KR100326325B1 (ko) 무선단말기에서호출음송출장치및방법
JP2002027029A (ja) 通信端末装置
JPH0795303A (ja) 文書データの音声出力方式
JP3775853B2 (ja) 自動販売機
KR20020001196A (ko) 이동통신 단말기에서의 미디음악 연주 방법
JP2008278327A (ja) 音声通信装置及び音声通信装置の周波数特性制御方法
JPH11136342A (ja) メモリダイヤル読み上げ装置
JP2003283669A5 (ja)
JPS60214664A (ja) 電話付属装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080629

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080629

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090629

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 12