JP3351039B2 - 情報処理装置および方法 - Google Patents

情報処理装置および方法

Info

Publication number
JP3351039B2
JP3351039B2 JP20243993A JP20243993A JP3351039B2 JP 3351039 B2 JP3351039 B2 JP 3351039B2 JP 20243993 A JP20243993 A JP 20243993A JP 20243993 A JP20243993 A JP 20243993A JP 3351039 B2 JP3351039 B2 JP 3351039B2
Authority
JP
Japan
Prior art keywords
handwriting
recognition
information
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP20243993A
Other languages
English (en)
Other versions
JPH0757055A (ja
Inventor
稔也 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP20243993A priority Critical patent/JP3351039B2/ja
Publication of JPH0757055A publication Critical patent/JPH0757055A/ja
Application granted granted Critical
Publication of JP3351039B2 publication Critical patent/JP3351039B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Character Discrimination (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、例えば、ペンなどを用
いて筆跡を入力する場合に用いて好適な情報処理装置お
よび方法に関する。
【0002】
【従来の技術】図8は、従来の形状入力装置の一例の構
成を示すブロック図である。ペンなどにより入力された
文字の筆跡は、筆跡検出部1により、始点と終点とを結
ぶ点列からなる曲線または折れ線の集まりとして検出さ
れ、前記点列の各点のxy座標値、即ち、筆跡情報が筆
跡認識部2へ送出される。筆跡認識部2は、前記筆跡検
出部1より送られてきた前記筆跡情報を文字として認識
し、前記筆跡情報に対応する文字コードを情報記憶部3
に送出する。
【0003】ここで、前記筆跡認識部2が、前記筆跡情
報を認識できなかったとき、前記筆跡認識部2は、筆跡
登録部4を起動する。前記筆跡認識部2により起動され
た前記筆跡登録部4は、使用者により入力された、前記
筆跡情報に対応する文字コードを筆跡認識部2へ送る。
筆跡認識部2は、前記筆跡登録部4から送られてきた文
字コードと前記筆跡情報に基づいて、前記筆跡認識部2
の認識辞書の変更、追加を行う。即ち、前記認識辞書
は、筆跡情報と文字コードとが対応づけられた構造にな
っており、前記筆跡認識部2は前記認識辞書の筆跡情報
と文字コードを変更、追加する。
【0004】情報記憶部3は、前記筆跡認識部2から送
られてきた文字コードを記憶する。
【0005】
【発明が解決しようとする課題】このように、従来の形
状入力装置においては、筆跡が入力されると、筆跡検出
部1により筆跡情報が検出され、前記筆跡情報が筆跡認
識部2へ送られる。前記筆跡情報が前記筆跡認識部2へ
送られると、前記筆跡認識部2は前記筆跡情報の認識処
理を開始し、前記筆跡情報に対応する文字コードを情報
記憶部3へ送出する。前記筆跡認識部2による認識処理
が終了すると、筆跡入力作業が再開される。
【0006】このように、前記筆跡認識部2による前記
筆跡情報の認識処理が行われている間、前記筆跡入力作
業が中断される。また、前記筆跡認識部2による認識に
は、内蔵するCPUによる多くのデータ処理を必要とす
るため、前記認識処理が終わるまでの待ち時間が長く、
筆跡入力作業が円滑に行われないという課題があった。
【0007】また、筆跡が入力されている最中に未登録
筆跡(前記筆跡認識部2の認識辞書に登録されていない
筆跡)が入力された場合には、前記筆跡認識部2は前記
未登録筆跡を認識できないため、筆跡登録部4を起動す
る。その結果、筆跡登録部4による筆跡登録処理が行わ
れるため、このことからも、筆跡の入力作業が中断され
るという課題があった。
【0008】さらに、前記情報記憶部3は、筆跡認識部
2により認識された筆跡情報に対応する文字コードだけ
を記憶し、前記筆跡情報を記憶しないため、前記筆跡認
識部2による認識処理後、前記筆跡情報の前後の筆跡情
報や前後の文脈を利用した、より正確な認識処理を繰り
返し(遡って)行うことができないという課題があっ
た。
【0009】本発明はこのような状況に鑑みてなされた
ものであり、筆跡入力作業を円滑に行うことができ、か
つ、より正確な認識処理を行うことができるようにする
ものである。
【0010】
【課題を解決するための手段】本発明の情報処理装置
は、入力された筆跡から筆跡情報を検出する筆跡検出手
段と、筆跡検出手段により検出された筆跡情報を記憶す
る筆跡情報記憶手段と、筆跡情報記憶手段により記憶さ
れた筆跡情報を取り出し、文字または図形として認識す
る筆跡認識手段と、筆跡認識手段により認識された認識
候補を筆跡情報と共に記憶する認識候補記憶手段と、認
識候補記憶手段により記憶された前記認識候補を取り出
し、前後の文脈から認識候補を選定する認識候補選定手
段とを備えることを特徴とする。
【0011】本発明の情報処理装置は、入力された未登
録筆跡を登録する筆跡登録手段をさらに備え、未登録筆
跡が入力された場合、筆跡認識手段は、筆跡入力完了後
に筆跡情報記憶手段から筆跡情報を取り出し筆跡登録手
段に登録することができる。本発明の情報処理方法は、
入力された筆跡から筆跡情報を検出する筆跡検出ステッ
プと、筆跡検出ステップの処理により検出された前記筆
跡情報を記憶する筆跡情報記憶ステップと、筆跡情報記
ステップの処理により記憶された筆跡情報を取り出
、文字または図形として認識する筆跡認識ステップ
と、筆跡認識ステップの処理により認識された認識候補
を筆跡情報と共に記憶する認識候補記憶ステップと、認
識候補記憶ステップの処理により記憶された認識候補を
取り出し、前後の文脈から認識候補を選定する認識候補
選定ステップとを含むことを特徴とする。
【0012】
【作用】本発明の情報処理装置および方法においては、
検出された筆跡情報は、そのまま記憶される。これによ
り、記憶されている筆跡情報を取り出すことで、前記筆
跡情報に対する認識処理または登録処理が、筆跡入力
後、繰り返し行える。
【0013】従って、筆跡入力作業中に、前記筆跡入力
作業を中断して、筆跡認識処理を行う必要がなくなるた
め、前記筆跡入力作業が円滑に行われる。
【0014】また、筆跡入力作業中に未登録筆跡が入力
された場合でも、直ちに筆跡登録処理を行う必要がなく
なるため、筆跡入力作業が中断されることがなくなる。
【0015】さらに、記憶されている筆跡情報に対する
認識処理を繰り返し行うことができ、認識精度を向上さ
せることができる。
【0016】
【実施例】図1は、本発明の情報処理装置の一実施例の
構成を示すブロック図である。
【0017】情報処理装置は、筆跡を検出する筆跡検出
部1と、前記筆跡検出部1により検出された筆跡情報
(xy座標値からなる、例えばデータ長が100バイト
のデータ)を記憶する筆跡情報記憶部11と、前記筆跡
情報記憶部11に記憶されている筆跡情報を認識する筆
跡認識部12と、前記筆跡認識部12が1つの筆跡情報
に対して、複数の認識結果(認識候補)を前記認識候補
が正解である確率を示す優先度を付加して導出した場合
に、前記認識候補の中から1つの候補を選定する認識候
補選定部13と、入力された未登録筆跡(前記筆跡認識
部12の認識辞書に登録されていない筆跡)に対応する
文字コードを登録する筆跡登録部14により構成され
る。
【0018】図2は、図1に示した情報処理装置のハー
ドウェア構成を示すブロック図である。
【0019】筆跡検出部1は、例えば、文字や図形など
の所定の形状を描くためのペン22と、ペン22により
描かれた文字や図形の筆跡を電気信号に変換するタブレ
ット23と、前記ペン22並びにタブレット23を制御
するタブレットドライバ24とからなり、筆跡情報記憶
部11は、例えば、光磁気ディスク(MD)25からな
る。
【0020】また、筆跡認識部12、認識候補選定部1
3、および筆跡登録部14は、例えばマイクロコンピュ
ータとアプリケーションプログラムなどよりなり、前記
マイクロコンピュータは、処理を実行するCPU26
と、システムプログラムが記憶されているROM27、
およびアプリケーションプログラムがロードされたり、
所定のデータが記憶されるRAM28により構成され
る。
【0021】さらに、情報処理装置は、文字などを表示
するための出力部21を備えることができ、前記出力部
21は、例えば、表示データを記憶するV−RAM(ビ
デオRAM)29、V−RAM29に記憶された表示デ
ータを表示するLCD30、および前記LCD30を制
御するLCDドライバ31により構成される。
【0022】また、前記筆跡検出部1、前記筆跡情報記
憶部11、前記筆跡認識部12、前記認識候補選定部1
3、前記筆跡登録部14、および前記出力部21は、シ
ステムバス32を介して相互に情報のやりとりを行う。
【0023】筆跡情報記憶部11は、図3に示すような
フォーマットでデータを記憶する。ここで、図3の筆跡
情報には、実際には筆跡を構成する曲線や折れ線の始点
から終点までの間の点列の各点のxy座標値が書き込ま
れる。また、認識結果には、筆跡情報に対応する文字コ
ードが書き込まれる。この認識結果の文字コードはこの
実施例ではJISコードで表されている。図3に示すよ
うに、1つの筆跡情報に対して1つまたは複数の認識結
果(認識候補)が対応付けられている。
【0024】筆跡認識部12は、前記筆跡情報記憶部1
1に記憶されている筆跡情報に対して個別に認識処理を
行い、1つまたは複数の認識候補を導出し、前記筆跡情
報記憶部11に送出する。このとき、前記認識候補の各
々の優先度(例えば、1乃至100%)が決定される。
なお、前記筆跡情報記憶部11は、前記筆跡認識部12
から送られてきた1つまたは複数の認識候補を前記筆跡
情報と対応付けて記憶する。
【0025】上記のように、前記筆跡認識部12により
筆跡情報が個別に認識された後、前記筆跡認識部12は
認識精度をさらに向上させるために、比較的優先度の低
い認識候補と、その前後の認識候補を前記筆跡情報記憶
部11から取り出し(筆跡情報記憶部11は、入力され
た筆跡が一旦認識された後も、筆跡情報を記憶している
ので、この取り出しが可能となる)、これらの認識候補
から予想される前後の文脈を利用して、それらの認識候
補に対応する筆跡情報の認識処理を行う。
【0026】このとき、これらの認識候補が、文脈上間
違っていると認識された場合には、対応する筆跡情報に
対する認識処理をやり直して、再度、認識候補を導出す
る。
【0027】認識候補選定部13による認識候補選定処
理は、前記筆跡認識部12により、前記筆跡情報記憶部
11から筆跡情報が取り出され、認識処理が行われた結
果、複数の認識候補が導出された場合に、前記筆跡情報
に対して行われる。
【0028】前記認識候補選定部13は、前記複数の認
識候補と、その前後の認識候補を前記筆跡情報記憶手段
11から取り出し、その文脈を利用して、それらの認識
候補の優先度を再決定し、前記優先度が最も高い認識候
補を1つだけ選定し、認識結果とする。
【0029】筆跡登録部14は、使用者によって随時起
動される。前記筆跡登録部14が起動されると、前記筆
跡登録部14は、筆跡情報記憶部11から未登録筆跡を
取り出し、例えば、LCD30に表示する。次に、文字
コードを前記未登録筆跡と同様に、例えば、LCD30
に表示し、前記未登録筆跡に対応する文字コードを、例
えば、ペン22およびタブレット23を用いて、使用者
に指定させる。
【0030】次に、使用者によって選択指定された前記
文字コードは、前記筆跡登録部14より、筆跡情報記憶
部11へ送られ、前記筆跡情報に対応付けて記憶され
る。さらに、前記文字コードは前記筆跡登録部14よ
り、筆跡認識部12へ送られ、筆跡認識部12は前記筆
跡情報および前記文字コードとから、前記筆跡認識部1
2の認識辞書の更新、追加を行い、前記未登録筆跡の前
記認識辞書への登録を行う。
【0031】従って、次に、前記未登録筆跡が入力され
た場合には、前記認識辞書により、対応する文字コード
が認識結果として導出される。
【0032】次に、筆跡検出部1の処理の詳細を、図4
のフローチャートを用いて説明する。
【0033】筆跡検出部1は、筆跡の入力(イベント)
が発生したときに、起動される。
【0034】まず、ステップS1において、入力された
筆跡が、筆跡検出部1により検出され、ステップS2へ
進む。ステップS2において、ステップS1で検出され
た筆跡情報が、筆跡情報記憶部11へ送られ、処理を終
了する。なお、前記筆跡情報記憶部11において、前記
筆跡情報が記憶される。
【0035】次に、筆跡認識部12の処理の詳細を、図
5のフローチャートを用いて説明する。
【0036】筆跡認識部12は、筆跡入力が行われず、
イベントが発生しない状態が所定の時間(例えば、0.
5秒乃至1.0秒)継続し、CPU26によってアイド
ル状態であると認識されたとき、起動される。
【0037】ステップS11において、現在の入力モー
ドが文字入力モードか、図形入力モードかが判定され
る。ここで、入力モードは使用者によって予め指定され
るものとする。ステップS11において、現在の入力モ
ードが文字入力モードであると認識された場合は、ステ
ップS12へ進む。ステップS12において、筆跡情報
記憶部11より筆跡情報を取り出し、筆跡認識処理を行
い、ステップS13へ進む。
【0038】ステップS13において、ステップS12
において、前記筆跡認識部12により認識処理された認
識結果が、前記筆跡情報とともに前記筆跡情報記憶部1
1へ送られ処理を終了する。なお、前記筆跡情報記憶部
11においては、図3に示したように、前記筆跡情報と
前記認識結果とが対応付けられて記憶される。
【0039】ステップS11において、現在の入力モー
ドが図形入力モードであると認識された場合は、ステッ
プS14へ進み、ステップS14において、図形認識処
理を行い、処理を終了する。
【0040】次に、認識候補選定部13の処理の詳細を
図6を用いて説明する。この処理は、前記筆跡認識部1
2の場合と同様に、CPU26によってアイドル状態で
あると認識されたときに、起動される。
【0041】まず、ステップS21において、筆跡認識
部12により認識され、導出された複数の認識候補を筆
跡情報記憶部11から取り出し、ステップS22へ進
む。ステップS22において、前記認識候補に対応する
筆跡情報の前後の筆跡情報に対応する複数の認識候補を
前記筆跡情報記憶部11から取り出し、ステップS23
へ進む。
【0042】ステップS23において、上記認識候補を
連結し、その文脈に基づいて前記認識候補の優先度を再
決定し、次に、前記認識候補の絞り込みを行い、1つの
認識結果を選定した後、ステップS24へ進む。
【0043】ステップS24において、ステップS23
において選定された認識結果を前記筆跡情報記憶部11
へ送出し、処理を終了する。なお、前記筆跡情報記憶部
11において、前記筆跡情報に対応する認識候補が、前
記認識候補選定部13から送られてきた前記認識結果に
よって置換される。
【0044】次に、筆跡登録部14の処理の詳細を図7
を用いて説明する。この処理は、使用者によって、随時
起動される。
【0045】まず、ステップS31において、筆跡情報
記憶部11から未登録筆跡情報を取り出す。次に、その
未登録筆跡情報を例えばLCD30に表示し、ステップ
S32へ進む。
【0046】ステップS32において、文字コードを、
例えば前記LCD30に表示し、使用者に前記未登録筆
跡情報に対応する文字コードを、例えば、ペン22を用
いて指定させることにより、前記未登録筆跡情報に対応
する文字コードを決定し、ステップS33へ進む。
【0047】ステップS33において、ステップS32
において決定された文字コードが、筆跡認識部12へ送
られ、処理が終了する。なお、筆跡認識部12におい
て、前記筆跡情報と前記文字コードに基づいて、前記筆
跡認識部12の認識辞書の更新、追加、または使用者固
有のユーザ辞書への追加が行われる。
【0048】
【発明の効果】本発明の情報処理装置および方法によれ
ば、入力された筆跡から検出された筆跡情報が記憶され
る。このため、筆跡入力後、記憶されている前記筆跡情
報を繰り返し取り出し、筆跡認識処理と筆跡登録処理を
行うことが可能となる。
【0049】従って、必ずしも、筆跡が入力された時点
で、筆跡認識処理を行う必要がなくなり、筆跡認識処理
のために筆跡入力作業が中断されるということがないた
め、筆跡入力を円滑に行うことができる。
【0050】また、筆跡情報が記憶されることにより、
前記筆跡情報に対する認識処理を繰り返し行うことがで
きるため、より正確な認識を行うことができる。
【0051】さらに、未登録筆跡が入力された場合であ
っても、前記未登録筆跡の筆跡情報は、筆跡入力が終了
した後、記憶されているものを取り出すことができるた
め、前記未登録筆跡が入力された後、直ちに筆跡登録処
理を行う必要がなくなる。従って、筆跡登録処理が行わ
れることにより、筆跡入力作業が中断されるということ
がなくなる。
【図面の簡単な説明】
【図1】本発明の形状入力装置の一実施例の構成を示す
ブロック図である。
【図2】図1の各ブロックのハードウェアの構成を示す
図である。
【図3】図1の筆跡情報記憶部11の記憶フォーマット
を示す図である。
【図4】図1の筆跡検出部1の処理の詳細を示すフロー
チャートである。
【図5】図1の筆跡認識部12の処理の詳細を示すフロ
ーチャートである。
【図6】図1の認識候補選定部13の処理の詳細を示す
フローチャートである。
【図7】図1の筆跡登録部14の処理の詳細を示すフロ
ーチャートである。
【図8】従来の形状入力装置の一例の構成を示すブロッ
ク図である。
【符号の説明】
1 筆跡検出部(筆跡検出手段) 2 筆跡認識部 3 情報記憶部 4 筆跡登録部 11 筆跡情報記憶部(筆跡情報記憶手段) 12 筆跡認識部(筆跡認識手段) 13 認識候補選定部 14 筆跡登録部 21 出力部 22 ペン 23 タブレット 24 タブレットドライバ 25 光磁気ディスク 26 CPU 27 ROM 28 RAM 29 V−RAM 30 LCD 31 LCDドライバ 32 システムバス
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06K 9/00 - 9/82 G06F 3/00 G06F 17/22

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力された筆跡から筆跡情報を検出する
    筆跡検出手段と、 前記筆跡検出手段により検出された前記筆跡情報を記憶
    する筆跡情報記憶手段と、 前記筆跡情報記憶手段により記憶された前記筆跡情報を
    取り出し、文字または図形として認識する筆跡認識手段
    と、前記筆跡認識手段により認識された認識候補を前記筆跡
    情報と共に記憶する認識候補記憶手段と、 前記認識候補記憶手段により記憶された前記認識候補を
    取り出し、前後の文脈から前記認識候補を選定する認識
    候補選定手段と を備えること を特徴とする情報処理装
    置。
  2. 【請求項2】 入力された未登録筆跡を登録する筆跡登
    録手段をさらに備え、 前記未登録筆跡が入力された場合、前記筆跡認識手段
    は、筆跡入力完了後に前記筆跡情報記憶手段から前記筆
    跡情報を取り出し前記筆跡登録手段に登録する ことを特
    徴とする請求項1に記載の情報処理装置。
  3. 【請求項3】 入力された筆跡から筆跡情報を検出する
    筆跡検出ステップと、 前記筆跡検出ステップの処理により検出された前記筆跡
    情報を記憶する筆跡情報記憶ステップと、 前記筆跡情報記憶ステップの処理により記憶された前記
    筆跡情報を取り出し、文字または図形として認識する筆
    跡認識ステップと、前記筆跡認識ステップの処理により認識された認識候補
    を前記筆跡情報と共に記憶する認識候補記憶ステップ
    と、 前記認識候補記憶ステップの処理により記憶された前記
    認識候補を取り出し、前後の文脈から前記認識候補を選
    定する認識候補選定ステップと を含む ことを特徴とする
    情報処理方法。
JP20243993A 1993-08-17 1993-08-17 情報処理装置および方法 Expired - Lifetime JP3351039B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20243993A JP3351039B2 (ja) 1993-08-17 1993-08-17 情報処理装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20243993A JP3351039B2 (ja) 1993-08-17 1993-08-17 情報処理装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002222104A Division JP2003067672A (ja) 2002-07-30 2002-07-30 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JPH0757055A JPH0757055A (ja) 1995-03-03
JP3351039B2 true JP3351039B2 (ja) 2002-11-25

Family

ID=16457547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20243993A Expired - Lifetime JP3351039B2 (ja) 1993-08-17 1993-08-17 情報処理装置および方法

Country Status (1)

Country Link
JP (1) JP3351039B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6848080B1 (en) 1999-11-05 2005-01-25 Microsoft Corporation Language input architecture for converting one text form to another text form with tolerance to spelling, typographical, and conversion errors

Also Published As

Publication number Publication date
JPH0757055A (ja) 1995-03-03

Similar Documents

Publication Publication Date Title
CN109917982B (zh) 一种语音输入方法、装置、设备及可读存储介质
JP3792755B2 (ja) 文字認識方法及び装置
JP3351039B2 (ja) 情報処理装置および方法
JPH1152984A (ja) 音声認識装置における認識対象表示方式
JPH0944600A (ja) オンライン文字認識に於ける入力文字予測方法、及びその装置
JPH06215089A (ja) カラー画像ファイル管理装置
JP2003067672A (ja) 情報処理装置および方法
JPH0950433A (ja) 手書き文字認識装置
JPS61272882A (ja) 情報認識装置
JPH11110379A (ja) 情報検索方法及びその装置
JP3190776B2 (ja) オンライン手書き文字認識装置
JP3037727B2 (ja) Ocrシステム
JPH07141468A (ja) 手書入力文字装置における手書文字認識処理方法
JP3367973B2 (ja) 文字処理方法及び装置
JPH06149465A (ja) 手書き入力装置
JP2922900B2 (ja) 手書き文字認識装置
JPH0778053A (ja) 手書きコマンド入力装置
JP3255477B2 (ja) 文字入力装置及び文字入力方法
JP3365537B2 (ja) オンライン文字認識方法および装置
JPH0887570A (ja) 情報認識方法
JPH0877297A (ja) 携帯端末装置
JPH07210623A (ja) 文書画像処理装置
JPH11143993A (ja) 認識文字修正装置およびその方法
JPH10333812A (ja) 入力装置、入力方法、及び入力処理プログラムを記録した記録媒体
JPH04326188A (ja) 名刺認識における氏名データ整形方法およびその氏名データ整形装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020820

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080920

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090920

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090920

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100920

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100920

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110920

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110920

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120920

Year of fee payment: 10