JP3647070B2 - 画像処理方法及びその装置 - Google Patents

画像処理方法及びその装置 Download PDF

Info

Publication number
JP3647070B2
JP3647070B2 JP29698994A JP29698994A JP3647070B2 JP 3647070 B2 JP3647070 B2 JP 3647070B2 JP 29698994 A JP29698994 A JP 29698994A JP 29698994 A JP29698994 A JP 29698994A JP 3647070 B2 JP3647070 B2 JP 3647070B2
Authority
JP
Japan
Prior art keywords
image
closed curve
area
symbol
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29698994A
Other languages
English (en)
Other versions
JPH08153160A (ja
Inventor
弘隆 椎山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP29698994A priority Critical patent/JP3647070B2/ja
Publication of JPH08153160A publication Critical patent/JPH08153160A/ja
Application granted granted Critical
Publication of JP3647070B2 publication Critical patent/JP3647070B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、画像情報の所定領域が指定されると、その指定された画像領域の画像を入力する画像処理方法及びその装置に関するものである。
【0002】
【従来の技術】
従来より、例えば像域分離処理により、画像に含まれる文字領域と画像領域とを分離する手法がある。しかし、このような従来の手法では、画像情報に含まれる文字と画像部分とを完全に精度良く分離できないのが現状である。そこで、例えば複写機などにおいて、原稿画像の所望の領域を、マーカ等を用いて描画することにより指定し、そのマーカを用いて描画された部分を複写したり、色を変えて複写する機器等が開発されている。
【0003】
【発明が解決しようとする課題】
しかし、このようなマーカによる領域指定は、例えば、原稿画像中のタイトルの自動抽出の補助手段に留まっている。また、そのようなマーカにより描画された曲線により囲まれた領域の外側或は内側のいずれを対象領域にするかは、オペレータがキー操作により指定することにより行っている。このように従来の領域指定では、完全な自動化には至っていない。
【0004】
本発明は上記従来例に鑑みてなされたもので、処理対象の画像領域を簡単な方法で指定して、その画像部分を抽出できる画像処理方法及びその装置を提供することを目的とする。
【0005】
また本発明の目的は、原稿画像にマークするだけで、原稿画像の所望の画像領域を指定して、その領域の画像を抽出できる画像処理方法及びその装置を提供することにある。
【0006】
また本発明の他の目的は、原稿画像に閉曲線を描画し、その内側或は外側の領域を指定して、その指定された画像を入力できる画像処理方法及びその装置を提供することにある。
【0007】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
入力された画像情報を処理する画像処理装置であって、
対象画像領域を指示する閉曲線イメージと、該閉曲線イメージと交差し且つ該閉曲線イメージの内側或は外側のいずれを抽出するかを示すシンボルとが前記画像情報に含まれているか否かを判断する判断手段と、
前記判断手段により閉曲線イメージとシンボルとが含まれていると判断された場合、当該閉曲線イメージとシンボルとによって指示される前記閉曲線イメージの内側或いは外側の画像を対象画像領域の画像として抽出する抽出手段と、
前記抽出手段により抽出された画像を記憶するよう制御する記憶制御手段とを有し、
前記判断手段により複数の閉曲線イメージとシンボルとが含まれており且つ該複数の閉曲線イメージが包含関係であると判断された場合、前記抽出手段は、前記包含関係にある閉曲線イメージのうち最外周の閉曲線イメージについては当該閉曲線イメージの内側が指示されているとし、且つその他の閉曲線イメージについては各閉曲線イメージに交差している各シンボルによって各閉曲線イメージの内側或いは外側のいずれかが指示されているとして、当該指示された対象画像領域の画像を抽出することを特徴とする.
【0008】
上記目的を達成するために本発明の画像処理方法は以下のような構成を備える。即ち、
入力された画像情報を処理する画像処理方法であって、
対象画像領域を指示する閉曲線イメージと、該閉曲線イメージと交差し且つ該閉曲線イメージの内側或は外側のいずれを抽出するかを示すシンボルとが前記画像情報に含まれているか否かを判断する判断工程と、
前記判断工程で閉曲線イメージとシンボルとが含まれていると判断された場合、当該閉曲線イメージとシンボルとによって指示される前記閉曲線イメージの内側或いは外側の画像を対象画像領域の画像として抽出する抽出工程と、
前記抽出工程で抽出された画像を記憶するよう制御する記憶制御工程とを有し、
前記判断工程で複数の閉曲線イメージとシンボルとが含まれており且つ該複数の閉曲線イメージが包含関係であると判断された場合、前記抽出工程では、前記包含関係にある閉曲線イメージのうち最外周の閉曲線イメージについては当該閉曲線イメージの内側が指示されているとし、且つその他の閉曲線イメージについては各閉曲線イメージに交差している各シンボルによって各閉曲線イメージの内側或いは外側のいずれかが指示されているとして、当該指示された対象画像領域の画像を抽出することを特徴とする.
【0009】
【作用】
以上の構成において、入力した画像情報に、対象画像領域を指示する閉曲線イメージと、該閉曲線イメージと交差し且つ該閉曲線イメージの内側或は外側のいずれを抽出するかを示すシンボルとが含まれているか否かを判断し、閉曲線イメージとシンボルとが含まれていると判断された場合、その閉曲線イメージとシンボルとによって指示される閉曲線イメージの内側或いは外側の画像を対象画像領域の画像として抽出し、その抽出された画像を記憶するとともに、画像情報に、複数の閉曲線イメージとシンボルとが含まれており且つ該複数の閉曲線イメージが包含関係であると判断された場合、包含関係にある閉曲線イメージのうち最外周の閉曲線イメージについては当該閉曲線イメージの内側が指示されているとし、且つその他の閉曲線イメージについては各閉曲線イメージに交差している各シンボルによって各閉曲線イメージの内側或いは外側のいずれかが指示されているとして、その指示された対象画像領域の画像を抽出するよう制御する。
【0010】
【実施例】
以下、添付図面を参照して本発明の好適な実施例を詳細に説明する。本実施例を説明する前に、図1〜図3を参照して本実施例の概要を簡単に説明する。
【0011】
図1(A)は、閉曲線の内側を指示する場合を示し、図1(B)は、閉曲線の外側を指示する場合をそれぞれ示している。
【0012】
更に、図2を参照してその具体例を説明する。
【0013】
図2(A)は、閉曲線で囲まれたイメージ領域201の外側にある黒枠を除外する例を示し、図2(B)は、閉曲線で指定された領域202を除外する例を示している。更に、図2(C)は、閉曲線を用いて複数の領域を指定する例を示している。
【0014】
これら例で示すように、編集対象エリアが閉曲線の内側であるか、或は外側であるかは、この閉曲線と交差する矢印を用いて指示する方法が考えられるが、このような矢印以外にも、方向が明示できるシンボルであれば何を用いても良、特に矢印に限定されない。
【0015】
また、有効にしたい画像領域と、例えばOCRの対象となる領域とが異なる場合には、それぞれ異なる色の矢印を用いたり、あるいは形状の異なるシンボルを用いて区別しても良い。
【0016】
尚、領域の入れ子を許可し、領域の包含関係をも考慮した領域指定も可能である。このような領域の指定方法の例を図3に示す。
【0017】
図3(A)は、最も大きな閉曲線301で囲まれた領域の内側であり、且つ内側の閉曲線302で囲まれた領域の外側が指定され、その結果、303で示される領域が指定される。
【0018】
図3(B)は、最も大きな閉曲線304の外側の領域で、且つ内側の閉曲線305で囲まれた領域の外側が指示されている。その結果、図(A)において、閉曲線301で囲まれた領域の外側を指定した場合と全く同じ結果になってしまう。即ち、306で示すように黒枠のみが残ることになる。従って、このような場合は、閉曲線301で囲まれた領域の内側を指定すべきだったものを、間違えてその領域の外側に指定した可能性が極めて高い。
【0019】
図3(C)は、最も大きな閉曲線307で囲まれた領域の外側であり、且つ内側の閉曲線308で囲まれた領域の内側が指示されており、その結果、309で示されるように、該当する領域は存在しない。
【0020】
従って、図3(B)、図3(C)の場合を考慮すると、領域の入れ子指定の場合には、最外周の閉曲線による領域指定は、この閉曲線の内側にするというルールにする方が合理的である。
【0021】
以下、図4及び図5を参照して本実施例の画像処理装置の構成及び動作を、入力したイメージデータの指定された領域を抽出する処理(指定領域抽出ソフトウェア)を中心に説明する。
【0022】
図5は本実施例の画像処理装置の構成を示すブロック図である。
【0023】
図5において、502はカラーイメージスキャナで、原稿501を光電的に走査して読取り、その原稿画像に応じたイメージ情報を得る。この原稿501は、例えばマーカを用いて原稿上に領域を指定するための閉曲線510と、対象領域がこの閉曲線510の内側か外側かを指示するための矢印511が描画されている。503は指定領域抽出ソフトウェアで、本実施例の画像処理装置の制御部(CPU)504に搭載され、カラーイメージスキャナ502より入力されるカラーイメージデータから、閉曲線510を用いて指定された領域のイメージデータを抽出している。505はOCR処理ソフトウェアで、指定領域抽出ソフトウェアにより抽出されたエリア(閉曲線510で囲まれた領域)のイメージデータ、或は外部記憶装置507に記憶されているイメージデータを入力して文字認識を行っている。
【0024】
506は文書検索ソフトウェアで、外部記憶装置507に記憶されている文書情報(テキスト情報)、或はOCR処理ソフトウェアにより認識されて作成されたテキスト情報を入力し、それらの検索用ファイルを作成するとともに、その検索処理も行っている。508はキーボードやマウス等のポインティングデバイスを備えた入力部で、文書検索を指示するコマンド、文書データ或はスキャナへの読取り指示等の各種命令が入力される。外部記憶装置507は、イメージデータと、テキスト情報および検索用ファイルなどを記憶しており、例えばハードディスクや光ディスク等で構成される。509は表示装置で、オペレータへのメッセージや文書情報、読取った原稿画像、或は検索された文書テキスト、検索用コマンド及びその検索式等を表示する。
【0025】
以上の構成に基づき、本実施例の画像処理装置におけるイメージ蓄積処理を説明する。
【0026】
イメージデータの蓄積処理は、カラーイメージスキャナ502から得られたイメージ情報から、指定領域抽出ソフトウェア503によりOCR処理を行うように指定された領域、及びイメージ情報として外部記憶装置507に蓄積すべき領域を抽出する。その後、まず指定された領域のイメージ情報を外部記憶装置507に記憶し、一方、OCR処理を行うように指定された領域のイメージ情報をOCR処理ソフトウェア506に出力する。そして、このOCR処理ソフトウェア505によりテキスト情報に変換されたテキスト情報は、外部記憶装置507に送られて記憶される。また、文書検索ソフトウェア506は、テキスト情報に基づいて検索用ファイルを作成し、その検索用ファイルを外部記憶装置507に出力して記憶する。
【0027】
また、外部記憶装置507に記憶されているテキスト情報の検索は、入力部508から入力された検索語を文書検索ソフトウェア506が受取り、外部記憶装置507に記憶されている検索用ファイルと照合し、その結果、該当する文書アドレス情報を取り出す。こうして取り出されたテキスト情報は、表示装置509にイメージデータで表示される。
【0028】
図4は、本実施例の画像処理装置における指定領域抽出のアルゴリズムの例を示すフローチャートである。但し、これは単色のマーカに対して行う処理であり、複数色の場合は、この処理が各色のマーカに対して行なわれるものとする。
【0029】
まず、カラーイメージスキャナ502より入力されるイメージデータの1ラインずつが読取られ、この読取ったデータに基づいて閉曲線の抽出処理が行なわれ、この処理はステップS1でデータが無くなるまで行われる。
【0030】
即ち、ステップS1でデータが存在する時はステップS3に進み、1ライン分のイメージデータを読み込む。ステップS4では、その読取った1ライン分のイメージデータの中に、ラインマーカで描画された線のイメージがあるか否かをみる。その線がある時はステップS5に進み、閉曲線の候補群と連続しているかを調べ、連続している時はステップS6に進み、そのマーカにより描画された線イメージを、その連続している線候補のデータに追加する。次にステップS7に進み、閉じている線があるかどうかを調べ、ある時はステップS8に進み、その閉じている閉曲線候補で囲まれた領域を指定領域として、閉曲線の座標を有効にする。またステップS9において、連続するマーカデータの無い閉曲線候補を破棄する。尚このとき、別々の閉曲線候補が連続している場合には、1つの閉曲線として統合する。
【0031】
一方、ステップS5で閉曲線候補群との連続性が無いときはステップS10に進み、これまでの閉曲線候補を破棄し、どの閉曲線候補とも連続しないデータを、新規の閉曲線候補データとして登録する(ステップS11)。
【0032】
また、前述のステップS4で、1ライン中にマーカ線が無い場合はステップS12に進み、閉曲線候補があるかどうかをみる。存在しない時はステップS1に戻り、次のラインデータの読込みを行なう。
【0033】
閉曲線候補が存在する場合はステップS13に進み、閉じた線があるかどうかを調べる。閉じた線があればステップS14に進み、閉じている閉曲線候補で囲まれた領域を指定領域として、閉曲線の座標を有効にして、それを保存するが、閉じていない候補は破棄する。また、閉じているものが無い時はステップS13よりステップS15に進み、閉曲線候補を全て破棄する。
【0034】
またステップS1でデータが存在しなくなるとステップS2に進み、閉曲線画像データから領域の外側か、内側かを示すシンボル(例えば図5の矢印511)を抽出し、その結果を基に、領域の理論演算が行われ、指定された領域を決定し、その指定された領域内のイメージデータを出力する。
【0035】
[他の実施例]
尚、本実施例は、前述の電子ファイリングシステム以外にも、例えば複写機、ファクシミリ装置などにも応用可能である。
【0036】
また、このような領域指定方式は、カラースキャナのユーティリティ・ソフトウェアの補助機能として、画像を読み込む領域を指定するのに用いる場合にも適用可能である。
【0037】
尚、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置に本発明を実施するプログラムを供給することによって達成される場合にも適用できる。
【0038】
以上説明したように本実施例によれば、原稿におけるイメージの蓄積領域、或はOCR領域を指定するのに、その原稿領域をマーカにより閉曲線を描いて囲み、その内側或は外側を指示するシンボルを記述するだけで、この領域を指定することができ、また各領域の入れ子も可能となる。これにより、簡単に領域の指定が可能となり、マーカにより領域を指定した原稿をフィーダに載置しておくだけで、単にカラーイメージスキャナでイメージを取り込むだけで、その指定された領域を抽出し、後段の処理にその領域のイメージデータを渡すことができる。
【0039】
このように本実施例によれば、人手を介さず、自動的に必要な部分のみの画像を抽出して処理したり、或は蓄積することができる。
【0040】
また本実施例によれば、必要な領域だけを指定し、これに対してイメージ蓄積ができるので、読取って処理するデータ量を削減でき、イメージの切り貼りやコピー等の再編集が不要となり効率的である。
【0041】
また、こうして指定された領域のイメージデータをOCR処理することにより、必要な文書データだけをOCRの対象に絞ることができる。また、こうして作成された文書データを記憶しておくことにより、不要な文書データ量を少なくできるので、複数の文書データより所望の文書データを検索する検索処理の効率も向上できる。
【0042】
【発明の効果】
以上説明したように本発明によれば、処理対象の画像領域を簡単な方法で指定して、その画像部分を抽出できる。
【0043】
また本発明によれば、原稿画像にマークするだけで、原稿画像の所望の画像領域を指定して、その領域の画像を抽出できる。
【0044】
また本発明によれば、原稿画像に閉曲線を描画し、その内側或は外側の領域を指定して、その指定された画像を入力できる効果がある。
【0045】
【図面の簡単な説明】
【図1】本発明の一実施例における領域指定方法を説明する図である。
【図2】本実施例における領域指定処理の具体例を示す図である。
【図3】本実施例における領域指定処理、及び指定領域の入れ子の具体例を説明する図である。
【図4】本実施例の画像処理装置における指定領域抽出処理を示すフローチャートである。
【図5】本発明の一実施例の画像処理装置の概略構成を示すブロック図である。
【符号の説明】
501 原稿
502 カラーイメージスキャナ
503 領域抽出ソフトウェア
505 OCR処理ソフトウェア
506 文書検索ソフトウェア
507 外部記憶装置
508 入力部
509 表示装置
510 閉曲線
511 矢印

Claims (8)

  1. 入力された画像情報を処理する画像処理装置であって、
    対象画像領域を指示する閉曲線イメージと、該閉曲線イメージと交差し且つ該閉曲線イメージの内側或は外側のいずれを抽出するかを示すシンボルとが前記画像情報に含まれているか否かを判断する判断手段と、
    前記判断手段により閉曲線イメージとシンボルとが含まれていると判断された場合、当該閉曲線イメージとシンボルとによって指示される前記閉曲線イメージの内側或いは外側の画像を対象画像領域の画像として抽出する抽出手段と、
    前記抽出手段により抽出された画像を記憶するよう制御する記憶制御手段とを有し、
    前記判断手段により複数の閉曲線イメージとシンボルとが含まれており且つ該複数の閉曲線イメージが包含関係であると判断された場合、前記抽出手段は、前記包含関係にある閉曲線イメージのうち最外周の閉曲線イメージについては当該閉曲線イメージの内側が指示されているとし、且つその他の閉曲線イメージについては各閉曲線イメージに交差している各シンボルによって各閉曲線イメージの内側或いは外側のいずれかが指示されているとして、当該指示された対象画像領域の画像を抽出することを特徴とする画像処理装置。
  2. 前記シンボルは矢印のイメージであり、当該矢印の指示する方向が前記対象画像領域であることを特徴とする請求項1に記載の画像処理装置。
  3. 更に、前記記憶するよう制御された画像に対して文字認識処理を行ってテキスト情報を得る文字認識手段を有することを特徴とする請求項1に記載の画像処理装置。
  4. 更に、前記テキスト情報を用いて検索を行なう検索手段を有することを特徴とする請求項3に記載の画像処理装置。
  5. 入力された画像情報を処理する画像処理方法であって、
    対象画像領域を指示する閉曲線イメージと、該閉曲線イメージと交差し且つ該閉曲線イメージの内側或は外側のいずれを抽出するかを示すシンボルとが前記画像情報に含まれているか否かを判断する判断工程と、
    前記判断工程で閉曲線イメージとシンボルとが含まれていると判断された場合、当該閉曲線イメージとシンボルとによって指示される前記閉曲線イメージの内側或いは外側の画像を対象画像領域の画像として抽出する抽出工程と、
    前記抽出工程で抽出された画像を記憶するよう制御する記憶制御工程とを有し、
    前記判断工程で複数の閉曲線イメージとシンボルとが含まれており且つ該複数の閉曲線イメージが包含関係であると判断された場合、前記抽出工程では、前記包含関係にある閉曲線イメージのうち最外周の閉曲線イメージについては当該閉曲線イメージの内側が指示されているとし、且つその他の閉曲線イメージについては各閉曲線イメージに交差している各シンボルによって各閉曲線イメージの内側或いは外側のいずれかが指示されているとして、当該指示された対象画像領域の画像を抽出することを特徴とする画像処理方法。
  6. 前記シンボルは矢印のイメージで、当該矢印の指示する方向が前記対象画像領域であることを特徴とする請求項に記載の画像処理方法。
  7. 更に、前記記憶するよう制御された画像に対して文字認識処理を行ってテキスト情報を得る文字認識工程を有することを特徴とする請求項に記載の画像処理方法。
  8. 更に、前記テキスト情報を用いて検索を行なう検索工程を有することを特徴とする請求項に記載の画像処理方法。
JP29698994A 1994-11-30 1994-11-30 画像処理方法及びその装置 Expired - Fee Related JP3647070B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29698994A JP3647070B2 (ja) 1994-11-30 1994-11-30 画像処理方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29698994A JP3647070B2 (ja) 1994-11-30 1994-11-30 画像処理方法及びその装置

Publications (2)

Publication Number Publication Date
JPH08153160A JPH08153160A (ja) 1996-06-11
JP3647070B2 true JP3647070B2 (ja) 2005-05-11

Family

ID=17840817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29698994A Expired - Fee Related JP3647070B2 (ja) 1994-11-30 1994-11-30 画像処理方法及びその装置

Country Status (1)

Country Link
JP (1) JP3647070B2 (ja)

Also Published As

Publication number Publication date
JPH08153160A (ja) 1996-06-11

Similar Documents

Publication Publication Date Title
JP3210102B2 (ja) 電子化文書ファイリング装置及びファイリング文書検索方法
JP4181892B2 (ja) 画像処理方法
US8203748B2 (en) Image processing apparatus, control method therefor, and program
JP4251629B2 (ja) 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体
JP4920928B2 (ja) 画像処理装置及びその制御方法、プログラム
EP1661064B1 (en) Document scanner
US9710524B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
JP4502385B2 (ja) 画像処理装置およびその制御方法
JP5033277B2 (ja) 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体
US8181108B2 (en) Device for editing metadata of divided object
JP7102284B2 (ja) ファイル管理装置、ファイル管理方法、及びプログラム
JP3647070B2 (ja) 画像処理方法及びその装置
JP3912463B2 (ja) 論理構造抽出装置及び論理構造抽出方法
JP6700705B2 (ja) 振り分けシステム、情報処理方法、及びプログラム
JPH11238072A (ja) 文書保管装置
JPH08180068A (ja) 電子ファイリング装置
JP2005267057A (ja) テキストデータ抽出方法、検索用インデックス作成方法、電子ファイリングシステムおよびプログラム
JPH06162107A (ja) 電子ファイリングシステム
JPH0438561A (ja) 文書ファイリング装置
JP3424942B2 (ja) 対訳画像形成装置
JPH08202859A (ja) 電子ファイリング装置及びその方法
JPH01269171A (ja) 画像処理装置
JPH01278169A (ja) 画像ファイリング装置
JP3077580B2 (ja) 文字読取装置
JPH10247237A (ja) 文書画像処理装置および文書画像処理方法および情報記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050208

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090218

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees