JP2959647B2 - 文書画像処理装置 - Google Patents

文書画像処理装置

Info

Publication number
JP2959647B2
JP2959647B2 JP3214298A JP21429891A JP2959647B2 JP 2959647 B2 JP2959647 B2 JP 2959647B2 JP 3214298 A JP3214298 A JP 3214298A JP 21429891 A JP21429891 A JP 21429891A JP 2959647 B2 JP2959647 B2 JP 2959647B2
Authority
JP
Japan
Prior art keywords
image
document image
document
positional relationship
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3214298A
Other languages
English (en)
Other versions
JPH0535838A (ja
Inventor
勇 下田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP3214298A priority Critical patent/JP2959647B2/ja
Publication of JPH0535838A publication Critical patent/JPH0535838A/ja
Priority to US08/371,517 priority patent/US5633727A/en
Application granted granted Critical
Publication of JP2959647B2 publication Critical patent/JP2959647B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • H04N1/00798Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00816Determining the reading area, e.g. eliminating reading of margins
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40056Circuits for driving or energising particular reading heads or original illumination means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は文書画像処理装置、特に
弱視者用に文書を拡大してその文書画像を映し出す拡大
読書装置等の文書画像処理装置に関する。
【0002】
【従来の技術】厚生省の昭和62年2月の実態調査によ
ればわが国の身体障害者数(年齢18才以上)は240
万人である。このうち視覚障害者は30万7千人で1
2.7%を占めている。このうち常用で雇用されている
人は全国で1万7千人で視覚障害者全体の5.5%にす
ぎない。
【0003】視覚障害者が社会生活に適応していく場合
に最も大きなハンディキャップの一つと考えられるのが
印刷されたあるいは書かれた文字、すなわちいわゆる墨
字を読むことである。文字によるコミュニケーションは
人間が社会の一員として生活していくための必要不可欠
の要素になっている。
【0004】ところで、視覚障害を克服するためには2
つの方法がある。すなわち障害を受けている機能自体を
補助する方法及び障害を受けている機能の補助が不可能
な場合に聴覚や触覚などによって視覚機能を代行させる
方法である。
【0005】前者の方法による場合、すなわち視力の弱
い人が文字や図表を見るときは、レンズ(眼鏡)を用い
れば視力を補助できる。さらに映像カメラ等を用いて文
字や図表を撮影し、これに電気的処理を加えて前記文字
や図表を拡大することにより、これら文字等をより一層
見やすくすることができる。
【0006】図5は、拡大読書装置の一例としての、米
国のテレセンサリー・システムズ(Telesensory System
s,Inc.)社製バンテージ(Vantge :同社登録商標)の
ブロック構成図である。
【0007】該拡大読書装置は、文書51を照明する照
明装置52と、該照明装置52により照明された文書5
1を撮像する撮像装置53と、該撮像装置53により撮
像された文書51の画像処理を行う処理装置54と、該
処理装置54により画像処理された文書51を表示する
表示装置55とを備えている。
【0008】上記拡大読書装置においては、照明装置5
2からの照明光56が載物台57に載置された文書51
を照明し、前記文書51は撮像装置53により撮像され
る。そして、撮像装置53のズームレンズ(図示せず)
を通過した文書51は、ビジコン(撮像管)又はCCD
(電荷結合素子)によりビデオ電気信号に変換されて処
理装置54に入力される。この処理装置54において
は、表示画面上への走査やマスキングによる不要部分の
消去あるいは表示画面の明るさ、コントラスト調整及び
白黒反転処理等の画像処理がビデオ電気信号に対して行
われる。そして、処理装置54による前記画像処理にし
たがい、また表示サイズとの組合わせにより、視力に応
じた所定倍率(例えば、3〜45倍)の文書が表示装置
55に表示される。また、表示装置55としてはグリー
ンまたはアンバーの14インチCRT(Cathode Ray Tu
be)が使われている。
【0009】
【発明が解決しようとする課題】しかし、上記従来の拡
大読書装置(文書画像処理装置)では、撮像した文書画
像を保存、再生する機構が設けられておらず、撮像した
画像を保存し、後に再生することはできない。また、こ
のような保存再生機構を設けたとしても、保存した画像
を再生して再度見ることはできるが、この保存した画像
に関連する画像として該画像の周囲の画像を参照したい
場合などにおいては、この周囲の画像が保存されている
か否かを確認することができない。また、仮に関連する
周囲の画像が保存されていることを認識している場合に
おいても、関連する周囲の画像のサーチに手間が掛か
り、ひいては保存されているにも拘らず関連する周囲の
画像を見出すことができない事態に陥ることもある。
【0010】本発明はこのような問題点に鑑みなされた
ものであって、保存手段から読み出して表示した文書画
像に対しその周囲にある文書画像を関連する文書画像と
して参照する際に、この周囲にある文書画像を容易に捜
し出すことができる文書画像処理装置を提供することを
目的とする。
【0011】
【課題を解決するための手段】上記目的を達成するため
に本発明は、載置台に載置された文書画像の少なくと
一部領域を照明しながら任意の撮像倍率で撮像可能な撮
像手段と、前記撮像手段により撮像された文書画像を保
存する保存手段と、前記保存手段に保存された文書画像
を選択して読み出すことが可能な読出し手段と、前記撮
像手段により撮像された文書画像および前記保存手段か
ら読み出された文書画像に所定の画像処理を施す処理手
段と、前記所定の画像処理が施された文書画像を表示す
る表示手段と、前記撮像手段と前記文書画像との位置関
係を変化させる位置関係変化手段とを備え、前記撮像手
段が前記文書画像中の所望領域の画像を撮像するよう
に、前記位置関係変化手段により前記撮像手段と前記文
書画像との位置関係を変化させ、前記撮像手段により撮
像された画像を前記表示手段に表示し、該表示手段に表
示されている画像に対して保存指示が出されると、前記
撮像手段により撮像された画像を前記所望領域の文書画
像として前記保存手段に保存するとともに、前記撮像手
段が前記文書画像中の前記所望領域の周辺領域の画像を
撮像するように、前記位置関係変化手段により前記撮像
手段と前記文書画像との位置関係を変化させ、前記撮像
手段により撮像された前記周辺領域の画像を前記所望領
域の文書画像に対応付けて前記保存手段に保存すること
を特徴とする。
【0012】
【作用】上記構成によれば、撮像手段が前記文書画像中
の所望領域の画像を撮像するように、位置関係変化手段
により撮像手段と前記文書画像との位置関係を変化さ
せ、撮像手段により撮像された画像を表示手段に表示
し、該表示手段に表示されている画像に対して保存指示
が出されると、撮像手段により撮像された画像を所望領
域の文書画像として保存手段に保存するとともに、撮像
手段が文書画像中の所望領域の周辺領域の画像を撮像す
るように、位置関係変化手段により撮像手段と文書画像
との位置関係を変化させ、撮像手段により撮像された周
辺領域の画像を所望領域の文書画像に対応付けて保存手
段に保存することにより、保存手段から読み出して表示
した文書画像に対しその周囲にある文書画像を関連する
画像として参照する際に、この周囲にある文書画像を容
易に捜し出すことが可能になる。
【0013】
【実施例】以下、本発明の実施例を図面に基づき詳説す
る。
【0014】図1は本発明に係る文書画像処理装置とし
ての拡大読書装置の一実施例を示したブロック構成図で
ある。
【0015】1は照明装置であって、光源としての2本
の蛍光灯と反射鏡(図示せず)とから構成されている。
なお、光源は蛍光灯に限定されるものではなく、タング
ステンランプやストロボランプでもよい。
【0016】2は載物台であって、該載物台2に載置さ
れた文書3は照明装置1からの照明光4(光源)により
照明される。
【0017】5は撮像装置であって、該撮像装置5は例
えば6倍の光学倍率で倍率を変化させることができるズ
ームレンズ(図示せず)を有し、該ズームレンズを通過
した文書画像をビジコンまたはCCDによりビデオ電気
信号に変換する。
【0018】6は入力装置であって、文書画像の入力及
び再生時における文書画像の倍率や観察位置を入力する
のに用いる。
【0019】7は記憶装置であって、半導体メモリ等の
揮発性記憶素子、磁気ディスク等の不揮発性記憶装置、
これら揮発性記憶素子と不揮発性記憶装置の組合せの何
れかによって構成され、画像データの書き込みが行なわ
れる。尚、記憶装置7のアドレスは入力装置6または後
述する制御装置から自動的に入力された画像識別番号ま
たは記号、及び載物台2からの座標データ及び撮像装置
5からの倍率で構成される。
【0020】8は処理装置であって、表示画面上への走
査やマスキングによる不要部分の消去あるいは表示画面
の明るさ、さらにはコントラスト調整及び白黒反転処理
等の画像処理をビデオ電気信号に対して行うことがで
き、かつ照明装置1により現在照明されている文書画像
と記憶装置7から読み出した文書画像とを切り換えた
り、一方だけを反転したりすることができる。
【0021】9は表示装置であって、高圧回路が不要と
なる液晶等の非熱電子素子から構成されている。
【0022】しかして、10は制御装置であって、低消
費電力で且つ高速演算可能な演算素子を有するマイクロ
コンピュータからなり、上記した各装置の制御を司る。
すなわち、制御装置10は以下のような制御機能を有す
る。 照明装置1の光源の点灯(ON)、消灯(OFF) 撮像装置5のズームレンズの制御 処理装置8の制御 載物台2の座標データの入力および指定位置への移
動 入力装置6による動作モードや動作パラメータの設
定 記憶装置7に記憶された文書画像の制御
【0023】しかして、上記文書画像処理装置において
は、図2に示すフローチャートにしたがって記憶装置7
へ文書画像(文書)の書き込みが行われる。
【0024】まず、ステップS1では制御装置10が照
明装置1の光源をONする。これにより文書は撮像装置
に必要な照度で照明される。
【0025】次に、載物台2を移動させて文書中の見た
い場所(目標文書画像)を選択し、撮像装置の倍率を調
整する(ステップS2)。尚、これらは入力装置6から
キーボード又はマウス等で制御装置10に入力される。
【0026】次いで、制御装置10は載物台2の座標を
測定する(ステップS3)。次に、文書名を入力し(ス
テップS4)、さらに入力装置6に所定の命令を入力し
て上記の画像データと文書名、載物台の座標、倍率を記
憶装置7に書き込む(ステップS5)。
【0027】次に、ステップS6からステップS8では
制御装置10の制御により現在位置の周辺の文書画像を
記憶装置7に書き込む。
【0028】すなわち、まずステップS6では目的文書
画像の周辺位置座標(X,Y)に載物台2を移動する。
座標(X,Y)の位置が載物台の移動限界を越えるとき
は移動できる限界まで移動する。次に、文書名、載物台
の座標(目的文書画像との相対位置または絶対位置)及
び倍率を記憶装置7に書き込み(ステップS7)、さら
に目的文書画像の周辺全てについて記憶装置7への書き
込みが終了したか否かを判断する(ステップS8)。そ
して、その答が肯定(YES)になるとステップS9に
進み、制御装置10が撮像装置5に指令して自動的に撮
像倍率を変化させる。これにより、例えば、撮像倍率を
小さくした場合、すなわち拡大倍率を小さくした場合は
視野を広くすることができる。また撮像倍率を大きくし
た場合、すなわち拡大倍率を大きくした場合はより細か
いところまで文書画像を観察することができる。変化さ
せる倍率は予め固定しておくのが取扱容易であるし、間
違いも起きにくい。尚、ステップS6からステップS8
によって周辺の画像データを取り込むが、撮像倍率が大
きいときは十分にカバーできないことがあり、その場合
はさらにその周辺の画像データを取り込む。
【0029】次にステップS10に進み、画像データの
文書名、載物台の座標、倍率を記憶装置7に書き込む。
【0030】ステップS11では記憶装置7に対して所
定倍率の書き込みを終了したか否かを確認する。そし
て、所定倍率の書き込み終了を確認した後、制御装置1
0は照明装置1の電源をOFFして(ステップS12)
本プログラムを終了する。このように本発明では照明装
置1は記憶装置7へ書き込むときのみ電源をONするこ
とにより消費電力の節約を図ることができる。
【0031】図3は、目的文書画像とその周辺文書画像
との載物台2の座標上の位置関係を示した図である。
【0032】同図中、図4において画像22がステップ
S1からステップS5で書き込んだ目的文書画像であ
る。一般に目的文書画像の周辺は目的文書画像と相関が
高く、したがって目的文書画像の周辺を参照する確率が
高い。そこで、目的とする画像22の周辺画像データと
して画像11(左上)、12(真上)、13(右上)、
21(左横)、23(右横)、31(左下)、32(真
下)、33(右下)を記憶装置7に書き込む。すなわ
ち、ステップS9〜S11において画像22の周辺の文
書画像が画像11から順次記憶装置7に書き込まれるこ
ととなる。
【0033】しかして、図4は記憶装置7から画像デー
タを読み出す場合の制御手順を示すフローチャートであ
る。尚、読み出し専用の文書画像処理装置においては、
照明装置や撮像装置及び載物台等は必須の構成要件を形
成せず、文書画像処理装置は、処理装置8と表示装置9
と制御装置10と入力装置6と記憶装置7とで構成する
ことができる。
【0034】まず、ステップS21では記憶文書画像の
リストを表示装置9に表示する。
【0035】次に、キーボード又はマウス等で入力装置
5から制御装置10に所望の画像番号または記号を入力
し、画像の選択を行う(ステップS22)。
【0036】そして、ステップS23では記憶装置7か
ら画像データを読み出し、表示装置9に表示する。この
とき画像の片隅に画像データの文書名、載物台の座標、
倍率を表示する。
【0037】次いで、ステップS24では拡大倍率や観
察位置を選択する。尚、これらの選択は記憶装置7に書
き込み済みの画像データに限定されるのはいうまでもな
い。
【0038】最後にステップS25では記憶装置7から
の所望の画像データの読出しが終了したか否かを確認し
(ステップS25)、終了でなければ、ステップS21
に戻りリストを再度表示し、画像データの読み出しが終
了したならば本プログラムを終了する。
【0039】このように上記実施例では、 1) 画像データを記憶装置に書き込む。 2) これを読み出して利用する。 の2動作に分けることで従来の拡大読書装置には求め得
なかった機能を実現した。
【0040】さらに、上記実施例では照明装置1により
照明された文書画像と記憶装置1により記憶された文書
画像とを制御装置10により切り換えて表示装置9に表
示しているが、表示装置9の表示画面を2分割して現在
照明されている文書画像と記憶装置7により記憶されて
いる文書画像とを同時に表示装置9の表示画面に表示す
るように構成するのも好ましい。
【0041】
【発明の効果】以上詳述したように本発明によれば、
像手段が前記文書画像中の所望領域の画像を撮像するよ
うに、位置関係変化手段により撮像手段と前記文書画像
との位置関係を変化させ、撮像手段により撮像された画
像を表示手段に表示し、該表示手段に表示されている画
像に対して保存指示が出されると、撮像手段により撮像
された画像を所望領域の文書画像として保存手段に保存
するとともに、撮像手段が文書画像中の所望領域の周辺
領域の画像を撮像するように、位置関係変化手段により
撮像手段と文書画像との位置関係を変化させ、撮像手段
により撮像された周辺領域の画像を所望領域の文書画像
に対応付けて保存手段に保存するので、保存手段から読
み出して表示した文書画像に対しその周囲にある文書画
像を関連する画像として参照する際に、この周囲にある
文書画像を容易に捜し出すことがで きる。
【図面の簡単な説明】
【図1】本発明に係る文書画像処理装置の一実施例を示
す全体ブロック構成図である。
【図2】文書画像の書き込み手順を示すフローチャート
である。
【図3】載物台の座標軸を示す図である。
【図4】文書画像の読み出し手順を示すフローチャート
である。
【図5】従来例のブロック構成図である。
【符号の説明】
1 照明装置 5 撮像装置 6 入力装置 7 記憶装置 8 処理装置 9 表示装置

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 載置台に載置された文書画像の少なくと
    も一部領域を照明しながら任意の撮像倍率で撮像可能な
    撮像手段と、 前記撮像手段により撮像された文書画像を保存する保存
    手段と、 前記保存手段に保存された文書画像を選択して読み出す
    ことが可能な読出し手段と、 前記撮像手段により撮像された文書画像および前記保存
    手段から読み出された文書画像に所定の画像処理を施す
    処理手段と、 前記所定の画像処理が施された文書画像を表示する表示
    手段と、 前記撮像手段と前記文書画像との位置関係を変化させる
    位置関係変化手段とを備え、 前記撮像手段が前記文書画像中の所望領域の画像を撮像
    するように、前記位置関係変化手段により前記撮像手段
    と前記文書画像との位置関係を変化させ、前記撮像手段
    により撮像された画像を前記表示手段に表示し、該表示
    手段に表示されている画像に対して保存指示が出される
    と、前記撮像手段により撮像された画像を前記所望領域
    の文書画像として前記保存手段に保存するとともに、前
    記撮像手段が前記文書画像中の前記所望領域の周辺領域
    の画像を撮像するように、前記位置関係変化手段により
    前記撮像手段と前記文書画像との位置関係を変化させ、
    前記撮像手段により撮像された前記周辺領域の画像を前
    記所望領域の文書画像に対応付けて前記保存手段に保存
    することを特徴とする 文書画像処理装置。
JP3214298A 1991-07-31 1991-07-31 文書画像処理装置 Expired - Fee Related JP2959647B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP3214298A JP2959647B2 (ja) 1991-07-31 1991-07-31 文書画像処理装置
US08/371,517 US5633727A (en) 1991-07-31 1995-01-11 Character image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3214298A JP2959647B2 (ja) 1991-07-31 1991-07-31 文書画像処理装置

Publications (2)

Publication Number Publication Date
JPH0535838A JPH0535838A (ja) 1993-02-12
JP2959647B2 true JP2959647B2 (ja) 1999-10-06

Family

ID=16653420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3214298A Expired - Fee Related JP2959647B2 (ja) 1991-07-31 1991-07-31 文書画像処理装置

Country Status (2)

Country Link
US (1) US5633727A (ja)
JP (1) JP2959647B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2730822B1 (fr) * 1996-02-12 1999-01-08 Samsung Aerospace Ind Retroprojecteur et son procede de commande
US7325735B2 (en) * 2004-04-02 2008-02-05 K-Nfb Reading Technology, Inc. Directed reading mode for portable reading machine
US7641108B2 (en) * 2004-04-02 2010-01-05 K-Nfb Reading Technology, Inc. Device and method to assist user in conducting a transaction with a machine

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751583A (en) * 1984-06-04 1988-06-14 Levine Alfred B Off line photocopying system using portable electronic camera, visual previewing and image processing
JPS58119076A (ja) * 1982-01-08 1983-07-15 Toshiba Corp 画像編集装置
JPS6048668A (ja) * 1983-08-27 1985-03-16 Dainippon Screen Mfg Co Ltd 画像走査記録方法
JPS636672A (ja) * 1986-06-27 1988-01-12 Fuji Photo Film Co Ltd 医用画像蓄積再生方法
JP2692797B2 (ja) * 1986-09-02 1997-12-17 キヤノン株式会社 画像処理装置
JPS63311860A (ja) * 1987-06-12 1988-12-20 Minolta Camera Co Ltd 露光装置
GB8812891D0 (en) * 1988-05-31 1988-07-06 Crosfield Electronics Ltd Image generating apparatus
JPH02122761A (ja) * 1988-10-31 1990-05-10 Toshiba Corp 画像形成装置
JPH02216136A (ja) * 1989-02-17 1990-08-29 Canon Inc 画像読取装置
JPH03196266A (ja) * 1989-12-25 1991-08-27 Toshiba Corp 画像形成記憶装置
US5191440A (en) * 1990-03-29 1993-03-02 Levine Alfred B Multiple photocopier system with memory and composite processing

Also Published As

Publication number Publication date
JPH0535838A (ja) 1993-02-12
US5633727A (en) 1997-05-27

Similar Documents

Publication Publication Date Title
US6977687B1 (en) Apparatus and method for controlling a focus position for a digital still camera
CN101006415B (zh) 具有投影仪装置的电子设备
US6188432B1 (en) Information processing method and apparatus for displaying and zooming an object image and a line drawing
US6795116B1 (en) Image processing apparatus
JPH05260352A (ja) ビデオカメラ
US7354154B2 (en) Ophthalmic image taking apparatus and ophthalmic image taking method
JP2000023012A (ja) 翻訳機能付カメラ
US6252984B1 (en) Character recognition device
US6322497B1 (en) Electronic endoscope
JPH08251521A (ja) 画像入力装置
JP2959647B2 (ja) 文書画像処理装置
JP2000013680A (ja) 赤目防止方法および画像処理装置
EP1506734B1 (en) Ophthalmologic image taking apparatus
JPH11341485A (ja) 電子内視鏡装置
JP2004309768A (ja) 顕微鏡システム
JP2004287180A (ja) フォーカス情報表示装置
US20220360724A1 (en) Display method
US20220360704A1 (en) Display method
JP3152747B2 (ja) 巨視的映像機能を備えた顕微鏡システム
JP4647260B2 (ja) 眼科撮影装置システム
JP2000039564A (ja) 拡大観察装置
JP3169748B2 (ja) 映像モニター装置
JPH01109874A (ja) 画像処理制御装置
JP5061762B2 (ja) 書画カメラ装置、画像処理方法及びプログラム
JP2008227990A (ja) 撮像装置及び撮像装置制御プログラム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110730

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees