JP3756279B2 - 印刷物検査における不良内容判別方法 - Google Patents

印刷物検査における不良内容判別方法 Download PDF

Info

Publication number
JP3756279B2
JP3756279B2 JP02590297A JP2590297A JP3756279B2 JP 3756279 B2 JP3756279 B2 JP 3756279B2 JP 02590297 A JP02590297 A JP 02590297A JP 2590297 A JP2590297 A JP 2590297A JP 3756279 B2 JP3756279 B2 JP 3756279B2
Authority
JP
Japan
Prior art keywords
defective
defect
rgb
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02590297A
Other languages
English (en)
Other versions
JPH10208055A (ja
Inventor
昌人 牛草
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP02590297A priority Critical patent/JP3756279B2/ja
Publication of JPH10208055A publication Critical patent/JPH10208055A/ja
Application granted granted Critical
Publication of JP3756279B2 publication Critical patent/JP3756279B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、基準画像と検査対象画像との比較を行って、印刷物を検査する装置において、検査対象画像が不良であった場合に、その不良内容を判別する方法に関する。
【0002】
【従来の技術】
印刷物を検査する場合、正常な印刷物をカメラで撮像して基準画像とし、検査すべき印刷物を印刷中にカメラで撮像して検査対象画像として、基準画像と検査対象画像の画像データを比較して、比較の結果、その差が定めた閾値以上である場合に不良であるとすることにより、検査対象画像が正常であるか不良であるかを判定することが行われている。このような技術は本出願人により特公平1−47823号にも開示されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来の印刷物検査装置では、印刷不良を発見した場合に、不良が発生したという警報を発するか、ディスプレイ上に不良画像を表示するということは行われていたが、不良の内容までオペレータに判るようにはなっていなかった。印刷物の不良には、印刷用紙の皺、汚れ等の欠陥によるもの、印刷中に発生するインキ汚れ、ドクター筋、濃度不良、色調不良等、様々なものがあるが、オペレータはこれを即座に判断して、不良の発生を抑制する対応を行わなければならなかった。
不良内容を明確に判断するためには、RGBで表現された検査対象画像、基準画像を4色のインキに対応するYMCK値に変換することが必要であるが、この手段が確立されていなかった。
本発明はこのような問題を解決し、RGB値をYMCK値に変換して、インキに対応させた状態で、不良内容を自動的に判別する方法を提供することを目的とする。
【0004】
【課題を解決するための手段】
上記の課題は、印刷物検査装置による検査の結果得られる不良画像と基準画像のそれぞれから不良位置に対応する部分のRGB画素値を抽出し、このRGB画素値と、RGBとYMCKの対応関係を示す色判定データベース内のRGB値との相関を求め、相関の高いRGB値に対応するYMCK値を選択することにより、不良画像、基準画像それぞれに対応するYMCK値を求め、両者のYMCK画素値の差分を演算して色変化量を得ることにより不良内容を判別することにより、解決される。
【0005】
【発明の実施の形態】
以下、本発明について説明する。図1は本発明による不良内容判別装置の一実施形態のブロック図である。
図1に示すように、本発明による不良内容判別装置は、基準画像および不良画像を記憶する画像記憶部1、不良画像中の不良画素および基準画像中の不良画素に対応する位置の画素を抽出する不良位置抽出部2、RGB値とYMCK値の対応を示す色判定データベース部3、紙質、光源の汚れ等のノイズの影響を少なくするための色補正部4、相関演算、RGB最小距離を演算する演算部5、不良部の面積、形状を求める不良部解析部6、不良内容を決定するための不良内容決定データベース7と、不良内容を出力する不良内容出力部8により構成される。
【0006】
図1に示す不良内容判別装置は、「濃度変化」「水たれ」「インキたれ」「油たれ」「汚れ」の5種類の不良を判別可能となっている。ここで、この5種類の不良について説明しておく。
「濃度変化」とは、印刷濃度が基準印刷濃度より高くなったり、低くなったりする不良である。
「水たれ」とは、印刷ユニットから湿し水がたれ、たれた部分の印刷濃度が低くなる不良である。不良後の色は印刷されるという特徴がある。
「インキたれ」とは、印刷ユニットからインキがたれ、たれた色の濃度が高くなる不良である。
「油たれ」とは、印刷ユニット又はその前後から油がたれ、たれた部分の印刷濃度が低くなる不良である。不良後の色は印刷されなくなるという特徴がある。「汚れ」とは、印刷ユニット以外のローラのこすれ、用紙自体の汚れ等による不良である。
【0007】
図1において、画像記憶部1は図示しない印刷物検査装置に接続されており、この印刷物検査装置により不良と判定された検査対象画像(以下、不良画像という)と、その不良画像の比較対象となった基準画像を格納する。同時に、不良部分の座標も記憶する。不良位置抽出部2は画像記憶部1に記憶された不良画像から不良部分の画素を抽出すると共に、基準画像からも不良部分に対応する位置の画素を抽出する。
色判定データベース部3には、あらかじめ、印刷物検査装置で画像を取り込むときに使うものと同仕様のカメラ、光源を使ってY、M、C、Kの各網点パーセントを変化させて各々掛け合わせた色標本を入力し、入力された画像のRGB値であるRd、Gd、BdとそのときのY、M、C、Kを対応付けたデータを格納したものであり、Y、M、C、Kはそれぞれ、0以上100以下の数値である。色判定データベース3は、図3に示すようなものであり、図3の1番上のデータは、Y60%、M30%の印刷物をカメラで読み取った時にそのときのRGB値は、R=229、G=161、B=84であることを示している。なお、RGB値は各色8ビットとしたため、白色の場合はR=G=B=255となる。
【0008】
色補正部4は、抽出された画素に対して、紙質、光源の汚れ等のノイズの影響を少なくするよう補正を行う機能を有する。具体的には、印刷紙の白紙部分に対応する画像内で流れ方向最大輝度である画素の値(Rw、Gw、Bw)、補正すべき画素の値(Ro、Go、Bo)を使って以下の数1に示す式により、補正後の画素値(Ri、Gi、Bi)を得る。なお、数1の式では白色の場合の「255」という値を使って補正している。
【数1】
Ri=255/Rw×R1
Gi=255/Gw×G1
Bi=255/Bw×B1
【0009】
不良内容決定データベース7には、図4に示すように、不良内容を決定するための判定基準データが格納されている。図4(a) は演算部5により算出される相関係数が設定値より大きくなる標本RGB値がいくつあるかによって不良の種類を判定するものであり、設定値を超えるRGB値が存在しない場合「汚れ」と判定する。設定値を超えるRGB値が存在する場合は「汚れ」以外の不良と判定する。図4(b) は画像全体に対する不良部分の面積比に従って、不良の種類を判定するものであり、面積比が「5%以上」の場合「濃度変化」、面積比が「5%未満」の場合「たれ」と判定することを示す。ここで、「たれ」とは、「水たれ」「インキたれ」「油たれ」の総称である。図4(c) は不良部分の形状に従って、不良の種類を判定するものであり、形状が「流れ方向に短い」場合「濃度変化」、形状が「流れ方向に長い」場合「たれ」と判定することを示す。図4(d) は不良の連続発生回数に従って、不良の種類を判定するものであり、連続発生回数が「20回以上」の場合「濃度変化」、連続発生回数が「20回未満」の場合「たれ」と判定することを示す。図4(e) は不良が「たれ」であると判定された場合に利用される判定基準であり、色の変化量により不良の種類を判定するものである。図4(e) は変化量が正であれば「インキたれ」であると判定し、変化量が負であれば「油たれ又は水たれ」であると判定することを示す。図4(f) は不良が「油たれ又は水たれ」であると判定された場合に利用される判定基準であり、不良が発生した色が後の色に影響しているかどうかにより不良の種類を判定するものである。図4(f) は後の色への影響があれば「油たれ」、影響がなければ「水たれ」であると判定することを示す。
【0010】
以下、本装置の処理動作について図2のフローチャートを用いて説明する。本装置は印刷物検査装置において不良が検出された場合に、処理が行われるものであるため、不良が検出されていない場合は起動しない。
本装置の画像記憶部1に接続された図示しない印刷物検査装置では、印刷された画像を所定数おきに抽出して検査対象画像とし、これを基準画像と比較する。検査対象画像が不良と判定された場合は、不良と判定された検査対象画像(不良画像)と、そのとき比較した基準画像を画像記憶部1に格納する。印刷物検査装置は引き続き検査を行い、不良が検出される連続回数(連続発生回数)を検出し、画像記憶部1に格納する。不良が連続して検出される場合は不良画像は最初のものだけを格納する。なお、印刷物検査装置における検査は、基準画像と検査対象画像の画素ごとの画素データを比較し、その差が設定したしきい値以上である場合に、その画素は不良画素であると判断し、その画像は不良画像であると判断する。通常、不良画素は単体で存在せず、連続して存在する。この不良画素の集合を不良部分という。なお、検査において、比較に用いる画素データとしては、R、G、B値全てを使っても良いし、どれか1つの値を使うようにしてもよい。
この検出された不良画像と比較対象の基準画像は画像記憶部1に記憶される。このとき、画像記憶部1には、同時に不良部分、すなわち、全ての不良画素の位置も記憶される。また、不良の連続発生回数も記憶される。(S1)
【0011】
つづいて、不良位置抽出部2が画像記憶部1内の不良部分の形状の重心位置の座標を算出し、不良画像の重心位置の画素値(R1、G1、B1)を抽出する。また、基準画像内の同座標の画素値(R2、G2、B2)も抽出する。(S2)
【0012】
次に、色補正部4で、紙質、光源の汚れ等のノイズの影響を少なくするよう補正を行う。不良画像の画素値(R1、G1、B1)は数1に示す式により補正されて(Ri、Gi、Bi)が得られる。また、基準画像の画素値(R2、G2、B2)は数1に示す式により補正されて(R0、G0、B0)が得られる。(S3)
【0013】
色補正が終わったら、演算部5において、図3に示す色判定データベース部3の全ての標本RGB値(Rd、Gd、Bd)と不良RGB値(Ri、Gi、Bi)及び基準RGB値(R0、G0、B0)の相関係数Pを以下の数2に示す計算式により求める。
【数2】
Figure 0003756279
【0014】
相関係数の演算が全て終わったら、不良RGB値、基準RGB値それぞれに対して、相関係数の大きい順の標本RGB値のリストを作成する。(S4)
【0015】
ここで、相関係数があらかじめ設定された定数以上となる標本RGB値の数によって、この先の処理が異なる。ここで、不良RGB値あるいは基準RGB値との相関係数が設定値以上となる標本RGB値が1つもない場合、工程S9において「汚れ」という不良内容に決定される。相関係数が設定値以上となる標本RGB値が1つだけの場合、その標本RGB値を選択して工程S7の変化量算出を行う。相関係数が設定値以上となる標本RGB値が2つ以上ある場合、工程S6において、輝度距離を算出して最適の標本RGB値を1つに決定する。(S5)
【0016】
相関係数が設定値以上となる標本RGB値が2つ以上あった場合、以下の数3の式に従って、色判定データベース3内の各標本RGB値と不良RGB値の輝度距離Min(Si)、各標本RGB値と基準RGB値との輝度距離Min(S0)を求める。その結果、それぞれに対して輝度距離が最小の標本RGB値が1つずつ決定される。(S6)
【数3】
Figure 0003756279
【0017】
次に、決定された不良RGB値、基準RGB値に対応する標本RGB値を色判定データベース3を参照して、対応するYMCK値に変換する。このようにして、不良画像に対応するYMCK値(Yi、Mi、Ci、Ki)、基準画像に対応するYMCK値(Y0、M0、C0、K0)が得られる。さらに、演算部5は、この不良YMCK値と基準YMCK値から以下の数4に示す式により変化量ΔY〜ΔKを求める。
【数4】
ΔY=Yi−Y0(ただし、Yi=Y0=0のとき、ΔY=なし)
ΔM=Mi−M0(ただし、Mi=M0=0のとき、ΔM=なし)
ΔC=Ci−C0(ただし、Ci=C0=0のとき、ΔC=なし)
ΔK=Ki−K0(ただし、Ki=K0=0のとき、ΔK=なし)
【0018】
変化量が算出されたら、次に、不良発生色、不良発生色の変化量の正負、不良発生色の他の色への影響、を求める。
不良発生色は、変化量の絶対値が最大のものである。変化量の絶対値が最大のものが2色あった場合は、先に印刷した色を不良が発生した色とする。
不良発生色の変化量の正負は、そのまま、正か負かを判定する。
水たれ、油たれを区別するための不良発生色の他の色への影響は、不良発生色の後に印刷される色の変化率が50%以上であるかどうかで判定される。例えば、印刷がK、C、M、Yの順で行われる場合、不良発生色がCのときはΔM/M0×100、ΔY/Y0×100の絶対値が両方共50以上である場合は「影響有り」、ΔM/M0×100、ΔY/Y0×100の絶対値のうち少なくとも1つが50未満である場合は「影響無し」と判定する。
例えば、印刷がK、C、M、Yの順で行われた場合、ΔY=10、ΔM=50、ΔC=−50、ΔK=なし、M0=60、Y0=20というデータが得られたとすると、不良発生色は「C」、不良発生色Cの変化量は「負」、不良発生色の他の色への「影響有り」と判定される。(S7)
【0019】
一方、不良解析部6では、画像全体に対する不良部分の面積比、不良部分の形状が算出される。画像全体に対する不良部分の面積比は、画像全体の画素数に対する不良部分の画素数を求めることにより得られる。
不良部分の形状は厳密に求める必要はなく、流れ方向に長いか、短いかを判定する。このため、まず、不良部分の流れ方向の長さh、幅方向の長さlを求める。これは、不良部分の画素の流れ方向、幅方向それぞれの最大アドレスのものと最小アドレスのもののアドレスの差をとることにより求められる。そして、このhとlを比較してhがlより大きければ「流れ方向に長い」と判定し、hがl以下であれば「流れ方向に短い」と判定する。
また、不良解析部6は、画像記憶部1に格納されている不良の連続発生回数を抽出する。(S8)
【0020】
次に、不良解析部6により算出された面積比、形状、連続発生回数を元に、演算部5が不良内容決定データベース7を参照して、不良内容を決定する。不良内容決定データベース7は図4に示すように6種類の判定基準データを有している。不良内容は、まず、工程S5において相関演算の結果が所定値以上のものが「0」である場合、図4(a) に示すように「汚れ」と判定する。
相関演算の結果が所定値以上のものが「0」でない場合は、色変化量、画像全体に対する不良部の面積比、不良部の形状、不良の連続発生回数、の4つの要素により決定される。例えば、S8までの処理により、面積比は「3%」、形状は「流れ方向に長い」、連続発生回数は「25回」、不良発生色は「C」、不良発生色Cの変化量は「負」、不良発生色の他の色への「影響無し」というデータが得られたとする。
図4に示す不良内容決定データベース7を参照すると、この場合、面積比は3%であるので、図4(b) に示す判定基準により「たれ」、形状は「流れ方向に長い」ので、図4(c) に示す判定基準により「たれ」、連続発生回数は25回であるので、図4(d) に示す判定基準により「濃度変化」となる。不良の種類が「たれ」か「濃度変化」かの判定基準となる要素は、「面積比」、「形状」、「連続不良回数」の3つであるが、このうち2つが「たれ」と判断しているので全体として「たれ」と決定する。
ここで、不良発生色Cの変化量は「負」であるので、図4(e) に示す判定基準により「油たれ又は水たれ」と判定され、さらに、不良発生色の他の色への「影響無し」であるので、図4(f) に示す判定基準により「水たれ」と判定される。
結果として、この不良は「C色の水たれ」であると決定される。(S9)
得られた不良内容はディスプレイ画面、プリンタ等の不良内容出力部8により出力される。(S10)
【0021】
【発明の効果】
本発明によれば、印刷物検査装置による検査の結果得られる不良画像と基準画像のそれぞれから不良位置に対応する部分のRGB画素値を抽出し、このRGB画素値と、RGBとYMCKの対応関係を示す色判定データベース内のRGB値との相関を求め、相関の高いRGB値に対応するYMCK値を選択することにより、不良画像、基準画像それぞれに対応するYMCK値を求め、両者のYMCK画素値の差分を演算して色変化量を得ることにより不良内容を判別するようにしたので、各インキに対応する不良を検出することが可能となる。結果として、オペレータが即座に不良発生原因に対応することができ、印刷機の生産性向上に寄与できる。さらに、得られた不良内容をある期間、統計をとることで印刷機のメンテナンスにも役立つ。
【図面の簡単な説明】
【図1】本発明による不良内容判別装置の一実施形態のブロック図
【図2】本発明による不良内容判別方法のフローチャート
【図3】色判定データベース3を示す図
【図4】不良内容決定データベース7を示す図
【符号の説明】
1 画像記憶部
2 不良位置抽出部
3 色判定データベース
4 色補正部
5 演算部
6 不良解析部
7 不良内容決定データベース
8 不良内容出力部

Claims (4)

  1. 印刷物検査装置による検査の結果得られる不良画像と基準画像のそれぞれから不良位置に対応する部分のRGB画素値を抽出し、このRGB画素値と、RGBとYMCKの対応関係を示す色判定データベース内のRGB値との相関を求めた際に、ある一定値以上の相関をもつデータが複数ある場合、不良画像と基準画像の不良位置のRGB値と前記色判定データベース内のRGB値がRGBの3次元座標において距離が最も近くなるようデータベース内のRGB値を選び、対応したYMCK値を選択することにより、不良画像、基準画像それぞれに対応するYMCK値を求め、両者のYMCK画素値の差分を演算して色変化量を得ることにより不良内容を判別することを特徴とする印刷物検査における不良内容判別方法
  2. さらに、画像全体の画素数に対する不良部分の画素数の比を算出することによる面積比を参照してその面積比が「所定%以上」の場合「濃度変化」、「所定%未満」の場合「たれ」と不良内容を判別することを特徴とする請求項1に記載の印刷物検査における不良内容判別方法
  3. さらに、不良部分の形状が流れ方向に長いか短いかを参照してその形状が「流れ方向に短い」場合「濃度変化」であり、形状が「流れ方向に長い」場合「たれ」であると不良内容を判別することを特徴とする請求項1に記載の印刷物検査における不良内容判別方法
  4. さらに、不良の連続発生回数を参照してその連続発生回数が「所定回数以上」のときには「濃度変化」であり、その連続発生回数が「所定回数未満」のときには「たれ」であると不良内容を判別することを特徴とする請求項1に記載の印刷物検査における不良内容判別方法」なる構成の印刷物検査における不良内容判別方法である。
JP02590297A 1997-01-24 1997-01-24 印刷物検査における不良内容判別方法 Expired - Fee Related JP3756279B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02590297A JP3756279B2 (ja) 1997-01-24 1997-01-24 印刷物検査における不良内容判別方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02590297A JP3756279B2 (ja) 1997-01-24 1997-01-24 印刷物検査における不良内容判別方法

Publications (2)

Publication Number Publication Date
JPH10208055A JPH10208055A (ja) 1998-08-07
JP3756279B2 true JP3756279B2 (ja) 2006-03-15

Family

ID=12178729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02590297A Expired - Fee Related JP3756279B2 (ja) 1997-01-24 1997-01-24 印刷物検査における不良内容判別方法

Country Status (1)

Country Link
JP (1) JP3756279B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5906853B2 (ja) * 2012-03-19 2016-04-20 富士ゼロックス株式会社 印刷システムおよび画像形成装置
JP6665544B2 (ja) * 2016-01-20 2020-03-13 株式会社リコー 検査装置、検査システム、検査方法及びプログラム
JP6487866B2 (ja) * 2016-03-09 2019-03-20 富士フイルム株式会社 印刷結果検査装置、方法およびプログラム
JP6487867B2 (ja) 2016-03-09 2019-03-20 富士フイルム株式会社 印刷結果検査装置、方法およびプログラム

Also Published As

Publication number Publication date
JPH10208055A (ja) 1998-08-07

Similar Documents

Publication Publication Date Title
JP5813610B2 (ja) 画像評価装置、画像評価方法、及びプログラム
CN109471276B (zh) 一种液晶屏色偏缺陷检测方法及装置
JP4717064B2 (ja) 印刷機によって製造された印刷物の品質を判定するための印刷物品質判定方法
JP6487867B2 (ja) 印刷結果検査装置、方法およびプログラム
JP2015189216A (ja) 検査装置及び検査方法
JP2002005846A (ja) 欠陥検査装置
JP3756279B2 (ja) 印刷物検査における不良内容判別方法
JP4472260B2 (ja) 印刷面検査方法
JP2007010525A (ja) 欠陥検出方法
JPH11151801A (ja) カラー光学センサ及びそれを用いた印刷紙面検査装置
JP3433331B2 (ja) 画像検査方法及び装置
JP2598217B2 (ja) カラー再生システムにより表示される画素に有彩色か無彩色かを示す指標を割当てる方法、及びその方法を実施するためのカラー再生システム
JP6005798B2 (ja) 画像評価装置、画像評価方法、及びプログラム
JP2017032572A (ja) 画像評価装置、画像評価方法、及びプログラム
JP5181647B2 (ja) 印刷装置、および印刷方法
JP2002008029A (ja) 画像検査装置
JP2002036513A (ja) 印刷物検査装置
US6335982B1 (en) Method and apparatus for inspecting streak
JP3589756B2 (ja) 欠点検査における検査設定値入力表示方法とその装置
JP5960320B2 (ja) 画像評価装置、画像評価方法、及びプログラム
JP2556894B2 (ja) 印刷物の品質検査装置及びその方法
CN110116560B (zh) 用于探测和补偿喷墨印刷机中的有缺陷的印刷喷嘴的方法
JP2000358166A (ja) 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体
JP3759111B2 (ja) 印刷物の検査装置及び検査方法
JP2006088562A (ja) 印刷物の検査方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051221

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100106

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100106

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110106

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110106

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120106

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120106

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130106

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130106

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140106

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees