JP2006138768A - 印刷物の検査方法 - Google Patents

印刷物の検査方法 Download PDF

Info

Publication number
JP2006138768A
JP2006138768A JP2004329384A JP2004329384A JP2006138768A JP 2006138768 A JP2006138768 A JP 2006138768A JP 2004329384 A JP2004329384 A JP 2004329384A JP 2004329384 A JP2004329384 A JP 2004329384A JP 2006138768 A JP2006138768 A JP 2006138768A
Authority
JP
Japan
Prior art keywords
image
mask
printed matter
inclination
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004329384A
Other languages
English (en)
Other versions
JP4364773B2 (ja
Inventor
Atsushi Yoshida
敦志 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Denko Corp
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Priority to JP2004329384A priority Critical patent/JP4364773B2/ja
Publication of JP2006138768A publication Critical patent/JP2006138768A/ja
Application granted granted Critical
Publication of JP4364773B2 publication Critical patent/JP4364773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Accessory Devices And Overall Control Thereof (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 画像処理を用いて印刷物の欠陥を検査するに際し、欠陥の検出精度を低下させることなく、しかも、画像処理における演算量を減らして処理時間の短縮を図る。
【解決手段】 本発明に係る印刷物の検査方法は、印刷が施された印刷物の画像を撮影し、撮影された画像を画像処理することにより、前記印刷物の欠陥を検出する印刷物の検査方法であって、前記画像処理が、撮影された印刷物の画像から印刷物の傾き量を算出する傾き量算出ステップと、撮影された画像を簡素化して簡素化画像を作成する画像簡素化ステップと、算出された傾き量に応じて簡素化画像を回転して補正し、補正された画像を用いて印刷位置を検出する印刷位置検出ステップと、検出された印刷位置に、予め入力されたマスクパターンを配置してマスク配置画像を作成し、該マスク配置画像を前記傾き量だけ逆回転させてマスク画像を完成させるマスク画像処理ステップとを備え、完成されたマスク画像を用いて前記撮影画像をマスク処理する。
【選択図】 図4

Description

本発明は、文字や絵柄などの印刷が施されたシート状等の印刷物に対して、ホコリ等の異物、キズ、又は汚れといった欠陥を検査するための方法に関する。
印刷が施されたシート体の検査方法としては、下記特許文献1に記載されたように、印刷部をマスクした上でシート体を画像解析により処理し、欠陥を検出する方法が知られている。しかし、該特許文献1記載の方法は、長尺のシート体を検査対象とするものであるため、検査対象である印刷物が大きく傾いた場合については、何らその対策がなされておらず、有効に対処することができない。
特許第2597370号公報
検査対象が傾いた場合の検査方法としては、一般に、パターンマッチングを用いた方法が知られている。パターンマッチングは、比較パターンを試行錯誤により移動および回転させながら、印刷位置および角度の一致点を見出すことにより、印刷位置および角度を特定するものである。よって、該パターンマッチングを用いた方法によれば、検査対象が傾いた場合であっても、その傾きに応じて比較パターンを回転させながら試行錯誤することによって対応でき、その結果、傾いた検査対象の印刷部分に対応するような傾いたマスク画像を作成することが可能となる。
また、検査対象が傾いた場合の他の方法としては、撮影された検査対象の画像を回転させ、傾きの無い状態に補正した上でマスク処理する方法も考えられる。
しかしながら、前記パターンマッチングでは、検査対象の傾きが大きい場合には、試行錯誤における比較パターンの回転角度を大きくする必要があり、適正な傾き角度を検出するまでの処理時間が長くなるという問題を有している。
また、撮影された検査対象の画像を回転させる場合には、画像全体を回転するために多くの処理時間を要するという問題がある。しかも、画像を回転させる際には画素データの補間が必要となり、欠陥のコントラストを低下させて検出精度を低下させるという問題もある。
本発明は、上述のような従来技術の問題点に鑑みてなされたものであり、画像処理を用いて印刷物の欠陥を検査するに際し、欠陥の検出精度を低下させないことを一の課題とし、画像処理における演算量を減らして処理時間の短縮を図ることを他の課題とする。
前記課題を解決すべく、本発明に係る印刷物の検査方法は、印刷が施された印刷物の画像を撮影し、撮影された画像を画像処理することにより、前記印刷物の欠陥を検出する印刷物の検査方法であって、前記画像処理が、撮影された印刷物の画像から印刷物の傾き量を算出する傾き量算出ステップと、算出された傾き量に応じて撮影された画像を回転して補正し、補正された画像を用いて印刷位置を検出する印刷位置検出ステップと、検出された印刷位置に、予め入力されたマスクパターンを配置してマスク配置画像を作成し、該マスク配置画像を前記傾き量だけ逆回転させてマスク画像を完成させるマスク画像処理ステップとを備え、完成されたマスク画像を用いて前記撮影画像をマスク処理することを特徴とするものである。
本発明によれば、回転によって補正された簡素化画像を用いて印刷位置の検出を行なうようにしたため、印刷位置の検出に際して傾き角度を検出する必要がなくなり、これによっても画像処理における演算量を大幅に低減することができる。さらに、マスクパターンを配置し、算出された傾き量だけ逆回転させて得たマスク画像によって撮影画像をマスク処理するようにしたため、撮影画像を回転処理する場合のように検出精度を低下させることなく欠陥を検出することができる。よって、本発明に係る印刷物の検査方法によれば、欠陥の検出精度を低下させることなく、しかも、画像処理における演算量を減らして処理時間を短縮することが可能となる。
また、撮影された画像がカラー画像である場合、撮影された画像を簡素化して簡素化画像を作成する画像簡素化ステップをさらに備え、前記印刷位置検出ステップにおいて、前記撮影された画像に代えて該簡素化画像を用いるものとする。
前記印刷位置検出ステップにおいて、撮影された画像そのものを回転させず、撮影された画像を基にして作成した簡素化画像を回転させて補正するようにしたため、撮影された画像そのものを回転処理する場合と比べて、画像処理における演算量を大幅に低減することができ、演算量の大幅な低減によって処理時間の短縮を図ることができる。
以上のように、本発明に係る印刷物の検査方法によれば、画像処理を用いて印刷物の欠陥を検査するに際し、欠陥の検出精度を低下させることなく、しかも、画像処理における演算量を大幅に低減させて処理時間を短縮することができる。
以下、本発明の実施形態の一例について、図面を参照しつつ説明する。
図1は、本発明の検査対象である印刷物の一例として、カラー印刷2が施された印刷シート1を示したものである。該カラー印刷シート1の形状については特に限定されず、長尺状であっても構わない。本実施形態においては、角度のずれが生じやすいく、本発明による効果が最も顕著に現れやすい、枚葉状である場合について説明する。
図2は、本発明を実施する際に使用される、欠陥検査装置の構成例を概念的に示した図である。図2に示す如く、該欠陥検査装置10は、検査対象であるカラー印刷シート1を順次搬送するための搬送手段11(例えば、ベルトコンベア)と、カラー印刷シート1に光を照射する照明12と、カラー印刷シート1の画像を撮影する撮影手段13と、撮影された画像を画像処理することによってカラー印刷シート1の欠陥を判別する画像処理手段14とを備えている。
照明12としては、検査対象となるカラー印刷シートに合わせて、蛍光灯、ハロゲンランプ、LED等を用いることができる。また、照明の方式についても、検査対象であるカラー印刷シート1の態様や、検出したい欠陥の種類によって適宜変更することができる。例えば、検査対象であるカラー印刷シート1が光透過性のものであれば、透過照明を用いることによって毛髪等の遮光性のある欠陥を検出することができる。また、カラー印刷シート1の地合いがざらついている場合には反射照明を併用することが好ましく、これによってざらつきによる画像への悪影響を抑制することが可能となる。さらに、検査対象のカラー印刷シートが光透過性でない場合には、反射照明を用いることが好ましい。この場合、地合いのざらつきによる画像への悪影響を抑制するには、例えば、ドーム状の照明を用いてあらゆる角度からの光を入光すれば良い。
撮影手段13は、カラー印刷シート1からの透過光又は反射光を受け、これを画像データに変換するものである。該撮影手段13としては、ラインセンサや2次元のカメラ等を使用できる。
画像処理手段14は、取り込まれた画像データを基に画像処理を行ない、欠陥を検出するものである。
図3は、画像処理手段14における画像処理工程の一例を示したフロー図である。該実施形態における画像処理手段14は、撮影手段13から送信された画像データを入力するための画像入力工程41と、得られた画像データのノイズ除去処理を行うための前処理工程42と、欠陥候補点を抽出するための欠陥候補点抽出工程43と、欠陥候補点の抽出された画像データから印刷部をマスクして欠陥検出用画像を作成するためのマスク処理工程44と、マスク処理された後の欠陥検出用画像を用いて欠陥の有無(良否)を判定するための良否判定工程45とを備え、さらに、マスク処理工程44において印刷部をマスクするために用いるマスク画像を作成するためのマスク作成工程46とを備えている。
前処理工程42は、入力画像(即ち、撮影された画像)に対し、必要に応じてノイズ除去処理や欠陥強調処理などを行なうものである。ノイズ除去処理としては、例えば、輝点ノイズの多い画像に対して行なうオープニング処理や、シェーディングのある画像に対して行なうシェーディング補正処理などを挙げることができる。また、欠陥強調処理としては、例えば、エッジを強調するための微分処理や、コントラストを強調するための階調変換処理等を挙げることができる。
欠陥候補点抽出工程43は、前処理工程42を経た画像に対して、例えば、適当なしきい値を用いて2値化処理を行ない、欠陥候補点を抽出するものである。欠陥候補点としては、検出すべき欠陥に加え、印刷シートに施されたカラー印刷の部分も検出されることとなるため、後述するマスク処理工程44においてこの印刷部分をマスクして、欠陥候補点から除外する必要がある。
マスク処理工程44は、例えば、印刷部を0、他の部分を1とする2値画像をマスク画像として用い、該マスク画像と欠陥候補点の画像との理論積を求めることによって印刷部をマスクし、印刷部以外の欠陥候補点を抽出するものである。
尚、他のマスク処理方法としては、マスク画像の領域(即ち、印刷部)について異なる判定基準で検査する方法と、上記のマスク処理方法とを併用する方法を採用することもできる。この場合、前記欠陥候補点抽出工程とは異なるしきい値を使用するとともに、印刷部の欠陥候補点抽出に際しては、マスク画像を反転させた画像で印刷部以外をマスクすればよい。
次に、前記マスク処理工程44において使用するマスク画像を作成するための、マスク作成工程46について、図4を参照しつつ詳細に説明する。
マスク作成工程46は、(A)撮影された印刷シートの画像から印刷シートの傾き量を算出する傾き量算出ステップと、(B)撮影された画像を簡素化して簡素化画像を作成する画像簡素化ステップと、(C)算出された傾き量に応じて簡素化画像を回転して補正し、補正された画像を用いて印刷位置を検出する印刷位置検出ステップと、(D)検出された印刷位置に、予め入力された印刷部のマスクパターンを固定してマスク配置画像を作成し、該マスク配置画像を前記傾き量に応じて逆回転させてマスク画像を完成させるマスク画像処理ステップとを備える。
(A)傾き量算出ステップ
傾き量算出ステップにおいては、まず、撮影された画像(入力画像)51を基にして、印刷シートの領域61を特定する。印刷シートと背景とのコントラストが十分大きい場合には、単に2値化することによって比較的簡単に印刷シートの領域61を特定することができる。また、印刷シートと背景とのコントラストが小さい場合には、階調変換処理等によってコントラストを補正した後、2値化することによって印刷シートの領域61を特定する。
印刷シートの領域61を特定した後、該領域61を構成する直線状の境界線61’から印刷シートの傾き量を算出する。傾き量の算出方法としては、例えば、印刷シートの境界線61’上の任意の点を2点以上サンプリングし、サンプリングした点から近似直線を算出する方法を採用することができる。サンプリングした点が2点である場合、その座標を(x1、y1)および(x2、y2)とすると、傾き量は、tan-1{(y2−y1)/(x2−x1)}として算出することができる。また、サンプリングした点が3点以上である場合、個々の座標を近似直線の式、即ちax+by+c=0に代入し、最小二乗法等によって各係数を求めることにより、aを傾き量として得ることができる。
傾き量は、印刷シートの一辺から算出しても良いが、複数の辺から算出してそれらを平均化することにより、より精度の高い傾き量を求めることができる。また、複数の辺から傾きを算出する場合、サンプリング点と近似直線の誤差が最も小さい辺の傾き量を採用しても良い。
(B)画像簡素化ステップ
画像簡素化ステップでは、撮影されたカラー画像を簡素化し、簡素化画像52を作成する。簡素化方法としては、カラー画像から明度画像、R画像、G画像又はB画像の少なくとも何れか一つの画像を抽出することにより、抽出した画像を白黒画像に変換することによって簡素化画像52を作成する方法が挙げられる。例えば、印刷の色が赤である場合には、明度画像よりもB画像を用いることが好ましく、コントラストの高い白黒画像(簡素化画像52)を得ることができる。
尚、カラー画像を簡素化する方法としては他の方法であってもよく、さらに、撮影された画像がカラー画像でなく白黒画像である場合には、該画像簡素化ステップを経ることなく、下記の(C)印刷位置検出ステップにおいて、簡素化画像52に代えて撮影された画像そのものを用いても良い。
(C)印刷位置検出ステップ
印刷位置検出ステップでは、前記(B)画像簡素化ステップにおいて得られた簡素化画像52を、前記(A)傾き量産出ステップにおいて算出された傾き量だけ回転させて傾きを補正し、傾きの補正された傾き補正画像53を用いて印刷位置を検出する。
印刷位置の検出方法としては、例えば、パターンマッチング等の方法を採用することができる。
(D)マスク画像処理ステップ
マスク画像処理ステップでは、前記(C)印刷位置検出ステップにおいて検出された印刷位置に、予め入力しておいた印刷部のマスクパターン62を配置してマスク配置画像54を作成するとともに、該マスク配置画像54を前記(A)傾き量算出ステップにおいて算出された傾き量に応じて逆回転させ、マスク画像55を完成させる。
前記マスクパターン62は、印刷形状と同じ形状を有する2置画像であり、現物の印刷シート1の画像を2値化すること等により、別途準備したものを使用する。
また、マスク近辺に欠陥が存在する場合、該欠陥までもマスクであるとして誤認するおそれがあるため、印刷の特徴量を用いて欠陥との識別を行い、欠陥をマスクと区別することが好ましい。印刷の特徴量としては、印刷の線幅、面積などの形状や、色彩等を用いることができる。
マスク配置画像54のマスクパターン62を逆回転させて完成されたマスク画像55は、撮影された画像の印刷位置と同じ位置にマスクパターン62が配置された画像となるため、該マスク画像55を用いてマスク処理することが可能となる。
こうして得られたマスク画像55を用い、前記欠陥の候補点を検出された画像をマスク処理することにより、印刷部2以外の部分に存在する欠陥を検出することが可能となる。また、印刷部2についても、前記マスク画像を反転させた画像によって印刷部以外をマスクした後、上記とは異なる適当なしきい置を用いて欠陥を検出することができる。
このように、本実施形態に係る画像処理手段によれば、カラー画像を白黒画像等に簡素化し、簡素化された画像を回転処理することにより、カラー画像をそのまま回転処理する場合と比較して回転に必要な演算量を大幅に低減させることができ、より高速の処理が可能となる。
具体的には、8bit×三色(RGB)の24bitのカラー画像を回転させる場合と比べ、本実施形態では、8bit×一色(白黒)の8bitの白黒画像(簡素化画像)の回転と、作成した1bitのマスク画像の回転のみでよく、回転処理に必要な演算量は、9/24とすることができる。
さらに、本実施形態によれば、回転補正された画像を基準としてマスク画像を作成するために印刷形状を正確に捉えることができ、その結果、本来あるべき印刷の形状や、面積、幅、高さ、円形度といった特徴量との比較が正確に行なえるため、マスクパターンとして抽出した印刷と本来あるべき印刷とが、同じ形状か否かを確認することができ、印刷の欠け等の欠陥を検査することもできる。
また、本実施形態によれば、撮影されたカラー画像を回転補正することなく検査に使用するため、検査画像を回転処理した場合のような、欠陥コントラストの低下を招くことがない。
尚、前記実施形態では、マスク画像作成工程において、(A)傾き量算出ステップの後に(B)画像簡素化ステップを行なう場合について説明したが、本発明はこれに限定されず、(B)画像簡素化ステップの後、(A)傾き量算出ステップを行なうようにしてもよい。
本発明の検査対象となるカラー印刷シートの構成の一例を示した平面図。 本発明において使用する欠陥検査装置の一形態を示した概念図。 画像処理手段における画像処理工程の一例を示した図。 マスク画像作成ステップにおけるマスク作成手順を示したフロー図。
符号の説明
1 カラー印刷シート
2 印刷
10 欠陥検査装置
11 搬送手段
12 照明
13 撮影手段
14 画像処理手段
51 入力画像
52 簡素化画像
53 傾き補正画像
54 マスク配置画像
55 マスク画像
62 マスクパターン

Claims (2)

  1. 印刷が施された印刷物の画像を撮影し、撮影された画像を画像処理することにより、前記印刷物の欠陥を検出する印刷物の検査方法であって、
    前記画像処理が、
    撮影された印刷物の画像から印刷物の傾き量を算出する傾き量算出ステップと、
    算出された傾き量に応じて撮影された画像を回転して補正し、補正された画像を用いて印刷位置を検出する印刷位置検出ステップと、
    検出された印刷位置に、予め入力されたマスクパターンを配置してマスク配置画像を作成し、該マスク配置画像を前記傾き量だけ逆回転させてマスク画像を完成させるマスク画像処理ステップとを備え、
    該マスク画像を用いて前記撮影画像をマスク処理することを特徴とする印刷物の検査方法。
  2. 前記撮影された画像がカラー画像である場合、
    撮影された画像を簡素化して簡素化画像を作成する画像簡素化ステップをさらに備え、
    前記印刷位置検出ステップにおいて、前記撮影された画像に代えて該簡素化画像を用いることを特徴とする請求項1記載の印刷物の検査方法。
JP2004329384A 2004-11-12 2004-11-12 印刷物の検査方法 Active JP4364773B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004329384A JP4364773B2 (ja) 2004-11-12 2004-11-12 印刷物の検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004329384A JP4364773B2 (ja) 2004-11-12 2004-11-12 印刷物の検査方法

Publications (2)

Publication Number Publication Date
JP2006138768A true JP2006138768A (ja) 2006-06-01
JP4364773B2 JP4364773B2 (ja) 2009-11-18

Family

ID=36619688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004329384A Active JP4364773B2 (ja) 2004-11-12 2004-11-12 印刷物の検査方法

Country Status (1)

Country Link
JP (1) JP4364773B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014514649A (ja) * 2011-03-29 2014-06-19 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. イメージのスクラッチの検出
JP2016176813A (ja) * 2015-03-20 2016-10-06 株式会社イシダ 検査装置及び検査方法
JP6203922B1 (ja) * 2016-10-04 2017-09-27 三井金属計測機工株式会社 青果物検査装置
JP6203923B1 (ja) * 2016-10-04 2017-09-27 三井金属計測機工株式会社 青果物検査装置
JP2022130452A (ja) * 2016-08-26 2022-09-06 アプライド マテリアルズ インコーポレイテッド 色計測学を用いた基板の厚さ測定

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014514649A (ja) * 2011-03-29 2014-06-19 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. イメージのスクラッチの検出
US9098897B2 (en) 2011-03-29 2015-08-04 Hewlett-Packard Development Company, L.P. Detection of scratches on an image
JP2016176813A (ja) * 2015-03-20 2016-10-06 株式会社イシダ 検査装置及び検査方法
JP2022130452A (ja) * 2016-08-26 2022-09-06 アプライド マテリアルズ インコーポレイテッド 色計測学を用いた基板の厚さ測定
JP6203922B1 (ja) * 2016-10-04 2017-09-27 三井金属計測機工株式会社 青果物検査装置
JP6203923B1 (ja) * 2016-10-04 2017-09-27 三井金属計測機工株式会社 青果物検査装置
JP2018059775A (ja) * 2016-10-04 2018-04-12 三井金属計測機工株式会社 青果物検査装置
JP2018059774A (ja) * 2016-10-04 2018-04-12 三井金属計測機工株式会社 青果物検査装置

Also Published As

Publication number Publication date
JP4364773B2 (ja) 2009-11-18

Similar Documents

Publication Publication Date Title
JP3669698B2 (ja) 印刷物の検査方法及び検査装置
WO2017141611A1 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP4150390B2 (ja) 外観検査方法及び外観検査装置
JP6052590B2 (ja) 自動車車体の表面検査装置および表面検査方法
JP2009097922A (ja) 外観検査方法及び外観検査装置
JP2018096908A (ja) 検査装置及び検査方法
JP4322230B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP4364773B2 (ja) 印刷物の検査方法
JP2007316019A (ja) 表面欠陥検査装置
JP2017166957A (ja) 欠陥検出装置、欠陥検出方法およびプログラム
WO2013018207A1 (ja) 容器口部検査方法及び装置
JP5608925B2 (ja) ガラスびんの印刷検査装置
JP6628185B2 (ja) 透明体の検査方法
JP2009080004A (ja) 検査装置
JP4093426B2 (ja) 検査装置、検査方法
JP4349960B2 (ja) 表面欠陥検査装置
JP2002250700A (ja) パターン検査方法およびその装置
JP5380223B2 (ja) 円形レンズの検査装置及び方法
JP4967132B2 (ja) 対象物表面の欠陥検査方法
JP2017166956A (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP2008292398A (ja) 部品電極の浮き不良の検査方法および基板検査装置
JP6688629B2 (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP4474006B2 (ja) 検査装置
JP6296585B1 (ja) 印刷物の浮き検出装置及び浮き検出方法、検査装置及び検査方法
JP2006189294A (ja) ムラ欠陥の検査方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061106

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090819

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4364773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150828

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250