JPH11160046A - 外観検査方法 - Google Patents

外観検査方法

Info

Publication number
JPH11160046A
JPH11160046A JP9323527A JP32352797A JPH11160046A JP H11160046 A JPH11160046 A JP H11160046A JP 9323527 A JP9323527 A JP 9323527A JP 32352797 A JP32352797 A JP 32352797A JP H11160046 A JPH11160046 A JP H11160046A
Authority
JP
Japan
Prior art keywords
line
characteristic line
intersection
sum
differential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9323527A
Other languages
English (en)
Other versions
JP3508518B2 (ja
Inventor
Mitsuru Shirasawa
満 白澤
Takeshi Masuda
剛 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP32352797A priority Critical patent/JP3508518B2/ja
Publication of JPH11160046A publication Critical patent/JPH11160046A/ja
Application granted granted Critical
Publication of JP3508518B2 publication Critical patent/JP3508518B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

(57)【要約】 【課題】表面がドーム形状の被検査物について、その表
面に存在する凹凸欠陥を検出できるような外観検査方法
を提供する。 【解決手段】ドーム形状の被検査物の表面にレーザ光を
ライン状に照射し、その反射光をスクリーンに投影して
得られる特徴ライン上に現れる凹凸欠陥部の特徴を認識
して被検査物の良否判定を行う。スクリーンに投影され
た特徴ラインを含む画像を撮像し、画像処理により略ア
ーチ状の曲線として特徴ラインを抽出し、これを若干移
動させて検査ラインを作成し、検査ラインと元の特徴ラ
インとの交点を求めることにより欠陥候補部を検出す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、表面がドーム形状
の被検査物について、表面の凹みあるいは突起等の凹凸
欠陥を検出する外観検査方法に関するものである。
【0002】
【従来の技術】従来、外観検査による欠陥抽出方法とし
て、当社の特開平3−175343号公報に開示されて
いるように、被検査物の表面を撮像して得られた画像に
所定の検査領域を設定し、該領域内をラスター走査し
て、所定のアルゴリズムに従って微分画像、エッジ画像
等を求めて、被検査物表面の欠陥を抽出する方法が知ら
れている。
【0003】
【発明が解決しようとする課題】上述の従来例は、被検
査物の表面形状が平面である場合には検査光学系のセッ
ティングも容易で確実に検査できるが、被検査物の表面
がドーム形状で、その表面に存在する凹凸欠陥を認識し
ようとする場合には、検査光学系のセッティングが難し
く、確実な検査ができなかった。
【0004】本発明はこのような点に鑑みてなされたも
のであり、その目的とするところは、表面がドーム形状
の被検査物について、その表面に存在する凹凸欠陥を検
出できるような外観検査方法を提供することにある。
【0005】
【課題を解決するための手段】本発明の外観検査方法に
よれば、上記の課題を解決するために、図1に示すよう
に、ドーム形状の被検査物1の表面にレーザ光をライン
状に照射し、その反射光をスクリーン3に投影して得ら
れる特徴ラインL上に現れる凹凸欠陥部の特徴を認識し
て被検査物1の良否判定を行うことを特徴とするもので
ある。
【0006】特徴ラインから凹凸欠陥部を検出するに
は、例えば、スクリーンに投影された特徴ラインを含む
画像を撮像し、画像処理により略アーチ状の曲線として
特徴ラインを抽出し、抽出された特徴ラインを若干ずら
せて略同じ形状の検査ラインを作成し、この検査ライン
と元の特徴ラインとの交点を求めることにより欠陥候補
部の検出を行う。そして、この欠陥候補部に対して評価
用のウィンドウを設定し、ウィンドウ間の濃度差や微分
絶対値等を総合的に評価することにより、欠陥であるか
否かを判定する。
【0007】あるいは、抽出された特徴ラインの微分方
向値を求め、被検査物が良品である場合の微分方向値の
変化パターンを予め良品パターンとして記憶しておい
て、測定対象となる被検査物の微分方向値の変化パター
ンを良品パターンと比較し、相違点を検出することによ
り凹凸欠陥を検出する。あるいは、変化パターン上で所
定画素離れた位置での微分方向値の大小を比較すること
により凹凸欠陥を検出する。この際、特徴ラインの全長
を凹凸欠陥判定のための参考基準として用いてもよい。
また、1〜2画素程度の変化パターンの乱れはノイズと
して除去することが好ましい。
【0008】そのほか、被検査物を回転させながら各撮
像画面毎に抽出された特徴ラインを重ね合わせることに
より欠陥部分を強調し、重ね合わせにより得られた多重
特徴ラインに基づいて凹凸欠陥を検出することも非常に
有効である。
【0009】
【発明の実施の形態】(実施例1)図1は本発明の外観
検査方法を実施するための検査光学系の外観を示す斜視
図である。図中、1はドーム形状の被検査物であり、例
えば火災感知器のようなものである。2はライン光源で
あり、例えば半導体レーザを用いて被検査物の表面にラ
イン光を照射する。3は被検査物の表面からの反射光を
投影するためのスクリーンである。4はスクリーン上の
投影像Lを撮像するテレビカメラであり、例えば、CC
Dカメラにより構成される。この検査光学系では、被検
査物1を矢印の方向に回転させることができ、被検査物
1を回転させながら、複数回の撮像を行うことができ
る。被検査物1の回転軸はドーム形状の中心軸と略一致
させており、被検査物1が回転しても投影像の位置は殆
ど変動しない。なお、スクリーン3は半透明のものとし
て透過光を撮影しているが、これは不透明のスクリーン
に置き換えて反射光を撮影しても良い。また、ライン光
源をビーム光源に置き換えてCCDカメラの電荷蓄積時
間中に光ビームをライン状に走査することにより等価的
にライン光源としても良い。
【0010】図2は画像処理系のブロック図である。テ
レビカメラ4により撮像されたスクリーン投影像はA/
D変換器5によりデジタルの濃淡画像に変換されて画像
メモリ7に原画像として取り込まれる。画像メモリ7に
取り込まれた濃淡画像は前処理部6により所定の画像処
理を施されて、後述の微分画像、微分方向値画像、並び
にエッジ画像に変換され、再び画像メモリ7に記憶され
る。これらの前処理後の画像は判定部8で評価されて、
凹凸欠陥の有無を判定される。以上の図1に示す検査光
学系及び図2に示す画像処理系のシステム構成を、以
下、「システム構成1」と呼ぶ。
【0011】ここで、前処理部6による画像処理につい
ては、当社の特開平3−175343号公報に詳しく開
示されているが、その要点を改めて説明すると、以下の
通りである。まず、スクリーンを撮像して得られる原画
像は、例えば図3に示すような濃淡画像であり、この濃
淡画像からレーザライン光特徴画像を抽出する処理は、
濃度を微分することによって濃度変化が大きい部分、す
なわち、エッジを検出するという考え方を基本にしてい
る。微分処理は、図4に示すように、原画像を3×3画
素の局所並列ウィンドウに分割して行う。つまり、注目
する画素Eと、その画素Eの周囲の8画素(8近傍)A
〜D、F〜Iとで局所並列ウィンドウを形成し、局所並
列ウィンドウ内の画素A〜Iの濃度の縦方向の濃度変化
ΔVと横方向の濃度変化ΔHとを次式によって求め、 ΔV=(A+B+C)−(G+H+I) ΔH=(A+D+G)−(C+F+I) さらに、微分絶対値|e|と微分方向値∠eとを次式に
よって求めるのである。
【0012】|e|=√(ΔV2 +ΔH2 ) ∠e=tan-1(ΔV/ΔH)+π/2 ただし、A〜Iは対応する画素の濃度を示している。上
式から明らかなように、微分絶対値|e|は、原画像の
着目する画素の近傍領域における濃度の変化率を表し、
微分方向値∠eは、同近傍領域における濃度変化の方向
に直交する方向を表している。
【0013】以上の演算を原画像の全画素について行う
ことにより、レーザライン光特徴画像のような背景に対
する濃度変化が大きい部分と、その変化の方向とを抽出
することができるのである。ここに、各画素の濃度を、
微分絶対値|e|で表現した画像を微分絶対値画像、微
分方向値∠eで表現した画像を微分方向値画像と呼ぶ。
【0014】次に、細線化処理が施される。細線化処理
は、微分絶対値が大きいほど濃度変化が大きいことを表
している点に着目して行われる。すなわち、各画素の微
分絶対値を周囲の画素の微分絶対値と比較し、周囲の画
素よりも大きくなるものを連結していくことにより、1
画素の幅を有したエッジを抽出するのである。
【0015】図5に示すように、各画素の位置をX−Y
座標で表わし、微分絶対値をZ軸に取った微分絶対値画
素を考えれば、細線化処理は、この曲面における稜線を
求めることに相当する。ここまでの処理により、微分絶
対値の大小にかかわらず、すべての稜線が抽出される。
この段階で得られている稜線には、ノイズ等による不要
な小さな山も含まれているから、図6に示すように、適
宜しきい値を設定し、このしきい値以上の値のみを採用
してノイズ成分を除去する。この処理で得られた画像
は、原画像のコントラストが不十分であるときや、ノイ
ズが多いようなときには、不連続線になりやすい。そこ
で、エッジ延長処理を行う。エッジ延長処理では、不連
続線の端点から始めて、注目する画素とその周囲の画素
とを比較し、次式で表される評価関数が最も大きくなる
方向に線を延長し、他の線の端点に衝突するまでこれを
続ける。
【0016】 f(ej )=|ej |・cos(∠ej −∠e0 ) ・cos{(j−1)π/4−∠e0 ) ここに、e0 は中心画素(局所並列ウィンドウのEに相
当する)の微分データであり、ej は隣接画素(局所並
列ウィンドウの8近傍に相当する)の微分データであ
り、j=1,2,…,8である。
【0017】以上の処理により、図6に示すように、原
画像において濃度変化が大きい部分をなぞるようなエッ
ジ画像が得られる。エッジ画像は、レーザライン光特徴
画像を表すものとみなせる。以上の前処理により、原画
像、微分絶対値画像、微分方向値画像、エッジ画像の4
種類の画像が得られ、各画像はそれぞれ原画像メモリ7
1、微分絶対値画像メモリ72、微分方向値画像メモリ
73、エッジ画像メモリ74に記憶される。以下の説明
では、各画像の画素の位置をX−Y座標で表現するもの
とし、各画像における画素の濃度をそれぞれf1 (x,
y)、f2 (x,y)、f3 (x,y)、f4 (x,
y)とする。
【0018】原画像は、濃淡画像であって、濃度は通常
8ビットで表されるから、各画素における濃度a(=f
1 (x,y))は、0≦a≦255となる。また、微分
絶対値画素の濃度(すなわち、微分絶対値)b(=f2
(x,y))は、例えば6ビットで表され、0≦b≦6
3となり、微分方向値画像の濃度(すなわち、微分方向
値)c(=f3 (x,y))は、例えば16方向で表さ
れ、0≦c≦15となる。エッジ画像については、線の
有無のみであるから、線となる画素は“1”、それ以外
の画素は“0”として表される。つまり、f4 (x,
y)の値域は{0,1}となる。なお、以下の説明にお
いては、濃度という用語は白の濃度を表し、濃度値が大
きいほど明るいものとする。
【0019】次に、判定部8では、図3に示すように、
エッジ画像について、検査領域を適宜設定する。検査領
域が設定されると、図3に矢印で示すように、エッジ画
像内で検査領域内をラスター走査することにより、f4
(x,y)=1となる画素を検出しフラグ点とする。こ
のフラグ点を始点として、8近傍についてf4 (x,
y)=1となる画素を抽出しながら輪郭線の追跡を行
う。こうして輪郭線を追跡することにより、輪郭線の上
の全画素の座標がわかるから、X座標およびY座標の最
大値と最小値とをそれぞれ求める。X座標およびY座標
の最大値と最小値とを求める方法としては、輪郭線を追
跡して全座標をバッファに格納した後に求める方法と、
全座標を格納することなく輪郭線の追跡中に座標の大小
関係を比較しながら求める方法とがある。以上のように
して、輪郭線のX座標およびY座標の最大値Xmax,
Ymaxと最小値Xmin,Yminとを求めることが
できれば、図3に示すように、レーザライン光特徴画像
に外接する四角形の欠陥候補領域を設定することができ
る。こうして欠陥候補領域を設定した後、図3に示すよ
うに、欠陥候補領域の中点oを設定する。中点oは、ア
ーチ状のレーザライン光特徴画像の凹面側に設定する。
【0020】以上の画像処理手順は、当社の特開平3−
175343号公報に詳しく開示されている。この画像
処理手順を用いて、微分絶対値、微分方向値、エッジ抽
出、エッジ延長等の画像処理を施して特徴ラインの画像
を得る。そして、この特徴ライン上に発生する凹凸欠陥
特徴部を検出することにより良品判定を行う。
【0021】ドーム形状の被検査物に照射されたレーザ
ライン光の投影像は、良品の場合は図7に示す形状とな
り、表面に凹凸欠陥が存在する場合は図8(a)〜
(c)に例示するような形状となる。良品面での反射、
投影パターンは滑らかなアーチ状(弓形)であるが、凹
凸欠陥部では反射角度が変化するため、投影パターンの
一部で曲率が急変する。図8(a)〜(c)の矢印で示
した箇所が凹凸欠陥に対応する投影パターンの乱れであ
る。
【0022】被検査物の表面に凹凸欠陥が存在する場合
に、図8のような画像になる原理を図9に示した。図中
の光路(2),(3)は図8(a),(b)にそれぞれ
対応している。被検査物の表面に欠陥が無い場合(図3
の破線で示す表面形状の場合)には、光路(1)を通る
ので、図7のようなアーチ状の投影パターンとなる。
【0023】図10は本発明の実施例1の外観検査方法
の処理手順を示す流れ図である。この実施例では、被検
査物を図1に示す矢印方向に180度回転させながら、
連続的にレーザライン光を照射し、その反射光の投影パ
ターンを撮像する。撮像された画像を画像処理装置に入
力し、微分絶対値、微分方向値等を求めると共に、エッ
ジ延長等の処理を施して特徴抽出する。求められた特徴
ライン画像を基準として、画像の拡大あるいは縮小を行
い、特徴ライン画像の周辺に、特徴ライン画像と略同形
状の検査ラインを作成する。作成された検査ラインある
いは特徴ライン上を探索することにより濃度値、微分絶
対値、微分方向値などの変化点を求めて、その周辺の画
像データをもとに特徴ライン上の凹凸欠陥を認識するも
のである。凹凸欠陥検出のより具体的な手法について
は、以下の実施例2〜13において詳述する。
【0024】(実施例2)図11は本発明の実施例2の
外観検査方法の処理手順を示す流れ図である。この実施
例では、上述のシステム構成1で示す光学系において、
レーザライン光を被検査物に照射し、被検査物を回転さ
せながら、反射光の投影像をテレビカメラにより撮像す
る。撮像された画像に対して、図2に示した画像処理装
置の前処理部6により、微分絶対値、微分方向値の各画
像を求めたり、エッジ延長等の処理を施して特徴抽出す
る。
【0025】次に、画像処理装置の判定部8では、図3
に示すように、予め設定された検査領域内をラスター走
査することにより、所定値以上の微分値を持ち、エッジ
フラグが存在する画素を求める。これは、レーザライン
光がスクリーン背景よりも輝度があり、画像処理を施す
と微分値も所定値以上となる特徴を利用している。求め
られた画素を起点としてその周辺にn×m画素の探索ウ
ィンドウを設定して追跡し、同じ条件を満たす画素を探
索する。条件を満たす画素が連続で存在し、その画素数
が予め設定されたカウント値よりも大きければ、そのラ
インをレーザライン光特徴画像として認識する。
【0026】次に、特徴画像の幅とその幅の中点oを求
め、中点oから特徴画像までの距離を放射状に測定す
る。この距離測定値を用いて、距離の拡大あるいは縮小
を行い、検査ラインを作成する。図12は検査ライン作
成方法を示している。図中、太い線は特徴画像であり、
その上下の細い2本の線は、それぞれ拡大ライン、縮小
ラインである。特徴ラインよりも外側に欠陥部の特徴が
発生する場合(図9(a)参照)には、中点oと特徴ラ
イン間の距離を測定値プラスp(pは任意)だけ拡大す
る。特徴ラインよりも内側に欠陥部の特徴が発生する場
合(図9(b)参照)には、中点oと特徴ライン間の距
離を測定値マイナスm(mは任意)だけ縮小する。作成
された拡大・縮小ラインを±方向へ位相をずらせること
により特徴画像との交点を求める。交点の有無により特
徴画像上の凹凸欠陥(あるいはその候補)の有無を検出
する。
【0027】ここで、位相ずらしを行う理由は、図13
に示すように、欠陥部が存在する特徴ライン(太線)を
拡大させただけでは、検査ライン(細線)との交点を見
つけることはできないからである。そこで、図14
(a),(b)に示すように、±方向に予め設定された
画素だけ位相をずらせることにより交点を求めている。
図14(a)は−方向への移動により生じた交点、図1
4(b)は+方向への移動により生じた交点を示してい
る。
【0028】この実施例2により、特徴ラインと検査ラ
インの交点が求められると、特徴ライン上の曲率の急変
を評価すべき範囲は、図15の矩形で囲まれた部分に限
定される。交点の周辺で特徴ラインが滑らかである場合
には、交点を中心として特徴ラインに沿う方向に大きな
濃度差が観測されることは考えられない。一方、交点の
周辺で特徴ラインが滑らかでない場合には、交点を中心
として特徴ラインに沿う方向に濃度差を測定した場合、
急激な変動が生じると考えられる。この点を考慮して、
以下の実施例3〜8では、交点の周辺で生じる濃度差の
大きさ、微分絶対値の大きさ等を評価することにより、
検出された交点が真の凹凸欠陥であるか否かを判定して
いる。
【0029】(実施例3)図16は本発明の実施例3の
外観検査方法の処理手順を示す流れ図である。本実施例
では、実施例2において求められた交点に濃度測定用ウ
ィンドウ(スティックマスク)を設置する。ここで、ス
ティックマスクとは、図17に示すような棒状のマスク
であり、図中の黒丸●で示した中心部を観測すべき点
(ここでは、特徴ラインと検査ラインの交点)に一致さ
せると共に、図18に示すように、濃度変化を評価すべ
き方向(ここでは、交点における特徴ラインの方向)に
沿って設定される複数対の略対称的に配置されたマスク
a1とb1、a2とb2、a3とb3、a4とb4、…
を含んで構成されている。各マスクの大きさは限定され
るものではなく、任意の大きさで構わないが、比較的発
生頻度の高い凹凸欠陥の大きさを考慮してマスクの大き
さを設定すれば好都合である。
【0030】本実施例では、検査ラインとの交点におけ
る特徴ラインの方向に沿って、スティックマスクを設定
し、設定されたスティックマスク内の(原画像の)濃度
差の総和を求める。求められた濃度差総和と予め設定さ
れたしきい値とを比較し、濃度差の総和がしきい値より
も大きければ不良と判定する。これを数式で示すと、濃
度差の総和は以下の数式により求められる。 S=|a1−b1|+|a2−b2|+|a3−b3|
+|a4−b4|+…
【0031】ただし、上式において、a1,b1,…等
は個々のマスクa1,b1,…等で測定された濃度(光
量)を意味する。求められた濃度差総和Sと予め設定さ
れた濃度差総和のしきい値T1を比較することにより、
S>T1が成立すれば不良と判定する。これは、原画像
の特徴ラインが輝度を持っていることを利用している。
良品の場合は、そもそも交点が存在しないので、誤判定
することはない。
【0032】(実施例4)本発明の実施例4では、上述
の実施例2の処理手順により欠陥候補部としての交点が
複数個求められた場合に、各交点毎に実施例3の処理を
行う。すなわち、各交点を中心としてそれぞれ特徴ライ
ンに沿って略対称的に配置される複数対のウィンドウを
設定し、対になった各ウィンドウ間の濃度差の総和を各
交点毎に求めて、各交点について求められた濃度差総和
Sを次々に蓄積して行くことにより、濃度差総和Sの積
算値ΣSを求める。この積算値ΣSについて、予め設定
されたしきい値T2と比較し、ΣS>T2が成立すれば
不良と判定する。本実施例によれば、交点の数が多くな
るほど、良品データとの差が拡大するので、それだけ不
良と判定される確率が高くなり、例えば、積算値ΣSを
交点の数で割って平均化して評価するよりは遥かにシビ
アな判定が可能となる。つまり、不良を見逃す可能性を
極小化でき、検査精度の向上を図ることができるもので
ある。
【0033】(実施例5)本発明の実施例4では、上述
の実施例2の処理手順により欠陥候補部として求められ
た交点に、図17に示すスティックマスクを図18に示
すように設置する。そして、各マスクa1、b1、a
2、b2、a3、b3、a4、b4、…等の持つ微分絶
対値の総和Eを次式により求める。
【0034】E=a1+b1+a2+b2+a3+b3
+a4+b4+… ただし、上式において、a1,b1,…等は個々のマス
クa1,b1,…等で測定された微分絶対値を意味す
る。求められた微分絶対値の総和Eと予め設定された微
分絶対値の総和のしきい値T3とを比較し、S>T3が
成立すれば不良と判定する。
【0035】(実施例6)本発明の実施例6では、上述
の実施例2の処理手順により欠陥候補部としての交点が
複数個求められた場合に、各交点毎に実施例5の処理を
行う。すなわち、各交点を中心としてそれぞれ特徴ライ
ンに沿って略対称的に配置される複数対のウィンドウを
設定し、各ウィンドウに含まれる画素の微分絶対値の総
和を各交点毎に求めて、各交点について求められた微分
絶対値の総和Eを次々に蓄積して行くことにより、微分
絶対値の総和Eの積算値ΣEを求める。この積算値ΣE
について、予め設定されたしきい値T4と比較し、ΣE
>T4が成立すれば不良と判定する。本実施例において
も、実施例4と同様に、交点の数が多くなるほど、良品
データとの差が拡大するので、それだけ不良と判定され
る確率が高くなり、例えば、積算値ΣEを交点の数で割
って平均化して評価するよりは遥かにシビアな判定が可
能となる。つまり、不良を見逃す可能性を極小化でき、
検査精度の向上を図ることができるものである。
【0036】(実施例7)本発明の実施例7は、上述の
実施例3と実施例5を組み合わせたものであり、欠陥候
補部として求められた交点に図17に示すスティックマ
スクを図18に示すように設定し、スティックマスク内
の各マスクの微分絶対値の総和Eおよび対になるマスク
の濃度差の総和Sを求め、両者の和(E+S)を予め設
定されたしきい値T5と比較し、(E+S)>T5が成
立すれば不良と判定する。本実施例によれば、微分絶対
値の総和Eによる評価又は濃度差の総和Sによる評価の
いずれか一方が何らかの理由により有効でない場合にお
いても、他方の評価により凹凸欠陥の有無を判定できる
から、実施例3又は実施例5を単独で用いる場合より
も、さらに検査精度の向上を図ることができる。
【0037】(実施例8)本発明の実施例8では、上述
の実施例2の処理手順により欠陥候補部としての交点が
複数個求められた場合に、各交点毎に実施例7の処理
(つまり、実施例3及び実施例5の処理)を行い、微分
絶対値の総和Eおよび濃度差の総和Sの積算値の和(Σ
E+ΣS)を求めて、予め設定されたしきい値T6と比
較し、(ΣE+ΣS)>T6が成立すれば不良と判定す
る。本実施例によれば、実施例7の効果と実施例4及び
6の効果が同時に得られるものであり、交点の数、各交
点の周辺における特徴ラインに沿う方向についての濃度
差、及び微分絶対値を総合的に評価することにより、ほ
ぼ完全に良品と不良品を識別することが可能となる。
【0038】(実施例9)図19は本発明の実施例9の
外観検査方法の処理手順を示す流れ図である。本実施例
では、実施例2において説明した微分方向値のデータを
利用して良否判定を行うものであり、実施例3〜8とは
評価の手法が全く異なる。すなわち、本実施例では、画
像処理により抽出された特徴ラインの微分方向値を求
め、被検査物が良品である場合の微分方向値の変化パタ
ーンを予め良品パターンとして記憶しておいて、測定対
象となる被検査物の微分方向値の変化パターンを良品パ
ターンと比較し、微分方向値の連続性における相違点の
有無を検出することにより凹凸欠陥を検出するものであ
る。
【0039】上述のように、図2に示す画像処理装置で
は、濃度の変化方向を微分方向値画像として格納する機
能を有している。微分方向値は、濃度変化方向として0
〜Fまでの16方向の値を持っている。濃度変化方向と
微分方向値の関係を図20に示す。図21に示すレーザ
ライン光特徴画像(良品の場合)では、微分方向値は図
中に記入したようになる。同図において、背景は黒で、
レーザライン光の輝度のある部分を白とする。微分方向
値は、黒から白に変化する方向を示すと定義する。良品
の場合、図21に示すように、特徴ラインの周辺の微分
方向値は上側でA〜E、下側で2〜6までの連続値を示
している。しかし、不良が存在する場合、図22に示す
ように、微分方向値の連続性が崩れてしまう特徴があ
る。その特徴を利用して、レーザライン光特徴画像上に
現れる凹凸欠陥のみを抽出することができる。
【0040】すなわち、良品の場合、上側の微分方向値
パターンが図23(a)に示すように画像の左からA−
B−C−D−Eと変化している。この変化パターンを予
め良品パターンとして記憶しておき、検査時に特徴画像
上を探索して得た変化パターンと比較する。不良が存在
する場合、微分方向値のパターンは図23(b)に示す
ように画像の左からA−B−C−A−B−C−D−E−
C−D−Eと変化するので、良品パターンとの相違点を
求めることにより良否判定を行うことができる。例え
ば、Cの次は必ずDが来ると仮定して、このルールに反
する場合には不良と判定することにより、簡単に検査を
行うことができる。
【0041】(実施例10)図24は本発明の実施例1
0の外観検査方法の処理手順を示す流れ図である。本実
施例においても、実施例2において説明した微分方向値
のデータを利用して良否判定を行うものであるが、実施
例9では微分方向値の変化パターンを利用したのに対し
て、本実施例では、微分方向値の変化パターンの長さ
(全長)を利用している点が異なる。すなわち、良品パ
ターンが図25(a)に示す長さである場合に、凹凸欠
陥が存在すると、微分方向値のパターンは図25(b)
に示すように長くなる。この特徴を利用して、微分方向
値のパターンの全長を比較することにより、良否判定を
行うことができる。これは、良品画像の場合、被検査物
を回転させて撮像した場合、同一波形が得られることを
利用している。また、上述の実施例9で説明した微分方
向値の変化パターンの比較と、本実施例による変化パタ
ーンの全長の比較を併用することにより、安定した検査
が可能となる。
【0042】(実施例11)図26は本発明の実施例1
1の外観検査方法の処理手順を示す流れ図である。本実
施例においても、実施例2において説明した微分方向値
のデータを利用して良否判定を行うものであり、微分方
向値の変化パターン上に設定した基準位置における微分
方向値と、この基準位置から予め設定された画素離れた
位置での微分方向値とを比較することにより凹凸欠陥を
検出することを特徴とする。すなわち、実施例2で説明
した特徴画像上を追跡しながら基準点と予め設定された
画素離れた位置の微分方向値を求める。良品の場合、微
分方向値は連続して大きくなるか、小さくなるか、ある
いは同じ値を示すことを利用して、求められた2つの微
分方向値を比較して良品パターンと違う変化(例えば、
大きくなるはずなのに小さくなる方向に変化)をしてい
るかチェックする。良品パターンと違うパターンであれ
ば不良と判定する。
【0043】具体的な検査方法を図27に例示する。特
徴画像の左側から1画素ずつ追跡し、そこから予め設定
された画素分だけ先の画素の持つ微分方向値と比較す
る。通常であれば同じ値であるか、大きい値(画像によ
っては小さくなる場合もある)を有するはずである。そ
こで、基準位置の画素の微分方向値と、この基準位置か
ら予め設定された画素離れた画素の微分方向値を比較
し、基準位置の微分方向値よりも大きいか、あるいは、
同じであれば良品と判定する。なお、基準位置の微分方
向値よりも大きい場合には、その範囲を設定できるよう
にしておくと良い。例えば、微分方向値がA〜Eまでで
あれば良品と判定する。
【0044】(実施例12)本発明の実施例12はノイ
ズの除去に関するものであり、請求項12に対応してい
る。被検査物の表面に、ごみなどの異物が付着している
場合、微分方向値のパターンが乱れることがある。例え
ば、微分方向値の良品パターンが特徴画像の左から、図
28(a)に示すとおりである場合に、不良画像につい
ての微分方向値のパターンが図28(b)に示すように
なることがある。この例のように、ごみなどの影響によ
り1〜2画素にわたって微分方向値が乱れる場合には、
微分方向値の連続性からすると、不良と判定されるが、
凹凸欠陥の特徴は大きさが(検査光学系にもよるが)例
えば10〜20画素の大きさを持っているものとして設
計されている場合、微分方向値の連続性と欠陥候補部の
幅を予め検査パラメータとして記憶しておくことにより
1画素(分解能400ミクロン)程度のノイズは除去す
ることが可能となる。つまり、欠陥候補部の画素数をし
きい値と比較し、欠陥候補部の画素数がしきい値よりも
大きければ不良と判定するが、しきい値よりも小さい場
合にはノイズとして除去する。
【0045】(実施例13)図29は本発明の実施例1
3のシステム構成図である。CCDカメラ4で撮像され
た画像に対して画像処理部60で前処理を施し、画像メ
モリ部7Aに転送する。転送された画像をもとにレーザ
ライン光特徴画像を抽出する。抽出された特徴画像をさ
らに画像メモリ部7Bに転送し、蓄積して行く。被検査
物を180度回転させて得られるすべての画像の蓄積を
完了した後、その蓄積された多重特徴画像に対して演算
CPU80を用いて、実施例2〜10の処理を行うこと
により欠陥部を抽出する。
【0046】欠陥部が存在する場合について、被検査物
を0度から180度まで回転させることにより得られる
特徴画像の例を図30に示す。この場合において、蓄積
された多重特徴画像の例を図31に示す。このように、
複数の特徴画像を蓄積し重ね合わせることにより、欠陥
部を強調することが可能となり、検出精度を向上させる
ことができる。
【0047】また、各特徴画像を蓄積する方法について
は、レーザライン光はドーム形状の被検査物を回転させ
てもスクリーンに映されている画像の位置は変動しない
ので、画像メモリ部の同じ座標の濃度を積算して行けば
良い。なお、スクリーンに映されている画像の位置が被
検査物の回転に伴って、多少変動する場合には、各画像
間で特徴画像の両端を合わせる処理を施せば良い。
【0048】
【発明の効果】請求項1〜13の発明によれば、ドーム
形状の被検査物の表面にレーザ光をライン状に照射し、
その反射光をスクリーンに投影して得られる特徴ライン
上に現れる凹凸欠陥部の特徴を認識して被検査物の良否
判定を行うようにしたので、ドーム形状の被検査物の表
面に発生する凹凸欠陥を外観検査により判定することが
できるという効果がある。
【0049】請求項2の発明によれば、画像処理により
得られた特徴ラインをずらすことにより略同形状の検査
ラインを作成し、特徴ラインと検査ラインの交点を求め
ることにより、欠陥候補部を検出するようにしたから、
特徴ライン上の急激な変化を評価すべきエリアを交点の
近傍にのみ限定することができ、検査速度の向上が可能
となる。
【0050】請求項3、5又は7の発明によれば、欠陥
候補部として検出された交点の近傍に評価用のウィンド
ウを設定し、濃度差や微分絶対値の大きさを基準値と比
較することにより凹凸欠陥を判定するようにしたから、
真の凹凸欠陥か否かを確実に判定することができる。請
求項4、6又は8の発明によれば、交点が複数存在する
場合に、それぞれの交点にマスクを設定し、各マスク毎
の微分絶対値の総和や濃度差の総和を求めると共に、各
交点毎に求められたデータを加算することにより、良品
のデータとの差を大きくすることができ、検査精度の向
上を図ることができる。
【0051】請求項9の発明によれば、画像処理により
抽出された特徴ラインの微分方向値を求め、被検査物が
良品である場合の微分方向値の変化パターンを予め良品
パターンとして記憶し、測定対象となる被検査物の微分
方向値の変化パターンを良品パターンと比較し、相違点
を検出することにより凹凸欠陥を検出するものであるか
ら、特徴ラインの拡大や縮小といった高度な画像処理を
行うことなく、数値データのパターンを比較するだけで
欠陥の有無を検出でき、処理装置の負担が小さくて済む
という利点がある。
【0052】請求項10の発明によれば、特徴ラインの
全長を凹凸欠陥判定のための基準として用いるようにし
たから、特に請求項9による変化パターンの照合と併用
すれば、検査の精度や効率を改善することができる。請
求項11の発明によれば、画像処理により抽出された特
徴ラインの微分方向値を求め、微分方向値の変化パター
ン上に設定した基準位置における微分方向値と、この基
準位置から予め設定された画素離れた位置での微分方向
値とを比較することにより凹凸欠陥を検出するものであ
るから、良品のパターンを予め記憶させておく必要が無
いという利点がある。
【0053】請求項12の発明によれば、求められた被
検査物表面の特徴ラインの微分方向値のパターン上にご
みなどによるパターンの乱れがあっても検査精度を保ち
ながら凹凸欠陥を検出できる。請求項13の発明によれ
ば、求められた特徴ラインを各検査画面毎に求め、重ね
合わせることにより欠陥部分の強調を図るようにしたの
で、さらに検査精度を上げることができる。
【図面の簡単な説明】
【図1】本発明の外観検査方法を実施するための検査光
学系の外観を示す斜視図である。
【図2】本発明の外観検査方法を実施するための画像処
理系のブロック図である。
【図3】本発明の外観検査方法によりスクリーンを撮像
して得られる原画像の一例を示す説明図である。
【図4】本発明の外観検査方法で用いる局所並列ウィン
ドウの説明図である。
【図5】本発明の外観検査方法で用いる微分絶対値画像
の一例を示す説明図である。
【図6】本発明の外観検査方法で用いるエッジ延長処理
の説明図である。
【図7】本発明における被検査物が良品の場合の投影像
を示す説明図である。
【図8】本発明における被検査物が不良品の場合の投影
像を示す説明図である。
【図9】本発明における被検査物の表面での反射光路を
示す説明図である。
【図10】本発明の実施例1の外観検査方法の処理手順
を示す流れ図である。
【図11】本発明の実施例2の外観検査方法の処理手順
を示す流れ図である。
【図12】本発明の実施例2における検査ラインの作成
方法を示す説明図である。
【図13】本発明の実施例2における位相をずらす前の
検査ラインと特徴ラインの関係を示す説明図である。
【図14】本発明の実施例2における位相をずらした後
の検査ラインと特徴ラインの関係を示す説明図である。
【図15】本発明の実施例2における検査ラインと特徴
ラインの交点を示す説明図である。
【図16】本発明の実施例3の外観検査方法の処理手順
を示す流れ図である。
【図17】本発明の実施例3に用いるスティックマスク
を示す説明図である。
【図18】本発明の実施例3に用いるスティックマスク
の検査ライン上への配置を示す説明図である。
【図19】本発明の実施例9の外観検査方法の処理手順
を示す流れ図である。
【図20】本発明の実施例9で用いる微分方向値と濃度
変化方向の関係を示す説明図である。
【図21】本発明の実施例9で用いる微分方向値を良品
に対する特徴画像上に記入して示した説明図である。
【図22】本発明の実施例9で用いる微分方向値を不良
品に対する特徴画像上に記入して示した説明図である。
【図23】本発明の実施例9で用いる微分方向値の連続
性を良品の場合と不良品の場合についてそれぞれ示す説
明図である。
【図24】本発明の実施例10の外観検査方法の処理手
順を示す流れ図である。
【図25】本発明の実施例10で用いる微分方向値のパ
ターンの長さを良品の場合と不良品の場合についてそれ
ぞれ示す説明図である。
【図26】本発明の実施例11の外観検査方法の処理手
順を示す流れ図である。
【図27】本発明の実施例11の外観検査方法の具体的
な検査事例を例示する説明図である。
【図28】本発明の実施例12の外観検査方法の説明図
である。
【図29】本発明の実施例13のシステム構成図であ
る。
【図30】本発明の実施例13において、表面に欠陥部
を有する被検査物を0度から180度まで回転させて得
られる特徴画像の一例を示す説明図である。
【図31】本発明の実施例13に用いる多重特徴画像の
一例を示す説明図である。
【符合の説明】
1 被検査物 2 ライン光源 3 スクリーン 4 CCDカメラ L 投影像

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 ドーム形状の被検査物の表面にレーザ
    光をライン状に照射し、その反射光をスクリーンに投影
    して得られる特徴ライン上に現れる凹凸欠陥部の特徴を
    認識して被検査物の良否判定を行うことを特徴とする外
    観検査方法。
  2. 【請求項2】 請求項1において、スクリーンに投影
    された特徴ラインを含む画像を撮像し、画像処理により
    略アーチ状の曲線として特徴ラインを抽出し、抽出され
    た特徴ラインをアーチの長手方向と略垂直な方向に若干
    平行移動させるかあるいは相似形となるように拡大縮小
    して移動させると共に、アーチの長手方向に沿って若干
    平行移動させることにより検査ラインを作成し、検査ラ
    インと元の特徴ラインとの交点を求めることにより欠陥
    候補部の検出を行うことを特徴とする外観検査方法。
  3. 【請求項3】 請求項2において、欠陥候補部として
    求められた交点を中心として特徴ラインに沿って略対称
    的に配置される複数対のウィンドウを設定し、対になっ
    た各ウィンドウ間の濃度差の総和を求めて、予め設定さ
    れた基準値と比較することにより、特徴ライン上の凹凸
    欠陥検出を行うことを特徴とする外観検査方法。
  4. 【請求項4】 請求項2において、欠陥候補部として
    求められた交点が複数個存在する場合に、各交点を中心
    としてそれぞれ特徴ラインに沿って略対称的に配置され
    る複数対のウィンドウを設定し、対になった各ウィンド
    ウ間の濃度差の総和を各交点毎に求めてすべてを加算
    し、予め設定された基準値と比較することにより、特徴
    ライン上の凹凸欠陥検出を行うことを特徴とする外観検
    査方法。
  5. 【請求項5】 請求項2において、欠陥候補部として
    求められた交点を中心として特徴ラインに沿って略対称
    的に配置される複数対のウィンドウを設定し、各ウィン
    ドウに含まれる画素の微分絶対値の総和を求め、予め設
    定された基準値と比較することにより特徴ライン上の凹
    凸欠陥検出を行うことを特徴とする外観検査方法。
  6. 【請求項6】 請求項2において、欠陥候補部として
    求められた交点が複数個存在する場合に、各交点を中心
    としてそれぞれ特徴ラインに沿って略対称的に配置され
    る複数対のウィンドウを設定し、各ウィンドウに含まれ
    る画素の微分絶対値の総和を各交点毎に求めてすべてを
    加算したものを、予め設定された基準値と比較すること
    により特徴ライン上の凹凸欠陥検出を行うことを特徴と
    する外観検査方法。
  7. 【請求項7】 請求項2において、欠陥候補部として
    求められた交点を中心として特徴ラインに沿って略対称
    的に配置される複数対のウィンドウを設定し、対になっ
    た各ウィンドウ間の濃度差の総和及び各ウィンドウに含
    まれる画素の微分絶対値の総和を求めて、両者の和を予
    め設定された基準値と比較することにより、特徴ライン
    上の凹凸欠陥検出を行うことを特徴とする外観検査方
    法。
  8. 【請求項8】 請求項2において、欠陥候補部として
    求められた交点が複数個存在する場合に、各交点を中心
    としてそれぞれ特徴ラインに沿って略対称的に配置され
    る複数対のウィンドウを設定し、対になった各ウィンド
    ウ間の濃度差の総和を各交点毎に求めてすべてを加算
    し、各ウィンドウに含まれる画素の微分絶対値の総和を
    各交点毎に求めてすべてを加算し、両加算値の和を予め
    設定された基準値と比較することにより特徴ライン上の
    凹凸欠陥検出を行うことを特徴とする外観検査方法。
  9. 【請求項9】 請求項1において、スクリーンに投影
    された特徴ラインを含む画像を撮像し、画像処理により
    略アーチ状の曲線として特徴ラインを抽出し、抽出され
    た特徴ラインの微分方向値を求め、被検査物が良品であ
    る場合の微分方向値の変化パターンを予め良品パターン
    として記憶し、測定対象となる被検査物の微分方向値の
    変化パターンを良品パターンと比較し、相違点を検出す
    ることにより凹凸欠陥を検出することを特徴とする外観
    検査方法。
  10. 【請求項10】 請求項1において、スクリーンに投
    影された特徴ラインを含む画像を撮像し、画像処理によ
    り略アーチ状の曲線として特徴ラインを抽出し、抽出さ
    れた特徴ラインの全長を求め、被検査物が良品である場
    合の特徴ラインの全長を予め記憶し、測定対象となる被
    検査物の特徴ラインの全長と比較することにより凹凸欠
    陥を検出することを特徴とする外観検査方法。
  11. 【請求項11】 請求項1において、スクリーンに投
    影された特徴ラインを含む画像を撮像し、画像処理によ
    り略アーチ状の曲線として特徴ラインを抽出し、抽出さ
    れた特徴ラインの微分方向値を求め、微分方向値の変化
    パターン上に設定した基準位置における微分方向値と、
    この基準位置から予め設定された画素離れた位置での微
    分方向値とを比較することにより凹凸欠陥を検出するこ
    とを特徴とする外観検査方法。
  12. 【請求項12】 請求項9又は11において、微分方
    向値の変化パターン上に所定画素数以下の乱れがある場
    合に、ノイズとして除去することを特徴とする外観検査
    方法。
  13. 【請求項13】 請求項1において、スクリーンに投
    影された特徴ラインを含む画像を撮像し、画像処理によ
    り略アーチ状の曲線として特徴ラインを抽出し、被検査
    物を回転させながら各撮像画面毎に抽出された特徴ライ
    ンを重ね合わせることにより欠陥部分を強調し、重ね合
    わせにより得られた多重特徴ラインに基づいて凹凸欠陥
    を検出することを特徴とする外観検査方法。
JP32352797A 1997-11-25 1997-11-25 外観検査方法 Expired - Lifetime JP3508518B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32352797A JP3508518B2 (ja) 1997-11-25 1997-11-25 外観検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32352797A JP3508518B2 (ja) 1997-11-25 1997-11-25 外観検査方法

Publications (2)

Publication Number Publication Date
JPH11160046A true JPH11160046A (ja) 1999-06-18
JP3508518B2 JP3508518B2 (ja) 2004-03-22

Family

ID=18155699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32352797A Expired - Lifetime JP3508518B2 (ja) 1997-11-25 1997-11-25 外観検査方法

Country Status (1)

Country Link
JP (1) JP3508518B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242482A (ja) * 2002-02-14 2003-08-29 Hitachi High-Technologies Corp 回路パターンの検査方法および検査装置
JP2008256616A (ja) * 2007-04-06 2008-10-23 Nippon Steel Corp 表面欠陥検査システム、方法及びプログラム
JP2008281493A (ja) * 2007-05-11 2008-11-20 Nippon Steel Corp 表面欠陥検査システム、方法及びプログラム
JP2014119361A (ja) * 2012-12-18 2014-06-30 Mitsubishi Electric Corp 表面欠陥検出装置および表面欠陥検出方法
JP2021162584A (ja) * 2020-03-31 2021-10-11 Jfeスチール株式会社 表面欠陥検出装置、表面欠陥検出方法、鋼板の製造方法、鋼板の品質管理方法、及び、鋼板の製造設備
CN115032202A (zh) * 2022-08-10 2022-09-09 山东唐乐生物科技股份有限公司 一种甜菊糖苷产品的残留杂质去除方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242482A (ja) * 2002-02-14 2003-08-29 Hitachi High-Technologies Corp 回路パターンの検査方法および検査装置
JP2008256616A (ja) * 2007-04-06 2008-10-23 Nippon Steel Corp 表面欠陥検査システム、方法及びプログラム
JP2008281493A (ja) * 2007-05-11 2008-11-20 Nippon Steel Corp 表面欠陥検査システム、方法及びプログラム
JP2014119361A (ja) * 2012-12-18 2014-06-30 Mitsubishi Electric Corp 表面欠陥検出装置および表面欠陥検出方法
JP2021162584A (ja) * 2020-03-31 2021-10-11 Jfeスチール株式会社 表面欠陥検出装置、表面欠陥検出方法、鋼板の製造方法、鋼板の品質管理方法、及び、鋼板の製造設備
CN115032202A (zh) * 2022-08-10 2022-09-09 山东唐乐生物科技股份有限公司 一种甜菊糖苷产品的残留杂质去除方法
CN115032202B (zh) * 2022-08-10 2022-11-08 山东唐乐生物科技股份有限公司 一种甜菊糖苷产品的残留杂质去除方法

Also Published As

Publication number Publication date
JP3508518B2 (ja) 2004-03-22

Similar Documents

Publication Publication Date Title
US4974261A (en) Optical surface inspection method
JP3508518B2 (ja) 外観検査方法
JP3890844B2 (ja) 外観検査方法
JP4293653B2 (ja) 外観検査方法
JP3494006B2 (ja) 外観検査方法
JPH06103275B2 (ja) 外観検査による欠陥抽出方法
JP3159063B2 (ja) 表面欠陥検査装置
JPH0718811B2 (ja) 欠陥検査方法
JP2686053B2 (ja) 外観検査による欠陥検査方法
JP3044951B2 (ja) 円形容器内面検査装置
JPH07174672A (ja) 車輪踏面欠陥検査装置
JP2758823B2 (ja) 溶接部外観検査方法
JP3580088B2 (ja) 外観検査方法
JP5346304B2 (ja) 外観検査装置、外観検査システムおよび外観検査方法
JP2710685B2 (ja) 外観検査による欠陥検出方法
JPH09161056A (ja) 円形容器内面検査方法
JP2008026186A (ja) 画像処理による隙間検出方法およびその装置
JPH10208066A (ja) 被検査物のエッジライン抽出方法及びこの方法を用いた外観検査方法
JP2000321038A (ja) パターン欠陥検出方法
JPH0772909B2 (ja) 外観検査による溶接状態判定方法
JP3509581B2 (ja) 外観検査方法
JPH02187651A (ja) 画像処理方法
JPH0827841B2 (ja) 外観検査方法
JPH10170451A (ja) 欠陥検査装置
JPH0319990B2 (ja)

Legal Events

Date Code Title Description
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031215

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100109

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100109

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110109

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 9

EXPY Cancellation because of completion of term