JP5084911B2 - Appearance inspection device - Google Patents

Appearance inspection device Download PDF

Info

Publication number
JP5084911B2
JP5084911B2 JP2010528728A JP2010528728A JP5084911B2 JP 5084911 B2 JP5084911 B2 JP 5084911B2 JP 2010528728 A JP2010528728 A JP 2010528728A JP 2010528728 A JP2010528728 A JP 2010528728A JP 5084911 B2 JP5084911 B2 JP 5084911B2
Authority
JP
Japan
Prior art keywords
rgb
luminance
pixel
data
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010528728A
Other languages
Japanese (ja)
Other versions
JPWO2010029932A1 (en
Inventor
昌年 笹井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mega Trade Corp
Original Assignee
Mega Trade Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mega Trade Corp filed Critical Mega Trade Corp
Priority to JP2010528728A priority Critical patent/JP5084911B2/en
Publication of JPWO2010029932A1 publication Critical patent/JPWO2010029932A1/en
Application granted granted Critical
Publication of JP5084911B2 publication Critical patent/JP5084911B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/463Colour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0096Radiation pyrometry, e.g. infrared or optical thermometry for measuring wires, electrical contacts or electronic systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9513Liquid crystal panels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501Semiconductor wafers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【技術分野】
【0001】
本発明は、検査対象物からカラー画像を取得して、その検査対象物の良否を検査する外観検査装置およびその検査方法に関するものであり、より詳しくは、カラー画像のRGBの輝度データを適正な値に設定することで高精度に検査できるようにした外観検査装置に関するものである。
【背景技術】
【0002】
一般に、プリント基板や半導体ウエハ、液晶基板などは、外観検査装置によってその形成状態が検査される。このような外観検査装置によって検査対象物を検査する場合、一般的には、カメラによってその表面の画像を取得し、その取得された画像から検査対象物の良否を検査する。特に、近年では、このような検査を行うに際して、検査対象物からカラー画像を取得して、そのカラー画像のRGB情報に基づいて検査を行うようにしている(特許文献1〜特許文献3など)。
【0003】
このような外観検査装置において、プリント基板を検査する場合の一例について説明すると、まず、プリント基板を検査する場合は、プリント基板からその表面に形成されたパッドや配線パターン、レジスト、シルクなどの画像を取得する。そして、検査対象物の画像と基準画像とを位置合わせした後、検査対象物のある座標位置に存在する画素に対応する基準画像の画素を見つけ出し、その見つけ出された基準画素の許容輝度幅内に検査対象物の画素の輝度値が入っていれば、その画素を優良画素であると判断する。また、逆に、許容輝度幅内に入っていなければ不良画素であると判断し、所定数以上の不良画素が隣接して存在している場合に、そのプリント基板を不良品であると判断する(特許文献4)。
【特許文献1】
特開2007−101415号公報
【特許文献2】
特開2006−78301号公報
【特許文献3】
特開2006−78300号公報
【特許文献4】
特開2007−309703号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、このような検査をカラー画像で検査する場合、次のような問題を生ずる。すなわち、検査対象物からカラー画像を取得して、画素ごとにRGBの輝度データを検査する場合、RGBのそれぞれの基準輝度幅内にその検査対象物の画素が含まれているか否かを判断するが、例えば、レジスト下層にパターンが存在しているような場合は、良品であったとしても、そのレジストの厚みのむらや、ロットの変更、色の調合具合によって微妙にRGBの色合いが変化してしまうことがある。特に輝度変化が大きい場合は、良品であったとしても、暗い緑から明るい緑までの輝度幅が(R,G,B)=(20,120,60)〜(40,200,150)の範囲で変化してしまうことがあり、RGB直交座標系で閾値の輝度幅を20<R(Δx)<40、120<G(Δy)<200、60<B(Δz)<150と大きめに設定しなければならない(図9参照)。しかるに、このように閾値の輝度幅を大きめに設定すると、本来不良と判定すべき箇所を不良と判定できなくなる可能性がある。具体的には、例えば、レジストが剥げてパターンの銅が露出している不良部分が存在している場合、一般に、そのような部分は、薄いレジストで覆われていているため完全な銅色ではなく、うっすら赤みを帯びたレジスト色(輝度値が(R,G,B)=(35,150,80))となる。このため、基準輝度データの輝度幅を大きくすると、図9における直方体の領域が大きくなり、この露出部分の輝度値はこの基準輝度データの輝度幅内に含まれて、不良と判定することができなくなる。一方、この露出部分を不良と判定できるように閾値の幅を狭くすると、良品であるものが不良品と判定してしまい、その後の目視検査に手間がかかってしまうという問題を生ずる。
【0005】
そこで、本発明は、上記課題に着目してなされたもので、カラー画像を用いて検査対象物の形成状態を検査する場合に、取得されたカラー画像のRGBに対して検査のための閾値を最適な値に設定して検査の品質を向上できるようにした外観検査装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上記課題を解決するために、レジストの塗布されたプリント基板から取得された画像に基づいて当該プリント基板の形成状態を検査する外観検査装置において、プリント基板からカラー画像を取得し、当該プリント基板のレジストにおけるRGB輝度データを取得するRGB情報取得手段と、RGB直交座標系におけるRGBの基準輝度データの割合を保った状態で、RGB極座標系でレジストのRGB基準輝度データを記憶させる基準データ記憶手段と、前記RGB情報取得手段から取得されたレジストのRGB輝度データを極座標系の輝度データに変換する変換手段と、当該変換された極座標系の輝度データと前記基準データ記憶手段に記憶されたRGB極座標系におけるRGB基準輝度データとを比較して、RGB基準輝度データ内にプリント基板のRGB輝度データが含まれているか否かによって当該レジストの良否を判定する判定手段とを備えるようにしたものである。
【0007】
このようにすれば、取得したレジストにおけるRGBの輝度値が製品ごとに大きくばらついていたとしても、図3に示すように、RGBの輝度の割合(色合い)を保った状態で全体的な輝度のみを大きく設定することができ、輝度のばらつきを吸収して高精度に検査させることができるようになる。
【発明の効果】
【0008】
本発明では、レジストの塗布されたプリント基板から取得された画像に基づいて当該プリント基板の形成状態を検査する外観検査装置において、プリント基板からカラー画像を取得し、当該プリント基板のレジストにおけるRGB輝度データを取得するRGB情報取得手段と、RGB直交座標系におけるRGBの基準輝度データの割合を保った状態で、RGB極座標系でレジストのRGB基準輝度データを記憶させる基準データ記憶手段と、前記RGB情報取得手段から取得されたレジストのRGB輝度データを極座標系の輝度データに変換する変換手段と、当該変換された極座標系の輝度データと前記基準データ記憶手段に記憶されたRGB極座標系におけるRGB基準輝度データとを比較して、RGB基準輝度データ内にプリント基板のRGB輝度データが含まれているか否かによって当該レジストの良否を判定する判定手段とを備えるようにしたので、取得したレジストにおけるRGBの輝度値が製品ごとに大きくばらついていたとしても、RGBの輝度の割合(色合い)を保った状態で全体的な輝度のみを大きく設定することができ、輝度のばらつきを吸収して高精度に検査させることができるようになる。
【発明を実施するための最良の形態】
【0009】
以下、本発明の一実施の形態について図面を参照しながら説明する。図1は、本実施の形態における外観検査の処理概要を示したものであり、図2は、その外観検査装置1における機能ブロック図を示したものである。また、図3は、その外観検査装置1で使用されるRGB基準輝度データを示したものである。
【0010】
この実施の形態における外観検査装置1は、プリント基板や半導体ウエハ、その他、物品に生じた亀裂、物品の表面に印刷された状態などを検査できるようにしたもので、この実施の形態では、一例としてプリント基板の形成状態を検査する場合について説明する。
【0011】
この外観検査装置1は、図2の機能ブロック図に示すように、一般的な外観検査装置と同様に、検査対象物11から表面画像を取得する撮像手段2と、この撮像手段2によって取得された画像から各画素のRGB情報を取得するRGB情報処理手段と、検査対象物11の画像と基準データである画像とを位置合わせする補正処理手段6と、このように位置合わせ補正された検査対象物11の各画素のRGB輝度データを用いて当該画素の良否を判定する判定手段8とを備えてなる。そして、特徴的に、検査対象物11から取得された各画像のRGBの輝度データを極座標系のRGB輝度データに変換する変換手段7と、当該変換されたRGB輝度データとあらかじめ記憶手段5に記憶された極座標系のRGB基準輝度データとを比較して各画素の良否を判定し、その結果を出力手段9を介して出力できるようにしたものである。以下、この外観検査装置1の具体的構成について詳細に説明する。
【0012】
まず、撮像手段2は、検査に対し必要となる基準対象物10や検査対象物11からその表面画像を取得するもので、カラーによってその表面画像を取得する。この撮像手段2は、斜め方向から光を照射し、その上方でそのCCDカメラなどによってその反射光を取得する。このとき、基準対象物10や検査対象物11に対して異なる角度および異なる色、明るさを用いて画像を取得し、その取得された画像を取捨選択して用いる。なお、この基準対象物10は、検査対象物11を検査するに際して基準となる基準データを生成するもので、目視もしくは他の検査装置などによって既に良品であると判定されたものを一般的に使用する。
【0013】
基準データ生成手段4は、あらかじめ用意された基準対象物10から表面画像を取得して、その基準対象物10の画像から基準データを生成する。この生成される基準データは、基準対象物10の全体形状に関するデータや、その内側の複数の矩形領域に関するデータ、各画素に関するデータなどによって構成される。このうち、全体形状に関するデータとしては、プリント基板の縦横の長さなどに関するデータ、また、矩形領域に関するデータとしては、矩形領域内のパターン画像などのデータ、各画素に関するデータとしては、各画素のRGB輝度や許容輝度幅及び探索距離などのデータなどが用いられる。ここで、「許容輝度幅」とは、良否判定となる画素におけるRGB輝度の幅を示すものであり、例えば、シルクの縁、パッドの縁、配線パターンの縁などのように輝度変化の大きい部分については大きく設定されるものである。また、「探索距離」とは、所定の画素位置を中心として基準対象物10に対応する画素が存在するか否かを探索するための距離を示すものであって、例えば、シルクの縁、パッドの縁、配線パターンの縁などのように輝度変化の大きい部分については、探索距離も3画素から5画素などのように大きく設定されるものである。これらの許容輝度幅や探索距離は自動的に設定され、予め許容輝度幅や探索距離の上限値をマニュアルで設定しておき、例えば、図1においては、極座標で表現された許容輝度幅を±Δθ、±Δρ、±ΔLと設定し、探索距離を3画素などと設定する。なお、この許容輝度幅や探索距離については、これらの値に限定されるものではなく、マニュアルで設定してもよい。
【0014】
図3に、この基準データの概要を示す。図3は、各画素の良否を判定する際に使用される基準データを示したものであり、各軸をRGBの輝度値とし、矢印の方向に向かって輝度値を大きく設定している。一般に、このようなRGB直交座標系で基準データを設定する場合、検査対象物11のレジストのむら、ロットの変更、色の調合具合によって微妙にRGBの色合いが変化してしまう。特に、製品によって輝度変化が大きい場合は、暗い緑から明るい緑までの輝度幅が(R,G,B)=(20,120,60)〜(40,200,150)の範囲で変化してしまうことがある。このため、RGB直交座標系で基準輝度データを設定すれば、輝度幅を20<R<40、120<G<200、60<B<150というように大き目に設定しなければならなくなる(図9の状態)。しかるに、このようにRGB基準輝度データの輝度幅を大きく設定すると、ほとんどの画素が基準データの範囲内に含まれてしまうため、実際には、RGB輝度値のバランスが大きく異なって全く違う色に見えるものまで基準データの範囲内に含まれて「良」と判定されてしまう。より具体的には、レジストが剥げてパターンの銅が露出している箇所が存在している場合は、その部分は、本来「不良」と判定されなければならないが、この部分は、部分的に薄いレジストで覆われていているため、うっすら赤みを帯びたレジスト色(輝度値が(R,G,B)=(35,150,80))となることが多い。このため、このような部分をRGB直交座標系の基準データで判定すると、不良と判定できなくなる。
【0015】
そこで、この実施の形態では、図3に示すように、RGB極座標系の空間で表現されるRGB基準輝度データを用いる。このような座標系を用いれば、RGB輝度値のバランスを保った状態で輝度値が全体的に小さくなった場合であっても、その画素を良画素と判定することができる。すなわち、図3に示すように、輝度値が(R,G,B)=(20,120,60)〜(40,200,150)の範囲内の画素を判定する場合、全体のRGB輝度値のバランスを保って全体の輝度値のみ異なる画素を良画素と判定することができる。一方、(R,G,B)=(35,150,80)などといった輝度値バランスの異なった画素、すなわち、色合いの全く異なる画素を不良画素と判定することができるようになる。なお、これらの画素のRGB基準輝度データを生成する場合、その画素に隣接する画素のRGB輝度値も含まれるように設定する。そして、このように設定されたRGB基準輝度データを、記憶手段5に格納する。
【0016】
補正処理手段6は、撮像手段2によって撮像された検査対象物11の画像を、基準対象物10の画像にほぼ一致させるための補正処理を行う。この補正処理における全体画像の補正の例を図4に示す。図4において、斜線で網掛けされた実線部分は基準対象物10を示し、破線は検査対象物11を示している。図4に示すように、検査対象物11が基準対象物10よりも小さい場合は(図4(a))、全体形状をδx、δyだけ拡大させるような補正処理を行う。また、検査対象物11が基準対象物10よりもδθだけ回転している場合は、その角度だけ回転させるような補正処理を行う。また、検査対象物11が基準対象物10に対して平行にずれている場合は、そのずれ量分だけ平行移動させるような補正処理を行う。これらの補正処理は、例えば、検査対象物11がステージ上の正規の位置に固定されていない場合や、検査対象物11の寸法上に誤差が存在する場合などに有効となる。
【0017】
次に、この補正処理の別の態様を図5に示す。図5(a)は、基準対象物10のある矩形領域の例を示したものであり、図5(b)は、検査対象物11の同じ位置における矩形領域を示したものである。実際の製品では、図5(b)に示すように、検査対象物11のパッドや配線パターンなどが、基準対象物10のパッドや配線パターンなどよりも所定方向にずれている場合がある。このような場合に、検査対象物11の矩形領域内の画像を基準対象物10にほぼ一致させるような平行移動の補正処理を行う。これらの補正処理を行うことにより、検査対象物11のパッドや配線パターンなどは、基準対象物10のパッドや配線パターンなどとほぼ一致することになり、あまり探索距離を大きくしなくても許容輝度幅内の画素を見つけ出すことができる。すなわち、本来ならば、補正前のずれた画像の対応する位置まで探索距離を広げて画素を見つけ出さなければならないところを、狭い探索距離で対応する画素を見つけ出すことができるようになる。そして、このように探索距離を狭めることによって、無関係な画素でたまたま輝度が一致するものを「対応する画素」と判定してしまうことを防止することができるようになる。
【0018】
そして、RGB情報取得手段3は、このように補正処理された後の検査対象物11の画像から各画素のRGB輝度データを取得する。このとき、取得されたRGB輝度データは(R,G,B)=(0,0,0)〜(255,255,255)の範囲内に含まれる情報となるが、この直交座標系で表現された座標を変換手段7を用いてRGB極座標系の座標に変換する。
【0019】
変換手段7を用いて直交座標系を極座標系に変換させる場合、この実施の形態では、図6に示すように、あらかじめ直交座標系の値(x,y,z)を極座標系の値(θ,ρ,L)の値に変換させる変換テーブルを用意しておき、この変換テーブルを参照して極座標系のRGB輝度データに変換させる。一般に、直交座標と極座標との関係は、次のような関係を示す。
x=Lsinρcosθ
y=Lsinρsinθ
z=Lcosθ
ただし、xは直交座標系におけるRの輝度値、yは直交座標系におけるGの輝度値、zは直交座標系におけるBの輝度値、θは極座標系におけるx軸とのなす角度、ρは極座標系におけるz軸とのなす角度、Lは極座標系における全体の輝度値を示す。
【0020】
そこで、これらの関係を逆変換させて、(x,y,z)の値を次のような極座標系の値に変換し、これらの変換値を変換テーブルとして記憶手段5に記憶させておく。
ρ=tan−1{(x+y1/2/z}
θ=tan−1(y/x)
L=(x+y+z1/2
【0021】
ところで、このように直交座標系の輝度値(0〜255)を極座標系の輝度値に変換した場合、θやρについては、0≦θ≦π/2、0≦ρ≦π/2、となり、Lについては、0≦L≦255×3(1/2)となる。このため、θやρについては、1バイトよりも小さくなり、Lについては1バイトを超えてしまう。そこで、θやρを、ちょうど1バイトになるように変換後の輝度値を255×2/π倍とし、また、Lについては、ちょうど1バイトに収まるように変換後の輝度値を1/3(1/2)倍に圧縮する。
【0022】
判定手段8は、基準対象物10の各画素に対応する画素が検査対象物11に存在するか否かを判定するもので、次に示すような第一の画素判定手段81と第二の画素判定手段82からなる画素判定手段80と、クラスタ判定手段83とを備える。
【0023】
まず、第一の画素判定手段81は、基準対象物10を基準として、その基準対象物10の各画素に対応する検査対象物11の位置を特定し、この位置を中心とする探索距離内に、その画素の輝度に対する許容輝度幅内の画素が存在するか否かを判定する。この判定に際しては、探索距離内にRGB基準輝度データの許容輝度幅内の画素が一つでも存在する場合は、「良画素」と判定し、逆に、探索距離内に許容輝度幅内の画素が全く存在しない場合は「不良画素」と判定する。通常、補正処理手段6によって基準対象物10と検査対象物11を完全に一致させることができれば、基準対象物10の画素位置に対応する検査対象物11の位置の画素を検査すれば良い。しかしながら、実際には、光学的なずれや機械的なずれが存在することから、完全に一致させることが困難であり、また、分解能を上げた場合は数画素程度ずれる可能性がある。このため、探索距離内においてほぼ輝度の一致するものが存在すれば、一次的判断として「良画素」と判定する。この第一の画素判定手段81による判定結果は、ディスプレイ装置などに可視的に表示され、例えば、「不良画素」と判定された部分には、基準対象物10の画像上に「×」印などを示す。
【0024】
第二の画素判定手段82は、今度は逆に、検査対象物11を基準として、基準対象物10の位置を中心とする探索距離内に、その検査対象物11の画素の輝度に対する許容輝度幅内の画素が存在するか否かを判定する。この判定に際しても、探索距離内に許容輝度幅内の画素が一つでも存在する場合は、「良画素」と判定し、逆に、探索距離内に許容輝度幅内の画素が全く存在しない場合は「不良画素」と判定する。この検査対象物11を基準として比較処理を行う場合、前述の補正処理された後の検査対象物11の画像を用いる。そして、補正処理された後の検査対象物11の前記位置(前記第一の探索距離の中心位置)に対応する基準対象物10の位置を特定し、その位置における許容輝度幅・探索距離を記憶手段5から読み出して、その探索距離内に検査対象物11のその位置の輝度に対する許容輝度幅内の画素が基準対象物10上に存在するか否かを判定する。この場合、本発明との関係において、第一の探索距離と第二の探索距離は一致することになり、第一の許容輝度幅と第二の許容輝度幅は一致することになる。通常、補正処理手段6によって基準対象物10と検査対象物11を完全に一致させることができれば、基準対象物10の画素位置に対応する検査対象物11の位置の画素を検査すれば良い。しかしながら、実際には、光学的なずれや機械的なずれが存在することから、完全に一致させることが困難であり、また、分解能を上げた場合は数画素程度ずれる可能性がある。このため、探索距離内においてほぼ輝度が一致するものが存在していれば、二次的判断として「良画素」と判定する。この第二の判定結果は、先の第一の判定結果と同様に、ディスプレイ装置に可視的に表示され、第一の画素判定手段81による判定画像に上書きして、「不良画素」と判定された部分に「×」印などを示していく。
【0025】
そして、最終的に、画素判定手段80は、検査対象物11の探索距離内に許容輝度幅内の画素が一つでも存在すること、及び、基準対象物10の探索距離内に許容輝度幅内の画素が一つでも存在することを条件に、その基準対象物10の位置に存在する画素を良画素と判定する。また、逆に、検査対象物11の探索距離内に許容輝度幅内の画素が全く存在しない場合、もしくは、基準対象物10の探索距離内に許容輝度幅内の画素が全く存在しない場合は、その基準対象物10の位置に存在する画素を不良画素と判定する。
【0026】
クラスタ判定手段83は、この画素判定手段80によって「不良画素」と判定された基準対象物10の画素群の大きさに基づいて、その検査対象物11が全体として不良品であるか否かを判定する。この良否の判定は、「不良画素」と判定された画素が隣接して所定数以上存在する場合に、不良品であると判定する。
【0027】
出力手段9は、このクラスタ判定手段83による判定結果を報知可能に出力する。その際、どの部分が不良のクラスタであるかをユーザに知らせる必要があるので、クラスタ判定手段83によって不良クラスタと判定されたクラスタの位置をディスプレイ装置に可視的に出力する。
【0028】
次に、このように構成された外観検査装置1を用いて検査対象物11を検査する方法について説明する。
【0029】
<基準データの生成フロー>
まず、検査対象物11を検査するに際して基準データを生成する場合のフローチャートを図7に示す。基準データを生成する場合、まず、予め用意された複数の基準対象物10からそれぞれの画像を取得する(ステップS1)。そして、所定枚数以上の基準対象物10の画像が取り込まれた場合、基準対象物10毎に、それぞれ全体領域に関するデータ、矩形領域に関するデータ、画素に関するデータを生成し(ステップS2)、複数の基準対象物10について、全体領域に関するデータの平均値や、矩形領域に関するデータの平均値、画素に関するRGBのデータの平均値や標準偏差値を演算する(ステップS3)。そして、次に、許容輝度幅の上限値や探索距離の上限値をマニュアルで入力する(ステップS4)。なお、この入力は、この段階ではなく、ステップS1の前に予め入力しておくようにしても良い。
【0030】
そして、ステップS3の平均値や標準偏差値の演算が行われた後、標準偏差値の大きい画素については、先に入力された許容輝度幅の上限値及び探索距離の上限値を設定するとともに、標準偏差値の小さい画素については、許容輝度幅や探索距離を小さく設定していく(ステップS5)。そして、各画素毎にRGB極座標でRGB基準輝度データを生成し、記憶手段5に格納する(ステップS6)。
【0031】
<検査対象物11の検査フロー>
次に、検査対象物11を検査する場合のフローチャートを図8に示す。まず、検査対象物11を検査する場合、その検査対象物11からその表面画像を取得する(ステップT1)。この撮像された画像は、画像の取得方法によっては位置ずれしている可能性があり、記憶手段5に記憶されている基準対象物10の画像の状態とは異なっている場合がある。このため、画像状態をほぼ一致させるために補正処理を行う(ステップT2)。この補正処理に際しては、まず、全体形状の補正処理を行う。具体的には、検査対象物11上のコーナーの3点を抽出し、その3点から検査対象物11の縦横の長さ、回転角度、平行移動距離などを演算する。そして、これらの縦横長さや回転角度、平行移動距離などに基づいて、検査対象物11の全体画像を基準データの全体画像にほぼ一致させるような補正処理を行う。
【0032】
次に、矩形領域の補正処理を行う。この矩形領域の補正処理を行う場合、基準対象物10の所定の矩形領域の画像と検査対象物11の対応する矩形領域の画像とがほぼ一致するように検査対象物11の画像を平行移動させる。
【0033】
そして、これらの補正処理が終了した後、基準対象物10の各位置に存在する画素が良画素であるか否かを判定する。この判定に際しては、まず、基準対象物10の各画素に対する位置、RGB輝度、許容輝度幅、探索距離を記憶手段5から読み出す(ステップT3)。そして、この読み出された画素に対応する検査対象物11の位置を特定し、その位置を中心として、その探索距離内に、RGB極座標系で設定されたRGB基準輝度データ(許容輝度幅)内の画素が存在するか否かを判定する(ステップT4)。このRGB極座標系で設定されたRGB基準輝度データを用いる場合、検査対象物11から読み出された画素のRGB輝度データを変換テーブルを参照して極座標系に変換し、その極座標系におけるRGB輝度データとを比較する。そして、第一の画素判定手段81によって、探索距離内に許容輝度幅内の画素が一つも存在しないと判定された場合は、その基準対象物10の位置の画素を「不良画素」と判定する(ステップT8)。
【0034】
次に、この第一の画素判定が終了した後、今度は、補正処理された後の検査対象物11の画像を基準として、その検査対象物11の位置に対応する基準対象物10の位置を中心とする探索距離内に、RGB極座標で設定されたRGB基準輝度データ(許容輝度幅)内の画素が存在するか否かを判定する。但し、検査対象物11の各画素については、許容輝度幅や探索距離などのデータを記憶していないので、その検査対象物11の位置に対応した基準対象物10の位置の許容輝度幅や探索距離を用いる。
【0035】
具体的には、まず、その検査対象物11の位置に対応した基準対象物10の位置の許容輝度幅、探索距離を読み出す(ステップT5)。そして、この読み出された許容輝度幅及び探索距離に基づき、対応する基準対象物10の位置を中心として、その探索距離内に、極座標系で表現された検査対象物11のRGB輝度データに対する許容輝度幅内の画素が存在するか否かを判定する(ステップT6)。このとき、検査対象物11から取得されたRGB輝度データを変換テーブルを用いて極座標系のRGB輝度データに変換して判定する。そして、第二の画素判定手段82によって探索距離内に許容輝度幅内の輝度の画素が一つも存在しないと判定された場合は、その基準対象物10の位置の画素を「不良画素」と判定する(ステップT8)。
【0036】
一方、ステップT4で「良画素」と判定され、かつ、ステップT6で「良画素」と判定された場合に、その基準対象物10の位置に対する画素を「良画素」と判定する(ステップT7)。
【0037】
そして、全ての画素の検査が完了した場合(ステップT9;Yes)、次に、この画素判定手段80によって「不良画素」と判定された基準対象物10の画素のうち、隣接する不良画素の数をカウントし、所定数以上の不良画素の存在する場合は(ステップT10)、この検査対象物11は不良品である旨の出力を行い(ステップT11)、一方、全ての隣接する不良画素の数が所定数よりも少ない場合は良品である旨の出力を行う(ステップT12)。
【0038】
このように上記実施の形態によれば、レジストの塗布されたプリント基板11から取得された画像に基づいて当該プリント基板11の形成状態を検査する外観検査装置1において、プリント基板11からカラー画像を取得し、当該プリント基板11のレジストにおけるRGB輝度データを取得するRGB情報取得手段3と、RGB直交座標系におけるRGBの基準輝度データの割合を保った状態で、RGB極座標系でレジストのRGB基準輝度データを記憶させる記憶手段5と、前記RGB情報取得手段3から取得されたレジストのRGB輝度データを極座標系の輝度データに変換する変換手段7と、当該変換された極座標系の輝度データと前記記憶手段5に記憶されたRGB極座標系におけるRGB基準輝度データとを比較して、RGB基準輝度データ内にプリント基板11のRGB輝度データが含まれているか否かによって当該レジストの良否を判定する判定手段8とを設けるようにしたので、取得したレジストにおけるRGBの輝度値が製品ごとに大きくばらついていたとしても、RGBのバランスを保った状態で輝度のみを大きく設定することができ、輝度のばらつきを吸収して高品質に検査させることができるようになる。
【0039】
なお、本発明は上記実施の形態に限定されることなく、種々の態様で実施することができる。
【0040】
例えば、上記実施の形態では、補正処理手段6を用いて検査対象物11の画像を補正処理したが、基準対象物10の画像を補正処理するようにしてもよい。あるいは、完全に位置合わせできるような場合は、このような補正処理を行わないようにすることもできる。
【0041】
また、上記実施の形態では、極座標に変換する変換テーブルをあらかじめ用意しておき、この変換テーブルを参照して直交座標系から極座標系に変換させるようにしているが、各画素毎に座標変換を演算するようにしてもよい。
【0042】
さらに、上記実施の形態では、プリント基板を検査する場合について説明したが、これ以外の外観検査を必要とする検査対象物11にも適用することができる。
【0043】
加えて、上記実施の形態では、各画素ごとに検査するようにしたが、所定の領域毎にRGB輝度データを収集して検査するようにしてもよい。この場合において、各領域毎に一つのRGB輝度データを演算し、この演算結果と極座標系で表現されたRGB基準輝度データとを比較するようにする。
【0044】
また、上記実施の形態では、θやρを255×2/π倍に拡張するようにしたが、1バイトの範囲内に収まっているため、そのままの輝度値を用いるようにしてもよい。
【0045】
また、上記実施の形態では、1ピクセルのRGBの要素を8ビットとしたため最大値を255としたが、これは2の諧調ビット乗−1の値であり、諧調ビットによってこの値を用いることができる。
【図面の簡単な説明】
【0046】
【図1】本発明の一実施の形態における検査処理方法の概要を示す図
【図2】同形態における外観検査装置の機能ブロック図
【図3】同形態における極座標系のRGB基準輝度データを示す図
【図4】同形態における全体補正の処理の概要を示す図
【図5】同形態における矩形領域の補正の処理の概要を示す図
【図6】同形態における極座標変換テーブルを示す図
【図7】同形態における基準データの生成フローを示す図
【図8】同形態における検査処理のフローを示す図
【図9】従来例における直交系のRGB基準輝度データを示す図
【符号の説明】
1・・・外観検査装置
2・・・撮像手段
3・・・RGB情報取得手段
4・・・基準データ生成手段
5・・・記憶手段
6・・・補正処理手段
7・・・変換手段
8・・・判定手段
80・・・画素判定手段
81・・・第一の画素判定手段
82・・・第二の画素判定手段
83・・・クラスタ判定手段
9・・・出力手段
10・・・基準対象物
11・・・検査対象物
【Technical field】
[0001]
  The present invention relates to an appearance inspection apparatus that acquires a color image from an inspection object and inspects the quality of the inspection object and an inspection method thereof, and more specifically, RGB luminance data of a color image is appropriately obtained. The present invention relates to an appearance inspection apparatus which can be inspected with high accuracy by setting a value.
[Background]
[0002]
  In general, the formation state of a printed board, a semiconductor wafer, a liquid crystal board, and the like is inspected by an appearance inspection apparatus. When inspecting an inspection object by such an appearance inspection apparatus, generally, an image of the surface is acquired by a camera, and the quality of the inspection object is inspected from the acquired image. In particular, in recent years, when performing such an inspection, a color image is acquired from an inspection object, and the inspection is performed based on RGB information of the color image (Patent Documents 1 to 3, etc.). .
[0003]
  An example of inspecting a printed circuit board in such an appearance inspection apparatus will be described. First, when inspecting a printed circuit board, images of pads, wiring patterns, resists, silk, etc. formed on the surface from the printed circuit board To get. Then, after aligning the image of the inspection object and the reference image, the pixel of the reference image corresponding to the pixel existing at a certain coordinate position of the inspection object is found, and within the allowable luminance width of the found reference pixel If the luminance value of the pixel of the inspection object is included in the pixel, it is determined that the pixel is a good pixel. Conversely, if it is not within the allowable luminance range, it is determined as a defective pixel, and if a predetermined number or more of defective pixels exist adjacently, it is determined that the printed circuit board is defective. (Patent Document 4).
[Patent Document 1]
JP 2007-101415 A
[Patent Document 2]
JP 2006-78301 A
[Patent Document 3]
JP 2006-78300 A
[Patent Document 4]
JP 2007-309703 A
DISCLOSURE OF THE INVENTION
[Problems to be solved by the invention]
[0004]
  However, when such an inspection is performed with a color image, the following problems occur. That is, when a color image is acquired from an inspection object and RGB luminance data is inspected for each pixel, it is determined whether or not the pixel of the inspection object is included in each RGB reference luminance width. However, for example, when a pattern exists in the resist lower layer, even if it is a non-defective product, the RGB tint changes slightly due to uneven resist thickness, lot changes, and color mixing conditions. May end up. Especially when the luminance change is large, even if it is a non-defective product, the luminance range from dark green to bright green is in the range of (R, G, B) = (20, 120, 60) to (40, 200, 150). In the RGB Cartesian coordinate system, the threshold luminance width is set to a large value such as 20 <R (Δx) <40, 120 <G (Δy) <200, 60 <B (Δz) <150. (See FIG. 9). However, if the threshold luminance width is set to be large in this way, there is a possibility that a portion that should be determined as defective cannot be determined as defective. Specifically, for example, when there is a defective portion where the resist is peeled off and the copper of the pattern is exposed, generally, such a portion is covered with a thin resist, so that the complete copper color is not used. The resist color is slightly reddish (luminance values are (R, G, B) = (35, 150, 80)). For this reason, when the luminance width of the reference luminance data is increased, the rectangular parallelepiped area in FIG. 9 is increased, and the luminance value of the exposed portion is included in the luminance width of the reference luminance data and can be determined as defective. Disappear. On the other hand, if the threshold value is narrowed so that the exposed portion can be determined as defective, a non-defective product is determined as a defective product, and the subsequent visual inspection takes time.
[0005]
  Therefore, the present invention has been made paying attention to the above problems, and when inspecting the formation state of an inspection object using a color image, a threshold value for inspection is set for RGB of the acquired color image. An object of the present invention is to provide an appearance inspection apparatus which can be set to an optimum value and improve the quality of inspection.
[Means for Solving the Problems]
[0006]
  In order to solve the above problems, the present inventionPrinted circuit board coated with resistBased on images obtained fromPrinted boardIn the appearance inspection apparatus for inspecting the formation state ofPrinted boardObtain a color image fromPrinted circuit board resistRGB information acquisition means for acquiring RGB luminance data inReference data storage means for storing the RGB reference luminance data of the resist in the RGB polar coordinate system while maintaining the ratio of the RGB reference luminance data in the RGB orthogonal coordinate system;Acquired from the RGB information acquisition meansResistConverting the RGB luminance data of the RGB coordinate data into luminance data of the polar coordinate system, comparing the converted luminance data of the polar coordinate system with the RGB reference luminance data in the RGB polar coordinate system stored in the reference data storage unit, In RGB standard luminance dataPrinted boardDepending on whether or not RGB luminance data is includedResistAnd a determination means for determining whether the quality is good or bad.
[0007]
  This way, I got itResist3, even if the luminance values of RGB vary greatly from product to product, as shown in FIG. 3, only the overall luminance can be set large while maintaining the RGB luminance ratio (color shade). It becomes possible to absorb the variation of the inspection with high accuracy.
【Effect of the invention】
[0008]
  In the present invention,Printed circuit board coated with resistBased on images obtained fromPrinted boardIn the appearance inspection apparatus for inspecting the formation state ofPrinted boardObtain a color image fromPrinted circuit board resistRGB information acquisition means for acquiring RGB luminance data inReference data storage means for storing the RGB reference luminance data of the resist in the RGB polar coordinate system while maintaining the ratio of the RGB reference luminance data in the RGB orthogonal coordinate system;Acquired from the RGB information acquisition meansResistConverting the RGB luminance data of the RGB coordinate data into luminance data of the polar coordinate system, comparing the converted luminance data of the polar coordinate system with the RGB reference luminance data in the RGB polar coordinate system stored in the reference data storage unit, In RGB standard luminance dataPrinted boardDepending on whether or not RGB luminance data is includedResistSince it was provided with a judgment means to judge the quality ofResistEven if the RGB luminance values vary widely from product to product, it is possible to increase only the overall luminance while maintaining the RGB luminance ratio (color shade), and to absorb the luminance variation It becomes possible to inspect with accuracy.
BEST MODE FOR CARRYING OUT THE INVENTION
[0009]
  Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows an outline of the appearance inspection process in the present embodiment, and FIG. 2 shows a functional block diagram of the appearance inspection apparatus 1. FIG. 3 shows RGB used in the appearance inspection apparatus 1.Reference brightnessThe data is shown.
[0010]
  The appearance inspection apparatus 1 in this embodiment can inspect a printed circuit board, a semiconductor wafer, other cracks generated in an article, a state printed on the surface of the article, and the like. In this embodiment, an example is given. The case where the formation state of the printed circuit board is inspected will be described.
[0011]
  As shown in the functional block diagram of FIG. 2, the appearance inspection apparatus 1 is acquired by the imaging means 2 that acquires a surface image from the inspection object 11 and the imaging means 2, as in a general appearance inspection apparatus. RGB information processing means for obtaining RGB information of each pixel from the obtained image, correction processing means 6 for aligning the image of the inspection object 11 and the image that is the reference data, and the inspection object subjected to the alignment correction in this way And determining means 8 for determining the quality of the pixel using the RGB luminance data of each pixel of the object 11. Characteristically, the conversion means 7 for converting the RGB luminance data of each image acquired from the inspection object 11 into the RGB luminance data of the polar coordinate system, and the converted RGB luminance data and stored in the storage means 5 in advance. RGB in a coordinated polar coordinate systemReference brightnessThe quality of each pixel is determined by comparing with the data, and the result can be output via the output means 9. Hereinafter, a specific configuration of the appearance inspection apparatus 1 will be described in detail.
[0012]
  First, the imaging unit 2 acquires the surface image from the reference object 10 and the inspection object 11 necessary for the inspection, and acquires the surface image by color. This imaging means 2 irradiates light from an oblique direction, and acquires the reflected light by the CCD camera or the like above it. At this time, images are acquired using different angles, different colors, and brightness with respect to the reference object 10 and the inspection object 11, and the acquired images are selected and used. The reference object 10 generates reference data as a reference when the inspection object 11 is inspected. Generally, the reference object 10 that has been determined to be non-defective by visual inspection or other inspection devices is generally used. To do.
[0013]
  The reference data generation unit 4 acquires a surface image from a reference object 10 prepared in advance, and generates reference data from the image of the reference object 10. The generated reference data includes data relating to the entire shape of the reference object 10, data relating to a plurality of rectangular areas inside the reference object 10, data relating to each pixel, and the like. Of these, data relating to the overall shape includes data relating to the length and width of the printed circuit board, data relating to the rectangular area includes data such as pattern images in the rectangular area, and data relating to each pixel includes data relating to each pixel. Data such as RGB luminance, allowable luminance width, and search distance are used. Here, the “allowable luminance width” indicates the RGB luminance width in a pixel that is determined to be good or bad. For example, a portion having a large luminance change such as a silk edge, a pad edge, or a wiring pattern edge. Is set to be large. The “search distance” indicates a distance for searching whether or not there is a pixel corresponding to the reference object 10 with a predetermined pixel position as the center. For example, a silk edge, a pad The search distance is set to a large value such as 3 to 5 pixels for a portion where the luminance change is large such as the edge of the wiring pattern or the edge of the wiring pattern. These allowable luminance width and search distance are automatically set, and the upper limit value of the allowable luminance width and search distance is set manually in advance. For example, in FIG. 1, the allowable luminance width expressed in polar coordinates is ± Δθ, ± Δρ, ± ΔL are set, and the search distance is set to 3 pixels or the like. The allowable luminance width and the search distance are not limited to these values, and may be set manually.
[0014]
  FIG. 3 shows an outline of this reference data. FIG. 3 shows reference data used when determining the quality of each pixel. The luminance values of RGB are set on the respective axes, and the luminance values are set to increase in the direction of the arrows. In general, when the reference data is set in such an RGB orthogonal coordinate system, the RGB hue slightly changes depending on the resist unevenness of the inspection object 11, the change of the lot, and the color composition. In particular, when the change in luminance is large depending on the product, the luminance range from dark green to bright green changes within the range of (R, G, B) = (20, 120, 60) to (40, 200, 150). May end up. For this reason, if the reference luminance data is set in the RGB orthogonal coordinate system, the luminance width must be set as large as 20 <R <40, 120 <G <200, 60 <B <150 (FIG. 9). State). However, RGB like thisReference brightnessIf the brightness range of data is set to a large value, most pixels will be included in the range of the reference data, so in practice, even if the balance of RGB brightness values is very different and looks completely different, it is within the range of the reference data. And is judged as “good”. More specifically, when there is a portion where the resist is peeled off and the copper of the pattern is exposed, the portion must be determined as “bad” originally, but this portion is partially Since it is covered with a thin resist, it often has a slightly reddish resist color (luminance values (R, G, B) = (35, 150, 80)). For this reason, if such a portion is determined based on the reference data of the RGB orthogonal coordinate system, it cannot be determined as defective.
[0015]
  Therefore, in this embodiment, as shown in FIG. 3, RGB expressed in the RGB polar coordinate system space.Reference brightnessUse data. If such a coordinate system is used, even if the luminance value is reduced as a whole while maintaining the balance of the RGB luminance values, the pixel can be determined as a good pixel. That is, as shown in FIG. 3, when determining pixels within the range of luminance values (R, G, B) = (20, 120, 60) to (40, 200, 150), the entire RGB luminance values are determined. Thus, it is possible to determine a pixel that is different from the entire luminance value while maintaining the above balance as a good pixel. On the other hand, pixels with different brightness value balances such as (R, G, B) = (35, 150, 80), that is, pixels with completely different hues can be determined as defective pixels. Note that RGB of these pixelsReference brightnessWhen data is generated, setting is made so that the RGB luminance values of the pixels adjacent to the pixel are also included. And RGB set in this wayReference brightnessData is stored in the storage means 5.
[0016]
  The correction processing unit 6 performs correction processing for making the image of the inspection object 11 imaged by the imaging unit 2 substantially coincide with the image of the reference object 10. An example of the correction of the entire image in this correction processing is shown in FIG. In FIG. 4, a solid line portion shaded with diagonal lines indicates the reference object 10, and a broken line indicates the inspection object 11. As shown in FIG. 4, when the inspection object 11 is smaller than the reference object 10 (FIG. 4A), the overall shape is δ.x, ΔyCorrection processing is performed to enlarge only. Further, the inspection object 11 is larger than the reference object 10 by δ.θIf it is rotated only by the angle, correction processing is performed so as to rotate the angle. Further, when the inspection object 11 is displaced in parallel with the reference object 10, a correction process is performed in which the inspection object 11 is translated by the amount of the displacement. These correction processes are effective when, for example, the inspection object 11 is not fixed at a regular position on the stage, or when there is an error in the dimensions of the inspection object 11.
[0017]
  Next, another aspect of this correction processing is shown in FIG. FIG. 5A shows an example of a rectangular area where the reference object 10 is located, and FIG. 5B shows a rectangular area at the same position of the inspection object 11. In an actual product, as shown in FIG. 5B, the pad or wiring pattern of the inspection object 11 may be displaced in a predetermined direction from the pad or wiring pattern of the reference object 10. In such a case, a parallel movement correction process is performed so that the image in the rectangular area of the inspection object 11 substantially matches the reference object 10. By performing these correction processes, the pad and the wiring pattern of the inspection object 11 substantially coincide with the pad and the wiring pattern of the reference object 10, and the allowable luminance can be obtained without increasing the search distance too much. Pixels within the width can be found. That is, originally, it is possible to find a corresponding pixel with a narrow search distance, where the search distance must be extended to a corresponding position in the image that has been corrected before correction. By narrowing the search distance in this way, it is possible to prevent an irrelevant pixel that happens to have the same luminance to be determined as a “corresponding pixel”.
[0018]
  Then, the RGB information acquisition unit 3 acquires RGB luminance data of each pixel from the image of the inspection object 11 after the correction process. At this time, the acquired RGB luminance data is information included in the range of (R, G, B) = (0, 0, 0) to (255, 255, 255), but is expressed in this orthogonal coordinate system. The converted coordinates are converted into coordinates in the RGB polar coordinate system using the conversion means 7.
[0019]
  In the case where the orthogonal coordinate system is converted into the polar coordinate system using the conversion means 7, in this embodiment, as shown in FIG. 6, the values (x, y, z) of the orthogonal coordinate system are previously set to the values of the polar coordinate system (θ , Ρ, L), a conversion table to be converted is prepared, and converted to RGB luminance data of the polar coordinate system with reference to this conversion table. In general, the relationship between orthogonal coordinates and polar coordinates is as follows.
x = Lsinρcosθ
y = Lsinρsinθ
z = Lcosθ
Where x is the luminance value of R in the Cartesian coordinate system, y is the luminance value of G in the Cartesian coordinate system, z is the luminance value of B in the Cartesian coordinate system, θ is the angle made with the x axis in the polar coordinate system, and ρ is the polar coordinate The angle L formed with the z-axis in the system indicates the overall luminance value in the polar coordinate system.
[0020]
  Therefore, these relationships are inversely converted to convert the value of (x, y, z) into the following polar coordinate system values, and these converted values are stored in the storage means 5 as a conversion table.
ρ = tan-1{(X2+ Y2)1/2/ Z}
θ = tan-1(Y / x)
L = (x2+ Y2+ Z2)1/2
[0021]
  By the way, when the luminance value (0 to 255) in the orthogonal coordinate system is converted into the luminance value in the polar coordinate system, θ and ρ are 0 ≦ θ ≦ π / 2 and 0 ≦ ρ ≦ π / 2. , L, 0 ≦ L ≦ 255 × 3(1/2)It becomes. For this reason, θ and ρ are smaller than 1 byte, and L exceeds 1 byte. Therefore, the converted luminance value is multiplied by 255 × 2 / π so that θ and ρ are exactly 1 byte, and for L, the converted luminance value is 1/3 so that it is exactly 1 byte.(1/2)Compress twice.
[0022]
  The determination means 8 determines whether or not the inspection object 11 has a pixel corresponding to each pixel of the reference object 10, and the first pixel determination means 81 and the second pixel as described below. A pixel determination unit 80 including a determination unit 82 and a cluster determination unit 83 are provided.
[0023]
  First, the first pixel determination unit 81 specifies the position of the inspection object 11 corresponding to each pixel of the reference object 10 with the reference object 10 as a reference, and within a search distance centered on this position. Then, it is determined whether or not there is a pixel within an allowable luminance width with respect to the luminance of the pixel. For this determination, RGB within the search distanceReference brightnessIf there is at least one pixel within the allowable luminance range of the data, it is determined as “good pixel”. Conversely, if there is no pixel within the allowable luminance width within the search distance, it is determined as “defective pixel”. To do. Normally, if the correction processing means 6 can completely match the reference object 10 and the inspection object 11, the pixel at the position of the inspection object 11 corresponding to the pixel position of the reference object 10 may be inspected. However, in reality, there are optical shifts and mechanical shifts, so that it is difficult to make them completely coincide with each other. Further, when the resolution is increased, there is a possibility that the shift is about several pixels. For this reason, if there is an almost identical luminance within the search distance, it is determined as “good pixel” as a primary determination. The determination result by the first pixel determination unit 81 is visually displayed on a display device or the like. For example, in the portion determined as “defective pixel”, an “x” mark or the like is displayed on the image of the reference object 10. Indicates.
[0024]
  On the contrary, the second pixel determination means 82, on the contrary, uses the inspection object 11 as a reference, and within the search distance centered on the position of the reference object 10, the allowable luminance width for the luminance of the pixel of the inspection object 11 It is determined whether or not there is a pixel inside. Also in this determination, if there is even one pixel within the allowable luminance width within the search distance, it is determined as “good pixel”, and conversely, there is no pixel within the allowable luminance width within the search distance. Is determined as “defective pixel”. When the comparison process is performed using the inspection object 11 as a reference, an image of the inspection object 11 after the above correction process is used. Then, the position of the reference object 10 corresponding to the position (the center position of the first search distance) of the inspection object 11 after the correction processing is specified, and the allowable luminance width / search distance at the position is stored. It is read out from the means 5 and it is determined whether or not a pixel within the allowable luminance width with respect to the luminance at the position of the inspection object 11 exists on the reference object 10 within the search distance. In this case, in the relationship with the present invention, the first search distance and the second search distance match, and the first allowable luminance width and the second allowable luminance width match. Normally, if the correction processing means 6 can completely match the reference object 10 and the inspection object 11, the pixel at the position of the inspection object 11 corresponding to the pixel position of the reference object 10 may be inspected. However, in reality, there are optical shifts and mechanical shifts, so that it is difficult to make them completely coincide with each other. Further, when the resolution is increased, there is a possibility that the shift is about several pixels. For this reason, if there is a pixel having substantially the same brightness within the search distance, it is determined as “good pixel” as a secondary determination. Similar to the first determination result, the second determination result is visually displayed on the display device, overwritten on the determination image by the first pixel determination unit 81, and determined as a “defective pixel”. An “x” mark or the like is shown in the part.
[0025]
  Finally, the pixel determination unit 80 determines that there is at least one pixel within the allowable luminance width within the search distance of the inspection object 11, and within the allowable luminance width within the search distance of the reference object 10. On the condition that at least one pixel exists, the pixel existing at the position of the reference object 10 is determined as a good pixel. Conversely, when there is no pixel within the allowable luminance width within the search distance of the inspection object 11, or when there are no pixels within the allowable luminance width within the search distance of the reference object 10, A pixel present at the position of the reference object 10 is determined as a defective pixel.
[0026]
  Based on the size of the pixel group of the reference object 10 determined as “defective pixel” by the pixel determining means 80, the cluster determining means 83 determines whether or not the inspection object 11 is a defective product as a whole. judge. This pass / fail determination is determined to be a defective product when there are a predetermined number or more of adjacent pixels determined to be “defective pixels”.
[0027]
  The output means 9 outputs the determination result by the cluster determination means 83 so that it can be notified. At this time, since it is necessary to inform the user which part is a defective cluster, the position of the cluster determined to be a defective cluster by the cluster determination means 83 is visually output to the display device.
[0028]
  Next, a method for inspecting the inspection object 11 using the appearance inspection apparatus 1 configured as described above will be described.
[0029]
  <Standard data generation flow>
First, FIG. 7 shows a flowchart for generating reference data when inspecting the inspection object 11. When generating reference data, first, each image is acquired from a plurality of reference objects 10 prepared in advance (step S1). When a predetermined number or more of images of the reference object 10 are captured, the data relating to the entire area, the data relating to the rectangular area, and the data relating to the pixels are generated for each reference object 10 (step S2). For the object 10, an average value of data relating to the entire area, an average value of data relating to the rectangular area, an average value of RGB data relating to pixels, and a standard deviation value are calculated (step S3). Next, the upper limit value of the allowable luminance width and the upper limit value of the search distance are manually input (step S4). This input is not performed at this stage, but may be performed in advance before step S1.
[0030]
  Then, after the calculation of the average value and the standard deviation value in step S3, for the pixels having a large standard deviation value, the upper limit value of the allowable luminance width and the upper limit value of the search distance that are input previously are set, For pixels having a small standard deviation value, the allowable luminance width and the search distance are set to be small (step S5). And for each pixel, RGB in RGB polar coordinatesReference brightnessData is generated and stored in the storage means 5 (step S6).
[0031]
  <Inspection flow of inspection object 11>
Next, a flowchart for inspecting the inspection object 11 is shown in FIG. First, when inspecting the inspection object 11, the surface image is acquired from the inspection object 11 (step T1). This captured image may be misaligned depending on the image acquisition method, and may be different from the state of the image of the reference object 10 stored in the storage unit 5. Therefore, correction processing is performed to make the image states substantially coincide (step T2). In this correction process, first, the entire shape is corrected. Specifically, three corner points on the inspection object 11 are extracted, and the vertical and horizontal lengths, rotation angles, parallel movement distances, and the like of the inspection object 11 are calculated from the three points. Then, based on these vertical and horizontal lengths, rotation angles, parallel movement distances, etc., correction processing is performed so that the entire image of the inspection object 11 substantially matches the entire image of the reference data.
[0032]
  Next, a rectangular area correction process is performed. When this rectangular area correction processing is performed, the image of the inspection object 11 is translated so that the image of the predetermined rectangular area of the reference object 10 and the image of the corresponding rectangular area of the inspection object 11 substantially coincide. .
[0033]
  And after these correction processes are complete | finished, it is determined whether the pixel which exists in each position of the reference | standard target object 10 is a good pixel. In this determination, first, the position, RGB luminance, allowable luminance width, and search distance for each pixel of the reference object 10 are read from the storage means 5 (step T3). Then, the position of the inspection object 11 corresponding to the read pixel is specified, and the RGB set in the RGB polar coordinate system within the search distance with the position as the center.Reference brightnessIt is determined whether or not there is a pixel in the data (allowable luminance width) (step T4). RGB set in this RGB polar coordinate systemReference brightnessWhen data is used, the RGB luminance data of the pixel read from the inspection object 11 is converted into a polar coordinate system with reference to the conversion table, and the RGB luminance data in the polar coordinate system is compared. When the first pixel determining unit 81 determines that no pixel within the allowable luminance width exists within the search distance, the pixel at the position of the reference object 10 is determined as a “defective pixel”. (Step T8).
[0034]
  Next, after the first pixel determination is completed, the position of the reference object 10 corresponding to the position of the inspection object 11 is determined based on the image of the inspection object 11 after the correction process. RGB set in RGB polar coordinates within the center search distanceReference brightnessIt is determined whether or not there is a pixel in the data (allowable luminance width). However, since each pixel of the inspection object 11 does not store data such as an allowable luminance width and a search distance, the allowable luminance width and the search of the position of the reference object 10 corresponding to the position of the inspection object 11 are stored. Use distance.
[0035]
  Specifically, first, an allowable luminance width and a search distance of the position of the reference object 10 corresponding to the position of the inspection object 11 are read (step T5). Then, based on the read allowable luminance width and the search distance, the tolerance for the RGB luminance data of the inspection object 11 expressed in the polar coordinate system within the search distance with the position of the corresponding reference object 10 as the center. It is determined whether or not there is a pixel within the luminance width (step T6). At this time, the determination is made by converting the RGB luminance data acquired from the inspection object 11 into the RGB luminance data of the polar coordinate system using the conversion table. If it is determined by the second pixel determining means 82 that there is no luminance pixel within the allowable luminance width within the search distance, the pixel at the position of the reference object 10 is determined as a “defective pixel”. (Step T8).
[0036]
  On the other hand, if it is determined as “good pixel” in step T4 and “good pixel” is determined in step T6, the pixel corresponding to the position of the reference object 10 is determined as “good pixel” (step T7). .
[0037]
  If all the pixels have been inspected (step T9; Yes), the number of adjacent defective pixels among the pixels of the reference object 10 determined as “defective pixels” by the pixel determination unit 80 is then determined. When there are more than a predetermined number of defective pixels (step T10), the inspection object 11 outputs that it is a defective product (step T11), while the number of all adjacent defective pixels Is less than the predetermined number, an output indicating that the product is non-defective is output (step T12).
[0038]
  Thus, according to the above embodiment,In the appearance inspection apparatus 1 that inspects the formation state of the printed circuit board 11 based on the image acquired from the printed circuit board 11 on which the resist is applied, a color image is acquired from the printed circuit board 11, and RGB in the resist of the printed circuit board 11 is obtained. RGB information acquisition means 3 for acquiring luminance data, storage means 5 for storing the RGB reference luminance data of the resist in the RGB polar coordinate system while maintaining the ratio of the RGB reference luminance data in the RGB orthogonal coordinate system, and the RGB The conversion means 7 for converting the RGB brightness data of the resist acquired from the information acquisition means 3 into the brightness data of the polar coordinate system, the converted brightness data of the polar coordinate system, and the RGB in the RGB polar coordinate system stored in the storage means 5 Compared with the reference luminance data, the printed circuit board 11 is included in the RGB reference luminance data. Depending whether GB luminance data is included and be provided with a determination unit 8 the quality of the resistSo acquiredResistEven if the RGB luminance values vary widely from product to product, it is possible to increase only the luminance while maintaining the RGB balance, and to absorb high-quality inspections with high brightness. become.
[0039]
  In addition, this invention is not limited to the said embodiment, It can implement in a various aspect.
[0040]
  For example, in the above-described embodiment, the correction processing unit 6 is used to correct the image of the inspection target 11, but the image of the reference target 10 may be corrected. Alternatively, such a correction process may not be performed when complete alignment is possible.
[0041]
  In the above embodiment, a conversion table for converting to polar coordinates is prepared in advance, and the conversion table is referred to convert from the orthogonal coordinate system to the polar coordinate system. However, coordinate conversion is performed for each pixel. You may make it calculate.
[0042]
  Furthermore, although the case where the printed circuit board is inspected has been described in the above embodiment, the present invention can also be applied to the inspection object 11 that requires an appearance inspection other than this.
[0043]
  In addition, in the above embodiment, each pixel is inspected, but RGB luminance data may be collected and inspected for each predetermined region. In this case, one RGB luminance data is calculated for each region, and the calculation result is compared with the RGB reference luminance data expressed in the polar coordinate system.
[0044]
  In the above embodiment, θ and ρ are expanded to 255 × 2 / π times. However, since they are within the range of 1 byte, the luminance value may be used as it is.
[0045]
  In the above embodiment, since the RGB element of one pixel is 8 bits, the maximum value is 255. However, this is a value of 2 gradation bit power minus 1, and this value is used depending on the gradation bit. it can.
[Brief description of the drawings]
[0046]
FIG. 1 is a diagram showing an outline of an inspection processing method according to an embodiment of the present invention;
FIG. 2 is a functional block diagram of an appearance inspection apparatus according to the embodiment.
FIG. 3 is a polar coordinate system RGB in the same formReference brightnessDiagram showing data
FIG. 4 is a diagram showing an outline of overall correction processing according to the embodiment;
FIG. 5 is a diagram showing an outline of rectangular area correction processing in the embodiment;
FIG. 6 is a diagram showing a polar coordinate conversion table in the same form
FIG. 7 is a diagram showing a flow of generating reference data in the same form
FIG. 8 is a diagram showing a flow of inspection processing in the same form
FIG. 9 is an orthogonal RGB system in a conventional example.Reference brightnessDiagram showing data
[Explanation of symbols]
1 ... Appearance inspection device
2 ... Imaging means
3 ... RGB information acquisition means
4. Reference data generation means
5. Storage means
6 ... Correction processing means
7 ... Conversion means
8: Determination means
80 ... Pixel determination means
81... First pixel determination means
82: Second pixel determining means
83 ... Cluster determination means
9 ... Output means
10 ... Reference object
11 ... Inspection object

Claims (1)

レジストの塗布されたプリント基板から取得された画像に基づいて当該プリント基板の形成状態を検査する外観検査装置において、
プリント基板からカラー画像を取得し、当該プリント基板のレジストにおけるRGB輝度データを取得するRGB情報取得手段と、
RGB直交座標系におけるRGBの基準輝度データの割合を保った状態で、RGB極座標系でレジストのRGB基準輝度データを記憶させる基準データ記憶手段と、
前記RGB情報取得手段から取得されたレジストのRGB輝度データを極座標系の輝度データに変換する変換手段と、
当該変換された極座標系の輝度データと前記基準データ記憶手段に記憶されたRGB極座標系におけるRGB基準輝度データとを比較して、RGB基準輝度データ内にプリント基板のRGB輝度データが含まれているか否かによって当該レジストの良否を判定する判定手段とを備えたことを特徴とする外観検査装置。
In the appearance inspection apparatus that inspects the formation state of the printed circuit board based on the image acquired from the printed circuit board coated with resist ,
RGB information acquisition means for acquiring a color image from a printed circuit board and acquiring RGB luminance data in a resist of the printed circuit board ;
Reference data storage means for storing the RGB reference luminance data of the resist in the RGB polar coordinate system while maintaining the ratio of the RGB reference luminance data in the RGB orthogonal coordinate system;
Conversion means for converting the RGB luminance data of the resist acquired from the RGB information acquisition means into luminance data of a polar coordinate system;
Whether the RGB brightness data of the printed circuit board is included in the RGB reference brightness data by comparing the converted brightness data of the polar coordinate system with the RGB reference brightness data in the RGB polar coordinate system stored in the reference data storage means An appearance inspection apparatus comprising: a determination unit that determines whether or not the resist is good depending on whether or not the resist is good.
JP2010528728A 2008-09-09 2009-09-09 Appearance inspection device Expired - Fee Related JP5084911B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010528728A JP5084911B2 (en) 2008-09-09 2009-09-09 Appearance inspection device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008231006 2008-09-09
JP2008231006 2008-09-09
JP2010528728A JP5084911B2 (en) 2008-09-09 2009-09-09 Appearance inspection device
PCT/JP2009/065711 WO2010029932A1 (en) 2008-09-09 2009-09-09 Visual examination apparatus

Publications (2)

Publication Number Publication Date
JPWO2010029932A1 JPWO2010029932A1 (en) 2012-02-02
JP5084911B2 true JP5084911B2 (en) 2012-11-28

Family

ID=42005185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010528728A Expired - Fee Related JP5084911B2 (en) 2008-09-09 2009-09-09 Appearance inspection device

Country Status (4)

Country Link
JP (1) JP5084911B2 (en)
KR (1) KR20110040965A (en)
CN (1) CN102138068B (en)
WO (1) WO2010029932A1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881001A (en) * 2011-07-13 2013-01-16 富士通株式会社 Device and method for converting color image into grey scale image
CN103529041B (en) * 2013-10-31 2015-07-29 广州华工机动车检测技术有限公司 Based on circuit board newness degree decision method and the system of characteristics of image
JP2016050875A (en) * 2014-09-01 2016-04-11 明和工業株式会社 Surface state determination program and surface state determination device
CN104362111B (en) * 2014-11-27 2017-02-01 阳光硅峰电子科技有限公司 Silicon wafer edge breakage automatic detection method
KR101694337B1 (en) * 2015-02-05 2017-01-09 동우 화인켐 주식회사 Method for inspecting film
CN104833681B (en) * 2015-05-13 2017-10-03 中国电子科技集团公司第三十八研究所 A kind of device and method of quick measurement MCM substrate circuits dimension of picture error
TWI579557B (en) * 2015-09-18 2017-04-21 Synpower Co Ltd Image detection method for printed substrate
CN110412052B (en) * 2019-08-12 2022-02-15 艾尔玛科技股份有限公司 Curved surface hot stamping quality detection method and system
CN110514675B (en) * 2019-08-29 2020-12-11 珠海格力电器股份有限公司 Intelligent detection method and system for label
TWI721632B (en) * 2019-11-05 2021-03-11 新加坡商鴻運科股份有限公司 Device and method for setting product detection threshold and storage medium
CN112785100B (en) * 2019-11-05 2023-10-31 富联精密电子(天津)有限公司 Product detection threshold setting device, method and computer readable storage medium
KR102436786B1 (en) 2020-04-16 2022-08-26 주식회사 에이비에이치 Apparatus and method for inspecting surface quality of appearance based on artificial intelligence

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06109653A (en) * 1992-09-25 1994-04-22 Dainippon Printing Co Ltd Image inspecting apparatus
JP2007309703A (en) * 2006-05-16 2007-11-29 Mega Trade:Kk Inspection method of pixel

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3587029B2 (en) * 1997-10-03 2004-11-10 三菱電機株式会社 Image inspection method and image inspection device
WO2003041012A1 (en) * 2001-11-07 2003-05-15 Davar Pishva Image highlight correction using illumination specific hsv color coordinates
JP3935836B2 (en) * 2002-12-16 2007-06-27 三菱重工業株式会社 Print color tone measuring method, print color tone measuring device, and program thereof
JP4392268B2 (en) * 2004-02-20 2009-12-24 新日本製鐵株式会社 Surface inspection device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06109653A (en) * 1992-09-25 1994-04-22 Dainippon Printing Co Ltd Image inspecting apparatus
JP2007309703A (en) * 2006-05-16 2007-11-29 Mega Trade:Kk Inspection method of pixel

Also Published As

Publication number Publication date
WO2010029932A1 (en) 2010-03-18
CN102138068A (en) 2011-07-27
CN102138068B (en) 2015-02-11
JPWO2010029932A1 (en) 2012-02-02
KR20110040965A (en) 2011-04-20

Similar Documents

Publication Publication Date Title
JP5084911B2 (en) Appearance inspection device
JP6701118B2 (en) Image processing apparatus and image processing method
KR101190125B1 (en) Method of three dimensional mesurement
WO1998059213A1 (en) Pattern inspecting method and pattern inspecting device
JP6211114B2 (en) A method for distinguishing an object region from a ground region and a three-dimensional shape measurement method.
JPH1173513A (en) Device and method for pattern inspection
JP2008007819A (en) Alignment device and alignment method
JP2008185514A (en) Substrate visual inspection apparatus
WO2007004517A1 (en) Surface inspecting apparatus
JP6211798B2 (en) Foreign matter inspection method and foreign matter inspection apparatus on substrate
JP2011232279A (en) Tilt inspection device and tilt inspection method
TW201239348A (en) Exterior inspection method and device for same
JP4577717B2 (en) Bump inspection apparatus and method
JP5852641B2 (en) Automatic inspection device and alignment method in automatic inspection device
KR20220060080A (en) Method of inspecting defect of display substrate
JP3691503B2 (en) Inspection method and inspection apparatus for printed matter
JP2005181218A (en) Board inspecting device
KR101702752B1 (en) Method of inspecting electronic components
JP4354173B2 (en) Appearance inspection equipment for electronic circuit components
JP2007309703A (en) Inspection method of pixel
GB2554903A (en) Method of length measurement for 2D photography
JP2006284543A (en) Method and device for inspecting mounted circuit board
JP5130257B2 (en) Image processing device
JP2009079934A (en) Three-dimensional measuring method
JP4354174B2 (en) Manufacturing method for electronic circuit components

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20110524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120904

R150 Certificate of patent or registration of utility model

Ref document number: 5084911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees