JP2004296592A - 欠陥分類装置、欠陥分類方法およびプログラム - Google Patents

欠陥分類装置、欠陥分類方法およびプログラム Download PDF

Info

Publication number
JP2004296592A
JP2004296592A JP2003084456A JP2003084456A JP2004296592A JP 2004296592 A JP2004296592 A JP 2004296592A JP 2003084456 A JP2003084456 A JP 2003084456A JP 2003084456 A JP2003084456 A JP 2003084456A JP 2004296592 A JP2004296592 A JP 2004296592A
Authority
JP
Japan
Prior art keywords
defect
image
histogram
pixel value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003084456A
Other languages
English (en)
Inventor
Hiroyuki Onishi
浩之 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dainippon Screen Manufacturing Co Ltd
Original Assignee
Dainippon Screen Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Screen Manufacturing Co Ltd filed Critical Dainippon Screen Manufacturing Co Ltd
Priority to JP2003084456A priority Critical patent/JP2004296592A/ja
Publication of JP2004296592A publication Critical patent/JP2004296592A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Preparing Plates And Mask In Photomechanical Process (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

【課題】欠陥を容易に分類できる欠陥分類装置を提供する。
【解決手段】欠陥分類装置1は欠陥の分類を行うコンピュータを有し、コンピュータが実現する演算部5の欠陥領域特定部51では、欠陥画像と参照画像とを比較することにより欠陥領域が特定され、マスク処理部52では欠陥画像および参照画像に対して欠陥領域以外を所定の画素値とするマスク処理が行われる。ヒストグラム生成部53では、欠陥画像の画素値および参照画像の画素値をパラメータとする2次元空間において、マスク処理後の欠陥画像の画素の値と参照画像の対応する画素の値との組み合わせの頻度を示す2次元ヒストグラムが生成され、分類部54において、2次元ヒストグラムに基づいて欠陥の分類が行われる。
【選択図】 図4

Description

【0001】
【発明の属する技術分野】
本発明は、基板上の欠陥を分類する技術に関する。
【0002】
【従来の技術】
従来より、半導体基板、レチクル、プリント配線基板等(以下、「基板」という。)に形成されたパターンを検査し、各工程での歩留まりを低下させる要因となる製造プロセスの異常を是正するために、検出された欠陥に対して分類が行われる(すなわち、欠陥の種類やカテゴリが判定される)ことがある。
【0003】
例えば、特許文献1では欠陥画像から欠陥の面積、明るさ、周囲長、円形度、重心位置等の特徴量を抽出し、ニューラルネットワークを利用して学習・分類する手法が開示されており、特許文献2では参照画像に基づいて欠陥画像中の欠陥領域を配線領域と背景領域とに分離し、各領域の輝度値を利用しつつ欠陥種別を判定する手法が提案されている。
【0004】
なお、特許文献3では、被検査画像の画素値、および、参照画像の画素値の2つの座標軸により規定されるグラフ上に、被検査画像の各画素値と参照画像の対応する画素値とで決定される点をプロットすることにより2値画像である2次元分散プロットを作成し、両画素値が等しくなる直線から離れて存在する点を見つけだすことにより、欠陥を検出する手法が開示されている。
【0005】
【特許文献1】
特開平8−21803号公報
【特許文献2】
特開平9−186208号公報
【特許文献3】
特開2001−133418号公報
【0006】
【発明が解決しようとする課題】
ところで、特許文献1の手法において精度よく欠陥を分類するには、多くの種類の特徴量を求める必要があり長時間を要してしまう。また、特許文献2の手法では、欠陥画像のコントラストが低い場合やノイズが多い場合に、配線領域と背景領域とが適切に分離されず、欠陥が正確に分類されない恐れがある。
【0007】
本発明は上記課題に鑑みなされたものであり、欠陥を容易に分類する技術を提供することを目的としている。
【0008】
【課題を解決するための手段】
請求項1に記載の発明は、基板上の欠陥を分類する欠陥分類装置であって、基板上の欠陥を示す多階調の欠陥画像の画素値および予め準備された多階調の参照画像の画素値をパラメータとする2次元空間において、前記欠陥画像の画素の値と前記参照画像の対応する画素の値との組み合わせの頻度を示す2次元ヒストグラムを生成するヒストグラム生成部と、前記2次元ヒストグラムに基づいて前記欠陥を分類する分類部とを備える。
【0009】
請求項2に記載の発明は、請求項1に記載の欠陥分類装置であって、前記欠陥画像と前記参照画像とを比較することにより欠陥領域を特定する欠陥領域特定部と、前記欠陥画像と前記参照画像とに対して前記欠陥領域以外を所定の画素値とするマスク処理を行うマスク処理部とをさらに備え、前記ヒストグラム生成部が、マスク処理後の欠陥画像および参照画像に基づいて前記2次元ヒストグラムを生成する。
【0010】
請求項3に記載の発明は、請求項1に記載の欠陥分類装置であって、前記分類部が、前記2次元空間において、前記欠陥画像の画素値と前記参照画像の画素値とがおよそ等しくなる領域以外の領域に基づいて前記欠陥を分類する。
【0011】
請求項4に記載の発明は、請求項1ないし3のいずれかに記載の欠陥分類装置であって、前記分類部において、前記2次元空間内の複数の領域のそれぞれと欠陥の種別とが対応付けられている。
【0012】
請求項5に記載の発明は、請求項1ないし3のいずれかに記載の欠陥分類装置であって、前記分類部が、予め準備された複数の欠陥種別のそれぞれに対応する2次元ヒストグラムと、前記ヒストグラム生成部にて生成された前記2次元ヒストグラムとの類似の度合いを示す評価値を算出する評価値算出部と、前記評価値に基づいて、前記欠陥の種別を特定する欠陥種別特定部とを有する。
【0013】
請求項6に記載の発明は、請求項1ないし3のいずれかに記載の欠陥分類装置であって、前記分類部が、前記2次元ヒストグラムを複数の部分ヒストグラムに分割するヒストグラム分割部と、前記複数の部分ヒストグラムのそれぞれにおいて、頻度に関する特徴量を算出する特徴量算出部と、前記特徴量を用いて学習を行うことにより、入力される特徴量に応じて分類結果を出力する判定器を構築する判定器構築部とを有する。
【0014】
請求項7に記載の発明は、基板上の欠陥を分類する欠陥分類方法であって、基板上の欠陥を示す多階調の欠陥画像の画素値および予め準備された多階調の参照画像の画素値をパラメータとする2次元空間において、前記欠陥画像の画素の値と前記参照画像の対応する画素の値との組み合わせの頻度を示す2次元ヒストグラムを生成する工程と、前記2次元ヒストグラムに基づいて前記欠陥を分類する工程とを有する。
【0015】
請求項8に記載の発明は、基板上の欠陥の分類に利用されるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、基板上の欠陥を示す多階調の欠陥画像の画素値および予め準備された多階調の参照画像の画素値をパラメータとする2次元空間において、前記欠陥画像の画素の値と前記参照画像の対応する画素の値との組み合わせの頻度を示す2次元ヒストグラムを生成する工程と、前記2次元ヒストグラムに基づいて前記欠陥を分類する工程とを実行させる。
【0016】
【発明の実施の形態】
図1(a)ないし(c)は、欠陥分類に利用される2次元ヒストグラムを生成する様子を説明するための図であり、図1(a)は多階調の第1画像601を示す図であり、図1(b)は画像601に対して参照すべき多階調の第2画像602を示す図である。
【0017】
2次元ヒストグラムは、第1画像601の各画素の値と第2画像602の対応する画素の値とを特定することにより生成される。例えば、第1画像601の値がAである画素601aに対して第2画像602の対応する画素602aの値Bが特定されたものとする。このとき、図1(c)に示すように、第1画像601の画素値および第2画像602の画素値をパラメータとする2次元空間(すなわち、両画像の画素値がとり得る値の範囲により定められる2次元空間)において、第1画像601の画素の値がAであり第2画像602の画素の値がBである組み合わせを示す位置603の頻度(出現頻度)に1が加えられる。
【0018】
したがって、第1画像601の画素の値と第2画像602の対応する画素の値とが同一である場合には、2次元空間上の両画素の値が等しくなる位置(すなわち、図1(c)において左上から右下へと向かう対角線上)のいずれかの位置の頻度が変更され、両画素の値が相違する場合には、対角線上以外のいずれかの位置の頻度が変更されることとなる。そして、画像601,602の全ての画素の値の組み合わせに対して2次元空間上の位置の特定およびその位置の頻度のインクリメントを行うことにより、2次元空間に2次元ヒストグラムが生成される。なお、各位置における頻度を表現するために、2次元ヒストグラムでは頻度が高いほどその位置の濃度が高く(または明るく)され、頻度が低いほど濃度が低く(または暗く)される。すなわち、2次元ヒストグラムは画像として表現されて取り扱われる。
【0019】
図2は本発明の一の実施の形態に係る欠陥分類装置1の構成を示す図である。欠陥分類装置1は、半導体基板(以下、「基板」という。)9上の所定の領域を撮像して多階調の画像のデータを取得する撮像部2、基板9を保持するステージ3、および、撮像部2に対してステージ3を相対的に移動するステージ駆動部31を有する。
【0020】
撮像部2は、照明光を出射する照明部21、基板9に照明光を導くとともに基板9からの光が入射する光学系22、および、光学系22により結像された基板9の像を電気信号に変換する撮像デバイス23を有する。ステージ駆動部31はステージ3を図2中のX方向に移動するX方向移動機構32、および、Y方向に移動するY方向移動機構33を有する。X方向移動機構32はモータ321にボールねじ(図示省略)が接続され、モータ321が回転することにより、Y方向移動機構33がガイドレール322に沿って図2中のX方向に移動する。Y方向移動機構33もX方向移動機構32と同様の構成となっており、モータ331が回転するとボールねじ(図示省略)によりステージ3がガイドレール332に沿ってY方向に移動する。
【0021】
欠陥分類装置1は、各種演算処理を行うCPUや各種情報を記憶するメモリ等により構成されたコンピュータ4をさらに有し、コンピュータ4は撮像部2およびステージ駆動部31に接続される。コンピュータ4は、欠陥の分類を行うとともに、欠陥分類装置1の各構成を制御する制御部としての役割を果たす。
【0022】
図3は、コンピュータ4の構成を示す図である。コンピュータ4は、図3に示すように、各種演算処理を行うCPU41、基本プログラムを記憶するROM42および各種情報を記憶するRAM43をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク44、画像等の各種情報の表示を行うディスプレイ45、作業者からの入力を受け付けるキーボード46aおよびマウス46b、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体8から情報の読み取りを行う読取装置47、並びに、欠陥分類装置1の他の構成との間で信号を送受信する通信部48が、適宜、インターフェイス(I/F)を介する等して接続される。
【0023】
コンピュータ4には、事前に読取装置47を介して記録媒体8からプログラム80が読み出され、固定ディスク44に記憶される。そして、プログラム80がRAM43にコピーされるとともにCPU41がRAM43内のプログラムに従って演算処理を実行することにより(すなわち、コンピュータがプログラムを実行することにより)、コンピュータ4が欠陥検出を行うとともに2次元ヒストグラムを生成して欠陥を分類する。なお、欠陥検出は多数の画像に対して行われるため、専用の電気的回路により行われてもよい。以下、所定の欠陥検出手法により欠陥画像のデータが得られたものとして説明を行う。
【0024】
図4は、CPU41がプログラム80に従って動作することにより、CPU41、ROM42、RAM43、固定ディスク44等が実現する欠陥分類のための機能構成を示す図である。図4において、演算部5の各構成がCPU41等により実現される機能を示し、記憶部59がRAM43、固定ディスク44等により実現される機能を示す。
【0025】
図5は、欠陥分類装置1が2次元ヒストグラムを生成して欠陥を自動的に分類する処理の流れを示す図である。欠陥分類装置1において欠陥を分類する際には、まず、欠陥の分類に利用されるデータ(以下、「欠陥分類用データ」という。)が準備されて記憶される(ステップS11)。欠陥分類用データとは、欠陥の分類手法に応じて準備されるデータであり、詳細については後述する。
【0026】
続いて、基板9上の欠陥を示す多階調の欠陥画像のデータ、および、多階調の参照画像のデータが準備される(ステップS12)。これらの画像は欠陥検出の際に取得されたものが流用される。具体的には、コンピュータ4がステージ駆動部31を制御することにより、撮像部2の撮像位置を基板9上の検査領域(例えば、基板9上に配列されているダイ(すなわち、1つのチップに対応する領域)の所定領域)へと相対的に移動し、撮像部2にて被検査画像が取得され、撮像部2の撮像位置を基板9上の他のダイの同じ位置(すなわち、ダイのパターンの周期の整数倍だけ離れた撮像領域)へと移動して参照画像が取得され、欠陥が検出されると被検査画像のデータが欠陥画像データ591として、参照画像のデータが参照画像データ592として記憶部59に記憶される。
【0027】
なお、参照画像は既に取得されている複数の画像の平均画像や、CADデータを元に生成されたゴールデン・テンプレート画像(すなわち、欠陥が存在しない画像)等のデータが予め準備されて記憶されてもよい。
【0028】
図6(a)は欠陥画像61を例示する図であり、図6(b)は参照画像62を例示する図である。欠陥画像61および参照画像62は、比較的暗い背景領域6b上に比較的明るい配線パターン6aが形成された画像であり、欠陥画像61において符号611を付す位置が欠陥である。欠陥画像61および参照画像62は、例えば、256階調の画像とされる。なお、欠陥画像61が示す領域と参照画像62が示す領域とが微小にずれている場合には、両画像61,62の互いに対応する画素を特定する処理が行われる。
【0029】
欠陥領域特定部51では、欠陥画像61と参照画像62との互いに対応する画素の値の差の絶対値を示す差分画像が生成され、差分画像の各画素の値に対して所定のしきい値により欠陥または非欠陥が判定される。例えば、差分画像の画素の値がしきい値よりも大きい場合には欠陥を示す画素値「255」が、しきい値よりも小さい場合には非欠陥を示す画素値「0」が各画素に対して付与され、図6(c)に示すように、欠陥領域631が特定されたマスク画像(以下、「欠陥マスク画像」という。)63が作成される(ステップS13)。
【0030】
続いて、マスク処理部52では、欠陥画像61および参照画像62の各画素のうち、欠陥マスク画像63において値が「255」の画素に対応する画素の値が特定され、それ以外の画素の値(すなわち、欠陥マスク画像63において値が「0」の画素に対応する画素の値)が所定の値(例えば、画素値「0」)に変更される処理が行われる。すなわち、欠陥画像61および参照画像62に対してマスク処理が施され、欠陥マスク画像63とのAND画像が作成される(ステップS14)。
【0031】
図7(a)はマスク処理後の欠陥画像64を示す図であり、図7(b)はマスク処理後の参照画像65を示す図である。図7(a)の欠陥画像64、および、図7(b)の参照画像65では、それぞれ符号641,651を付す領域が欠陥マスク画像63の欠陥領域631に対応している。
【0032】
ヒストグラム生成部53では、マスク処理後の欠陥画像64および参照画像65から2次元ヒストグラムが生成される(ステップS15)。2次元ヒストグラムは前述したように、欠陥画像の画素値、および、参照画像の画素値をパラメータとする2次元空間内において、マスク処理後の欠陥画像64の各画素の値とマスク処理後の参照画像65の対応する画素の値との組み合わせの頻度を求めることにより生成される。
【0033】
図8は生成された2次元ヒストグラム71を示す図である。図8の2次元ヒストグラム71では、マスク処理後の欠陥画像64および参照画像65において欠陥領域641,651に属する画素以外の画素の値が「0」とされるため、2次元ヒストグラム71上の両画素値が0となる位置711以外において頻度が1以上である濃度を示す位置の集合である領域(以下、「特徴領域」という。)712が、欠陥611の特徴を示すこととなる。なお、図8の特徴領域712では濃淡の相違(すなわち、組み合わせの頻度の相違)を等高線のように示しており領域の中心に近づくにつれて組み合わせの頻度が高くなっている。特徴領域712は欠陥の位置や欠陥の回転の影響を受けないという特性を有する。
【0034】
ヒストグラム生成部53では、さらに、2次元ヒストグラム71中の各位置の頻度が総頻度数、すなわち、欠陥画像61(または、マスク処理後の欠陥画像64)の総画素数で除され、2次元ヒストグラム71が正規化される。正規化された2次元ヒストグラムは、欠陥611の特徴を示す確率分布といえ、欠陥位置および回転のみならず、欠陥サイズに対しても不変となる。なお、2次元ヒストグラムの正規化は必要に応じて行われるのみでよく、以下、正規化された2次元ヒストグラムについても、単に2次元ヒストグラム71と呼び、総頻度数で除された頻度も単に頻度と呼ぶ。
【0035】
続いて、分類部54では2次元ヒストグラム71に基づいて欠陥611が分類される(ステップS16)。本実施の形態では、図9(a)に示す特徴分布図が前述の欠陥分類用データとして準備される(ステップS11参照)。図9(a)の特徴分布図は欠陥画像の画素値、および、参照画像の画素値をパラメータとする2次元空間内に表われて、特徴分布図では2次元空間内の複数の領域81,82,83,84,85,86のそれぞれに対して欠陥の種別(複数の種別の候補であってもよい。)が対応付けられている。分類部54は、特徴領域が図9(a)の特徴分布図中の領域81〜86のうちいずれに属するかを特定する。図8の2次元ヒストグラム71の特徴領域712の場合、領域81に属することが特定され、欠陥611が領域81に対応付けられた欠陥種別(例えば、「配線パターンの残りやショート」)に分類される。分類結果は記憶部59へと出力され、分類結果データ593として記憶される。
【0036】
次に、図9(a)の特徴分布図についてさらに説明を行う。前述のように、欠陥画像61および参照画像62は比較的暗い背景領域6b上に比較的明るい配線パターン6aが形成された画像であるため、背景領域6b上の正常な画素の値から導かれる位置は図9(a)中の符号87を付す領域に属し、配線パターン6a上の正常な画素の値から導かれる位置は符号88を付す領域に属することとなる。また、ノイズ等の影響を考慮すると符号89を付す領域は正常な画素値に対応する区分が属する領域と捉えることができる。
【0037】
一方、配線パターンの欠けや分断(すなわち、配線の断線(いわゆる、オープン))となる欠陥が発生した場合には、欠陥画像61における欠陥の領域が暗くなるのに対して参照画像62の対応する領域では配線パターン6aの明るさとなる。よって、2次元ヒストグラムにおける特徴領域は欠陥画像の画素値が比較的小さく、参照画像の画素値が比較的大きい領域に出現するため、図9(a)中の領域82は「配線パターンの欠けやオープン」を示す欠陥種別に対応付けることができる。
【0038】
また、配線パターンの残存や背景領域の分断(すなわち、配線の短絡(いわゆる、ショート))となる欠陥が発生した場合には、欠陥画像61における欠陥の領域が明るくなるのに対して参照画像62の対応する領域では背景領域6bの明るさとなるため、2次元ヒストグラムにおいて特徴領域が欠陥画像の画素値が比較的大きく参照画像の画素値が比較的小さい領域に現れる。したがって、特徴分布図における領域81は「配線パターンの残りやショート」を示す欠陥種別に対応付けることができる。
【0039】
さらに、背景領域6bがさらに暗くなる欠陥は特徴分布図における領域83、僅かに明るくなる欠陥は領域84、配線パターン6aがさらに明るくなる欠陥は特徴分布図における領域85、僅かに暗くなる欠陥は領域86に対応し、各領域83〜86に欠陥種別(例えば、付着したパーティクルの種類や厚み等)を予め特定して対応付けておくことにより、欠陥をより詳細に分類することが可能となる。なお、各領域81〜86は、正常部の分布である領域87,88に従って図9(b)に示すように決定されてもよい。あるいは、領域87,88が図9(a)に示す分布となるように、画像の階調補正が行われてもよい。
【0040】
以上のように、図2の欠陥分類装置1では、欠陥画像の画素値および参照画像の画素値をパラメータとする2次元空間において、欠陥画像の画素の値と参照画像の対応する画素の値との組み合わせの頻度を示す2次元ヒストグラムが生成される。そして、欠陥の種別がそれぞれ対応付けられた2次元空間内の複数の領域のうち、欠陥画像の欠陥に対応する領域が2次元ヒストグラムに基づいて特定されることにより、欠陥の種別が判定される(すなわち、欠陥が分類される)。これにより、欠陥分類装置1では、基板9上の欠陥を容易かつ短時間に分類することができる。
【0041】
また、欠陥分類装置1では、欠陥画像および参照画像の互いに対応する画素の値から2次元ヒストグラムが生成されるため、コントラストが低い画像であっても欠陥を適切に分類することができる。なお、分類部54では画素値の組み合わせの頻度に対して所定のしきい値が設けられ、頻度がしきい値より高い組み合わせの領域のみが特徴領域(または、その一部)として取り扱われてもよい。
【0042】
以上、欠陥分類装置1の一の実施の形態について説明してきたが、欠陥分類装置1による処理は2次元ヒストグラム生成処理(ステップS13〜S15)および欠陥分類処理(ステップS16)に大別することができる。以下、2次元ヒストグラム生成処理および欠陥分類処理の他の例について順次説明を行う。
【0043】
2次元ヒストグラム生成処理の他の例として、2次元ヒストグラムが生成された後にマスク処理が行われてもよい。具体的には、まず、準備された欠陥画像61および参照画像62からヒストグラム生成部53において2次元ヒストグラム72が図10(a)に示すように生成される。また、マスク処理部52では図10(b)に示すように、両画素値が等しくなる対角線から縦軸または横軸に沿って(−α)だけ離れた画素値から(+α)だけ離れた画素値までの所定の幅の範囲を示す領域(すなわち、図9(a)の特徴分布図における領域89に対応する領域であり、以下、「マスク領域」という。)731が特定されたヒストグラム用マスク画像73が準備される。そして、2次元ヒストグラム72のマスク領域731に対応する位置の頻度が0とされ、修正された2次元ヒストグラム74が、図10(c)に示すように生成される。
【0044】
図10(c)の2次元ヒストグラム74では欠陥の特徴を示さない領域がマスクされるため、頻度が0より大きくなる領域が特徴領域741として取り扱われる。換言すれば、分類部54において2次元ヒストグラム中の欠陥画像の画素値と参照画像の画素値とがおよそ等しくなる領域以外の領域に基づいて欠陥の種別が特定され、欠陥を適切に分類することができる。
【0045】
なお、準備される画像の画素の値のばらつきやノイズの影響の程度に応じて、正常な画素の値に対応する領域に拡がりが生じるため、ヒストグラム用マスク画像73のマスク領域731の幅は画像取得時の状態等に合わせて適宜決定される。また、必ずしも2次元ヒストグラムに対してマスク処理が施される必要はなく、分類部54においてマスク領域731以外の領域の頻度に基づいて、欠陥種別が特定されてもよい。
【0046】
次に、欠陥分類処理の他の例について説明を行う。図11は、欠陥分類処理の他の例に係る分類部54aの構成を示す図である。また、図12は分類部54aによる欠陥分類処理の流れを示す図であり、図5中のステップS16に対応する処理を示している。
【0047】
分類部54aによる欠陥分類が行われる際には、図5中のステップS11では、複数の欠陥種別にそれぞれ対応する複数の2次元ヒストグラム(以下、「テンプレートヒストグラム」という。)が欠陥分類用データとして準備される。
【0048】
テンプレートヒストグラムは予め作成されており、テンプレートヒストグラムの作成では、まず、欠陥種別がそれぞれ特定された複数の欠陥画像に対して2次元ヒストグラムが作成され、欠陥画像のノイズや画素値のばらつき等の影響を抑制するために、各2次元ヒストグラムに対してグレイ膨張処理(最大値フィルタとも呼ばれる。)等が必要に応じて施される。そして、一の種類の欠陥種別mに対して準備された欠陥画像の数量をMとし、2次元ヒストグラムのある位置(p,q)(p,qはそれぞれ欠陥画像の画素値、参照画像の画素値である。)における頻度をPm(p,q)として、テンプレートヒストグラムの位置(p,q)における頻度Pt(p,q)が数1により求められる。これにより、欠陥種別mの平均的な2次元ヒストグラムがテンプレートヒストグラムとして求められる。
【0049】
【数1】
Figure 2004296592
【0050】
分類部54aでは、複数の欠陥種別のそれぞれに対応するテンプレートヒストグラムが求められる。
【0051】
テンプレートヒストグラムが準備されると、次に、欠陥画像および参照画像から2次元ヒストグラムが生成されて分類部54aへと入力される(ステップS15)。分類部54aの評価値算出部541では、2次元ヒストグラムとテンプレートヒストグラムとの類似の度合いを示す評価値が算出される(ステップS21)。具体的には、まず、準備される画像のノイズ等の影響を抑制するために、2次元ヒストグラムに対してグレイ膨張処理等が必要に応じて施される。そして、各欠陥種別のテンプレートヒストグラムの各位置の頻度と、2次元ヒストグラムの対応する位置の頻度との積が算出され、算出された積の和が評価値とされる。具体的には、数2に示す演算により評価値Sが各テンプレートヒストグラムに対して求められる。
【0052】
【数2】
Figure 2004296592
【0053】
ここで、p,qはそれぞれ欠陥画像の画素値、参照画像の画素値であり、Pt(p,q)はテンプレートヒストグラムの位置(p,q)における頻度であり、Pn(p,q)は分類部54aに入力される2次元ヒストグラムの位置(p,q)における頻度である。
【0054】
各欠陥種別に対して求められた評価値Sは、欠陥種別特定部542において比較され、最も大きい評価値Sとなる欠陥種別が特定されることにより欠陥が分類される(ステップS22)。すなわち、分類部54aでは、準備された複数のテンプレートヒストグラムのうち2次元ヒストグラムに対して類似の度合いが最も高いものを特定する、いわゆる、テンプレートマッチングが行われる。これにより、欠陥分類装置1では欠陥が容易かつ適切に分類される。
【0055】
なお、欠陥分類装置1では評価値Sに対して所定のしきい値が設けられ、しきい値以上となる評価値Sのみが欠陥種別特定部542へと入力されてもよい。これにより、欠陥がいずれの欠陥種別にも類似しない場合に、未知の欠陥種別として分類することが可能となる。
【0056】
評価値は必ずしも2次元ヒストグラムと各欠陥種別のテンプレートヒストグラムとの各位置の頻度の積の和である必要なはく、例えば、頻度の差分二乗和とされてもよい。この場合、欠陥種別特定部542では評価値が最小となる欠陥種別が特定される。
【0057】
また、分類部54aによる欠陥分類処理は2次元ヒストグラムが2値化されて行われてもよい。この場合、テンプレートヒストグラムも2値化されたものが作成されて準備される。
【0058】
2値化されたテンプレートヒストグラムを作成する際には、欠陥種別がそれぞれ特定された複数の欠陥画像に対して2次元ヒストグラムが生成され、各2次元ヒストグラムにおいて、0あるいは適当な値より大きい頻度が1とされて2次元ヒストグラムが2値化される。そして、2値の膨張処理が必要に応じて施され、数3に示す演算により、各欠陥種別毎に各位置の値の論理積または論理和が算出され、欠陥種別毎に2値化されたテンプレートヒストグラムが作成される。なお、数3における各変数は数1に準じたものである。
【0059】
【数3】
Figure 2004296592
【0060】
2値化された複数のテンプレートヒストグラムが準備されると、まず、入力された2次元ヒストグラム(正規化されていなくてもよい。)に対して2値化処理が施される。また、必要に応じて2値の膨張処理が施され、準備された画像のノイズや画素値のばらつき等の影響が抑制される。
【0061】
続いて、各欠陥種別のテンプレートヒストグラムに対して2値化後の2次元ヒストグラムとの類似の度合いを示す評価値Sが算出される(ステップS21)。具体的には、2値化後の2次元ヒストグラムの各位置の頻度と各欠陥種別のテンプレートヒストグラムの対応する位置の頻度との論理積が求められ、各テンプレートヒストグラムにおいて論理積の和が評価値とされる。すなわち、数4に示す演算により各テンプレートヒストグラムに対して評価値Sが求められる。なお、数4における各変数は数2に準じたものである。
【0062】
【数4】
Figure 2004296592
【0063】
そして、欠陥種別特定部542において準備された複数のテンプレートヒストグラムのうち評価値Sが最大となる欠陥種別が特定され、欠陥が分類される(ステップS22)。これにより、欠陥分類装置1では、欠陥の分類を容易かつ短時間に行うことができる。
【0064】
次に、欠陥分類処理のさらに他の例について説明を行う。図13は、分類部54bを示す図であり、図14は分類部54bによる欠陥分類処理の流れを示す図である。図13に示す分類部54bでは、まず、ヒストグラム分割部543においてヒストグラム生成部53から入力された2次元ヒストグラムが複数の部分ヒストグラムに分割される(ステップS31)。例えば、図15(a)に示す2次元ヒストグラム75が分類部54bに入力された場合には、欠陥画像の画素値および参照画像の画素値がそれぞれ32画素値分を1つの区間とする8区間に分割され、図15(b)に示すように、64個の部分ヒストグラム761が取得される。
【0065】
特徴量算出部544では、複数の部分ヒストグラム761のそれぞれに含まれる頻度の和が算出され、各部分ヒストグラム761の特徴量とされる(ステップS32)。部分ヒストグラム761の特徴量はニューラルネットワークを利用して判定を行う判定器545へと入力され、判定器545による分類結果が出力される(ステップS33)。
【0066】
ここで、欠陥分類装置1では、教師データを作成しつつ学習することによりニューラルネットワークのパラメータである欠陥判定条件が欠陥分類用データとして予め準備されている。すなわち、欠陥分類装置1では欠陥分類の事前準備として、欠陥種別が特定された複数の欠陥画像のそれぞれに対して参照画像を利用した2次元ヒストグラムが生成され2次元ヒストグラム中の各部分ヒストグラム761の特徴量が算出され、判定器構築部546において欠陥種別毎に学習が行われ欠陥判定条件が自動生成される。そして、欠陥分類処理の際に、図5のステップS11において、生成された欠陥判定条件が欠陥分類用データとして判定器545に入力され、分類結果を出力する判定器545が構築される。これにより、分類部54bでは高度な欠陥分類を行うことができる。
【0067】
また、欠陥分類装置1では、分割されたヒストグラム毎に特徴量が求められるため、全ての位置の頻度がそのまま特徴量として利用される場合と比較して、判定器545における演算量を減少させることができ、短時間に欠陥を分類することができる。
【0068】
なお、分類部54bを有する欠陥分類装置1において、2次元ヒストグラムを正規化しない場合には、部分ヒストグラム761の特徴量には欠陥のサイズの要素が含まれるため、欠陥のサイズに応じた欠陥分類も可能となる。また、特徴量算出部544において算出される特徴量は頻度を利用した他のものであってもよく、例えば、各部分ヒストグラム761に含まれる頻度の標準偏差等であってもよい。
【0069】
また、欠陥分類装置1におけるさらに他の欠陥分類処理として、分類された欠陥の各部分ヒストグラムの特徴量と欠陥種別とを対応付けた教師データが蓄積されて利用されてもよい。この場合、分類対象となる欠陥の画像の部分ヒストグラムの特徴量と各教師データの対応する部分ヒストグラムの特徴量との差分が求められて全ての差分の二乗和が求められ、差分二乗和が最小となる教師データの欠陥種別に分類対象の欠陥が分類される(いわゆる、最近傍法)。
【0070】
以上、欠陥分類装置1の構成および処理について説明を行ってきたが、欠陥分類装置1の演算部5の機能は専用の電気的回路により実現されてもよく、部分的に電気的回路が用いられてもよい。
【0071】
例えば、欠陥領域特定部51、マスク処理部52およびヒストグラム生成部53の機能を電気的回路により構築し、撮像部2から欠陥画像のデータを画素単位で欠陥領域特定部51へと順次入力しつつ(すなわち、シーケンシャルに欠陥画像のデータが入力される)、2次元ヒストグラムを生成処理することも可能である。
【0072】
この場合、まず、入力された欠陥画像の画素の値に対応する参照画像の画素の値が記憶部59から欠陥領域特定部51へと入力され、欠陥画像の画素の値と参照画像の画素の値との差の絶対値が算出される。そして、差の絶対値が所定のしきい値よりも大きい場合には欠陥を示す欠陥マスク画素値「255」が、しきい値よりも小さい場合には非欠陥を示す欠陥マスク画素値「0」が欠陥画像の画素の値および参照画像の画素の値とともにマスク処理部52へと出力される(図5のステップS13に相当)。
【0073】
マスク処理部52では、欠陥マスク画素値が「255」である場合には入力された欠陥画像および参照画像の画素の値がそのまま出力され、欠陥マスク画素値が「0」である場合には両画像に対して画素値「0」が出力される(ステップS14に相当)。ヒストグラム生成部53では、マスク処理部52からの欠陥画像の画素の値および参照画像の画素の値の組み合わせの2次元空間上の位置が特定されてその位置の頻度に1が加算される(ステップS15に相当)。欠陥画像の全ての画素に対して上記処理が順次実行されることにより2次元ヒストグラムが短時間に生成される。
【0074】
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく、様々な変形が可能である。
【0075】
欠陥領域特定部51において、欠陥領域631を特定する手法は必ずしも欠陥画像と参照画像との差分(絶対値)画像を利用したものには限定されず、例えば、エッジ抽出を行った上で欠陥画像と参照画像とを比較することにより欠陥領域が特定されてもよい。
【0076】
また、分類部54bは必ずしもニューラルネットワークを利用するものである必要はなく、例えば、判別分析や決定木等の他の手法が利用されてもよい。すなわち、欠陥分類装置1では2次元ヒストグラムに基づく欠陥分類として様々な手法が利用可能である。
【0077】
欠陥画像(および参照画像)は、必ずしも背景領域上に配線パターンが形成された画像である必要はなく、多階調の他の画像であってもよい。
【0078】
上記実施の形態では、半導体の基板9に対して欠陥の分類が行われるが、欠陥分類装置1は、ガラス基板(例えば、液晶表示装置、プラズマ表示装置等の各種フラットパネル表示装置に用いられるガラス基板)、プリント配線基板等に形成されたパターンの欠陥の分類にも利用することができる。
【0079】
また、高速な処理が求められない場合には、欠陥分類装置1において欠陥検出と欠陥分類とが同時に行われてもよい。
【0080】
【発明の効果】
本発明によれば、基板上の欠陥を容易に分類することができる。
【0081】
また、請求項2および3の発明では欠陥領域を特定して、欠陥を適切に分類することができる。
【0082】
また、請求項4の発明では欠陥を短時間に分類することができ、請求項6の発明では高度な欠陥分類を行うことができる。
【図面の簡単な説明】
【図1】(a)ないし(c)は2次元ヒストグラムの生成方法を説明するための図である。
【図2】欠陥分類装置を示す図である。
【図3】コンピュータの構成を示す図である。
【図4】演算部の機能構成を示す図である。
【図5】2次元ヒストグラムを生成して欠陥を分類する処理の流れを示す図である。
【図6】(a)は欠陥画像を示す図であり、(b)は参照画像を示す図であり、(c)は欠陥マスク画像を示す図である。
【図7】(a)はマスク処理後の欠陥画像を示す図であり、(b)はマスク処理後の参照画像を示す図である。
【図8】2次元ヒストグラムを示す図である。
【図9】(a)および(b)は、特徴分布図を示す図である。
【図10】(a)は2次元ヒストグラムを示す図であり、(b)はヒストグラム用マスク画像を示す図であり、(c)はマスク処理後の2次元ヒストグラムを示す図である。
【図11】分類部の構成の他の例を示す図である。
【図12】欠陥を分類する処理の流れを示す図である。
【図13】分類部の構成のさらに他の例を示す図である。
【図14】欠陥を分類する処理の流れを示す図である。
【図15】(a)は2次元ヒストグラムを示す図であり、(b)は分割後の2次元ヒストグラムを示す図である。
【符号の説明】
1 欠陥分類装置
4 コンピュータ
5 演算部
9 基板
51 欠陥領域特定部
52 マスク処理部
53 ヒストグラム生成部
54 分類部
59 記憶部
61,64 欠陥画像
62,65 参照画像
71,72,74,75 2次元ヒストグラム
80 プログラム
81〜89 領域
541 評価値算出部
542 欠陥種別特定部
543 ヒストグラム分割部
544 特徴量算出部
545 判定器
546 判定器構築部
611 欠陥
631,641,651 欠陥領域
761 部分ヒストグラム
S11〜S16,S21,S22,S31〜S33 ステップ

Claims (8)

  1. 基板上の欠陥を分類する欠陥分類装置であって、
    基板上の欠陥を示す多階調の欠陥画像の画素値および予め準備された多階調の参照画像の画素値をパラメータとする2次元空間において、前記欠陥画像の画素の値と前記参照画像の対応する画素の値との組み合わせの頻度を示す2次元ヒストグラムを生成するヒストグラム生成部と、
    前記2次元ヒストグラムに基づいて前記欠陥を分類する分類部と、
    を備えることを特徴とする欠陥分類装置。
  2. 請求項1に記載の欠陥分類装置であって、
    前記欠陥画像と前記参照画像とを比較することにより欠陥領域を特定する欠陥領域特定部と、
    前記欠陥画像と前記参照画像とに対して前記欠陥領域以外を所定の画素値とするマスク処理を行うマスク処理部と、
    をさらに備え、
    前記ヒストグラム生成部が、マスク処理後の欠陥画像および参照画像に基づいて前記2次元ヒストグラムを生成することを特徴とする欠陥分類装置。
  3. 請求項1に記載の欠陥分類装置であって、
    前記分類部が、前記2次元空間において、前記欠陥画像の画素値と前記参照画像の画素値とがおよそ等しくなる領域以外の領域に基づいて前記欠陥を分類することを特徴とする欠陥分類装置。
  4. 請求項1ないし3のいずれかに記載の欠陥分類装置であって、
    前記分類部において、前記2次元空間内の複数の領域のそれぞれと欠陥の種別とが対応付けられていることを特徴とする欠陥分類装置。
  5. 請求項1ないし3のいずれかに記載の欠陥分類装置であって、
    前記分類部が、
    予め準備された複数の欠陥種別のそれぞれに対応する2次元ヒストグラムと、前記ヒストグラム生成部にて生成された前記2次元ヒストグラムとの類似の度合いを示す評価値を算出する評価値算出部と、
    前記評価値に基づいて、前記欠陥の種別を特定する欠陥種別特定部と、
    を有することを特徴とする欠陥分類装置。
  6. 請求項1ないし3のいずれかに記載の欠陥分類装置であって、
    前記分類部が、
    前記2次元ヒストグラムを複数の部分ヒストグラムに分割するヒストグラム分割部と、
    前記複数の部分ヒストグラムのそれぞれにおいて、頻度に関する特徴量を算出する特徴量算出部と、
    前記特徴量を用いて学習を行うことにより、入力される特徴量に応じて分類結果を出力する判定器を構築する判定器構築部と、
    を有することを特徴とする欠陥分類装置。
  7. 基板上の欠陥を分類する欠陥分類方法であって、
    基板上の欠陥を示す多階調の欠陥画像の画素値および予め準備された多階調の参照画像の画素値をパラメータとする2次元空間において、前記欠陥画像の画素の値と前記参照画像の対応する画素の値との組み合わせの頻度を示す2次元ヒストグラムを生成する工程と、
    前記2次元ヒストグラムに基づいて前記欠陥を分類する工程と、
    を有することを特徴とする欠陥分類方法。
  8. 基板上の欠陥の分類に利用されるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
    基板上の欠陥を示す多階調の欠陥画像の画素値および予め準備された多階調の参照画像の画素値をパラメータとする2次元空間において、前記欠陥画像の画素の値と前記参照画像の対応する画素の値との組み合わせの頻度を示す2次元ヒストグラムを生成する工程と、
    前記2次元ヒストグラムに基づいて前記欠陥を分類する工程と、
    を実行させることを特徴とするプログラム。
JP2003084456A 2003-03-26 2003-03-26 欠陥分類装置、欠陥分類方法およびプログラム Pending JP2004296592A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003084456A JP2004296592A (ja) 2003-03-26 2003-03-26 欠陥分類装置、欠陥分類方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003084456A JP2004296592A (ja) 2003-03-26 2003-03-26 欠陥分類装置、欠陥分類方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2004296592A true JP2004296592A (ja) 2004-10-21

Family

ID=33399623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003084456A Pending JP2004296592A (ja) 2003-03-26 2003-03-26 欠陥分類装置、欠陥分類方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2004296592A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071586A (ja) * 2005-09-05 2007-03-22 Tokyo Seimitsu Co Ltd 画像欠陥検査装置、画像欠陥検査システム、欠陥分類装置及び画像欠陥検査方法
JP2007257610A (ja) * 2006-02-24 2007-10-04 National Institute Of Advanced Industrial & Technology 2次元濃度ヒストグラムを用いた変化抽出方法、システム、及びプログラム
JP2008268560A (ja) * 2007-04-20 2008-11-06 Hitachi High-Technologies Corp ホットスポット絞り込み装置、ホットスポット絞り込み方法、ホットスポット絞り込みプログラム、ホットスポット検査装置、および、ホットスポット検査方法
JP2009516832A (ja) * 2005-11-18 2009-04-23 ケーエルエー−テンカー テクノロジィース コーポレイション 検査データと組み合わせて設計データを使用するための方法及びシステム
KR101681947B1 (ko) * 2016-05-27 2016-12-12 주식회사 에이치비테크놀러지 Tft기판의 결점 분류 방법 및 장치
JP2018205292A (ja) * 2017-06-05 2018-12-27 瀏陽 宋 時間領域・周波数領域のヒストグラムの特徴解析による状態識別法
JP2019009416A (ja) * 2017-06-28 2019-01-17 東京エレクトロン株式会社 熱処理装置、熱処理装置の管理方法及び記憶媒体
KR20210138122A (ko) * 2019-04-09 2021-11-18 케이엘에이 코포레이션 확률적 레티클 결함 처리
CN113763346A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学(威海) 基于双目视觉的立面作业效果与表面缺陷检测方法
JP2022033206A (ja) * 2017-06-28 2022-02-28 東京エレクトロン株式会社 熱処理装置、熱処理装置の管理方法及び記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001077165A (ja) * 1999-09-06 2001-03-23 Hitachi Ltd 欠陥検査方法及びその装置並びに欠陥解析方法及びその装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001077165A (ja) * 1999-09-06 2001-03-23 Hitachi Ltd 欠陥検査方法及びその装置並びに欠陥解析方法及びその装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071586A (ja) * 2005-09-05 2007-03-22 Tokyo Seimitsu Co Ltd 画像欠陥検査装置、画像欠陥検査システム、欠陥分類装置及び画像欠陥検査方法
JP2009516832A (ja) * 2005-11-18 2009-04-23 ケーエルエー−テンカー テクノロジィース コーポレイション 検査データと組み合わせて設計データを使用するための方法及びシステム
JP2007257610A (ja) * 2006-02-24 2007-10-04 National Institute Of Advanced Industrial & Technology 2次元濃度ヒストグラムを用いた変化抽出方法、システム、及びプログラム
JP2008268560A (ja) * 2007-04-20 2008-11-06 Hitachi High-Technologies Corp ホットスポット絞り込み装置、ホットスポット絞り込み方法、ホットスポット絞り込みプログラム、ホットスポット検査装置、および、ホットスポット検査方法
KR101681947B1 (ko) * 2016-05-27 2016-12-12 주식회사 에이치비테크놀러지 Tft기판의 결점 분류 방법 및 장치
JP2018205292A (ja) * 2017-06-05 2018-12-27 瀏陽 宋 時間領域・周波数領域のヒストグラムの特徴解析による状態識別法
JP7238955B2 (ja) 2017-06-28 2023-03-14 東京エレクトロン株式会社 熱処置装置の状態監視装置、熱処理装置の管理方法及び記憶媒体
JP7003759B2 (ja) 2017-06-28 2022-01-21 東京エレクトロン株式会社 熱処理装置、熱処理装置の管理方法及び記憶媒体
JP2022033206A (ja) * 2017-06-28 2022-02-28 東京エレクトロン株式会社 熱処理装置、熱処理装置の管理方法及び記憶媒体
JP2019009416A (ja) * 2017-06-28 2019-01-17 東京エレクトロン株式会社 熱処理装置、熱処理装置の管理方法及び記憶媒体
KR20210138122A (ko) * 2019-04-09 2021-11-18 케이엘에이 코포레이션 확률적 레티클 결함 처리
JP2022526625A (ja) * 2019-04-09 2022-05-25 ケーエルエー コーポレイション 確率的レチクル欠陥処理
JP7369788B2 (ja) 2019-04-09 2023-10-26 ケーエルエー コーポレイション 確率的レチクル欠陥処理
KR102616536B1 (ko) 2019-04-09 2023-12-20 케이엘에이 코포레이션 확률적 레티클 결함 처리
CN113763346A (zh) * 2021-08-31 2021-12-07 哈尔滨工业大学(威海) 基于双目视觉的立面作业效果与表面缺陷检测方法
CN113763346B (zh) * 2021-08-31 2023-12-01 哈尔滨工业大学(威海) 基于双目视觉的立面作业效果与表面缺陷检测方法

Similar Documents

Publication Publication Date Title
CN115082683B (zh) 一种基于图像处理的注塑缺陷检测方法
JP4155496B2 (ja) 分類支援装置、分類装置およびプログラム
US11017259B2 (en) Defect inspection method, defect inspection device and defect inspection system
CN105894036B (zh) 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法
JP4095860B2 (ja) 欠陥検査方法及びその装置
JP4172761B2 (ja) 欠陥検査装置、欠陥検査方法およびプログラム
EP3176751B1 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
US11313806B2 (en) Defect inspection method and defect inspection device
KR20090066212A (ko) 결함 검출 방법 및 결함 검출 장치
JP6059486B2 (ja) 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法
Ardhy et al. Development of SBC based machine-vision system for PCB board assembly automatic optical inspection
JP2014178229A (ja) 教師データ作成方法、画像分類方法および画像分類装置
JP2006098151A (ja) パターン検査装置およびパターン検査方法
JP2004012360A (ja) パターン検査装置、パターン検査方法およびプログラム
JP2006098152A (ja) 欠陥検出装置および欠陥検出方法
JP7170605B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
Ma Defect detection and recognition of bare PCB based on computer vision
JP2013134666A (ja) 二値画像生成装置、分類装置、二値画像生成方法および分類方法
JP2016181098A (ja) 領域検出装置および領域検出方法
JP2004296592A (ja) 欠陥分類装置、欠陥分類方法およびプログラム
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
JP4059429B2 (ja) 分類装置、歩留管理システム、分類方法、基板製造方法およびプログラム
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
CN113016023B (zh) 信息处理方法以及计算机可读的非暂时性记录介质
TWI498830B (zh) 不均勻光線下的車牌辨識方法及系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070704

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070919