JP4791114B2 - Mark detection device - Google Patents
Mark detection device Download PDFInfo
- Publication number
- JP4791114B2 JP4791114B2 JP2005266605A JP2005266605A JP4791114B2 JP 4791114 B2 JP4791114 B2 JP 4791114B2 JP 2005266605 A JP2005266605 A JP 2005266605A JP 2005266605 A JP2005266605 A JP 2005266605A JP 4791114 B2 JP4791114 B2 JP 4791114B2
- Authority
- JP
- Japan
- Prior art keywords
- registered
- image
- mark
- fourier
- pattern data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 16
- 238000007689 inspection Methods 0.000 claims description 115
- 230000001629 suppression Effects 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 32
- 239000002131 composite material Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 235000012431 wafers Nutrition 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Exposure And Positioning Against Photoresist Photosensitive Materials (AREA)
- Exposure Of Semiconductors, Excluding Electron Or Ion Beam Exposure (AREA)
Description
この発明は、半導体ウェハやガラス基板などの検査対象に付された位置決め用のマークなどを検知するマーク検知装置に関するものである。 The present invention relates to a mark detection device that detects a positioning mark or the like attached to an inspection object such as a semiconductor wafer or a glass substrate.
本出願人は、先に、空間周波数特性に基づいて指紋などのパターンの照合を行うパターン照合装置を提案した(例えば、特許文献1参照)。このパターン照合装置では、照合画像にフーリエ変換を施して照合フーリエパターンデータを作成する。そして、この照合フーリエパターンデータと同様の処理を施して作成されている登録画像の登録フーリエパターンデータとを合成し、この合成フーリエパターンデータに対して振幅抑制処理(log処理)を行ったうえ、フーリエ変換を施して相関データとする。 The present applicant has previously proposed a pattern matching apparatus for matching patterns such as fingerprints based on spatial frequency characteristics (see, for example, Patent Document 1). In this pattern matching device, the matching image is subjected to Fourier transform to generate matching Fourier pattern data. Then, the registered Fourier pattern data of the registered image created by performing the same processing as the matching Fourier pattern data is synthesized, and after performing amplitude suppression processing (log processing) on the synthesized Fourier pattern data, Perform Fourier transform to obtain correlation data.
この相関データは、周波数空間における振幅が抑制されたデータを元に作成されるものの、基本的には照合画像と登録画像とを畳み込んだデータと考えることができ、照合画像と登録画像との相関を表すものである。この相関データ上に定められた所定の相関成分エリアの個々の画素毎の相関成分の強度に基づいて、登録画像と照合画像とを照合する。この照合アルゴリズムを振幅抑制相関法と呼んでいる。 Although this correlation data is created based on data in which the amplitude in the frequency space is suppressed, it can be considered as data obtained by convolving the collation image and the registration image. It represents a correlation. The registered image and the collation image are collated based on the intensity of the correlation component for each pixel in the predetermined correlation component area determined on the correlation data. This matching algorithm is called amplitude suppression correlation method.
このパターン照合装置において、振幅抑制相関法の1形態として、全ての振幅情報を1にする位相限定相関法(Phase-Only Correlation:POC)がある。この位相限定相関法は、フーリエ変換データのうち振幅情報は不要で、かつ、照合パターンの種類に拘わらず同じアルゴリズムが適用でき、しかも登録時/照合時の照度差や位置ずれが生じても照合精度に影響を受け難く、他の照合アルゴリズムよりも高い照合精度を誇るという長所を持つ。 In this pattern matching apparatus, there is a phase-only correlation (POC) method in which all amplitude information is set to 1 as one form of the amplitude suppression correlation method. This phase-only correlation method does not require amplitude information in the Fourier transform data, and the same algorithm can be applied regardless of the type of collation pattern, and even if an illuminance difference or misalignment occurs during registration / verification It has the advantage that it is less affected by accuracy and boasts higher collation accuracy than other collation algorithms.
このパターン照合装置は、例えば、半導体や液晶の製造工程において、半導体ウェハやガラス基板などの自動位置決めを行うために使用されている。この場合、半導体ウェハやガラス基板などの検査対象に、刻印したり、印刷するなどして、位置決め用のマークを検査マークとして付しておく。この検査対象に付された検査マークを所定の位置で撮像し、この撮像した検査マークを含む照合画像(「検査マーク」+「背景」)と予め登録されている検査マークを含む登録画像(「登録検査マーク」+「背景」)とを位相限定相関法を用いて照合する。この照合結果に基づいて、検査対象に付された検査マークを検知し、この検査マークの位置ずれが零となるように、検査対象の位置を調整する。 This pattern matching device is used, for example, for automatic positioning of a semiconductor wafer, a glass substrate or the like in a semiconductor or liquid crystal manufacturing process. In this case, a positioning mark is added as an inspection mark by marking or printing on an inspection target such as a semiconductor wafer or a glass substrate. The inspection mark attached to the inspection object is imaged at a predetermined position, and a collation image (“inspection mark” + “background”) including the imaged inspection mark and a registered image including an inspection mark registered in advance (“ The registered inspection mark "+" background ") is collated using the phase only correlation method. Based on the collation result, the inspection mark attached to the inspection target is detected, and the position of the inspection target is adjusted so that the positional deviation of the inspection mark becomes zero.
なお、検査対象に付された検査マークの位置ずれは、相関成分エリアの個々の画素毎の相関成分の強度のうち、その強度が最も高い相関ピークの位置に基づいて検知する。また、登録画像は、検査対象に付された検査マークを撮像し、この撮像した検査マークを含む登録対象画像を登録画像として取り込んで登録する。 Note that the displacement of the inspection mark attached to the inspection object is detected based on the position of the correlation peak having the highest intensity among the intensity of the correlation component for each pixel in the correlation component area. The registered image captures and registers the registration target image including the captured inspection mark as a registered image by capturing the inspection mark attached to the inspection target.
しかしながら、検査マークの登録の際に、このマークやその周囲に既に汚れや画像上ノイズになるものが付着していることがしばしばある。一般的に、検査マークは、単純な幾何学形状(十字形、星形、多角形など)であることが多い。検査マークのような単純な図形では、フーリエ変換したときの振幅(エネルギー)が特定の周波数成分に偏る。このため、検査マークは、独特な周波数特性を持ったものが使われると言える。 However, at the time of registering an inspection mark, there are often cases in which this mark and its surroundings already have dirt or image noise. In general, inspection marks are often simple geometric shapes (cross, star, polygon, etc.). In a simple figure such as an inspection mark, the amplitude (energy) when Fourier transformed is biased to a specific frequency component. For this reason, it can be said that an inspection mark having a unique frequency characteristic is used.
一方、ノイズは一般に広い範囲の周波数成分を持つので、検査マークを含む画像にノイズが重畳されると、フーリエ変換後の画像中、振幅の小さな周波数成分ではノイズにより位相が乱れる。単純な図形では振幅の小さい周波数の方が多数を占める。 On the other hand, since noise generally has a wide range of frequency components, when noise is superimposed on an image including an inspection mark, the phase is disturbed by the noise in the frequency component having a small amplitude in the image after Fourier transform. In simple figures, the frequency with the smaller amplitude occupies the majority.
このため、例えば登録画像にノイズが重畳されていた場合、フーリエ変換された登録画像とフーリエ変換された照合画像とを合成して得られる合成フーリエ画像において、振幅の小さな周波数成分でのノイズによる位相の乱れが大きくなる。 For this reason, for example, when noise is superimposed on a registered image, the phase due to noise in a frequency component with a small amplitude in a synthesized Fourier image obtained by synthesizing a Fourier-transformed registered image and a Fourier-transformed verification image Disturbance increases.
位相限定相関法では、この合成フーリエ画像に対し、全ての周波数の振幅を1とした後、フーリエ変換を施して相関データとするので、合成フーリエ画像中のノイズによる位相の乱れが相関データに大きく影響する。これにより、相関ピークが容易に崩れてしまうことになり、位置決めができなくなる虞れが生じ、照合精度も低下する。また、位相の乱れが急激なノイズが多数存在すると、検査マークを認識できず、照合精度を落としてしまう可能性がある。 In the phase-only correlation method, the amplitude of all frequencies is set to 1 for this synthesized Fourier image, and then Fourier transform is performed to obtain correlation data. Therefore, phase disturbance due to noise in the synthesized Fourier image is greatly increased in the correlation data. Affect. As a result, the correlation peak is easily broken, and there is a possibility that positioning cannot be performed, and collation accuracy is also lowered. In addition, if there are a lot of noises whose phase is abruptly disturbed, the inspection mark cannot be recognized and the collation accuracy may be lowered.
本発明は、このような課題を解決するためになされたもので、その目的とするところは、登録対象画像にノイズが混入することが避けられない場合でも、精度よく登録画像と照合画像とを照合し、検査対象上のマークを確実に検知することができるマーク検知装置を提供することにある。 The present invention has been made to solve such a problem, and the object of the present invention is to accurately register a registered image and a collation image even when it is inevitable that noise is mixed in the registration target image. An object of the present invention is to provide a mark detection device that can collate and reliably detect a mark on an inspection object.
このような目的を達成するために、第1発明(請求項1に係る発明)は、検査対象上のマークを撮像し、この撮像したマークを含む照合画像と予め登録されているマークを含む登録画像とを照合し、この照合結果に基づいて検査対象上のマークを検知するマーク検知装置において、登録対象のマークを撮像する手段と、撮像された登録対象のマークを含む画像を登録対象画像として取り込む手段と、登録対象のマークの形状を基本としその形を少しずつ異ならせた登録候補のマークを含むノイズのない複数の理想登録画像候補を保存する手段と、登録対象画像にフーリエ変換を施して照合フーリエパターンデータを作成する照合フーリエパターンデータ作成手段と、複数の理想登録画像候補を順次読み出し、この読み出した理想登録画像候補にフーリエ変換を施して登録フーリエパターンデータを作成し、この作成した登録フーリエパターンデータと照合フーリエパターンデータとを合成し、これによって得られる合成フーリエパターンデータに対して振幅抑制処理を行う一方、登録フーリエパターンデータの振幅成分に比例した係数を求め、この求められた登録フーリエパターンデータの振幅成分に比例した係数を振幅抑制処理された合成フーリエパターンデータの複素成分にそれぞれ掛け、更にフーリエ変換および逆フーリエ変換の何れか一方を施して相関データを作成し、この作成された相関データより得られる相関値が最も高かった理想登録画像候補を登録画像とする手段とを設けたものである。 In order to achieve such an object, the first invention (the invention according to claim 1) images a mark on an inspection object, and includes a collation image including the imaged mark and a preregistered mark. In a mark detection device that collates an image and detects a mark on an inspection object based on the collation result, a means for imaging a registration target mark and an image including the captured registration target mark as a registration target image A means for capturing, a means for storing a plurality of noisy ideal registered image candidates including registration candidate marks whose shape is gradually changed based on the shape of the registration target mark, and a Fourier transform for the registration target image. The verification Fourier pattern data creation means for creating the verification Fourier pattern data and a plurality of ideal registered image candidates are sequentially read out, and the read out ideal registered image candidates The registered Fourier pattern data is created by performing Fourier transform, the created registered Fourier pattern data and the matching Fourier pattern data are synthesized, and the synthesized Fourier pattern data obtained thereby is subjected to amplitude suppression processing, while the registered Fourier pattern data A coefficient proportional to the amplitude component of the pattern data is obtained, the coefficient proportional to the obtained amplitude component of the registered Fourier pattern data is multiplied by the complex component of the synthesized Fourier pattern data subjected to the amplitude suppression process, and further Fourier transform and inverse Fourier are obtained. Correlation data is generated by performing any one of the conversions, and means for setting an ideal registered image candidate having the highest correlation value obtained from the generated correlation data as a registered image is provided.
また、第2発明(請求項2に係る発明)は、検査対象上のマークを撮像し、この撮像したマークを含む照合画像と予め登録されているマークを含む登録画像とを照合し、この照合結果に基づいて検査対象上のマークを検知するマーク検知装置において、登録対象のマークを撮像する手段と、撮像された登録対象のマークを含む画像を登録対象画像として取り込む手段と、登録対象のマークの形状を基本としその形を少しずつ異ならせた登録候補のマークを含むノイズのない複数の理想登録画像候補を保存する手段と、登録対象画像にフーリエ変換を施し、これによって得られる照合フーリエパターンデータに対して振幅抑制処理を行い、振幅抑制処理された照合フーリエパターンデータを作成する照合フーリエパターンデータ作成手段と、複数の理想登録画像候補を順次読み出し、この読み出した理想登録画像候補にフーリエ変換を施し、これによって得られる登録フーリエパターンデータに対して振幅抑制処理を行い、この振幅抑制処理された登録フーリエパターンデータと振幅抑制処理された照合フーリエパターンデータとを合成し合成フーリエパターンデータを作成する一方、振幅抑制処理される前の登録フーリエパターンデータの振幅成分に比例した係数を求め、この求められた振幅抑制処理される前の登録フーリエパターンデータの振幅成分に比例した係数を合成フーリエパターンデータの複素成分にそれぞれ掛け、更にフーリエ変換および逆フーリエ変換の何れか一方を施して相関データを作成し、この作成された相関データより得られる相関値が最も高かった理想登録画像候補を登録画像とする手段とを設けたものである。In the second invention (the invention according to claim 2), a mark on the inspection object is imaged, a collation image including the imaged mark is collated with a registered image including a pre-registered mark, and the collation is performed. In a mark detection device that detects a mark on an inspection target based on a result, a means for imaging a registration target mark, a means for capturing an image including the captured registration target mark as a registration target image, and a registration target mark A method for storing a plurality of noise-free ideal registered image candidates including registration candidate marks whose shapes are slightly different from each other, and a matching Fourier pattern obtained by performing a Fourier transform on the registration target image A matching Fourier pattern data creating means for performing amplitude suppression processing on the data and creating matching Fourier pattern data subjected to amplitude suppression processing; The ideal registered image candidates are sequentially read out, Fourier transformation is performed on the read ideal registered image candidates, amplitude suppression processing is performed on the registered Fourier pattern data obtained thereby, and the amplitude suppression processed registration Fourier pattern data and The composite Fourier pattern data is created by combining the amplitude suppression-processed matching Fourier pattern data, and a coefficient proportional to the amplitude component of the registered Fourier pattern data before the amplitude suppression process is obtained, and the obtained amplitude suppression process The correlation data is created by multiplying the complex component of the synthesized Fourier pattern data by a coefficient proportional to the amplitude component of the registered Fourier pattern data before being applied, and applying either Fourier transform or inverse Fourier transform. The ideal correlation with the highest correlation value obtained from the correlation data It is provided with a means for an image candidate and the registered image.
本発明によれば、理想登録画像候補中のマークの特徴的な周波数特性部分ほど位相エネルギーが強調され、登録対象画像に含まれるノイズにより生じる影響が相対的に小さくなり、登録対象画像にノイズが多少混入していても、精度よく登録対象画像と理想登録画像候補とを照合することが可能となる。 According to the present invention, the phase energy is enhanced in the characteristic frequency characteristic portion of the mark in the ideal registration image candidate, the influence caused by the noise included in the registration target image is relatively reduced, and the noise is present in the registration target image. Even if it is mixed somewhat, it becomes possible to collate the registration target image with the ideal registered image candidate with high accuracy.
この発明によれば、撮像された登録対象画像(登録対象のマークを含む画像)と複数の理想登録画像候補(登録対象のマーク形状を基本としその形が少しずつ異なる登録候補のマークを含むノイズのない画像)とを個々に後述するACPOC方式により照合し、最も相関値の高かった理想登録画像候補を登録画像とするようにしたので、登録対象のマークに最もその形状が一致する登録候補のマークを含むノイズのない理想登録画像候補が登録画像とされ、登録対象画像にノイズが混入することが避けられない場合でも、精度よく登録画像と照合画像とを照合し、検査対象上のマークを確実に検知することができるようになる。 According to the present invention, the captured registration target image (image including the registration target mark) and a plurality of ideal registration image candidates (based on the registration target mark shape and the noise including registration candidate marks slightly different in shape) Image), and the ideal registered image candidate having the highest correlation value is used as the registered image. Therefore, the registered candidate whose shape most closely matches the mark to be registered is selected. Even if it is unavoidable that noise-containing ideal registered image candidates that contain marks are registered images, and it is inevitable that noise will be mixed in the registration target image, the registered image and the verification image will be checked accurately, and the mark on the inspection target will be It becomes possible to detect reliably.
以下、本発明を図面に基づいて詳細に説明する。図1はこの発明の一実施の形態を示すマーク検知装置のブロック構成図である。同図において、1はカメラ(CCDカメラ)、2は照合部である。照合部2は、CPU2−1と、ROM2−2と、RAM2−3と、ハードディスク(HD)2−4と、フレームメモリ(FM)2−5と、外部接続部(I/F)2−6とを備えており、ROM2−2には本実施の形態特有のプログラムとして登録プログラムと照合プログラムが格納されている。 Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram of a mark detection apparatus showing an embodiment of the present invention. In the figure, 1 is a camera (CCD camera) and 2 is a collation unit. The collation unit 2 includes a CPU 2-1, a ROM 2-2, a RAM 2-3, a hard disk (HD) 2-4, a frame memory (FM) 2-5, and an external connection unit (I / F) 2-6. The ROM 2-2 stores a registration program and a verification program as programs unique to the present embodiment.
なお、このマーク検知装置は、半導体ウェハやガラス基板などの検査対象の位置決め用として用いられる。また、このマーク検知装置では、位置決め用の検査マークとして、十字形の検査マークMが用いられる。また、ハードディスク2−4には、検査マークMの形状を基本とし、その形を少しずつ異ならせた登録候補の検査マークを含むノイズのない複数の理想登録画像候補が格納されている。 The mark detection device is used for positioning an inspection object such as a semiconductor wafer or a glass substrate. In this mark detection apparatus, a cross-shaped inspection mark M is used as an inspection mark for positioning. In addition, the hard disk 2-4 stores a plurality of ideal registered image candidates without noise including the inspection marks of registration candidates whose shape is slightly changed based on the shape of the inspection mark M.
本実施の形態では、検査マークMの形状パラメータを線幅W、十字の突起部の長さLとし、この形状パラメータWおよびLの値を少しずつ変えた登録候補の検査マークM1〜Mn(図2(a)参照)を作成し、この登録候補の検査マークM1〜Mnを含むノイズのない画像(「マーク」+「背景」)を理想登録画像候補G1〜Gnとしてその画像データをハードディスク2−4に格納している。なお、登録候補の検査マークM1〜Mnには、検査マークMとその線幅Wおよび十字の突起部の長さLが等しい同一形状のものも含まれていることは言うまでもない。 In the present embodiment, the shape parameters of the inspection mark M are the line width W and the length L of the cross-shaped projection, and the values of the shape parameters W and L are changed little by little. 2 (a)), and the noise-free images (“marks” + “background”) including the inspection marks M1 to Mn of the registration candidates are used as the ideal registration image candidates G1 to Gn, and the image data is stored on the hard disk 2- 4 is stored. It goes without saying that the registration candidate inspection marks M1 to Mn include those having the same shape in which the inspection mark M and its line width W and the length L of the cross-shaped projection are equal.
以下、合成した後に振幅抑制処理を行う方式を実施の形態1とし、合成する前に振幅抑制処理を行う方式を実施の形態2とし、これら実施の形態1,2における検査マークの登録および検査マークの照合について説明する。 Hereinafter, a method for performing amplitude suppression processing after combining is referred to as Embodiment 1, a method for performing amplitude suppression processing before combining is referred to as Embodiment 2, and registration of inspection marks and inspection marks in Embodiments 1 and 2 are described. Will be described.
〔実施の形態1:合成した後に振幅抑制処理を行う方式〕
〔検査マークの登録〕
実施の形態1では、次のようにして検査マークの登録を行う。先ず、カメラ1で、検査対象上の検査マークM(登録対象の検査マークM0)を撮像し(図3:ステップ101)、登録対象の検査マークM0を含む登録対象画像G0(図4(a)参照)を得る。この登録対象画像G0は照合部2へ送られる。
[Embodiment 1: Method of performing amplitude suppression processing after combining]
[Registering inspection marks]
In the first embodiment, inspection marks are registered as follows. First, the inspection mark M on the inspection target (inspection mark M0 to be registered) is imaged by the camera 1 (FIG. 3: step 101), and the registration target image G0 including the registration target inspection mark M0 (FIG. 4A). Browse). This registration target image G0 is sent to the collation unit 2.
照合部2のCPU2−1は、カメラ1からの登録対象画像G0をフレームメモリ2−5を介して取り込み(ステップ102)、登録対象画像G0の画像データに2次元離散的フーリエ変換(DFT)を施す(ステップ103)。これにより、登録対象画像G0の画像データは、フーリエ画像データ(照合フーリエパターンデータ)F0とされる(図4(b)参照)。なお、2次元離散的フーリエ変換については、例えば非特許文献1等に説明されている。 The CPU 2-1 of the verification unit 2 captures the registration target image G0 from the camera 1 via the frame memory 2-5 (step 102), and performs a two-dimensional discrete Fourier transform (DFT) on the image data of the registration target image G0. (Step 103). Thereby, the image data of the registration target image G0 is set to Fourier image data (collation Fourier pattern data) F0 (see FIG. 4B). Note that the two-dimensional discrete Fourier transform is described in Non-Patent Document 1, for example.
次に、CPU2−1は、i=1とし(ステップ104)、ハードディスク2−4からi=1番目の理想登録画像候補G1を読み出し(ステップ105)、この理想登録画像候補G1の画像データに2次元離散的フーリエ変換を施す(ステップ106)。これにより、理想登録画像候補G1の画像データは、フーリエ画像データ(登録フーリエパターンデータ)F1とされる(図4(c),(d)参照)。 Next, the CPU 2-1 sets i = 1 (step 104), reads the i = 1st ideal registered image candidate G1 from the hard disk 2-4 (step 105), and adds 2 to the image data of the ideal registered image candidate G1. A dimensional discrete Fourier transform is performed (step 106). Thereby, the image data of the ideal registered image candidate G1 is set to Fourier image data (registered Fourier pattern data) F1 (see FIGS. 4C and 4D).
そして、CPU2−1は、ステップ103で得た登録対象画像G0のフーリエ画像データF0とステップ106で得た理想登録画像候補G1のフーリエ画像データF1とを合成し、合成フーリエ画像データ(合成フーリエパターンデータ)F01を得る(ステップ107:図4(e)参照)。 Then, the CPU 2-1 synthesizes the Fourier image data F0 of the registration target image G0 obtained in step 103 and the Fourier image data F1 of the ideal registered image candidate G1 obtained in step 106, and produces synthesized Fourier image data (synthesized Fourier pattern). Data) F01 is obtained (step 107: see FIG. 4E).
本実施の形態において、合成フーリエ画像データF01は、登録対象画像G0のフーリエ画像データF0をA・exp(jθ)とし、理想登録画像候補G1のフーリエ画像データF1をB・exp(jφ)とした場合、登録対象画像G0のフーリエ画像データF0に理想登録画像候補G1のフーリエ画像データF1の複素共役を乗じることによって得られるA・B・exp(j(θ−φ))で表される。但し、A,B,θ,φとも空間周波数(フーリエ)空間(u,v)の関数とする。 In the present embodiment, the synthesized Fourier image data F01 is A · exp (jθ) for the Fourier image data F0 of the registration target image G0 and B · exp (jφ) for the Fourier image data F1 of the ideal registered image candidate G1. In this case, it is expressed by A · B · exp (j (θ−φ)) obtained by multiplying the Fourier image data F0 of the registration target image G0 by the complex conjugate of the Fourier image data F1 of the ideal registered image candidate G1. However, A, B, θ, and φ are functions of the spatial frequency (Fourier) space (u, v).
そして、A・B・exp(j(θ−φ))は、
A・B・exp(j(θ−φ))=A・B・cos(θ−φ)+j・A・B・sin(θ−φ) ・・・(1)
として表され、A・exp(jθ)=α1 +jβ1 、B・exp(jφ)=α2 +jβ2 とすると、A=(α1 2+β1 2)1/2,B=(α2 2+β2 2)1/2,θ=tan-1(β1 /α1 ),φ=tan-1(β2 /α2 )となる。この(1)式を計算することにより合成フーリエ画像データを得る。
And A · B · exp (j (θ−φ)) is
A · B · exp (j (θ−φ)) = A · B · cos (θ−φ) + j · A · B · sin (θ−φ) (1)
As A · exp (jθ) = α 1 + jβ 1 and B · exp (jφ) = α 2 + jβ 2 , A = (α 1 2 + β 1 2 ) 1/2 , B = (α 2 2 + Β 2 2 ) 1/2 , θ = tan −1 (β 1 / α 1 ), φ = tan −1 (β 2 / α 2 ). By calculating the equation (1), synthesized Fourier image data is obtained.
なお、A・B・exp(j(θ−φ))=A・B・exp(jθ)・exp(−jφ)=A・exp(jθ)・B・exp(−jφ)=(α1 +jβ1 )・(α2 −jβ2 )=(α1 ・α2 +β1 ・β2 )+j(α2 ・β1 −α1 ・β2 )として、合成フーリエ画像データを求めるようにしてもよい。 A · B · exp (j (θ−φ)) = A · B · exp (jθ) · exp (−jφ) = A · exp (jθ) · B · exp (−jφ) = (α 1 + jβ 1 ) · (α 2 −jβ 2 ) = (α 1 · α 2 + β 1 · β 2 ) + j (α 2 · β 1 −α 1 · β 2 ) .
そして、CPU2−1は、このようにして得た合成フーリエ画像データF01に対し、振幅抑制処理を行う(ステップ108)。これは、各画素値のうち(1)式の振幅A・Bの大きさの違いによるばらつきを抑えるためのもので、この実施の形態では、振幅抑制処理として、全ての振幅を1とする。すなわち、前述した合成フーリエ画像データの演算式であるA・B・exp(j(θ−φ))の振幅A・Bを全て1とし、位相のみとする。 Then, the CPU 2-1 performs amplitude suppression processing on the synthesized Fourier image data F01 obtained in this way (step 108). This is to suppress variation due to the difference in the amplitudes A and B in the expression (1) among the pixel values. In this embodiment, all amplitudes are set to 1 as the amplitude suppression processing. That is, the amplitudes A and B of A · B · exp (j (θ−φ)), which are the arithmetic expressions of the synthesized Fourier image data described above, are all set to 1 and only the phase.
なお、振幅抑制処理として、A・B・exp(j(θ−φ))の振幅A・Bのlogをとり、log(A・B)・exp(j(θ−φ))とすることにより、振幅であるA・Bをlog(A・B)に抑制するようにしてもよい(A・B>log(A・B))。また、√処理を行うようにしてもよく、log処理や√処理に限らず、振幅を抑制することができればどのような処理でもよい。振幅抑制処理で全ての振幅を1にすると、log処理や√処理等に比べ、計算量を減らすことができるという利点とデータが少なくなるという利点がある。 As the amplitude suppression processing, the log of the amplitude A · B of A · B · exp (j (θ−φ)) is taken to be log (A · B) · exp (j (θ−φ)). The amplitude A · B may be suppressed to log (A · B) (A · B> log (A · B)). Further, the √ process may be performed, and the process is not limited to the log process and the √ process, and any process may be performed as long as the amplitude can be suppressed. When all the amplitudes are set to 1 in the amplitude suppression process, there are an advantage that the calculation amount can be reduced and data are reduced as compared with the log process and the √ process.
CPU2−1は、ステップ108で振幅抑制処理を行った後、その振幅抑制処理された合成フーリエ画像データF01r(図4(f)参照)の複素数成分に、ステップ106で得た理想登録画像候補G1のフーリエ画像データF1の振幅成分に比例した係数(空間周波数強度に応じた重み)をそれぞれ掛けてF01r′とし(ステップ109:図4(g))、このF01r′にもう一度、2次元離散的フーリエ変換(DFT)を施す(ステップ110)。これにより、登録対象画像G0と理想登録画像候補G1との相関を表す相関データD01(図4(h)参照)が得られる。 After performing the amplitude suppression process in step 108, the CPU 2-1 adds the ideal registered image candidate G1 obtained in step 106 to the complex number component of the synthesized Fourier image data F01r (see FIG. 4F) subjected to the amplitude suppression process. F01r ′ is multiplied by a coefficient proportional to the amplitude component of the Fourier image data F1 (weight according to the spatial frequency intensity) to obtain F01r ′ (step 109: FIG. 4 (g)). Conversion (DFT) is performed (step 110). Thereby, correlation data D01 (see FIG. 4 (h)) representing the correlation between the registration target image G0 and the ideal registration image candidate G1 is obtained.
次に、CPU2−1は、ステップ110で得た相関データD01上に定められる所定の相関成分エリアS01の各画素の強度(振幅)をスキャンし、登録対象画像G0と理想登録画像候補G1との各画素の相関成分の強度のヒストグラムを求め、このヒストグラムより相関成分の強度が最も高い上位n画素を抽出し、この抽出したn画素の相関成分の平均を登録対象画像G0と理想登録画像候補G1との相関値として求める(ステップ111)。 Next, the CPU 2-1 scans the intensity (amplitude) of each pixel in the predetermined correlation component area S01 defined on the correlation data D01 obtained in step 110, and registers the registration target image G0 and the ideal registration image candidate G1. A histogram of the intensity of the correlation component of each pixel is obtained, the top n pixels having the highest correlation component intensity are extracted from the histogram, and the average of the extracted correlation components of the n pixels is registered as the registration target image G0 and the ideal registered image candidate G1. (Step 111).
以下同様にして、ステップ105〜113を繰り返すことにより、理想登録画像候補G2〜Gnと登録対象画像G0との照合を行い(以下、この照合方式をACPOCと呼ぶ)、登録対象画像G0と理想登録画像候補G2〜Gnとの相関値を求める。 In the same manner, by repeating steps 105 to 113, the ideal registration image candidates G2 to Gn and the registration target image G0 are collated (hereinafter, this collation method is referred to as ACPOC), and the registration target image G0 and the ideal registration are registered. Correlation values with image candidates G2 to Gn are obtained.
このACPOCによる理想登録画像候補Giと登録対象画像G0との照合では、振幅抑制処理された合成フーリエ画像データF0irの複素数成分に理想登録画像候補Giのフーリエ画像データFiの振幅成分に比例した係数をそれぞれ掛けることにより、理想登録画像候補Giに含まれている登録候補の検査マークMiの特徴的な周波数特性部分ほど位相エネルギーが強調され、登録対象画像G0に含まれるノイズにより生じる影響が相対的に小さくなる。 In the comparison between the ideal registered image candidate Gi and the registration target image G0 by this ACPOC, a coefficient proportional to the amplitude component of the Fourier image data Fi of the ideal registered image candidate Gi is added to the complex number component of the synthesized Fourier image data F0ir subjected to the amplitude suppression process. By multiplying each, the phase energy is emphasized in the characteristic frequency characteristic portion of the registration candidate inspection mark Mi included in the ideal registered image candidate Gi, and the influence caused by the noise included in the registration target image G0 is relatively affected. Get smaller.
これにより、登録対象画像G0にノイズが多少混入していても、精度よく登録対象画像G0と理想登録画像候補Giとを照合することができ、登録対象の検査マークM0と登録候補の検査マークMiとの類似度を確実に検知することが可能となる。 Thereby, even if some noise is mixed in the registration target image G0, the registration target image G0 and the ideal registration image candidate Gi can be accurately collated, and the registration target inspection mark M0 and the registration candidate inspection mark Mi. It is possible to reliably detect the degree of similarity.
CPU2−1は、理想登録画像候補G1〜Gnについて登録対象画像G0との相関値を求めた後(ステップ112のYES)、その相関値が最大の理想登録画像候補Gx(図2(b)参照)を登録画像GRとしてその画像データをハードディスク2−4内に登録する(ステップ114)。 The CPU 2-1 obtains a correlation value with the registration target image G0 for the ideal registration image candidates G1 to Gn (YES in step 112), and then the ideal registration image candidate Gx having the maximum correlation value (see FIG. 2B). ) As a registered image GR, the image data is registered in the hard disk 2-4 (step 114).
これにより、登録対象の検査マークM0に最もその形状が一致する登録候補の検査マークMxを含むノイズのない理想登録画像候補Gxが登録画像GRとして登録されるものとなり、登録対象画像G0に含まれるノイズの影響を排除することができるようになる。 As a result, the ideal registration image candidate Gx without noise including the registration candidate inspection mark Mx whose shape most closely matches the inspection mark M0 to be registered is registered as the registration image GR, and is included in the registration target image G0. The influence of noise can be eliminated.
すなわち、登録対象画像G0にノイズが含まれている場合、この登録対象画像G0をそのまま登録画像GRとして登録すると、照合時に入力される照合画像中の検査マークと登録対象画像G0中の検査マークM0とが一致する場合でもノイズの影響で一致せずと誤判断する可能性がある。 That is, when the registration target image G0 includes noise, if the registration target image G0 is registered as it is as the registration image GR, the inspection mark in the verification image input during verification and the inspection mark M0 in the registration target image G0 are registered. Even if and match, there is a possibility of misjudging that they do not match due to the influence of noise.
これに対し、本実施の形態では、登録対象の検査マークM0に最もその形状が一致する登録候補の検査マークMxを含むノイズのない理想登録画像候補Gxが登録画像GRとして登録されるので、登録対象画像G0に含まれるノイズによる誤判断を排除することができるようになる。 On the other hand, in the present embodiment, the ideal registration image candidate Gx without noise including the registration candidate inspection mark Mx whose shape most closely matches the inspection mark M0 to be registered is registered as the registration image GR. An erroneous determination due to noise included in the target image G0 can be eliminated.
〔検査マークの照合〕
実施の形態1では、次のようにして検査マークの照合を行う。先ず、カメラ1で、検査対象上の検査マークM(検出対象の検査マークMC)を撮像し(図5:ステップ201)、検査マークMCを含む照合画像GC(図6(a)参照)を得る。この照合画像GCは照合部2へ送られる。
[Verification of inspection mark]
In the first embodiment, inspection marks are collated as follows. First, an inspection mark M (inspection mark MC to be detected) on the inspection object is imaged by the camera 1 (FIG. 5: step 201), and a collation image GC including the inspection mark MC (see FIG. 6A) is obtained. . This verification image GC is sent to the verification unit 2.
照合部2のCPU2−1は、カメラ1からの照合画像GCをフレームメモリ2−5を介して取り込み(ステップ202)、照合画像GCの画像データに2次元離散的フーリエ変換(DFT)を施す(ステップ203)。これにより、照合画像GCの画像データは、フーリエ画像データ(照合フーリエパターンデータ)FCとされる(図4(b)参照)。 The CPU 2-1 of the verification unit 2 captures the verification image GC from the camera 1 via the frame memory 2-5 (step 202), and performs two-dimensional discrete Fourier transform (DFT) on the image data of the verification image GC ( Step 203). Thereby, the image data of the collation image GC is set to Fourier image data (collation Fourier pattern data) FC (see FIG. 4B).
次に、CPU2−1は、ハードディスク2−4から登録画像GRを読み出し(ステップ204)、登録画像GRの画像データに2次元離散的フーリエ変換(DFT)を施す(ステップ205)。これにより、登録画像GRの画像データは、フーリエ画像データ(登録フーリエパターンデータ)FRとされる(図6(c),(d)参照)。 Next, the CPU 2-1 reads the registered image GR from the hard disk 2-4 (step 204), and performs two-dimensional discrete Fourier transform (DFT) on the image data of the registered image GR (step 205 ). Thereby, the image data of the registered image GR is set to Fourier image data (registered Fourier pattern data) FR (see FIGS. 6C and 6D).
そして、CPU2−1は、ステップ203で得た照合画像GCのフーリエ画像データFCとステップ205で得た登録画像GRのフーリエ画像データFRとを合成し、合成フーリエ画像データ(合成フーリエパターンデータ)FCRを得る(ステップ206:図6(e)参照)。そして、この合成フーリエ画像データFCRに対し、振幅抑制処理を行う(ステップ207)。この実施の形態では、振幅抑制処理として、全ての振幅を1とし、位相のみとする。 Then, the CPU 2-1 synthesizes the Fourier image data FC of the collation image GC obtained in step 203 and the Fourier image data FR of the registered image GR obtained in step 205 to produce synthesized Fourier image data (synthesized Fourier pattern data) FCR. (Step 206: see FIG. 6E). Then, an amplitude suppression process is performed on the synthesized Fourier image data FCR (step 207). In this embodiment, as amplitude suppression processing, all amplitudes are set to 1, and only the phase is set.
CPU2−1は、ステップ207で振幅抑制処理を行った後、その振幅抑制処理された合成フーリエ画像データFCRr(図6(f)参照)の複素数成分に、ステップ205で得た登録画像GRのフーリエ画像データFRの振幅成分に比例した係数(空間周波数強度に応じた重み)をそれぞれ掛けてFCRr′とし(ステップ208:図6(g))、このFCRr′にもう一度、2次元離散的フーリエ変換(DFT)を施す(ステップ209)。これにより、照合画像GCと登録画像GRとの相関を表す相関データDCRが得られる。 After performing the amplitude suppression process in step 207, the CPU 2-1 adds the Fourier of the registered image GR obtained in step 205 to the complex number component of the synthesized Fourier image data FCRr (see FIG. 6F) subjected to the amplitude suppression process. Each coefficient (weight according to the spatial frequency intensity) proportional to the amplitude component of the image data FR is multiplied to be FCRr ′ (step 208: FIG. 6G), and this FCRr ′ is once again subjected to a two-dimensional discrete Fourier transform ( DFT) is performed (step 209). Thereby, correlation data DCR representing the correlation between the collation image GC and the registered image GR is obtained.
次に、CPU2−1は、ステップ209で得た相関データDCR上に定められる所定の相関成分エリアSCRの各画素の強度(振幅)をスキャンし、照合画像GCと登録画像GRとの各画素の相関成分の強度のヒストグラムを求め、このヒストグラムより相関成分の強度が最も高い上位n画素を抽出し、この抽出したn画素の相関成分の平均を照合画像GCと登録画像GRとの相関値として求める(ステップ210)。 Next, the CPU 2-1 scans the intensity (amplitude) of each pixel in the predetermined correlation component area SCR defined on the correlation data DCR obtained in step 209, and calculates the pixel of the verification image GC and the registered image GR. A histogram of the correlation component intensity is obtained, the top n pixels having the highest correlation component intensity are extracted from the histogram, and an average of the extracted correlation components of the n pixels is obtained as a correlation value between the collation image GC and the registered image GR. (Step 210).
そして、この求めた相関値と予め定められているしきい値とを比較し(ステップ211)、相関値がしきい値よりも大きければ(ステップ211のYES)、照合画像GCと登録画像GRとが一致したと判断し(ステップ212)、すなわち照合画像GC中に登録画像GR中の検査マーク(登録検査マーク)MRと同一の検査マークMCがあることを検知し、上記n画素の相関成分の強度のうち、その強度が最も高い相関ピークの位置に基づいて、登録検査マークMRと検査マークMCとの位置ずれ量を求める(ステップ213)。 Then, the obtained correlation value is compared with a predetermined threshold value (step 211). If the correlation value is larger than the threshold value (YES in step 211), the collation image GC and the registered image GR are (Step 212), that is, it is detected that there is the same inspection mark MC as the inspection mark (registered inspection mark) MR in the registered image GR in the collation image GC, and the correlation component of the n pixels is detected. Based on the position of the correlation peak having the highest intensity among the intensities, the amount of positional deviation between the registered inspection mark MR and the inspection mark MC is obtained (step 213).
このACPOCによる照合画像GCと登録画像GRとの照合では、振幅抑制処理された合成フーリエ画像データFCRrの複素数成分に登録画像GRのフーリエ画像データFRの振幅成分に比例した係数をそれぞれ掛けることにより、登録画像GRに含まれている登録検査マークMRの特徴的な周波数特性部分ほど位相エネルギーが強調され、照合画像GCに含まれるノイズにより生じる影響が相対的に小さくなる。 In the collation between the collation image GC and the registered image GR by the ACPOC, by multiplying the complex number component of the composite Fourier image data FCRr subjected to the amplitude suppression process by a coefficient proportional to the amplitude component of the Fourier image data FR of the registration image GR, respectively. The characteristic frequency characteristic portion of the registered inspection mark MR included in the registered image GR is enhanced in phase energy, and the influence caused by noise included in the verification image GC is relatively reduced.
これにより、照合画像GCにノイズが多少混入していても、精度よく照合画像GCと登録画像GRとを照合し、検査マークMCを確実に検知し、その位置ずれ量をより正確に求めることが可能となる。 Thus, even if some noise is mixed in the collation image GC, the collation image GC and the registered image GR are collated with high accuracy, the inspection mark MC is reliably detected, and the amount of positional deviation can be obtained more accurately. It becomes possible.
〔実施の形態2:合成する前に振幅抑制処理を行う方式〕
実施の形態2では、次のようにして検査マークの登録を行う。先ず、カメラ1で、検査対象上の検査マークM(登録対象の検査マークM0)を撮像し(図7:ステップ301)、登録対象の検査マークM0を含む登録対象画像G0(図8(a)参照)を得る。この登録対象画像G0は照合部2へ送られる。
[Embodiment 2: Method of performing amplitude suppression processing before composition]
In the second embodiment, inspection marks are registered as follows. First, the inspection mark M on the inspection target (inspection mark M0 to be registered) is imaged by the camera 1 (FIG. 7: step 301), and the registration target image G0 including the registration target inspection mark M0 (FIG. 8A). Browse). This registration target image G0 is sent to the collation unit 2.
照合部2のCPU2−1は、カメラ1からの登録対象画像G0をフレームメモリ2−5を介して取り込み(ステップ302)、登録対象画像G0の画像データに2次元離散的フーリエ変換(DFT)を施す(ステップ303)。これにより、登録対象画像G0の画像データは、フーリエ画像データ(照合フーリエパターンデータ)F0とされる(図8(b)参照)。 The CPU 2-1 of the collation unit 2 captures the registration target image G0 from the camera 1 via the frame memory 2-5 (step 302), and performs two-dimensional discrete Fourier transform (DFT) on the image data of the registration target image G0. (Step 303). Thereby, the image data of the registration target image G0 is set to Fourier image data (collation Fourier pattern data) F0 (see FIG. 8B).
そして、このフーリエ画像データF0に対して振幅抑制処理を行い(ステップ304)、振幅抑制処理されたフーリエ画像データF0rを得る(図8(c)参照)。この実施の形態では、振幅抑制処理として、全ての振幅を1とし、位相のみとする。 Then, an amplitude suppression process is performed on the Fourier image data F0 (step 304) to obtain Fourier image data F0r subjected to the amplitude suppression process (see FIG. 8C). In this embodiment, as amplitude suppression processing, all amplitudes are set to 1, and only the phase is set.
次に、CPU2−1は、i=1とし(ステップ305)、ハードディスク2−4からi=1番目の理想登録画像候補G1を読み出し(ステップ306)、この理想登録画像候補G1の画像データに2次元離散的フーリエ変換を施す(ステップ307)。これにより、理想登録画像候補G1の画像データは、フーリエ画像データ(登録フーリエパターンデータ)F1とされる(図8(d),(e)参照)。 Next, the CPU 2-1 sets i = 1 (step 305), reads the i = 1st ideal registered image candidate G1 from the hard disk 2-4 (step 306), and adds 2 to the image data of the ideal registered image candidate G1. A dimensional discrete Fourier transform is performed (step 307). Thereby, the image data of the ideal registered image candidate G1 is set as Fourier image data (registered Fourier pattern data) F1 (see FIGS. 8D and 8E).
そして、このフーリエ画像データF1に対して振幅抑制処理を行い(ステップ308)、振幅抑制処理されたフーリエ画像データF1rを得る(図8(f)参照)。この実施の形態では、振幅抑制処理として、全ての振幅を1とし、位相のみとする。 Then, an amplitude suppression process is performed on the Fourier image data F1 (step 308) to obtain Fourier image data F1r subjected to the amplitude suppression process (see FIG. 8F). In this embodiment, as amplitude suppression processing, all amplitudes are set to 1, and only the phase is set.
そして、CPU2−1は、ステップ304で得た登録対象画像G0の振幅抑制処理されたフーリエ画像データF0rとステップ308で得た理想登録画像候補G1の振幅抑制処理されたフーリエ画像データF1rとを合成し、合成フーリエ画像データ(合成フーリエパターンデータ)F01rを得る(ステップ309:図8(g)参照)。 Then, the CPU 2-1 combines the Fourier image data F0r subjected to the amplitude suppression processing of the registration target image G0 obtained in step 304 and the Fourier image data F1r subjected to the amplitude suppression processing of the ideal registered image candidate G1 obtained in step 308. Then, synthetic Fourier image data (synthetic Fourier pattern data) F01r is obtained (step 309: see FIG. 8G).
そして、CPU2−1は、この合成フーリエ画像データF01rの複素数成分に、ステップ307で得た理想登録画像候補G1の振幅抑制処理前のフーリエ画像データF1の振幅成分に比例した係数をそれぞれ掛けてF01r′とし(ステップ310:図8(h))、このF01r′にもう一度、2次元離散的フーリエ変換(DFT)を施す(ステップ311)。これにより、登録対象画像G0と理想登録画像候補G1との相関を表す相関データD01が得られる。(図8(i)参照) Then, the CPU 2-1 multiplies the complex number component of the synthesized Fourier image data F01r by a coefficient proportional to the amplitude component of the Fourier image data F1 before the amplitude suppression processing of the ideal registered image candidate G1 obtained in step 307, respectively. (Step 310: FIG. 8 (h)), this F01r 'is again subjected to two-dimensional discrete Fourier transform (DFT) (step 311). Thereby, correlation data D01 representing the correlation between the registration target image G0 and the ideal registration image candidate G1 is obtained. (See Fig. 8 (i))
次に、CPU2−1は、ステップ311で得た相関データD01上に定められる所定の相関成分エリアS01の各画素の強度(振幅)をスキャンし、登録対象画像G0と理想登録画像候補G1との各画素の相関成分の強度のヒストグラムを求め、このヒストグラムより相関成分の強度が最も高い上位n画素を抽出し、この抽出したn画素の相関成分の平均を登録対象画像G0と理想登録画像候補G1との相関値として求める(ステップ312)。 Next, the CPU 2-1 scans the intensity (amplitude) of each pixel in the predetermined correlation component area S01 defined on the correlation data D01 obtained in step 311 to determine the registration target image G0 and the ideal registered image candidate G1. A histogram of the intensity of the correlation component of each pixel is obtained, the top n pixels having the highest correlation component intensity are extracted from the histogram, and the average of the extracted correlation components of the n pixels is registered as the registration target image G0 and the ideal registered image candidate G1. (Step 312).
以下同様にして、ステップ306〜314を繰り返すことにより、理想登録画像候補G2〜Gnと登録対象画像G0との照合(ACPOC)を行い、登録対象画像G0と理想登録画像候補G2〜Gnとの相関値を求める。 Similarly, by repeating steps 306 to 314, ideal registration image candidates G2 to Gn are collated (APPOC) with registration target image G0, and correlation between registration target image G0 and ideal registration image candidates G2 to Gn is performed. Find the value.
このACPOCによる理想登録画像候補Giと登録対象画像G0との照合では、合成フーリエ画像データF0irの複素数成分に理想登録画像候補Giの振幅抑制処理される前のフーリエ画像データFiの振幅成分に比例した係数をそれぞれ掛けることにより、理想登録画像候補Giに含まれている登録候補の検査マークMiの特徴的な周波数特性部分ほど位相エネルギーが強調され、登録対象画像G0に含まれるノイズにより生じる影響が相対的に小さくなる。 In the comparison between the ideal registered image candidate Gi and the registration target image G0 by this ACPOC, the complex component of the synthesized Fourier image data F0ir is proportional to the amplitude component of the Fourier image data Fi before the amplitude suppression processing of the ideal registered image candidate Gi. By multiplying each coefficient, the phase energy is emphasized in the characteristic frequency characteristic portion of the registration candidate inspection mark Mi included in the ideal registered image candidate Gi, and the influence caused by the noise included in the registration target image G0 is relative. Become smaller.
これにより、登録対象画像G0にノイズが多少混入していても、精度よく登録対象画像G0と理想登録画像候補Giとを照合することができ、登録対象の検査マークM0と登録候補の検査マークMiとの一致度を確実に検知することが可能となる。 Thereby, even if some noise is mixed in the registration target image G0, the registration target image G0 and the ideal registration image candidate Gi can be accurately collated, and the registration target inspection mark M0 and the registration candidate inspection mark Mi. It is possible to reliably detect the degree of coincidence.
CPU2−1は、理想登録画像候補G1〜Gnについて登録対象画像G0との相関値を求めた後(ステップ313のYES)、その相関値が最大の理想登録画像候補Gx(図2(b)参照)を登録画像GRとしてその画像データをハードディスク2−4内に登録する(ステップ315)。 The CPU 2-1 obtains the correlation value with the registration target image G0 for the ideal registration image candidates G1 to Gn (YES in step 313), and then the ideal registration image candidate Gx having the maximum correlation value (see FIG. 2B). ) As a registered image GR, the image data is registered in the hard disk 2-4 (step 315).
これにより、登録対象の検査マークM0に最もその形状が一致する登録候補の検査マークMxを含むノイズのない理想登録画像候補Gxが登録画像GRとして登録されるものとなり、登録対象画像G0に含まれるノイズの影響を排除することができるようになる。 As a result, the ideal registration image candidate Gx without noise including the registration candidate inspection mark Mx whose shape most closely matches the inspection mark M0 to be registered is registered as the registration image GR, and is included in the registration target image G0. The influence of noise can be eliminated.
〔検査マークの照合〕
実施の形態2では、次のようにして検査マークの照合を行う。先ず、カメラ1で、検査対象上の検査マークM(検出対象の検査マークMC)を撮像し(図9:ステップ401)、検査マークMCを含む照合画像GC(図10(a)参照)を得る。この照合画像GCは照合部2へ送られる。
[Verification of inspection mark]
In the second embodiment, inspection marks are collated as follows. First, an inspection mark M (inspection mark MC to be detected) on the inspection object is imaged by the camera 1 (FIG. 9: step 401), and a collation image GC including the inspection mark MC (see FIG. 10A) is obtained. . This verification image GC is sent to the verification unit 2.
照合部2のCPU2−1は、カメラ1からの照合画像GCをフレームメモリ2−5を介して取り込み(ステップ402)、照合画像GCの画像データに2次元離散的フーリエ変換(DFT)を施す(ステップ403)。これにより、照合画像GCの画像データは、フーリエ画像データ(照合フーリエパターンデータ)FCとされる(図10(b)参照)。 The CPU 2-1 of the verification unit 2 captures the verification image GC from the camera 1 via the frame memory 2-5 (step 402), and performs two-dimensional discrete Fourier transform (DFT) on the image data of the verification image GC ( Step 403). Thereby, the image data of the collation image GC is set to Fourier image data (collation Fourier pattern data) FC (see FIG. 10B).
そして、このフーリエ画像データFCに対して振幅抑制処理を行い(ステップ404)、振幅抑制処理されたフーリエ画像データFCrを得る(図10(c)参照)。この実施の形態では、振幅抑制処理として、全ての振幅を1とし、位相のみとする。 Then, an amplitude suppression process is performed on the Fourier image data FC (step 404) to obtain Fourier image data FCr subjected to the amplitude suppression process (see FIG. 10C). In this embodiment, as amplitude suppression processing, all amplitudes are set to 1, and only the phase is set.
次に、CPU2−1は、ハードディスク2−4から登録画像GRを読み出し(ステップ405)、登録画像GRの画像データに2次元離散的フーリエ変換(DFT)を施す(ステップ406)。これにより、登録画像GRの画像データは、フーリエ画像データ(登録フーリエパターンデータ)FRとされる(図10(d),(e)参照)。 Next, the CPU 2-1 reads the registered image GR from the hard disk 2-4 (step 405), and performs two-dimensional discrete Fourier transform (DFT) on the image data of the registered image GR (step 406). Thereby, the image data of the registered image GR is set as Fourier image data (registered Fourier pattern data) FR (see FIGS. 10D and 10E).
そして、このフーリエ画像データFRに対して振幅抑制処理を行い(ステップ407)、振幅抑制処理されたフーリエ画像データFRrを得る(図10(f)参照)。この実施の形態では、振幅抑制処理として、全ての振幅を1とし、位相のみとする。 Then, an amplitude suppression process is performed on the Fourier image data FR (step 407) to obtain Fourier image data FRr subjected to the amplitude suppression process (see FIG. 10F). In this embodiment, as amplitude suppression processing, all amplitudes are set to 1, and only the phase is set.
そして、CPU2−1は、ステップ404で得た照合画像GCの振幅抑制処理されたフーリエ画像データFCrとステップ407で得た登録画像GRの振幅抑制処理されたフーリエ画像データFRとを合成し、合成フーリエ画像データ(合成フーリエパターンデータ)FCRrを得る(ステップ408:図10(g)参照)。 Then, the CPU 2-1 synthesizes the Fourier image data FCr subjected to the amplitude suppression processing of the collation image GC obtained in step 404 and the Fourier image data FR subjected to the amplitude suppression processing of the registered image GR obtained in step 407. Fourier image data (synthetic Fourier pattern data) FCRr is obtained (step 408: see FIG. 10G).
そして、この合成フーリエ画像データFCRrのの複素数成分に、ステップ406で得た登録画像GRの振幅抑制処理前のフーリエ画像データFRの振幅成分に比例した係数をそれぞれ掛けてFCRr′とし(ステップ409:図10(h))、このFCRr′にもう一度、2次元離散的フーリエ変換(DFT)を施す(ステップ410)。これにより、照合画像GCと登録画像GRとの相関を表す相関データDCRが得られる(図10(i)参照)。 Then, the complex number component of the synthesized Fourier image data FCRr is multiplied by a coefficient proportional to the amplitude component of the Fourier image data FR before the amplitude suppression processing of the registered image GR obtained in step 406 to obtain FCRr ′ (step 409: In FIG. 10 (h)), this FCRr 'is again subjected to two-dimensional discrete Fourier transform (DFT) (step 410). Thereby, correlation data DCR representing the correlation between the collation image GC and the registered image GR is obtained (see FIG. 10I).
次に、CPU2−1は、ステップ410で得た相関データDCR上に定められる所定の相関成分エリアSCRの各画素の強度(振幅)をスキャンし、照合画像GCと登録画像GRとの各画素の相関成分の強度のヒストグラムを求め、このヒストグラムより相関成分の強度が最も高い上位n画素を抽出し、この抽出したn画素の相関成分の平均を照合画像GCと登録画像GRとの相関値として求める(ステップ411)。 Next, the CPU 2-1 scans the intensity (amplitude) of each pixel in the predetermined correlation component area SCR determined on the correlation data DCR obtained in step 410, and calculates the pixel of the collation image GC and the registered image GR. A histogram of the correlation component intensity is obtained, the top n pixels having the highest correlation component intensity are extracted from the histogram, and an average of the extracted correlation components of the n pixels is obtained as a correlation value between the collation image GC and the registered image GR. (Step 411).
そして、この求めた相関値と予め定められているしきい値とを比較し(ステップ412)、相関値がしきい値よりも大きければ(ステップ412のYES)、照合画像GCと登録画像GRとが一致したと判断し(ステップ413)、すなわち照合画像GC中に登録画像GR中の検査マーク(登録検査マーク)MRと同一の検査マークMCがあることを検知し、上記n画素の相関成分の強度のうち、その強度が最も高い相関ピークの位置に基づいて、登録検査マークMRと検査マークMCとの位置ずれ量を求める(ステップ414)。 Then, the calculated correlation value is compared with a predetermined threshold value (step 412). If the correlation value is larger than the threshold value (YES in step 412), the collation image GC and the registered image GR are (Step 413), that is, it is detected that there is an inspection mark MC identical to the inspection mark (registered inspection mark) MR in the registered image GR in the collation image GC, and the correlation component of the n pixels is detected. Based on the position of the correlation peak having the highest intensity among the intensities, the amount of positional deviation between the registered inspection mark MR and the inspection mark MC is obtained (step 414).
このACPOCによる照合画像GCと登録画像GRとの照合では、合成フーリエ画像データ(合成前に振幅抑制処理された合成フーリエ画像データ)FCRrの複素数成分に登録画像GRの振幅抑制処理される前のフーリエ画像データFRの振幅成分に比例した係数をそれぞれ掛けることにより、登録画像GRに含まれている登録検査マークMRの特徴的な周波数特性部分ほど位相エネルギーが強調され、照合画像GCに含まれるノイズにより生じる影響が相対的に小さくなる。 In the collation between the collation image GC and the registered image GR by the ACPOC, the Fourier before the amplitude suppression processing of the registration image GR is performed on the complex number component of the composite Fourier image data (the synthesis Fourier image data subjected to the amplitude suppression processing before the synthesis) FCRr. By multiplying each coefficient proportional to the amplitude component of the image data FR, the phase energy is emphasized in the characteristic frequency characteristic portion of the registered inspection mark MR included in the registered image GR, and the noise included in the verification image GC The resulting effect is relatively small.
これにより、照合画像GCにノイズが多少混入していても、精度よく照合画像GCと登録画像GRとを照合することができ、検査マークMCを確実に検知し、その位置ずれ量を正確に求めることが可能となる。 As a result, even if some noise is mixed in the collation image GC, the collation image GC and the registered image GR can be collated with high accuracy, the detection mark MC can be reliably detected, and the amount of displacement can be accurately obtained. It becomes possible.
なお、上述した実施の形態1では、図3に示したステップ110および図5に示したステップ209において、上述した実施の形態2では、図7に示したステップ311および図9に示したステップ410において、2次元離散的フーリエ変換を行うようにしたが、2次元離散的フーリエ変換ではなく2次元離散的逆フーリエ変換を行うようにしてもよい。2次元離散的フーリエ変換と2次元離散的逆フーリエ変換とは、定量的にみて照合精度は変わらない。 In the first embodiment described above, step 110 shown in FIG. 3 and step 209 shown in FIG. 5 are performed. In the second embodiment described above, step 311 shown in FIG. 7 and step 410 shown in FIG. 9 are performed. However, instead of the two-dimensional discrete Fourier transform, a two-dimensional discrete inverse Fourier transform may be performed. The two-dimensional discrete Fourier transform and the two-dimensional discrete inverse Fourier transform do not change the matching accuracy quantitatively.
また、上述した実施の形態1,2では、検査マークの登録において、相関値が最大の理想登録画像候補Gxを登録画像GRとしてその画像データを登録するようにしたが、その画像データに対して2次元離散的フーリエ変換を施した登録フーリエパターンデータFxを登録するようにしてもよい。このようにすれば、検査マークの照合において、その登録フーリエパターンデータFxを登録フーリエパターンデータFRとして読み出すことにより、登録画像GRに対して2次元離散的フーリエを施す必要がなくなり、処理が簡単となる。 In the first and second embodiments described above, in the registration of the inspection mark, the ideal registered image candidate Gx having the maximum correlation value is registered as the registered image GR, but the image data is registered. Registered Fourier pattern data Fx subjected to two-dimensional discrete Fourier transform may be registered. In this way, in the verification of the inspection mark, by reading the registered Fourier pattern data Fx as the registered Fourier pattern data FR, there is no need to apply a two-dimensional discrete Fourier to the registered image GR, and the processing is simple. Become.
また、上述した実施の形態1,2では、その形状パラメータWおよびLの値を少しずつ変えた理想登録画像候補G1〜Gnをハードディスク2−4に格納しておくようにしたが、人為的に作成した理想登録画像候補G1〜Gnをハードディスク2−4に格納しておくようにしてもよく、形状パラメータWおよびLの値を変えて自動的に作成した理想登録画像候補をG1〜Gnをハードディスク2−4に格納しておくようにしてもよい。また、登録対象画像G0との照合の度に、理想登録画像候補を自動作成するようにしてもよい。 In the first and second embodiments described above, the ideal registered image candidates G1 to Gn in which the values of the shape parameters W and L are changed little by little are stored in the hard disk 2-4. The created ideal registered image candidates G1 to Gn may be stored in the hard disk 2-4, and the ideal registered image candidates G1 to Gn are automatically created by changing the values of the shape parameters W and L. You may make it store in 2-4. In addition, ideal registered image candidates may be automatically created each time collation with the registration target image G0 is performed.
また、実施の形態1おいて、実施の形態2で説明した図7に従うフローチャートによって検査マークの登録を行うようにしてもよく、実施の形態2において、実施の形態1で説明した図3に従うフローチャートによって検査マークの登録を行うようにしてもよい。
同様に、実施の形態1おいて、実施の形態2で説明した図9に従うフローチャートによって検査マークの照合を行うようにしてもよく、実施の形態2において、実施の形態1で説明した図5に従うフローチャートによって検査マークの照合を行うようにしてもよい。
Further, in the first embodiment, the inspection mark may be registered by the flowchart according to FIG. 7 described in the second embodiment. In the second embodiment, the flowchart according to FIG. 3 described in the first embodiment. The inspection mark may be registered as described above.
Similarly, in the first embodiment, the inspection mark may be collated by the flowchart according to FIG. 9 described in the second embodiment, and in the second embodiment, according to FIG. 5 described in the first embodiment. You may make it collate an inspection mark with a flowchart.
また、上述した実施の形態1,2では、検査マークMを十字形としたが、星形、多角形などのマークとしてもよいことは言うまでもない。また、半導体ウェハやガラス基板などの検査対象の位置決め用として利用できるだけではなく、文字の読み取り用としても利用することが可能である。すなわち、紙面に書かれた文字をマークとみなし、この文字を撮像した照合画像と予め登録されている文字を含む登録画像とを照合することによって、紙面に書かれた文字を認識することが可能である。 In the first and second embodiments described above, the inspection mark M is a cross, but it goes without saying that it may be a star, a polygon, or the like. Further, it can be used not only for positioning of inspection objects such as semiconductor wafers and glass substrates but also for reading characters. In other words, it is possible to recognize a character written on the paper by regarding the character written on the paper as a mark and collating the collation image obtained by capturing the character with a registered image including a pre-registered character. It is.
1…カメラ、2…照合部、2−1…CPU、2−2…ROM、2−3…RAM、2−4…ハードディスク(HD)、2−5…フレームメモリ(FM)、2−6…外部接続部(I/F)、M…検査マーク、M0…登録対象の検査マーク、MC…検出対象の検査マーク、G0…登録対象画像、G1〜Gn…理想登録画像候補、M1〜Mn…登録候補の検査マーク、GC…照合画像、GR…登録画像。
DESCRIPTION OF SYMBOLS 1 ... Camera, 2 ... Collation part, 2-1 ... CPU, 2-2 ... ROM, 2-3 ... RAM, 2-4 ... Hard disk (HD), 2-5 ... Frame memory (FM), 2-6 ... External connection unit (I / F), M ... inspection mark, M0 ... registration target inspection mark, MC ... detection target inspection mark, G0 ... registration target image, G1-Gn ... ideal registration image candidate, M1-Mn ... registration Candidate inspection marks, GC ... verification image, GR ... registered image.
Claims (2)
登録対象のマークを撮像する手段と、
撮像された前記登録対象のマークを含む画像を登録対象画像として取り込む手段と、
前記登録対象のマークの形状を基本としその形を少しずつ異ならせた登録候補のマークを含むノイズのない複数の理想登録画像候補を保存する手段と、
前記登録対象画像にフーリエ変換を施して照合フーリエパターンデータを作成する照合フーリエパターンデータ作成手段と、
前記複数の理想登録画像候補を順次読み出し、この読み出した理想登録画像候補にフーリエ変換を施して登録フーリエパターンデータを作成し、この作成した登録フーリエパターンデータと前記照合フーリエパターンデータとを合成し、これによって得られる合成フーリエパターンデータに対して振幅抑制処理を行う一方、前記登録フーリエパターンデータの振幅成分に比例した係数を求め、この求められた登録フーリエパターンデータの振幅成分に比例した係数を前記振幅抑制処理された合成フーリエパターンデータの複素成分にそれぞれ掛け、更にフーリエ変換および逆フーリエ変換の何れか一方を施して相関データを作成し、この作成された相関データより得られる相関値が最も高かった理想登録画像候補を前記登録画像とする手段と
を備えたことを特徴とするマーク検知装置。 Mark detection in which a mark on the inspection object is imaged, a collation image including the captured mark is collated with a registered image including a pre-registered mark, and the mark on the inspection object is detected based on the collation result In the device
Means for imaging a mark to be registered;
Means for capturing an image including the imaged registration target mark as a registration target image;
Means for storing a plurality of ideal registered image candidates without noise including registration candidate marks whose shape is gradually changed based on the shape of the mark to be registered ;
Collating Fourier pattern data creating means for creating collating Fourier pattern data by performing Fourier transform on the registration target image;
The plurality of ideal registered image candidates are sequentially read out, Fourier transform is performed on the read ideal registered image candidates to create registered Fourier pattern data, the created registered Fourier pattern data and the matching Fourier pattern data are combined, While performing amplitude suppression processing on the resultant Fourier pattern data obtained thereby, a coefficient proportional to the amplitude component of the registered Fourier pattern data is obtained, and a coefficient proportional to the amplitude component of the obtained registered Fourier pattern data is calculated The correlation data is created by multiplying each complex component of the synthesized Fourier pattern data subjected to amplitude suppression processing and applying either Fourier transform or inverse Fourier transform, and the highest correlation value is obtained from the created correlation data. Means for setting the ideal registered image candidate as the registered image; A mark detection apparatus comprising:
登録対象のマークを撮像する手段と、Means for imaging a mark to be registered;
撮像された前記登録対象のマークを含む画像を登録対象画像として取り込む手段と、Means for capturing an image including the imaged registration target mark as a registration target image;
前記登録対象のマークの形状を基本としその形を少しずつ異ならせた登録候補のマークを含むノイズのない複数の理想登録画像候補を保存する手段と、Means for storing a plurality of ideal registered image candidates without noise including registration candidate marks whose shape is gradually changed based on the shape of the mark to be registered;
前記登録対象画像にフーリエ変換を施し、これによって得られる照合フーリエパターンデータに対して振幅抑制処理を行い、振幅抑制処理された照合フーリエパターンデータを作成する照合フーリエパターンデータ作成手段と、A Fourier transform is performed on the registration target image, an amplitude suppression process is performed on the matching Fourier pattern data obtained thereby, and matching Fourier pattern data creating means for creating matching Fourier pattern data subjected to the amplitude suppression process;
前記複数の理想登録画像候補を順次読み出し、この読み出した理想登録画像候補にフーリエ変換を施し、これによって得られる登録フーリエパターンデータに対して振幅抑制処理を行い、この振幅抑制処理された登録フーリエパターンデータと前記振幅抑制処理された照合フーリエパターンデータとを合成し合成フーリエパターンデータを作成する一方、前記振幅抑制処理される前の登録フーリエパターンデータの振幅成分に比例した係数を求め、この求められた振幅抑制処理される前の登録フーリエパターンデータの振幅成分に比例した係数を前記合成フーリエパターンデータの複素成分にそれぞれ掛け、更にフーリエ変換および逆フーリエ変換の何れか一方を施して相関データを作成し、この作成された相関データより得られる相関値が最も高かった理想登録画像候補を前記登録画像とする手段とThe plurality of ideal registered image candidates are sequentially read out, Fourier transformation is performed on the read ideal registered image candidates, amplitude suppression processing is performed on the registered Fourier pattern data obtained by this, and the amplitude suppression processing registered Fourier pattern The composite Fourier pattern data is created by combining the data and the reference Fourier pattern data subjected to the amplitude suppression processing, and a coefficient proportional to the amplitude component of the registered Fourier pattern data before the amplitude suppression processing is obtained. A coefficient proportional to the amplitude component of the registered Fourier pattern data before being subjected to amplitude suppression processing is multiplied by the complex component of the synthesized Fourier pattern data, respectively, and further subjected to either Fourier transform or inverse Fourier transform to create correlation data The correlation value obtained from the created correlation data is Means for even higher ideal registration image candidate and the registered image
を備えたことを特徴とするマーク検知装置。A mark detection apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005266605A JP4791114B2 (en) | 2005-09-14 | 2005-09-14 | Mark detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005266605A JP4791114B2 (en) | 2005-09-14 | 2005-09-14 | Mark detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007078510A JP2007078510A (en) | 2007-03-29 |
JP4791114B2 true JP4791114B2 (en) | 2011-10-12 |
Family
ID=37938993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005266605A Active JP4791114B2 (en) | 2005-09-14 | 2005-09-14 | Mark detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4791114B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6547903B2 (en) | 2015-09-30 | 2019-07-24 | 日本電気株式会社 | Image processing apparatus, image processing method and storage medium |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3452732B2 (en) * | 1996-08-09 | 2003-09-29 | 株式会社山武 | Fingerprint collation device |
JP3235075B2 (en) * | 1996-08-21 | 2001-12-04 | 株式会社山武 | Pattern matching device |
JP4165871B2 (en) * | 2002-03-15 | 2008-10-15 | キヤノン株式会社 | Position detection method, position detection apparatus, and exposure apparatus |
JP3974445B2 (en) * | 2002-04-19 | 2007-09-12 | Juki株式会社 | Mark recognition method and apparatus |
JP2004192633A (en) * | 2002-11-25 | 2004-07-08 | Yamatake Corp | Pattern collation device |
JP4339037B2 (en) * | 2003-04-08 | 2009-10-07 | 株式会社キーエンス | Pattern detection apparatus, pattern detection method, pattern detection program, and computer-readable recording medium |
-
2005
- 2005-09-14 JP JP2005266605A patent/JP4791114B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007078510A (en) | 2007-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Khan et al. | Efficient hardware implementation for fingerprint image enhancement using anisotropic Gaussian filter | |
JP2776294B2 (en) | Image feature extraction device and image processing device for skin pattern image | |
US8942512B2 (en) | Methods and systems for processing a first image with reference to a second image | |
JP4791115B2 (en) | Mark detection device | |
Yang et al. | Two-stage enhancement scheme for low-quality fingerprint images by learning from the images | |
US7142699B2 (en) | Fingerprint matching using ridge feature maps | |
US8155452B2 (en) | Image registration using rotation tolerant correlation method | |
KR20180065950A (en) | System for processing images | |
EP2590140A1 (en) | Facial authentication system, facial authentication method, and facial authentication program | |
US6961449B2 (en) | Method of correlation of images in biometric applications | |
JP2008530666A5 (en) | ||
Win et al. | Fingerprint recognition system for low quality images | |
US10482324B2 (en) | Method for analyzing a structured document likely to be deformed | |
US20100215224A1 (en) | Fingerprint recognition for low computing power applications | |
US20160379038A1 (en) | Valid finger area and quality estimation for fingerprint imaging | |
US10037454B2 (en) | Method and device for forming a fingerprint representation | |
Thaipanich et al. | An adaptive nonlocal means scheme for medical image denoising | |
WO2019123917A1 (en) | Image comparison apparatus | |
US6195460B1 (en) | Pattern extraction apparatus | |
Gourrame et al. | Robust print-cam image watermarking in fourier domain | |
US8086043B2 (en) | System and method of image correlation based on image structure | |
Sidike et al. | Multiclass object detection with single query in hyperspectral imagery using class-associative spectral fringe-adjusted joint transform correlation | |
US10198612B1 (en) | System and method for scaling biometric images | |
JP4791114B2 (en) | Mark detection device | |
JP3468182B2 (en) | Image matching apparatus and image matching method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110721 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4791114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |