JP6694137B2 - Surface inspection method, surface inspection device, and surface inspection program - Google Patents
Surface inspection method, surface inspection device, and surface inspection program Download PDFInfo
- Publication number
- JP6694137B2 JP6694137B2 JP2016082567A JP2016082567A JP6694137B2 JP 6694137 B2 JP6694137 B2 JP 6694137B2 JP 2016082567 A JP2016082567 A JP 2016082567A JP 2016082567 A JP2016082567 A JP 2016082567A JP 6694137 B2 JP6694137 B2 JP 6694137B2
- Authority
- JP
- Japan
- Prior art keywords
- phase
- height
- sample
- illumination pattern
- phase information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、表面検査方法、表面検査装置および表面検査プログラムに関する。 The present invention relates to a surface inspection method, a surface inspection device, and a surface inspection program.
近年、検査対象物の表面形状を非接触で計測することが行われている。このような表面形状の計測結果は、例えば、表面の傷や歪みの有無を自動的に検査するといった用途に用いられている。表面形状の計測方法としては、位相シフト法が知られている。 In recent years, the surface shape of an inspection object has been measured without contact. The measurement result of such a surface shape is used, for example, for the purpose of automatically inspecting the presence or absence of scratches or distortion on the surface. A phase shift method is known as a surface shape measuring method.
位相シフト法では、例えば、正弦波状の照明パターンが計測面に照射され、照明パターンの位相を変えながら計測面の画像が複数枚撮像され、各撮像画像から位相角が算出される。検査対象物の計測面が粗面である場合、例えば、算出された位相角を用い、三角測量の原理に基づいて計測面の高さを計測する方法がある。 In the phase shift method, for example, a sinusoidal illumination pattern is applied to the measurement surface, a plurality of images of the measurement surface are captured while changing the phase of the illumination pattern, and the phase angle is calculated from each captured image. When the measurement surface of the inspection object is a rough surface, for example, there is a method of measuring the height of the measurement surface based on the principle of triangulation using the calculated phase angle.
一方、検査対象物の表面が鏡面である場合には、例えば、計測面に粉末を撒くなどして計測面を粗面状態にし、計測面における照射光線の拡散反射を利用して表面が粗面の場合と同様に表面形状を計測する方法がある。しかし、この方法では検査対象物が汚染されてしまうという問題がある。 On the other hand, when the surface of the inspection object is a mirror surface, for example, the measurement surface is roughened by sprinkling powder on the measurement surface, and the surface is roughened by using diffuse reflection of the irradiation light on the measurement surface. There is a method of measuring the surface shape as in the case of. However, this method has a problem that the inspection object is contaminated.
これに対して、表面が鏡面である検査対象物についても、正弦波状の照明パターンを用いた位相シフト法で表面形状を計測することが考えられている。例えば、計測面を異なる方向から撮像する2台のカメラを用いて表面形状を計測する方法が提案されている。また、位相画像の一次微分画像に基づいて表面の欠陥を検出する方法が提案されている。 On the other hand, it has been considered to measure the surface shape of the inspection object whose surface is a mirror surface by the phase shift method using a sinusoidal illumination pattern. For example, a method has been proposed in which the surface shape is measured using two cameras that image the measurement surface from different directions. Further, a method of detecting a surface defect based on a first-order differential image of a phase image has been proposed.
しかし、位相画像の一次微分画像を用いた上記方法では、平坦な表面上で傾きが変わる箇所といった特定の異常箇所を検出できるのみであり、表面の高さそのものが異常か否かを判別できないという問題がある。 However, the above method using the first-order differential image of the phase image can only detect a specific abnormal place such as a place where the inclination changes on a flat surface, and cannot determine whether or not the height of the surface itself is abnormal. There's a problem.
1つの側面では、本発明は、鏡面の高さの異常を検出可能な表面検査方法、表面検査装置および表面検査プログラムを提供することを目的とする。 In one aspect, an object of the present invention is to provide a surface inspection method, a surface inspection device, and a surface inspection program capable of detecting an abnormal height of a mirror surface.
1つの案では、コンピュータが次のような処理を実行する表面検査方法が提供される。この表面検査方法では、コンピュータは、第1の試料における鏡面の計測面に光量が正弦波状に変化する照明パターンが投影された画像を、照明パターンの位相を変化させて複数回撮像することで得られる第1の撮像画像群と、第1の試料の基準となる第2の試料における鏡面の計測面に照明パターンが投影された画像を、照明パターンの位相を変化させて複数回撮像することで得られる第2の撮像画像群とを取得する。また、コンピュータは、第1の撮像画像群に基づいて画素ごとの位相を示す第1の位相情報を算出するとともに、第2の撮像画像群に基づいて画素ごとの位相を示す第2の位相情報を算出する。そして、コンピュータは、第1の位相情報と第2の位相情報との比較結果に基づいて第1の試料における計測面の高さの異常を検出する。 In one proposal, a surface inspection method is provided in which a computer performs the following processing. In this surface inspection method, the computer obtains an image in which the illumination pattern in which the light amount changes sinusoidally is projected on the measurement surface of the mirror surface of the first sample by changing the phase of the illumination pattern a plurality of times. By capturing a plurality of first captured image groups and an image in which the illumination pattern is projected on the mirror measurement surface of the second sample, which is the reference of the first sample, by changing the phase of the illumination pattern. The obtained second captured image group is acquired. Further, the computer calculates first phase information indicating a phase for each pixel based on the first captured image group, and second phase information indicating a phase for each pixel based on the second captured image group. To calculate. Then, the computer detects an abnormality in the height of the measurement surface of the first sample based on the comparison result of the first phase information and the second phase information.
また、1つの案では、上記の表面検査方法と同様の処理を実行する表面検査装置が提供される。
さらに、1つの案では、上記の表面検査方法と同様の処理をコンピュータに実行させる表面検査プログラムが提供される。
Moreover, in one proposal, the surface inspection apparatus which performs the same process as the said surface inspection method is provided.
Furthermore, in one proposal, a surface inspection program that causes a computer to execute the same processing as the above-described surface inspection method is provided.
1つの側面では、鏡面の高さの異常を検出できる。 On one side, an abnormality in the height of the mirror surface can be detected.
以下、本発明の実施の形態について図面を参照して説明する。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る表面検査装置の構成例および処理例を示す図である。図1に示す表面検査装置10は、照明光源2と撮像装置3とを含む計測部による計測結果に基づいて、被検試料が備える鏡面の計測面における高さの異常を検出可能な装置である。計測部においては、照明光源2は、光量が正弦波状に変化する照明パターンを、試料1の上面(計測面)に照射する。撮像装置3は、試料1の計測面に照明パターンが投影された画像を撮像する。計測面は鏡面なので、撮像装置3には、照明光源2が照射する照明パターンの虚像が写り込む。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a diagram showing a configuration example and a processing example of the surface inspection apparatus according to the first embodiment. The surface inspection apparatus 10 shown in FIG. 1 is an apparatus capable of detecting an abnormal height of a mirror-equipped measurement surface of a sample to be inspected, based on a measurement result by a measurement unit including an illumination light source 2 and an imaging device 3. .. In the measurement unit, the illumination light source 2 irradiates the upper surface (measurement surface) of the
照明パターンは、照明光源2の照射面における1方向に対して、光量が正弦波状に変化するようなパターンであればよい。本実施の形態では、照明パターンは、1方向に対して光量が正弦波状に変化し、それと直交する方向の光量が同一となるようなパターンとされる。また、照明光源2は、照射する照明パターンの位相を変化させることが可能になっている。 The illumination pattern may be a pattern in which the light amount changes sinusoidally in one direction on the irradiation surface of the illumination light source 2. In the present embodiment, the illumination pattern is a pattern in which the light amount changes sinusoidally in one direction and the light amount in the direction orthogonal to that changes. Moreover, the illumination light source 2 can change the phase of the illumination pattern to be emitted.
撮像装置3は、例えば、試料1の計測面が水平面である(すなわち、高さが一様に同じである)場合に、照明光源2から照射される照明パターンを、垂直方向および水平方向に対して歪むことなく撮像できるように構成されている。このような構成は、例えば、シフトレンズを用いることで実現される。このような構成により、本実施の形態では、試料1の計測面が水平面である場合に、照明パターンを、撮像画像の水平方向に対して光量が正弦波状に変化し、垂直方向の光量が同一であるパターンとして撮像可能になっている。
For example, when the measurement surface of the
なお、撮像装置3の撮像対象となる試料1としては、高さの異常の検出対象である被検試料の他、被検試料の基準となる基準試料が用いられる。基準試料は、計測面の高さが正しく形成された、被検試料に対応する良品である。
As the
表面検査装置10は、画像取得部11と異常検出部12とを有する。画像取得部11および異常検出部12の処理は、例えば、表面検査装置10が備えるプロセッサが所定のプログラムを実行することで実現される。
The surface inspection device 10 includes an
画像取得部11は、撮像装置3によって撮像された撮像画像を取得する。具体的には、画像取得部11は、被検試料の計測面に照明パターンが投影された画像を、照明パターンの位相を変化させて複数回撮像することで得られる第1の撮像画像群を取得する。また、画像取得部11は、基準試料の計測面に照明パターンが投影された画像を、照明パターンの位相を変化させて複数回撮像することで得られる第2の撮像画像群を取得する。
The
例えば、位相が異なる4つの照明パターン21a〜21dが用いられる。そして、照明パターン21a〜21dをそれぞれ被検試料に照射した状態で撮像画像31a〜31dが撮像される。また、照明パターン21a〜21dをそれぞれ基準試料に照射した状態で撮像画像32a〜32dが撮像される。画像取得部11は、第1の撮像画像群として撮像画像31a〜31dを取得し、第2の撮像画像群として撮像画像32a〜32dを取得する。
For example, four illumination patterns 21a to 21d having different phases are used. Then, the picked-up images 31a to 31d are picked up with the illumination patterns 21a to 21d being applied to the test sample, respectively. In addition, the captured images 32a to 32d are captured with the illumination patterns 21a to 21d being irradiated on the reference sample, respectively. The
異常検出部12は、撮像画像31a〜31dに基づいて、画素ごとの位相を示す第1の位相情報を算出する。また、異常検出部12は、撮像画像32a〜32dに基づいて、画素ごとの位相を示す第2の位相情報を算出する。異常検出部12は、第1の位相情報と第2の位相情報とを比較し、その比較結果に基づいて被検試料における計測面の高さの異常を検出する。
The
ここで、表面検査装置10では、位相シフト法を用いて位相情報が算出される。以下、図2、図3を用いて、位相シフト法を用いた位相情報の算出方法について説明する。
図2は、撮像画像に基づく位相情報の算出方法について説明するための第1の図である。また、図3は、撮像画像に基づく位相情報の算出方法について説明するための第2の図である。
Here, in the surface inspection device 10, the phase information is calculated using the phase shift method. Hereinafter, a method of calculating phase information using the phase shift method will be described with reference to FIGS. 2 and 3.
FIG. 2 is a first diagram for explaining a method of calculating phase information based on a captured image. Further, FIG. 3 is a second diagram for explaining a method of calculating phase information based on a captured image.
図2では、水平な計測面を有する試料1aを撮像したケースを示す。前述のように、撮像装置3には、照明光源2から試料1aの計測面に照射された照明パターンの虚像2aが写り込む。図2に示す画像33は、このような状態で撮像された画像の一例である。この画像33のように、水平方向(X軸方向)に対して輝度が正弦波状に変化し、垂直方向(Y軸方向)の輝度が同一になるような画像が観測される。
FIG. 2 shows a case where the
位相シフト法では、照明パターンの位相を変化させて複数の撮像画像が撮像される。典型的には、照明パターンの位相がπ/2(rad)ずつシフトされた4枚の撮像画像が撮像される。図3のグラフ5は、4枚の撮像画像のそれぞれにおけるX軸方向の位置と明るさとの関係の例を示す。 In the phase shift method, a plurality of captured images are captured by changing the phase of the illumination pattern. Typically, four captured images in which the phase of the illumination pattern is shifted by π / 2 (rad) are captured. Graph 5 in FIG. 3 shows an example of the relationship between the position in the X-axis direction and the brightness in each of the four captured images.
撮像画像上のある1点における明るさI1,I2,I3,I4は、下記の式(1−1)〜(1−4)のように表わされる。なお、明るさI1,I2,I3,I4は、照明パターンの位相シフト量がそれぞれ0,π/2,π,3π/2の場合に対応する。
I1=A+Bcos(φ) ・・・(1−1)
I2=A+Bcos(φ+π/2) ・・・(1−2)
I3=A+Bcos(φ+π) ・・・(1−3)
I4=A+Bcos(φ+3π/2) ・・・(1−4)
式(1−1)〜(1−4)から、位相シフト量が0の場合に、ある1つの画素で観測される明るさに対応する照明パターンの位相φは、次の式(2)のように表わされる。
φ=atan{(I2−I4)/(I1−I3)} ・・・(2)
図3のグラフ6に示す直線は、式(2)に基づくX軸方向の位相の変化を示す。ただし、式(2)から直接的に求められる位相の変化は、グラフ6の破線のようになる。表面検査装置10の異常検出部12は、この破線のように得られる位相値を連続化することで、グラフ6の直線のような位相値を算出する。このような位相値の連続化処理は「アンラップ(unwrap)」と呼ばれる。以下の説明において、位相シフト法を用いて撮像画像を基に算出される位相とは、アンラップされた位相を示す。
The brightness I1, I2, I3, I4 at a certain point on the captured image is expressed by the following equations (1-1) to (1-4). The brightnesses I1, I2, I3, and I4 correspond to the cases where the phase shift amounts of the illumination pattern are 0, π / 2, π, and 3π / 2, respectively.
I1 = A + B cos (φ) (1-1)
I2 = A + Bcos (φ + π / 2) (1-2)
I3 = A + B cos (φ + π) (1-3)
I4 = A + Bcos (φ + 3π / 2) (1-4)
From Expressions (1-1) to (1-4), when the phase shift amount is 0, the phase φ of the illumination pattern corresponding to the brightness observed in a certain pixel is calculated by the following Expression (2). It is expressed as follows.
φ = a tan {(I2-I4) / (I1-I3)} (2)
The straight line shown in the graph 6 of FIG. 3 shows the change in phase in the X-axis direction based on the equation (2). However, the change in the phase directly obtained from the equation (2) is as shown by the broken line in the graph 6. The
ここで、試料1aの計測面の高さが高いほど、撮像画像に現れる照明パターンの周期は長くなり、逆に高さが低いほど、撮像画像に現れる照明パターンの周期は短くなる。このため、グラフ6における位相の変化率は、試料1aの計測面の高さに応じて変化し、式(2)で表わされる各画素の位相φも、試料1aの計測面の高さに応じて変化する。本実施の形態の表面検査装置10は、この原理を利用して、被検試料の計測面における高さの異常を検出する。
Here, the higher the height of the measurement surface of the
以下、図1に戻って説明する。
位相の異なる複数の照明パターン21a〜21dを用いて得られた複数の撮像画像を基に上記の位相が算出されたとき、その位相φは試料の計測面の高さに応じた値となる。そこで、表面検査装置10の異常検出部12は、被検試料を撮像した撮像画像31a〜31dを基に算出された第1の位相情報と、基準試料を撮像した撮像画像32a〜32dを基に算出された第2の位相情報とを比較する。なお、位相情報は、例えば、各画素に対して算出された位相φをプロットした位相画像として得ることができ、これは撮像画像における位相の分布を示す。図1に示すグラフ4において、曲線4aは、撮像画像31a〜31dを基に算出された第1の位相情報を示し、曲線4bは、撮像画像32a〜32dを基に算出された第2の位相情報を示す。
Hereinafter, returning to FIG. 1, description will be made.
When the above phase is calculated based on the plurality of captured images obtained by using the plurality of illumination patterns 21a to 21d having different phases, the phase φ becomes a value corresponding to the height of the measurement surface of the sample. Therefore, the
被検試料の測定面の高さが1カ所でも基準試料と一致しない場合、第1の位相情報と第2の位相情報とは一致しない。このため、異常検出部12は、これらの位相情報が一致しない場合に、被検試料の高さに異常があることを検出できる。異常検出部12は、例えば、計測誤差などの影響を考慮して、第1の位相情報と第2の位相情報とを画素ごとに比較し、位相の差が所定の閾値を超える画素が所定数(ただし1以上)以上検出された場合に、被検試料を不良と判定してもよい。また、異常検出部12は、例えば、位相の差が閾値を超える画素を、被検試料の測定面における高さの異常箇所と判定することもできる。
If the height of the measurement surface of the test sample does not match the reference sample even at one location, the first phase information and the second phase information do not match. Therefore, the
以上のように、第1の実施の形態に係る表面検査装置10によれば、被検試料の鏡面における高さの異常を検出することができる。表面検査装置10による上記の高さの異常検出方法は、良品との比較によって被検試料の高さの異常を検出するものである。このため、例えば、位相の増加率が変化するといった特定の条件を満たす欠陥領域を検出する方法とは異なり、位相の増加率の変化に関係なく、ある箇所が異常か否かを判別できる。また、被検試料の計測面が平面であっても高さの異常を検出できる。例えば、被検試料の計測面全体の高さが、基準試料より一定量だけ異なる場合でも、高さが異常であることを検出できる。 As described above, according to the surface inspection apparatus 10 according to the first embodiment, it is possible to detect an abnormal height of the test sample on the mirror surface. The above-described height abnormality detection method by the surface inspection device 10 is to detect the height abnormality of the test sample by comparison with a non-defective product. Therefore, for example, unlike a method of detecting a defect region that satisfies a specific condition such as a change in the phase increase rate, it is possible to determine whether or not a certain part is abnormal regardless of the change in the phase increase rate. Further, even if the measurement surface of the test sample is a flat surface, the height abnormality can be detected. For example, even if the height of the entire measurement surface of the test sample differs from the reference sample by a certain amount, it is possible to detect that the height is abnormal.
また、第1の実施の形態によれば、撮像装置3を1台だけ使用して検査できるので、検査のための構成を簡易化でき、検査システムのコストや規模を削減できる。
さらに、例えば、鏡面の表面形状の計測法としては、光干渉法がある。この方法は、サブミクロンオーダでの計測が可能である反面、計測領域が数ミリ平方程度に限定され、また、高さ変化が大きい(例えば1ミリ以上)場合には計測できない。第1の実施の形態によれば、少なくとも数十ミリ平方以上といったより広い領域について、高さの異常を一度に検出できる。しかも、光干渉法よりも簡易なシステム構成によって高さの異常を検出できる。
Further, according to the first embodiment, the inspection can be performed by using only one imaging device 3, so that the configuration for the inspection can be simplified and the cost and scale of the inspection system can be reduced.
Furthermore, for example, as a measuring method of the surface shape of the mirror surface, there is an optical interference method. This method allows measurement on the order of submicrons, but on the other hand, the measurement area is limited to about several millimeters square, and measurement cannot be performed when the height change is large (for example, 1 millimeter or more). According to the first embodiment, height anomalies can be detected at once for a wider area such as at least several tens of millimeters square. Moreover, an abnormal height can be detected with a system configuration simpler than that of the optical interference method.
〔第2の実施の形態〕
次に、第2の実施の形態として、被検試料の表面の高さが異常か否かだけでなく、正常な高さからどれだけ違っているかを示す高さ差分値も計測可能な検査システムについて説明する。
[Second Embodiment]
Next, as a second embodiment, an inspection system capable of measuring not only whether or not the height of the surface of the test sample is abnormal, but also a height difference value indicating how different it is from the normal height. Will be described.
図4は、第2の実施の形態に係る検査システムの構成例を示す図である。図4に示す検査システムは、ステージ51、照明光源52、撮像装置53、ステージコントローラ54、照明コントローラ55、撮像コントローラ56、制御装置100および出力装置100aを有する。
FIG. 4 is a diagram showing a configuration example of the inspection system according to the second embodiment. The inspection system shown in FIG. 4 includes a
ステージ51は、試料60が配置される水平な上面を有する。また、ステージ51は、図示しない移動機構によって上下に移動可能になっている。なお、後述するように、ステージ51の上面には、検査対象となる被検試料、良否判定の基準となる良品の試料(基準試料)の他、高さ算出の基準となる平面鏡が配置される場合がある。
The
照明光源52は、照明光源52の一方向に対する光量が正弦波状に変化する照明パターンを、ステージ51の上の試料60に照射する。また、照明光源52は、照明コントローラ55の制御の下で、照明パターンの位相を変化させることが可能になっている。照明光源52は、例えば、プロジェクタや液晶ディスプレイなどの表示装置として実現可能である。撮像装置53は、ステージ51の上の試料60を撮像する。試料60における高さの計測面は鏡面になっており、撮像装置53は、試料60の計測面に照射された照明パターンの虚像を撮像する。撮像装置53は、例えばシフトレンズを備えることで、試料60の計測面を歪みを発生させずに撮像できるようになっている。
The
なお、ステージ51の高さの上下限やステージ51の上面の大きさ、照明光源52の照射面の大きさは、ステージ51がどの高さであっても、照明光源52からの照明パターンが試料60に反射して撮像装置53に写り込むように設定されている。
It should be noted that the upper and lower limits of the height of the
ステージコントローラ54は、制御装置100の制御の下で、ステージ51を上下に移動させ、ステージ51の高さを制御する。照明コントローラ55は、制御装置100の制御の下で、照明光源52に照射させる照明パターンの位相を変化させる。撮像コントローラ56は、制御装置100の制御の下で、撮像装置53の撮像動作を制御し、撮像によって得られた撮像画像を制御装置100に供給する。
Under the control of the
制御装置100は、検査システム全体を統括的に制御する。制御装置100は、撮像コントローラ56から取得した撮像画像に基づいて、試料60の計測面における高さの異常の有無の判定や、正常な高さとの差分値の演算を実行する。なお、制御装置100は、図1に示した表面検査装置10の一例である。出力装置100aは、制御装置100による検査結果を出力する。出力装置100aは、例えば、表示装置として実現可能である。
The
図5は、制御装置のハードウェア構成例を示す図である。制御装置100は、例えば、図5に示すようなコンピュータとして実現される。
制御装置100は、プロセッサ101によって装置全体が制御されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、GPU(Graphics Processing Unit)、またはPLD(Programmable Logic Device)である。また、プロセッサ101は、CPU、MPU、DSP、ASIC、GPU、PLDのうちの2以上の要素の組み合わせであってもよい。
FIG. 5 is a diagram illustrating a hardware configuration example of the control device. The
The
プロセッサ101には、バス108を介して、RAM(Random Access Memory)102と複数の周辺機器が接続されている。
RAM102は、制御装置100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。
A RAM (Random Access Memory) 102 and a plurality of peripheral devices are connected to the
The
バス108に接続されている周辺機器としては、HDD(Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、読み取り装置106および通信インタフェース107がある。
Peripheral devices connected to the
HDD103は、制御装置100の補助記憶装置として使用される。HDD103には、OSプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、SSD(Solid State Drive)などの他の種類の不揮発性記憶装置を使用することもできる。
The
グラフィック処理装置104には、表示装置104aが接続されている。グラフィック処理装置104は、プロセッサ101からの命令にしたがって、画像を表示装置104aの画面に表示させる。表示装置104aとしては、液晶ディスプレイや有機EL(ElectroLuminescence)ディスプレイなどがある。なお、表示装置104aは、図4の出力装置100aの一例である。
A
入力インタフェース105には、入力装置105aが接続されている。入力インタフェース105は、入力装置105aから出力される信号をプロセッサ101に送信する。入力装置105aとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
The
読み取り装置106には、可搬型記録媒体106aが脱着される。読み取り装置106は、可搬型記録媒体106aに記録されたデータを読み取ってプロセッサ101に送信する。可搬型記録媒体106aとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。
The
通信インタフェース107は、ステージコントローラ54、照明コントローラ55、撮像コントローラ56との間でデータを送受信する。
以上のようなハードウェア構成によって、制御装置100の処理機能を実現することができる。
The
With the above hardware configuration, the processing function of the
図6は、制御装置の処理機能の構成例を示すブロック図である。制御装置100は、制御部121、位相演算部122、良否判定部123、高さ演算部124および記憶部125を有する。制御部121、位相演算部122、良否判定部123および高さ演算部124の処理は、例えば、プロセッサ101が所定のプログラムを実行することで実現される。記憶部125は、例えば、RAM102の記憶領域として実現される。
FIG. 6 is a block diagram showing a configuration example of the processing function of the control device. The
制御部121は、制御装置100による試料の検査処理全般を統括的に制御する。例えば、制御部121は、撮影条件を設定し、撮像装置53に画像を撮像させるように撮像コントローラ56に指示する。撮像条件の設定処理としては、照明光源52に照射させる照明パターンの位相の設定を照明コントローラ55に指示する処理や、ステージ51の高さの設定をステージコントローラ54に指示する処理がある。制御部121は、撮像装置53によって撮像された撮像画像を撮像コントローラ56から受信し、記憶部125に格納する。
The
位相演算部122は、位相が異なる照明パターンを用いて試料の計測面を撮像した複数の撮像画像に基づいて、各画素の位相を算出する。
良否判定部123は、基準試料を撮像した撮像画像を基に算出された位相と、被検試料を撮像した撮像画像を基に算出された位相とに基づいて、被検試料の計測面から高さが異常である位置を検出する。また、良否判定部123は、これらの位相に基づいて、被検試料の良否を判定してもよい。例えば、良否判定部123は、被検試料の計測面から1カ所でも高さが異常の位置が検出された場合に、被検試料が不良であると判定してもよい。
The
The pass /
高さ演算部124は、平面鏡を撮像した撮像画像、基準試料を撮像した撮像画像、被検試料を撮像した撮像画像を基にそれぞれ算出された位相に基づいて、被検試料の計測面のうち高さが異常と判定された位置における高さ差分値を算出する。
The
記憶部125は、撮像画像や、高さ差分値を算出するための数式の係数など、制御装置100の処理で使用される各種のデータを記憶する。
次に、図7は、高さの良否判定方法について説明するための図である。本実施の形態の検査システムでは、第1の実施の形態と同様に、位相シフト法を用いて基準試料61および被検試料62のそれぞれについての位相が算出される。
The
Next, FIG. 7 is a diagram for explaining a height pass / fail determination method. In the inspection system of the present embodiment, the phase of each of the reference sample 61 and the test sample 62 is calculated using the phase shift method, as in the first embodiment.
まず、ステージ51に基準試料61が配置された状態で、照明光源52から照明パターンが照射され、撮像装置53による撮像が行われる。このとき、照明パターンの位相をπ/2(rad)ずつシフトしながら、その都度撮像が行われる。制御装置100の制御部121は、照明パターンの位相シフト量が0,π/2,π,3π/2の場合にそれぞれ撮像された撮像画像71a,71b,71c,71dを、撮像コントローラ56を介して受信する。
First, with the reference sample 61 placed on the
また、検査システムでは、ステージ51に被検試料62が配置された状態で、照明光源52から照明パターンが照射され、撮像装置53による撮像が行われる。このとき、上記と同様に、照明パターンの位相をπ/2(rad)ずつシフトしながら、その都度撮像が行われる。制御部121は、照明パターンの位相シフト量が0,π/2,π,3π/2の場合にそれぞれ撮像された撮像画像72a,72b,72c,72dを、撮像コントローラ56を介して受信する。
Further, in the inspection system, the illumination pattern is emitted from the
位相演算部122は、撮像画像71a,71b,71c,71dに基づき、前述した式(2)にしたがって画素ごとに位相を算出する。ここでは例として、撮像画像の画素ごとに位相の値がプロットされた位相画像PAが算出されるものとする。なお、プロットされる位相は、アンラップされた位相である。
The
また、位相演算部122は、撮像画像72a,72b,72c,72dに基づき、前述した式(2)にしたがって画素ごとに位相を算出する。ここでは例として、撮像画像の画素ごとに位相の値がプロットされた位相画像PBが算出されるものとする。なお、プロットされる位相は、アンラップされた位相である。
Further, the
良否判定部123は、位相画像PAの位相値と位相画像PBの位相値とを画素ごとに比較する。基準試料61と被検試料62とで計測面のある位置の高さが同じであれば、その位置に対応する画素の位相値も同じになる。一方、その位置の高さが異なる場合には、対応する画素の位相値も異なる。
The
良否判定部123は、位相値の差が所定の閾値を超える画素が所定数以上検出された場合に、被検試料62を不良品と判定する。この判定に用いられる閾値は、例えば、計測誤差の影響などを考慮して決定される。また、良否判定部123は、位相値の差が閾値を超えた画素を、高さの異常箇所として抽出することもできる。
The
図7の例では、基準試料61の計測面が水平であるが、被検試料62の計測面の中央付近に凹部が形成されているものとする。図7に示すグラフ81の破線は、撮像画像71a,71b,71c,71dを基に算出された位相のうち、中央付近での水平ラインに沿った位相の推移を示している。一方、グラフ81の実線は、撮像画像72a,72b,72c,72dを基に算出された位相のうち、上記と同じ水平ラインに沿った位相の推移を示している。これらの位相の比較により、被検試料62の計測面に形成された凹部の領域において、高さが異常であることが検出される。
In the example of FIG. 7, the measurement surface of the reference sample 61 is horizontal, but a concave portion is formed near the center of the measurement surface of the test sample 62. The broken line of the
次に、高さの異常が発生した位置における高さ差分値の演算方法について説明する。高さ差分値とは、前述のように、その位置の高さが正しい高さからどれだけ違っているかを示す値である。高さ差分値の演算のためには、まず、算出された位相の情報から高さを算出するための基準を算出する「高さのキャリブレーション」が実行される。 Next, a method of calculating the height difference value at the position where the height abnormality occurs will be described. As described above, the height difference value is a value indicating how different the height of the position is from the correct height. In order to calculate the height difference value, first, “height calibration” is performed to calculate a reference for calculating the height from the calculated phase information.
図8は、高さのキャリブレーションについて説明するための図である。第2の実施の形態では、上面の高さが一定である平面鏡を用いてキャリブレーションが実行される。キャリブレーションでは、平面鏡63が配置されたステージ51の高さを複数段階に変更し、高さを変更するごとに、位相の異なる照明パターンを用いた撮像が行われる。高さは、最小で2段階に変更されればよい。
FIG. 8 is a diagram for explaining the height calibration. In the second embodiment, the calibration is performed using a plane mirror whose upper surface has a constant height. In the calibration, the height of the
例えば、図8の左上に示すように、平面鏡63の上面の高さ(すなわち、Z軸方向の座標)がz1に設定される。この状態において、照明光源52から照明パターンが照射され、撮像装置53による撮像が行われる。このとき、照明パターンの位相をπ/2(rad)ずつシフトしながら、その都度撮像が行われる。制御装置100の制御部121は、照明パターンの位相シフト量が0,π/2,π,3π/2の場合にそれぞれ撮像された撮像画像73a,73b,73c,73dを、撮像コントローラ56を介して受信する。
For example, as shown in the upper left of FIG. 8, the height of the upper surface of the plane mirror 63 (that is, the coordinate in the Z-axis direction) is set to z1. In this state, the illumination pattern is emitted from the
次に、図8の左下に示すように、平面鏡63の上面の高さがz2に設定される。図8の例では、z2<z1であるものとする。この状態において、照明光源52から照明パターンが照射され、撮像装置53による撮像が行われる。このとき、上記と同様に、照明パターンの位相をπ/2(rad)ずつシフトしながら、その都度撮像が行われる。制御部121は、照明パターンの位相シフト量が0,π/2,π,3π/2の場合にそれぞれ撮像された撮像画像74a,74b,74c,74dを、撮像コントローラ56を介して受信する。
Next, as shown in the lower left of FIG. 8, the height of the upper surface of the plane mirror 63 is set to z2. In the example of FIG. 8, it is assumed that z2 <z1. In this state, the illumination pattern is emitted from the
位相演算部122は、撮像画像73a,73b,73c,73dに基づき、前述した式(2)にしたがって画素ごとに位相を算出する。ここでは例として、撮像画像の画素ごとに位相の値がプロットされた位相画像PC1が算出されるものとする。また、位相演算部122は、撮像画像74a,74b,74c,74dに基づき、前述した式(2)にしたがって画素ごとに位相を算出する。ここでは例として、撮像画像の画素ごとに位相の値がプロットされた位相画像PC2が算出されるものとする。なお、位相画像PC1,PC2にそれぞれプロットされる位相は、アンラップされた位相である。
The
図8に示すグラフ82において、直線82aは、撮像画像73a,73b,73c,73dに基づいて算出された位相のうち、X軸方向に対する位相の推移を示している。また、直線82bは、撮像画像74a,74b,74c,74dに基づいて算出された位相のうち、X軸方向に対する位相の推移を示している。平面鏡63の上面は水平であるので、直線82a,82bのように、X軸方向に対して位相は一定の増加率で増加する。
In the
ここで、撮像画像73a,73b,73c,73dから算出された位相画像PC1では、X軸方向に対する位相の増加率はすべての画素で同一であり、この増加率をd1とする。また、撮像画像74a,74b,74c,74dから算出された位相画像PC2でも、X軸方向に対する位相の増加率はすべての画素で同一であり、この増加率をd2とする。なお、図8のようにz1>z2の関係がある場合、d1<d2となる。
Here, in the phase image PC1 calculated from the picked-up
ある試料の撮像画像から位相画像が算出され、その位相画像から座標(i,j)におけるX軸方向の位相の増加率dx(i,j)が得られたとき、試料の計測面における座標(i,j)に対応する位置の高さz(i,j)は、例えば次の式(3)にしたがって算出される。
z(i,j)=(z2−z1)*dx(i,j)/(d2−d1)−(z2−z1)*d1/(d2−d1)+z1 ・・・(3)
制御装置100の高さ演算部124は、基準試料61を用いて算出された位相画像PC1を基に、式(3)にしたがって高さx(i,j)を算出する。具体的には、位相画像PC1における座標(i,j)でのX軸方向に対する位相の増加率が、式(3)の増加率dx(i,j)に代入される。また、高さ演算部124は、被検試料62を用いて算出された位相画像PC2を基に、式(3)にしたがって高さx(i,j)を算出する。具体的には、位相画像PC2における座標(i,j)でのX軸方向に対する位相の増加率が、式(3)の増加率dx(i,j)に代入される。高さ演算部124は、算出された一方の高さx(i,j)から他方の高さx(i,j)を減算することで、座標(i,j)における高さ差分値を絶対的な値として算出できる。
When the phase image is calculated from the imaged image of a certain sample and the increase rate dx (i, j) of the phase in the X-axis direction at the coordinate (i, j) is obtained from the phase image, the coordinate on the measurement surface of the sample ( The height z (i, j) of the position corresponding to i, j) is calculated according to the following equation (3), for example.
z (i, j) = (z2-z1) * dx (i, j) / (d2-d1)-(z2-z1) * d1 / (d2-d1) + z1 (3)
The
次に、制御装置100における検査制御処理の手順についてフローチャートを用いて説明する。
図9〜図10は、検査制御処理全体の手順の例を示すフローチャートである。
Next, the procedure of the inspection control process in the
9 to 10 are flowcharts showing an example of the procedure of the entire inspection control processing.
[ステップS11]ステージ51に基準試料がセットされる。
[ステップS12]制御部121の制御の下で、照明光源52から位相が異なる照明パターンが照射され、照明パターンごとに画像が撮像される。制御部121は、照明パターンごとの撮像画像を撮像コントローラ56から受信し、記憶部125に格納する。位相演算部122は、受信された各撮像画像を基に位相画像PAを算出し、記憶部125に格納する。
[Step S11] A reference sample is set on the
[Step S12] Under the control of the
[ステップS13]ステージ51に平面鏡がセットされる。
[ステップS14]制御部121は、ステージ51の高さを、あらかじめ決められた複数段階のうちの1つに設定するようにステージコントローラ54に指示する。ステージコントローラ54は、ステージ51の高さを指示された高さに設定する。
[Step S13] A plane mirror is set on the
[Step S14] The
[ステップS15]制御部121の制御の下で、照明光源52から位相が異なる照明パターンが照射され、照明パターンごとに画像が撮像される。制御部121は、照明パターンごとの撮像画像を撮像コントローラ56から受信し、記憶部125に格納する。位相演算部122は、受信された各撮像画像を基に、n番目の高さの段階に対応する位相画像PCnを算出し、記憶部125に格納する。
[Step S15] Under the control of the
本実施の形態では、ステージ51の高さは(z1−z0)と(z2−z0)の2段階に変更されるものとする。z0は、平面鏡の厚さである。これにより、ステップS15が2回繰り返され、高さ(z1−z0)に対応する位相画像PC1と、高さ(z2−z0)に対応する位相画像PC2とが算出される。
In the present embodiment, the height of the
[ステップS16]高さ演算部124は、位相画像PCnの画素でのX軸方向に対する位相の増加率dnを算出する。本実施の形態では、位相画像PC1から増加率d1が算出され、位相画像PC2から増加率d2が算出される。
[Step S16] The
[ステップS17]制御部121は、ステージ51の高さをあらかじめ決められたすべての段階に設定したかを判定する。未設定の段階がある場合、処理がステップS14に進められ、制御部121は、ステージ51の高さが次の段階に変更されるように制御する。一方、すべての段階について設定済みの場合、図10のステップS21の処理が実行される。
[Step S17] The
[ステップS21]ステージ51に被検試料がセットされる。また、制御部121は、ステージ51の高さをステップS11と同じ高さにするようにステージコントローラ54に指示する。ステージコントローラ54は、ステージ51の高さを指示された高さに設定する。
[Step S21] The test sample is set on the
[ステップS22]制御部121の制御の下で、照明光源52から位相が異なる照明パターンが照射され、照明パターンごとに画像が撮像される。制御部121は、照明パターンごとの撮像画像を撮像コントローラ56から受信し、記憶部125に格納する。位相演算部122は、受信された各撮像画像を基に位相画像PBを算出し、記憶部125に格納する。
[Step S22] Under the control of the
[ステップS23]制御部121は、処理対象の画素を選択する。
[ステップS24]良否判定部123は、記憶部125に格納された位相画像PA,PBの情報を参照し、処理対象の画素に対応する位相値を位相画像PA,PBから抽出する。良否判定部123は、位相画像PAから抽出した位相値から、位相画像PBから抽出した位相値を減算することで、位相値の差分を算出する。
[Step S23] The
[Step S24] The
[ステップS25]良否判定部123は、算出された位相値の差分が所定の閾値を超えているか否かによって、処理対象の画素における高さが異常か否かを判定する。位相値の差分が閾値を超えた場合に、高さが異常であると判定される。高さが異常であると判定された場合、ステップS26の処理が実行され、高さが異常でないと判定された場合、ステップS28の処理が実行される。
[Step S25] The
[ステップS26]高さ演算部124は、位相画像PAの処理対象の画素における、X軸方向に対する位相の増加率を算出する。高さ演算部124は、高さz1,z2と増加率d1,d2を用いて生成される式(3)の増加率dx(i,j)に対して、算出された増加率を代入する。これにより、基準試料の計測面における、処理対象の画素に対応する位置での高さzb1が算出される。
[Step S26] The
また、高さ演算部124は、位相画像PBの処理対象の画素における、X軸方向に対する位相の増加率を算出する。高さ演算部124は、式(3)の増加率dx(i,j)に対して、算出された増加率を代入する。これにより、被検試料の計測面における、処理対象の画素に対応する位置での高さzb2が算出される。
Further, the
[ステップS27]高さ演算部124は、高さzb1から高さzb2を減算することで、処理対象の画素に対応する高さ差分値を算出する。
[ステップS28]制御部121は、位相画像におけるすべての画素について処理済みかを判定する。未処理の画素がある場合、処理がステップS23に進められ、未処理の画素が選択される。一方、すべての画素について処理済みの場合、ステップS29の処理が実行される。
[Step S27] The
[Step S28] The
[ステップS29]制御部121は、ステップS21でセットされた被検試料についての検査結果を、出力装置100aを介して出力する。具体的には、制御部121は、ステップS25で所定回数以上(すなわち、所定個数以上の画素で)高さが異常と判定された場合に、被検試料が不良品であることを示す情報を出力する。また、この場合、制御部121は、高さが異常と判定された各画素について算出された高さ差分値を出力する。
[Step S29] The
[ステップS30]制御部121は、検査を終了するかを判定する。例えば、他の被検試料を用いて検査が行われる場合、処理がステップS21に進められる。一方、検査を終了する場合、制御部121は処理を終了する。
[Step S30] The
図11は、位相画像の算出手順の例を示すフローチャートである。この図11の処理は、図9のステップS12,S15および図10のステップS22のそれぞれにおける処理に対応する。 FIG. 11 is a flowchart showing an example of a phase image calculation procedure. The processing in FIG. 11 corresponds to the processing in steps S12 and S15 in FIG. 9 and step S22 in FIG.
[ステップS41]制御部121は、照明光源52に照射させる照明パターンの位相を設定するように、照明コントローラ55に指示する。ステップS41が実行されるたびに、位相がπ/2ずつシフトされるように指示される。照明コントローラ55は、指示された位相の照明パターンを照明光源52に照射させる。
[Step S41] The
[ステップS42]制御部121は、撮像コントローラ56に対して、画像を撮像するように指示する。撮像コントローラ56は、撮像装置53に画像を撮像させ、得られた撮像画像を制御装置100に送信する。制御部121は、撮像画像を受信して記憶部125に格納する。
[Step S42] The
[ステップS43]制御部121は、あらかじめ決められたすべての位相の照明パターンを設定済みかを判定する。未設定の照明パターンがある場合、ステップS41の処理が実行され、すべて設定済みである場合、ステップS44の処理が実行される。
[Step S43] The
[ステップS44]位相演算部122は、記憶部125に格納された各撮像画像を基に、位相画像を算出し、記憶部125に格納する。
以上説明した第2の実施の形態によれば、第1の実施の形態と同様、被検試料の鏡面における高さの異常を検出することができる。これに加えて、第2の実施の形態によれば、被検試料の鏡面から高さの異常箇所が検出された場合、その箇所の高さが正しい高さからどれだけずれているかを、絶対的な数値として算出することができる。
[Step S44] The
According to the second embodiment described above, as in the first embodiment, it is possible to detect the abnormal height of the test sample on the mirror surface. In addition to this, according to the second embodiment, when an abnormal location of height is detected from the mirror surface of the test sample, it is absolutely necessary to determine how much the height of the location deviates from the correct height. Can be calculated as a numerical value.
〔第3の実施の形態〕
次に、第3の実施の形態に係る検査システムについて説明する。第3の実施の形態に係る検査システムは、第2の実施の形態での検査手順の一部を変更したものである。例えば、第3の実施の形態では、高さ差分値を求めるためのキャリブレーションが、平面鏡ではなく基準試料を用いて実行される点で、第2の実施の形態とは異なる。
[Third Embodiment]
Next, an inspection system according to the third embodiment will be described. The inspection system according to the third embodiment is obtained by modifying a part of the inspection procedure according to the second embodiment. For example, the third embodiment differs from the second embodiment in that the calibration for obtaining the height difference value is performed using the reference sample instead of the plane mirror.
第3の実施の形態に係る検査システムのハードウェアや処理機能の基本的な構成は、第2の実施の形態と同様である。そこで、以下、第3の実施の形態に係る検査システムについて、図4、図6の符号を用いて説明する。 The basic configuration of hardware and processing functions of the inspection system according to the third embodiment is the same as that of the second embodiment. Therefore, the inspection system according to the third embodiment will be described below with reference to the reference numerals in FIGS. 4 and 6.
図12は、第3の実施の形態における高さのキャリブレーションについて説明するための図である。第3の実施の形態では、平面鏡の代わりに、基準試料61を用いてキャリブレーションが実行される。キャリブレーションでは、基準試料61が配置されたステージ51の高さを複数段階に変更し、高さを変更するごとに、位相の異なる照明パターンを用いた撮像が行われる。高さは、最小で2段階に変更されればよい。
FIG. 12 is a diagram for explaining the height calibration according to the third embodiment. In the third embodiment, the calibration is performed using the reference sample 61 instead of the plane mirror. In the calibration, the height of the
なお、本実施の形態で使用される基準試料61については、その計測面の少なくとも一部に高さが一定の水平領域が存在する。そして、被検試料の計測面のうち、水平領域に対応する領域で高さの異常が検出された場合に、その位置での高さ差分を算出することができる。 Regarding the reference sample 61 used in the present embodiment, a horizontal region having a constant height exists on at least a part of its measurement surface. Then, when the height abnormality is detected in the area corresponding to the horizontal area on the measurement surface of the test sample, the height difference at that position can be calculated.
例えば、図12の左上に示すように、ステージ51に基準試料61が配置され、基準試料61の計測面における水平領域の高さがz1となるようにステージ51の高さが設定される。計測面に水平領域が複数存在する場合には、例えば、それらのうち面積が最大の水平領域の高さがz1となるように調整されればよい。この状態において、照明光源52から位相をπ/2ずつシフトした照明パターンが照射され、照明パターンごとに撮像装置53によって撮像が行われる。これにより、照明パターンの位相シフト量がそれぞれ0,π/2,π,3π/2の場合の撮像画像75a,75b,75c,75dが撮像される。
For example, as shown in the upper left of FIG. 12, the reference sample 61 is arranged on the
次に、図12の左下に示すように、水平面の高さがz2となるようにステージ51の高さが設定される。そして、上記と同様に、照明光源52から位相をπ/2ずつシフトした照明パターンが照射され、照明パターンごとに撮像装置53によって撮像が行われる。これにより、照明パターンの位相シフト量がそれぞれ0,π/2,π,3π/2の場合の撮像画像76a,76b,76c,76dが撮像される。
Next, as shown in the lower left of FIG. 12, the height of the
位相演算部122は、撮像画像75a,75b,75c,75dに基づき、前述した式(2)にしたがって画素ごとに位相を算出する。ここでは例として、撮像画像の画素ごとに位相の値がプロットされた位相画像PB1が算出されるものとする。また、位相演算部122は、撮像画像76a,76b,76c,76dに基づき、前述した式(2)にしたがって画素ごとに位相を算出する。ここでは例として、撮像画像の画素ごとに位相の値がプロットされた位相画像PB2が算出されるものとする。なお、位相画像PB1,PB2にそれぞれプロットされる位相は、アンラップされた位相である。
The
図12に示すグラフ83において、線83aは、撮像画像75a,75b,75c,75dに基づいて算出された位相のうち、X軸方向に対する位相の推移を示している。また、線83bは、撮像画像76a,76b,76c,76dに基づいて算出された位相のうち、X軸方向に対する位相の推移を示している。
In the
図13は、位相の増加率の決定方法について説明するための図である。高さ演算部124は、算出された位相画像PB1,PB2に基づいて、前述の式(3)に適用する位相の増加率d1,d2を決定する。ここで、平面鏡を用いて算出された位相画像では、すべての画素における位相の増加率は同一となる。しかし、基準試料61の計測面は、平面鏡のようにその前面が同じ高さの水平面になっているとは限らない。このため、画素によって位相の増加率が異なる場合がある。
FIG. 13 is a diagram for explaining a method of determining the phase increase rate. The
図13では例として、位相画像PB1,PB2のそれぞれの一部領域における位相の増加率を画素にプロットして示している。図13(A)は、位相画像PB1の一部領域について示したものであり、図13(B)は、位相画像PB2の同じ領域について示したものである。図13(A)によれば、位相画像PB1には、位相の変化率がD1の領域とD3の領域とがある。また、図13(B)によれば、位相画像PB2には、位相の変化率がD2の領域とD4の領域とがある。これは、基準試料61の計測面には、高さが異なる2つの水平領域が存在していることを示す。 In FIG. 13, as an example, the rate of increase of the phase in each partial region of the phase images PB1 and PB2 is plotted in pixels. FIG. 13A shows a partial area of the phase image PB1, and FIG. 13B shows the same area of the phase image PB2. According to FIG. 13A, the phase image PB1 has a region in which the phase change rate is D1 and a region in which the phase change rate is D3. Further, according to FIG. 13B, the phase image PB2 has a region in which the phase change rate is D2 and a region in which the phase change rate is D4. This indicates that the measurement surface of the reference sample 61 has two horizontal regions having different heights.
位相画像PB1,PB2の両方において位相の増加率が同一の画素が連続している場合、それらの画素は水平領域に存在すると判定できる。高さ差分値の算出対象の位置が水平領域にあると判定される場合には、その領域での位相の増加率を式(3)のd1,d2に代入できる。しかし、例えば高さが異なる2つの水平領域の境界など、隣接する画素の位相の増加率が異なる場合には、その位置での位相の増加率は高さ差分値の算出に適さない。このため、高さ演算部124は、このような位置を避けて高さ差分値を算出する。
When pixels having the same phase increase rate in both phase images PB1 and PB2 are continuous, it can be determined that those pixels exist in the horizontal region. When it is determined that the position where the height difference value is calculated is in the horizontal area, the rate of increase of the phase in that area can be substituted into d1 and d2 of the equation (3). However, when the increase rate of the phase of adjacent pixels is different, such as the boundary between two horizontal regions having different heights, the increase rate of the phase at that position is not suitable for calculating the height difference value. Therefore, the
次に、第3の実施の形態に係る制御装置100における検査制御処理の手順についてフローチャートを用いて説明する。
図14〜図15は、検査制御処理全体の手順の例を示すフローチャートである。ここでは、図9〜図10とは異なる処理内容についてのみ説明し、その他の処理内容の説明を省略する。
Next, the procedure of the inspection control process in the
14 to 15 are flowcharts showing an example of the procedure of the entire inspection control processing. Here, only the processing contents different from those in FIGS. 9 to 10 will be described, and the description of the other processing contents will be omitted.
まず、図14の処理では、図9に示したステップS12〜S17の代わりにステップS14a〜S17aが実行される。
[ステップS14a]制御部121は、基準試料がセットされたステージ51の高さを、あらかじめ決められた複数段階のうちの1つに設定するようにステージコントローラ54に指示する。ステージコントローラ54は、ステージ51の高さを指示された高さに設定する。
First, in the process of FIG. 14, steps S14a to S17a are executed instead of steps S12 to S17 shown in FIG.
[Step S14a] The
[ステップS15a]制御部121の制御の下で、照明光源52から位相が異なる照明パターンが照射され、照明パターンごとに画像が撮像される。制御部121は、照明パターンごとの撮像画像を撮像コントローラ56から受信し、記憶部125に格納する。位相演算部122は、受信された各撮像画像を基に、n番目の高さの段階に対応する位相画像PAnを算出し、記憶部125に格納する。
[Step S15a] Under the control of the
本実施の形態では、ステージ51の高さは(z1−z0’)と(z2−z0’)の2段階に変更されるものとする。z0’は、基準試料の計測面のうち、高さの基準とする水平領域における基準試料の厚さである。これにより、ステップS15aが2回繰り返され、高さ(z1−z0’)に対応する位相画像PA1と、高さ(z2−z0’)に対応する位相画像PA2とが算出される。
In the present embodiment, it is assumed that the height of the
[ステップS16a]高さ演算部124は、位相画像PAnの各画素でのX軸方向に対する位相の増加率を算出する。
[ステップS17a]制御部121は、ステージ51の高さをあらかじめ決められたすべての段階に設定したかを判定する。未設定の段階がある場合、処理がステップS14aに進められ、制御部121は、ステージ51の高さが次の段階に変更されるように制御する。一方、すべての段階について設定済みの場合、図15のステップS21aの処理が実行される。
[Step S16a] The
[Step S17a] The
次に、図15の処理では、図10に示したステップS21,S24の代わりにそれぞれステップS21a,S24aが実行され、ステップS26の代わりにステップS26a,S26bが実行される。 Next, in the process of FIG. 15, steps S21a and S24a are executed instead of steps S21 and S24 shown in FIG. 10, and steps S26a and S26b are executed instead of step S26.
[ステップS21a]ステージ51に被検試料がセットされる。また、制御部121は、ステージ51の高さを(z1−z0’)にするようにステージコントローラ54に指示する。ステージコントローラ54は、ステージ51の高さを指示された高さに設定する。
[Step S21a] The test sample is set on the
[ステップS24a]良否判定部123は、記憶部125に格納された位相画像PA1,PBの情報を参照し、処理対象の画素に対応する位相値を位相画像PA1,PBから抽出する。良否判定部123は、位相画像PA1から抽出した位相値から、位相画像PBから抽出した位相値を減算することで、位相値の差分を算出する。
[Step S24a] The
[ステップS26a]高さ演算部124は、式(3)のd1,d2に代入する増加率の値を決定する。この処理では、高さ演算部124は、処理対象の画素が水平領域に含まれる場合に、上記の増加率の値を決定する。一方、高さ演算部124は、処理対象の画素が水平領域に含まれない場合には、増加率の値の決定と次のステップS26b,S27の処理をスキップする。
[Step S26a] The
処理対象の画素が水平領域に含まれるか否かの判定は、例えば、次のように実行される。高さ演算部124は、ステップS16aで位相画像PA1から算出された位相の増加率の中から、処理対象の画素と、この画素に対してX軸方向に隣接する2つの画素のそれぞれに対応する増加率を抽出する。高さ演算部124は、処理対象の画素での増加率が、隣接する各画素での増加率のそれぞれと一致するかを判定する。これとともに、高さ演算部124は、ステップS16aで位相画像PA2から算出された位相の増加率の中から、処理対象の画素と、この画素に対してX軸方向に隣接する2つの画素のそれぞれに対応する増加率を抽出する。高さ演算部124は、処理対象の画素での増加率が、隣接する各画素での増加率のそれぞれと一致するかを判定する。
The determination as to whether or not the pixel to be processed is included in the horizontal region is performed as follows, for example. The
高さ演算部124は、これらのすべての判定で増加率が一致した場合に、処理対象の画素が水平領域に含まれると判定する。この場合、高さ演算部124は、位相画像PA1から算出された、処理対象の画素での増加率を、式(3)のd1に代入する値と決定し、位相画像PA2から算出された、処理対象の画素での増加率を、式(3)のd2に代入する値と決定する。
The
[ステップS26b]高さ演算部124は、ステップS16aで位相画像PA1から算出された位相の増加率の中から、処理対象の画素に対応する増加率を抽出する。高さ演算部124は、ステップS26aで決定されたd1,d2と、高さz1,z2とを用いて生成される式(3)の増加率dx(i,j)に対して、抽出された増加率を代入する。これにより、基準試料の計測面における、処理対象の画素に対応する位置での高さzb1が算出される。
[Step S26b] The
また、高さ演算部124は、位相画像PBの処理対象の画素における、X軸方向に対する位相の増加率を算出する。高さ演算部124は、同様の式(3)の増加率dx(i,j)に対して、算出された増加率を代入する。これにより、被検試料の計測面における、処理対象の画素に対応する位置での高さzb2が算出される。
Further, the
以上のような処理により、被検試料の計測面における高さの異常を検出できるとともに、高さが異常と判定された位置での高さが、正しい高さからどれだけずれているかを示す高さ差分値を算出することができる。 With the above processing, it is possible to detect an abnormal height on the measurement surface of the test sample and to show how much the height at the position where the height is determined to be abnormal deviates from the correct height. The difference value can be calculated.
なお、上記の各実施の形態に示した装置(表面検査装置10および制御装置100)の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc-Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。 The processing functions of the devices (surface inspection device 10 and control device 100) shown in each of the above embodiments can be realized by a computer. In that case, a program describing the processing content of the function that each device should have is provided, and the processing function is realized on the computer by executing the program on the computer. The program describing the processing content can be recorded in a computer-readable recording medium. Computer-readable recording media include magnetic storage devices, optical disks, magneto-optical recording media, semiconductor memories, and the like. The magnetic storage device includes a hard disk device (HDD), a flexible disk (FD), a magnetic tape, and the like. The optical disc includes a DVD (Digital Versatile Disc), a DVD-RAM, a CD-ROM (Compact Disc-Read Only Memory), and a CD-R (Recordable) / RW (ReWritable). Magneto-optical recording media include MO (Magneto-Optical disk).
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 In order to put the program into the market, for example, a portable recording medium such as a DVD or a CD-ROM in which the program is recorded is sold. It is also possible to store the program in the storage device of the server computer and transfer the program from the server computer to another computer via the network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded in the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute the processing according to the program. Further, the computer can also sequentially execute processing according to the received program every time the program is transferred from the server computer connected via the network.
1 試料
2 照明光源
3 撮像装置
4 グラフ
4a,4b 曲線
10 表面検査装置
11 画像取得部
12 異常検出部
21a〜21d 照明パターン
31a〜31d,32a〜32d 撮像画像
DESCRIPTION OF
Claims (5)
高さが一定の鏡面を有する平面鏡を用い、前記平面鏡の鏡面に光量が正弦波状に変化する照明パターンが投影された画像を、前記平面鏡の設置高さを変化させ、かつ、同じ前記設置高さごとに前記照明パターンの位相を変化させて複数回撮像することで得られる第3の撮像画像群を取得し、
前記第3の撮像画像群に基づいて、画素ごとの位相を示す第3の位相情報を前記設置高さごとに算出し、
第1の試料における鏡面の計測面に前記照明パターンが投影された画像を、前記照明パターンの位相を変化させて複数回撮像することで得られる第1の撮像画像群と、前記第1の試料の基準となる第2の試料における鏡面の計測面に前記照明パターンが投影された画像を、前記照明パターンの位相を変化させて複数回撮像することで得られる第2の撮像画像群とを取得し、
前記第1の撮像画像群に基づいて画素ごとの位相を示す第1の位相情報を算出するとともに、前記第2の撮像画像群に基づいて画素ごとの位相を示す第2の位相情報を算出し、
前記第1の位相情報と前記第2の位相情報との比較結果に基づいて前記第1の試料における計測面の高さの異常を検出し、
前記第3の位相情報のそれぞれにおける位相の増加率を算出し、前記増加率の間の差分と前記第1の位相情報と前記第2の位相情報とに基づいて、前記第1の試料の計測面における高さが異常の位置での正常値からの高さの差分値を算出する、
表面検査方法。 Computer
Using a plane mirror having a constant height mirror surface, an image in which an illumination pattern in which the light quantity changes sinusoidally is projected on the plane surface of the plane mirror, the installation height of the plane mirror is changed, and the installation height is the same. A third captured image group obtained by changing the phase of the illumination pattern for each time and capturing a plurality of times,
Based on the third captured image group, third phase information indicating a phase for each pixel is calculated for each installation height,
An image the illumination pattern is projected onto the mirror surface of the measuring surface in the first sample, a first captured image group obtained by imaging a plurality of times while changing the phase of the illumination pattern, the first sample And a second captured image group obtained by capturing the image in which the illumination pattern is projected on the measurement surface of the mirror surface of the second sample, which is the reference, by capturing the image multiple times by changing the phase of the illumination pattern. Then
First phase information indicating a phase for each pixel is calculated based on the first captured image group, and second phase information indicating a phase for each pixel is calculated based on the second captured image group. ,
Detecting an abnormality in the height of the measurement surface of the first sample based on the comparison result of the first phase information and the second phase information ,
An increase rate of the phase in each of the third phase information is calculated, and the measurement of the first sample is performed based on the difference between the increase rates, the first phase information, and the second phase information. Calculate the difference value of the height from the normal value at the position where the height on the surface is abnormal,
Surface inspection method.
請求項1記載の表面検査方法。 In the detection, the phases included in the first phase information and the second phase information are compared for each pixel, and when a predetermined number or more of pixels in which the phase difference exceeds a predetermined threshold value are detected, The first sample is determined to be defective,
The surface inspection method according to claim 1.
第1の試料における鏡面の計測面に光量が正弦波状に変化する照明パターンが投影された画像を、前記照明パターンの位相を変化させて複数回撮像することで得られる第1の撮像画像群と、前記第1の試料の基準となる第2の試料における鏡面の計測面に前記照明パターンが投影された画像を、前記照明パターンの位相および前記第2の試料の設置高さを変化させて複数回撮像することで得られる第2の撮像画像群とを取得し、
前記第1の撮像画像群に基づいて画素ごとの位相を示す第1の位相情報を算出するとともに、前記第2の撮像画像群に基づいて画素ごとの位相を示す第2の位相情報を前記設置高さごとに算出し、
前記第1の位相情報と前記第2の位相情報との比較結果に基づいて前記第1の試料における計測面の高さの異常を検出し、
前記設置高さごとの前記第2の位相情報のそれぞれにおける位相の増加率を算出し、前記増加率の間の差分と前記第1の位相情報とに基づいて、前記第1の試料の計測面における高さが異常の位置のうち、前記各増加率を基に特定される前記第2の試料における水平領域に対応する位置での正常値からの高さの差分値を算出する、
表面検査方法。 Computer
A first captured image group obtained by capturing a plurality of images of an image of an illumination pattern in which the amount of light changes sinusoidally on the mirror-like measurement surface of the first sample and changing the phase of the illumination pattern. , A plurality of images obtained by projecting the illumination pattern on the mirror-like measurement surface of the second sample serving as a reference of the first sample by changing the phase of the illumination pattern and the installation height of the second sample. And a second captured image group obtained by capturing images twice,
The first phase information indicating the phase for each pixel is calculated based on the first captured image group, and the second phase information indicating the phase for each pixel based on the second captured image group is set. Calculate for each height ,
Detecting an abnormality in the height of the measurement surface of the first sample based on the comparison result of the first phase information and the second phase information ,
The rate of increase of the phase in each of the second phase information for each installation height is calculated, and the measurement surface of the first sample is calculated based on the difference between the rates of increase and the first phase information. A height difference from a normal value at a position corresponding to a horizontal region in the second sample, which is specified based on each of the increase rates, among the positions where the height is abnormal, is calculated.
Surface inspection method.
前記第3の撮像画像群に基づいて、画素ごとの位相を示す第3の位相情報を前記設置高さごとに算出するとともに、前記第1の撮像画像群に基づいて画素ごとの位相を示す第1の位相情報を算出するとともに、前記第2の撮像画像群に基づいて画素ごとの位相を示す第2の位相情報を算出し、前記第1の位相情報と前記第2の位相情報との比較結果に基づいて前記第1の試料における計測面の高さの異常を検出する異常検出部と、
前記第3の位相情報のそれぞれにおける位相の増加率を算出し、前記増加率の間の差分と前記第1の位相情報と前記第2の位相情報とに基づいて、前記第1の試料の計測面における高さが異常の位置での正常値からの高さの差分値を算出する高さ演算部と、
を有する表面検査装置。 Using a plane mirror having a constant height mirror surface, an image in which an illumination pattern in which the light quantity changes sinusoidally is projected on the plane surface of the plane mirror, the installation height of the plane mirror is changed, and the installation height is the same. wherein by changing the phase of the illumination pattern and the third captured image group obtained by imaging a plurality of times, the image the illumination pattern is projected onto the mirror surface of the measuring surface in the first sample, the illumination pattern every A first captured image group obtained by capturing multiple times while changing the phase of the image, and an image in which the illumination pattern is projected on the measurement surface of the mirror surface of the second sample serving as the reference of the first sample. An image acquisition unit that acquires a second captured image group obtained by capturing a plurality of times while changing the phase of the illumination pattern,
A third phase information indicating a phase for each pixel is calculated for each installation height based on the third captured image group, and a phase for each pixel is displayed based on the first captured image group. 1 phase information is calculated, second phase information indicating a phase for each pixel is calculated based on the second captured image group, and the first phase information is compared with the second phase information. An abnormality detection unit that detects an abnormality in the height of the measurement surface of the first sample based on the result;
An increase rate of the phase in each of the third phase information is calculated, and the measurement of the first sample is performed based on the difference between the increase rates, the first phase information, and the second phase information. A height calculation unit that calculates a difference value of the height from a normal value at a position where the height on the surface is abnormal,
Surface inspection apparatus having.
高さが一定の鏡面を有する平面鏡を用い、前記平面鏡の鏡面に光量が正弦波状に変化する照明パターンが投影された画像を、前記平面鏡の設置高さを変化させ、かつ、同じ前記設置高さごとに前記照明パターンの位相を変化させて複数回撮像することで得られる第3の撮像画像群を取得し、
前記第3の撮像画像群に基づいて、画素ごとの位相を示す第3の位相情報を前記設置高さごとに算出し、
第1の試料における鏡面の計測面に前記照明パターンが投影された画像を、前記照明パターンの位相を変化させて複数回撮像することで得られる第1の撮像画像群と、前記第1の試料の基準となる第2の試料における鏡面の計測面に前記照明パターンが投影された画像を、前記照明パターンの位相を変化させて複数回撮像することで得られる第2の撮像画像群とを取得し、
前記第1の撮像画像群に基づいて画素ごとの位相を示す第1の位相情報を算出するとともに、前記第2の撮像画像群に基づいて画素ごとの位相を示す第2の位相情報を算出し、
前記第1の位相情報と前記第2の位相情報との比較結果に基づいて前記第1の試料における計測面の高さの異常を検出し、
前記第3の位相情報のそれぞれにおける位相の増加率を算出し、前記増加率の間の差分と前記第1の位相情報と前記第2の位相情報とに基づいて、前記第1の試料の計測面における高さが異常の位置での正常値からの高さの差分値を算出する、
処理を実行させる表面検査プログラム。
On the computer,
Using a plane mirror having a constant height mirror surface, an image in which an illumination pattern in which the light quantity changes sinusoidally is projected on the plane surface of the plane mirror, the installation height of the plane mirror is changed, and the installation height is the same. A third captured image group obtained by changing the phase of the illumination pattern for each time and capturing a plurality of times,
Based on the third captured image group, third phase information indicating a phase for each pixel is calculated for each installation height,
An image the illumination pattern is projected onto the mirror surface of the measuring surface in the first sample, a first captured image group obtained by imaging a plurality of times while changing the phase of the illumination pattern, the first sample And a second captured image group obtained by capturing the image in which the illumination pattern is projected on the measurement surface of the mirror surface of the second sample, which is the reference, by capturing the image multiple times by changing the phase of the illumination pattern. Then
First phase information indicating a phase for each pixel is calculated based on the first captured image group, and second phase information indicating a phase for each pixel is calculated based on the second captured image group. ,
Detecting an abnormality in the height of the measurement surface of the first sample based on the comparison result of the first phase information and the second phase information ,
An increase rate of the phase in each of the third phase information is calculated, and the measurement of the first sample is performed based on the difference between the increase rates, the first phase information, and the second phase information. Calculate the difference value of the height from the normal value at the position where the height on the surface is abnormal,
A surface inspection program that executes processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016082567A JP6694137B2 (en) | 2016-04-18 | 2016-04-18 | Surface inspection method, surface inspection device, and surface inspection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016082567A JP6694137B2 (en) | 2016-04-18 | 2016-04-18 | Surface inspection method, surface inspection device, and surface inspection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017194273A JP2017194273A (en) | 2017-10-26 |
JP6694137B2 true JP6694137B2 (en) | 2020-05-13 |
Family
ID=60155392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016082567A Active JP6694137B2 (en) | 2016-04-18 | 2016-04-18 | Surface inspection method, surface inspection device, and surface inspection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6694137B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102306848B1 (en) * | 2019-12-27 | 2021-09-29 | (주) 인텍플러스 | Apparatus for inspecting exterior of battery |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7522289B2 (en) * | 2004-10-13 | 2009-04-21 | Solvision, Inc. | System and method for height profile measurement of reflecting objects |
JP5375201B2 (en) * | 2009-03-02 | 2013-12-25 | 株式会社豊田中央研究所 | 3D shape measuring method and 3D shape measuring apparatus |
TWI460394B (en) * | 2012-07-20 | 2014-11-11 | Test Research Inc | Three-dimensional image measuring apparatus |
-
2016
- 2016-04-18 JP JP2016082567A patent/JP6694137B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017194273A (en) | 2017-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5994419B2 (en) | Inspection method and inspection apparatus | |
KR101097572B1 (en) | Apparatus for controlling the position of a screen pointer with low sensitivity to fixed pattern noise | |
TWI600897B (en) | Computer-implemented method, non-transitory computer-readable medium, and system for detecting defects on a wafer | |
JP6507653B2 (en) | Inspection apparatus and control method of inspection apparatus | |
JP5564348B2 (en) | Image processing apparatus and appearance inspection method | |
JP7118678B2 (en) | Defect inspection device and defect inspection method | |
JP2006170809A (en) | Device and method for detecting defect | |
JP2008014768A (en) | Defect inspection device and method | |
JP5294427B2 (en) | Glass bottle inspection equipment | |
JP2011075470A (en) | Image processing program, image processing method, and image processing device | |
JP4680640B2 (en) | Image input apparatus and image input method | |
JP2009180690A (en) | Three-dimensional shape measuring apparatus | |
JP5292846B2 (en) | Observation device and observation method | |
JP6694137B2 (en) | Surface inspection method, surface inspection device, and surface inspection program | |
JP2008003063A (en) | Shading correction method, defect detection method, and defect detector and control method program thereof | |
JP2010091361A (en) | Method and device for inspecting image | |
JP2011523701A (en) | Substrate quality inspection apparatus and inspection method therefor | |
JP2009002669A (en) | Visual inspection device | |
JP2009103494A (en) | Surface inspection apparatus | |
JP2010091360A (en) | Method and device for inspecting image | |
TWI705510B (en) | Method and system for process control with flexible sampling | |
JP4496149B2 (en) | Dimensional measuring device | |
KR102586394B1 (en) | Cell-to-cell comparison method | |
JP3432446B2 (en) | Surface inspection device and surface inspection method | |
JP7006392B2 (en) | Inspection methods, equipment, systems and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200124 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200124 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6694137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |