JP2018077251A - 多重波長を用いた3次元形状の測定装置及び測定方法 - Google Patents

多重波長を用いた3次元形状の測定装置及び測定方法 Download PDF

Info

Publication number
JP2018077251A
JP2018077251A JP2018003274A JP2018003274A JP2018077251A JP 2018077251 A JP2018077251 A JP 2018077251A JP 2018003274 A JP2018003274 A JP 2018003274A JP 2018003274 A JP2018003274 A JP 2018003274A JP 2018077251 A JP2018077251 A JP 2018077251A
Authority
JP
Japan
Prior art keywords
phase
pattern
inspection object
dimensional shape
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018003274A
Other languages
English (en)
Inventor
▲民▼ 永 金
Min-Young Kim
▲民▼ 永 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koh Young Technology Inc
Original Assignee
Koh Young Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41503590&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2018077251(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koh Young Technology Inc filed Critical Koh Young Technology Inc
Publication of JP2018077251A publication Critical patent/JP2018077251A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】多重波長を用いた3次元形状の測定装置及び測定方法を提供する。【解決手段】多重波長を用いた3次元形状の測定装置は、検査対象物1を測定位置に移送させる移送ステージ10と、検査対象物に対して第1等価波長を有する第1パターン光を第1方向に照射する第1プロジェクター20と、検査対象物に対して第1等価波長と波長が異なる第2等価波長を有する第2パターン光を第2方向に照射する第2プロジェクター30と、移送ステージの検査対象物から反射される第1パターン光による第1パターンイメージと第2パターン光による第2パターンイメージとを撮影するカメラ部40と、第1プロジェクター20と第2プロジェクター30とを制御し、第1パターンイメージと第2パターンイメージとがカメラ部40で撮影されると、第1パターンイメージ及び第2パターンイメージを受信して検査対象物の3次元形状を算出する制御部50と、を含むことを特徴とする。【選択図】図1

Description

本発明は、多重波長(multi−wavelength)を用いた3次元形状の測定装置及び測定方法に関し、より詳細には、検査対象物の3次元形状の測定時に、測定可能な高さ(height)の最大値を増加させ、検査対象物の反りの情報(warpage information)を算出し、影領域を除去しうる多重波長を用いた3次元形状の測定装置及び測定方法に関する。
検査対象物の3次元形状を測定するための方法として、モアレパターンの投影(projection of Moire pattern)を用いる3次元測定方法がある。モアレパターンの投影を用いる3次元測定方法は、パターン光(pattern light)を検査対象物に照射した後、反射されて形成されるパターンイメージを用いて検査対象物の3次元形状を測定する。パターンイメージを用いた検査対象物の3次元形状の測定方法としては位相シフト法(phase shifting method)がある。
位相シフト法は、検査対象物の基準面を移動させながら干渉信号によって複数のパターンイメージを取得し、取得されたパターンイメージは、各測定点での干渉信号の形態と高さとの数学的関係を算出して解析され、検査対象物の3次元形状が測定される。このような位相シフト法を用いて検査対象物の3次元形状を測定する場合に、2π曖昧性(2π ambiguity)という問題が発生しうる。
2π曖昧性は、隣接した二つの測定点の高さの差が光源の等価波長の整数倍より大きい場合に測定誤差が発生することにより、回折格子の縞ピッチにより検査対象物の測定範囲が制限されるという問題である。
従来のように位相シフト法を用いて検査対象物の3次元形状を測定するときに、モアレの投影を用いた3次元形状の測定装置により、測定範囲の異なる検査対象物を測定しようとする場合は、2π曖昧性の問題によって、各検査対象物の測定範囲に対応した回折格子に変更しなければならないという不便な問題があった。
そこで、本発明は、前記問題に鑑みてなされたものであり、本発明の目的とするところは、多重波長を用いて検査対象物の3次元形状を測定することで、検査対象物の測定可能な高さの最大値を増加させることができ、新規かつ改良された多重波長を用いた3次元形状の測定装置及び測定方法を提供することにある。
本発明の他の目的は、複数のプロジェクター(projector)にそれぞれ異なる等価波長を有するパターン光を発生させて、検査対象物に照射させることによって、検査対象物の測定可能な高さの最大値を増加させ、検査対象物の反りの情報を算出し、影領域を除去しうる多重波長を用いた3次元形状の測定装置及び測定方法を提供することにある。
本発明の多重波長を用いた3次元形状の測定装置は、検査対象物を測定位置に移送させる移送ステージ(transfer stage)と、移送ステージの上側に設置されて第1等価波長を有する第1パターン光を発生させて検査対象物の第1方向に照射する第1プロジェクターと、移送ステージの上側に第1プロジェクターと対向するように設置され、第1等価波長と波長の異なる第2等価波長を有する第2パターン光を検査対象物の第2方向に照射する第2プロジェクターと、移送ステージの上側に設置されて検査対象物で反射される第1パターン光による第1パターンイメージと第2パターン光による第2パターンイメージとをそれぞれ順次に撮影するカメラ部と、第1プロジェクターと第2プロジェクターとをそれぞれ制御して検査対象物の第1方向及び第2方向に複数の第1パターン光及び複数の第2パターン光が照射されるようにして、それぞれの第1パターン光及び第2パターン光による複数の第1パターンイメージと複数の第2パターンイメージとがカメラ部で撮影されると、第1パターンイメージ及び第2パターンイメージを受信して検査対象物の3次元形状を測定する制御部とを含むことを特徴とする。
本発明の多重波長を用いた3次元形状の測定方法は、第1プロジェクターの第1格子を順次に移送しながら第1等価波長を有する第1パターン光を検査対象物の第1方向に照射し、反射される複数の第1パターンイメージを取得し、取得された複数の第1パターンイメージをN−バケットアルゴリズムを用いて第1位相を算出するし、第1位相が算出されると、第2プロジェクターの第2格子を順次に移送しながら第1等価波長と異なる波長の第2等価波長を有する第2パターン光を検査対象物の第2方向に照射し、反射される複数の第2パターンイメージを取得し、取得された複数の第2パターンイメージをN−バケットアルゴリズムを用いて第2位相を算出し、第1等価波長及び第2等価波長のうなり現象による第3位相を算出し、第3位相を用いて第1位相の第1次数と第2位相の第2次数とを算出し、第1次数及び第2次数と第1位相及び第2位相とを用いて第1高さ情報及び第2高さ情報を算出し、第1次数及び第2次数と第1高さ情報及び第2高さ情報とを用いて検査対象物の3次元形状を算出することを含むことを特徴とする。
本発明の多重波長を用いた3次元形状の測定装置及び測定方法によれば、多重波長を用いて検査対象物の3次元形状を測定することによって、検査対象物の測定可能な高さの最大値を増加させることができ、検査対象物の反りの情報を測定し、影領域を除去して3次元形状を測定することができるという効果を奏する。
本発明の多重波長を用いた3次元形状の測定装置の構成図である。 図1に示した多重波長を用いた3次元形状の測定装置の平面図である。 本発明の多重波長を用いた3次元形状の測定装置の他の実施例を示す平面図である。 本発明の多重波長を用いた3次元形状の測定装置の他の実施例を示す平面図である。 本発明の多重波長を用いた3次元形状の測定方法を示すフローチャートである。 多重波長を用いた検査対象物の測定方法を示す図である。 多重波長を用いた検査対象物の測定方法を示す図である。 多重波長を用いた検査対象物の測定方法を示す図である。
本発明の多重波長を用いた3次元形状の測定装置を添付する図面を参照して説明する。
図1は、本発明の多重波長を用いた3次元形状の測定装置の構成を表す図であり、図2は、図1に示した多重波長を用いた3次元形状の測定装置の平面図である。
図1及び図2に示すように、本発明の多重波長を用いた3次元形状の測定装置は、移送ステージ10、第1プロジェクター20、第2プロジェクター30、カメラ部40、及び制御部50で構成され、各構成について説明すると以下のようである。
移送ステージ10は、検査対象物1が固着されるX/Yステージ11と、X/Yステージ11をX/Y軸方向に移送させ、検査対象物1を移送させるステージ移送器12を含み、検査対象物1を測定位置に移送させる。ステージ移送器12は、制御部50のステージ制御器52の制御により、X/Yステージ11をX/Y軸方向に移動させて検査対象物1を移送させる。
第1プロジェクター20は、移送ステージ10の上側に設置され、第1等価波長を有する第1パターン光を発生させて検査対象物1の第1方向に照射する。このような第1プロジェクター20は、照明部21、第1格子部22、及び集光レンズ23で構成される。
照明部21は、光源21a及びレンズ(21b、21c)を含み、光を発生させる。第1格子部22は、照明部21の下側に設置され、光を、第1等価波長を有する第1パターン光に変換させる。光を第1パターン光に変換させる第1格子部22は、格子プレートモジュール(grating plate module)(22a、22b)、液晶ディスプレイ、及びデジタルミラーのうち、いずれか一つが適用されてもよい。格子プレートモジュール(22a、22b)は、第1格子22a及び格子移送器22bを含み、第1格子22aは、図2に示すように第1ピッチ(p1)を有する複数の第1パターン20aが配列されるように形成され、光を、第1等価波長を有する第1パターン光に変換させる。液晶ディスプレイ(図示せず)は、格子プレートモジュール(22a、22b)の代わりに用いてもよい。また、反射面を有するマイクロミラーと、マイクロミラーに均一な光を照射する光投影部とで構成されたデジタルミラー(図示せず)を用いてもよい。
格子移送器22bは、第1格子22aに連結されて第1格子22aを一定の間隔に移送する。例えば、格子移送器22bは、第1格子22aの複数の第1パターン20aが第1ピッチ(p1)を有する場合に、第1ピッチ(p1)の4等分の間隔に第1格子22aを移送する。このように、第1格子22aを微細な動きをもって移送しうるように、格子移送器22bはPZTアクチュエータ(piezoelectric actuator)が適用されてもよい。集光レンズ23は、第1格子部22の下側に設置され、第1パターン光が照射されると、第1パターン光を集光して検査対象物1の第1方向に照射する。
第2プロジェクター30は、移送ステージ10の上側に第1プロジェクター20と対向するように設置され、第1等価波長と波長の異なる第2等価波長とを有する第2パターン光を、検査対象物1の第2方向に照射する。このような第2プロジェクター30は、照明部31、第2格子部32、及び集光レンズ33で構成される。
照明部31は、光源31a及びレンズ(31b、31c)を含み、光を発生し、光源31aは、第1プロジェクター20に具備される光源21aと同一の光が用いられてもよい。例えば、第1プロジェクター20の光源21aに白色光を用いる場合、第2プロジェクター30の光源31aも白色光を用いる。第2格子部32は照明部31の下側に設置され、光を、第2等価波長を有する第2パターン光に変換させる。第2パターン光に変換させる第2格子部32は、第2格子32a及び格子移送器32bを含む。
第2格子32aは、図2に示すように第2ピッチ(p2)を複数の第2パターン30aが配列されるように形成して、光を、第2等価波長を有する第2パターン光に変換し、格子移送器32bは、第2格子32aに連結されて第2格子32aを一定の間隔に移送する。例えば、格子移送器32bは、第2格子32aの複数の第2パターン30aが第2ピッチ(p2)を有する場合、第2ピッチ(p2)の4等分の間隔に第2格子32aを移送する。このように、第2格子32aを微細な動きをもって移送しうるように、格子移送器32bはPZTアクチュエータが適用されてもよい。集光レンズ33は、第2格子部32の下側に設置され、第2パターン光が照射されると、第2パターン光を集光して検査対象物1の第2方向に照射する。
カメラ部40は、移送ステージ10の上側に設置され、検査対象物1で反射される第1パターン光による第1パターンイメージと第2パターン光による第2パターンイメージとをそれぞれ順次に撮影する。第1パターンイメージ及び第2パターンイメージを撮影するカメラ部40は、フィルター41、結像レンズ42、及びカメラ43で構成される。
フィルター41は、検査対象物1で反射される第1パターンイメージ及び第2パターンイメージを、フィルタリングする。例えば、このようなフィルター41は、周波数フィルター(frequency filter)、カラーフィルター、光強度調節フィルター(intensity−adjusting filter)のいずれが適用されてもよい。結像レンズ42は、フィルター41の上側に設置され、フィルター41でフィルタリングされた第1パターンイメージや第2パターンイメージを受信して結像させる。カメラ43は、結像レンズ42の上側に設置され、結像レンズ42により結像された第1パターンイメージ及び第2パターンイメージを撮影する。このようなカメラ43は、CCDカメラやCMOSカメラのいずれか一つが適用されてもよい。カメラ部40は、また、検査対象物1の2次元検査のための光を発生する2次元検査照明部44が更に具備されてもよい。2次元検査照明部44は、複数の発光ダイオードまたは円形ランプのいずれかを用いてもよく、検査対象物1の2次元撮影や特異形状を撮影する場合に用いてもよい。
制御部50は、第1プロジェクター20と第2プロジェクター30とをそれぞれ制御し、検査対象物1の第1方向及び第2方向に複数の第1パターン光及び複数の第2パターン光が照射されるようにし、それぞれの第1パターン光及び第2パターン光による複数の第1パターンイメージ及び複数の第2パターンイメージがカメラ部40で撮影されると、第1パターンイメージ及び第2パターンイメージを受信して検査対象物1の3次元形状を測定する。
制御部50は、本発明の多重波長を用いた3次元形状の測定装置を全般的に制御するために、メイン制御器51、ステージ制御器52、格子制御器53、照明制御器54、及びイメージ取得部55で構成される。
メイン制御器51は、ステージ制御器52、格子制御器53、照明制御器54、及びイメージ取得部55を制御して検査対象物1の3次元形状を測定し、ステージ制御器52は、移送ステージ10を制御する。格子制御器53は、第1プロジェクター20及び第2プロジェクター30にそれぞれ具備される格子移送器22bや格子移送器32bをそれぞれ制御して第1格子22a及び第2格子32aが一定の間隔に移送されるように制御する。照明制御器54は、第1プロジェクター20及び第2プロジェクター30にそれぞれ具備される照明部21及び照明部31をそれぞれ制御してオン/オフさせる。イメージ取得部55は、カメラ部40で撮影された複数の第1パターンイメージ及び複数の第2パターンイメージを処理してメイン制御器51に送る。
前記構成を有する本発明の多重波長を用いた3次元形状の測定装置の他の実施例について、添付する図3及び図4を参照して説明する。
図3及び図4は、本発明の多重波長を用いた3次元形状の測定装置の他の実施例を示す平面図である。
図3及び図4に示すように、本発明の多重波長を用いた3次元形状の測定装置の他の実施例としては、移送ステージ10、複数の第1プロジェクター20、複数の第2プロジェクター30、カメラ部40、及び制御部50で構成される。
移送ステージ10は、検査対象物1を測定位置に移送させ、複数の第1プロジェクター20は、それぞれ移送ステージ10の上側に設置されて、第1等価波長を有する第1パターン光を発生させて検査対象物1に照射する。このような複数の第1プロジェクター20は、互いに隣接するように設置される。複数の第2プロジェクター30は、それぞれ移送ステージ10の上側に複数の第1プロジェクター20とそれぞれ対向するように設置され、第1等価波長と波長の異なる第2等価波長を有する第2パターン光を検査対象物1にそれぞれ照射する。このような複数の第2プロジェクター30は、複数の第1プロジェクター20と対向するとともに互いに隣接するように設置される。例えば、図3及び図4に示したように、複数の第1プロジェクター20のうち、いずれか一つが検査対象物1の第1方向に第1パターン光を照射する場合、第1プロジェクター20と対向するように設置される複数の第2プロジェクター30のうち、いずれか一つの第2プロジェクター30は、第1方向と対向する検査対象物1の第2方向に第2パターン光を照射する。
カメラ部40は、移送ステージ10の上側に設置され、検査対象物1で反射される第1パターン光による第1パターンイメージと、第2パターン光による第2パターンイメージとをそれぞれ順次に撮影する。制御部50は、複数の第1プロジェクター20と複数の第2プロジェクター30とをそれぞれ制御して検査対象物1に複数の第1パターン光及び複数の第2パターン光が照射されるようにし、それぞれの第1パターン光及び第2パターン光による複数の第1パターンイメージ及び複数の第2パターンイメージがカメラ部40で撮影されると、第1パターンイメージ及び第2パターンイメージを受信して検査対象物1の3次元形状を測定する。
前記の構成を有する本発明の多重波長を用いた3次元形状の測定方法を添付する図面を参照して説明する。
図4は、本発明の多重波長を用いた3次元形状の測定方法を示すフローチャートである。
図4に示すように本発明の多重波長を用いる3次元形状の測定方法は、まず、第1プロジェクター20と第2プロジェクター30が図2のようにそれぞれ一つのみ具備される場合には、第1プロジェクター20及び第2プロジェクター30を選択するが、図3及び図4に示すように第1プロジェクター20と第2プロジェクター30が、それぞれ複数具備される場合には、複数の第1プロジェクター20及び複数の第2プロジェクター30のうち、いずれか一つのプロジェクターを選択する(ステップS10)。
第1プロジェクター20が選択されると、第1プロジェクター20の第1格子を順次に移送しながら第1等価波長を有する第1パターン光を検査対象物1の第1方向に照射して、反射される複数の第1パターンイメージを取得し、取得された複数の第1パターンイメージをN−バケットアルゴリズム(N−bucket algorithm)を用いて第1位相を算出する(ステップS20)。
第1位相を算出する方法は、まず、複数の第1プロジェクター20を順次にオンさせる(ステップS21)。複数の第1プロジェクター20のうち、オンされた第1プロジェクター20の第1格子を順次に移送しながら、第1等価波長を有する第1パターン光を検査対象物1の第1方向に照射し、反射される複数の第1パターンイメージを取得する(ステップS22)。複数の第1パターンイメージが取得されると、複数の第1パターンイメージをN−バケットアルゴリズムを用いて第1位相を算出する(ステップS23)。
第1位相が算出されると、第2プロジェクター30の第2格子を順次に移送しながら第1等価波長と異なる波長の第2等価波長を有する第2パターン光を検査対象物1の第2方向に照射して、反射される複数の第2パターンイメージを取得し、取得された複数の第2パターンイメージをN−バケットアルゴリズムを用いて第2位相を算出する(ステップS30)。
第2位相を算出する方法は、まず、複数の第2プロジェクター30を順次にオンさせる(ステップS31)。複数の第2プロジェクター30のうち、オンされた第2プロジェクター30の第2格子を順次に移送しながら第1等価波長と異なる波長の第2等価波長を有する第2パターン光を検査対象物1の第2方向に照射して、反射される複数の第2パターンイメージを取得する(ステップS32)。複数の第2パターンイメージが取得されると、複数の第2パターンイメージをN−バケットアルゴリズムを用いて第2位相を算出する(ステップS33)。
第1及び第2位相が算出されると、第1等価波長及び第2等価波長のうなり現象(beat)による第3位相を算出する(ステップS40)。第3位相を算出する方法は、φ12(x,y)=φ(x,y)−φ(x,y)=2π(h(x、y)/λ12)を用いて算出する。ここで、φ12(x,y)は第3位相であり、φ(x,y)は第1位相であり、φ(x,y)は第2位相であり、h(x,y)は測定点の高さであり、λ12はうなりが生じた等価波長(beaten equivalent wavelength)を示す。うなりが生じた等価波長λ12は、第1等価波長が578μmであり、第2等価波長が713μmの場合に、前記第3位相(φ21(x,y))を算出する式を用いて算出すると、3321μmとなる。
第3位相が算出されると、第3位相を用いて第1位相の第1次数及び第2位相の第2次数を算出する(ステップS50)。ここで、図6及び図7に示したように、第1次数をMとし、第2次数をNとすると、第1次数Mは、φ(x,y)=2πh/λ+M・2πを用いて算出し、第2次数Nは、φ(x,y)=2πh2/λ+N・2πを用いて算出する。ここで、λは第1パターン光の第1等価波長であり、hはλに対応する測定点の高さであり、λは第2パターン光の第2等価波長であり、hはλに対応する測定点の高さを示す。
次に、第1及び第2次数と第1及び第2位相とを用いて第1及び第2高さ情報を算出する(ステップS60)。このように、第1及び第2次数を算出した後、第1及び第2位相を用いて第1及び第2高さ情報を算出することによって、2π曖昧性を除去して検査対象物の測定可能な高さの最大値を増加させることができる。ここで、測定可能な高さの最大値は、h(x,y)=(φ12(x,y)/2π)λ12を用いて算出する。即ち、図6及び図7で示したようにうなりが生じた等価波長λ12の、P=0次範囲にある第1等価波長の第1次数M=−2、−1、0、1、2を算出し、第2等価波長の第2次数N=−1、0、1を算出することによって、それぞれの次数による2π曖昧性を除去することができる。
第1及び第2高さ情報が算出されると、第1及び第2次数と、第1及び第2高さ情報とを用いて検査対象物1の3次元形状を算出する(ステップS70)。検査対象物1の3次元形状を測定する方法は、まず、第1及び第2次数と第1及び第2高さ情報とを用いて、図7に示した影領域1c及びノイズを除去した後、統合された高さの情報を算出する(ステップS71)。
統合された高さの情報が算出されると、統合された高さ情報を用いて検査対象物1の基準面の高さ情報を算出し、基準面の高さ情報を用いて検査対象物1の反りの情報を算出する(ステップS72)。即ち、うなりが生じた等価波長λ12を用いることによって測定可能な高さの最大値が増加し、検査対象物1が図8に点線で示したように凹んで反るか、或いは膨らんで反る場合にも+λ12/2〜−λ12/2の範囲内にあるため、検査対象物1の高さの測定が可能であるため、全体的に検査対象物1の反りの情報を算出できることになる。ここで、検査対象物1は、図6及び図7のように3次元形状測定のための測定部位1bと基板1aを含み、基準面は基板1aの底面に設定する。
このように、反りの情報が算出されて基準面の高さ情報が算出されると、反りの情報と基準面の高さ情報とを用いて基準面に対する検査対象物1の高さ情報を算出して(ステップS73)、検査対象物1の3次元形状を測定する。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと理解される。
本発明の多重波長を用いた3次元形状の測定装置及び測定方法は、印刷回路基板、はんだボール、または電子部品などの3次元形状の測定分野に適用することができる。
10 移送ステージ
11 X/Yステージ
12 ステージ移送器
20 第1プロジェクター
21、31 照明部
23、33 集光レンズ
22 第1格子部
30 第2プロジェクター
32 第2格子部
40 カメラ部
50 制御部

Claims (17)

  1. 検査対象物を測定位置に移送させる移送ステージと、
    前記検査対象物に対して第1等価波長を有する第1パターン光を第1方向に照射する第1プロジェクターと、
    前記検査対象物に対して前記第1等価波長と波長が異なる第2等価波長を有する第2パターン光を第2方向に照射する第2プロジェクターと、
    前記移送ステージの前記検査対象物から反射される前記第1パターン光による第1パターンイメージと前記第2パターン光による第2パターンイメージとを撮影するカメラ部と、
    前記第1プロジェクターと前記第2プロジェクターとを制御し、前記第1パターンイメージと前記第2パターンイメージとが前記カメラ部で撮影されると、前記第1パターンイメージ及び前記第2パターンイメージを受信して前記検査対象物の3次元形状を算出する制御部と、を含み、
    前記制御部は、
    前記第1パターンイメージ及び前記第2パターンイメージから第1位相及び第2位相をそれぞれ取得し、
    前記第1位相と前記第2位相との相対的な値を用いて第3位相を算出し、
    算出された前記第3位相から予測高さを取得し、前記予測高さ、前記第1位相及び前記第1等価波長を用いて前記第1位相の第1次数を算出し(前記第1次数は整数)、
    算出された前記第3位相から予測高さを取得し、前記予測高さ、前記第2位相及び前記第2等価波長を用いて前記第2位相の第2次数を算出し(前記第2次数は整数)、
    前記第1位相と前記第1次数を用いて最大測定高さが増加された前記第1方向による第1高さ情報を算出し且つ前記第2位相と前記第2次数を用いて最大測定高さが増加された前記第2方向による第2高さ情報を算出し、
    前記第1次数及び前記第2次数と、前記第1高さ情報及び前記第2高さ情報とを用いて前記検査対象物の統合された高さ情報を前記検査対象物の各点について算出し、前記統合された高さ情報から前記検査対象物の3次元形状を取得する
    ことを特徴とする3次元形状の測定装置。
  2. 前記第1プロジェクターは、
    光を発生させる照明部と、
    前記照明部の一側に設置され、光を、前記第1等価波長を有する前記第1パターン光に変換させる第1格子部と、を含み、
    前記第1格子部は、第1ピッチを有する複数の第1パターンが配列されて形成され、光を、前記第1等価波長を有する前記第1パターン光に変換させる第1格子と、前記第1格子に連結され、前記第1格子を一定の間隔に移送させる格子移送器と、を含むことを特徴とする請求項1に記載の3次元形状の測定装置。
  3. 前記第2プロジェクターは、
    光を発生させる照明部と、
    前記照明部の一側に設置され、光を、前記第2等価波長を有する前記第2パターン光に変換させる第2格子部と、を含み、
    前記第2格子部は、第2ピッチを有する複数の第2パターンが配列されて形成され、光を、前記第2等価波長を有する前記第2パターン光に変換させる第2格子と、前記第2格子に連結され、前記第2格子を一定の間隔に移送させる格子移送器と、を含むことを特徴とする請求項1に記載の3次元形状の測定装置。
  4. 前記第1プロジェクターは、前記照明部から入射された光を集める集光レンズを更に含むことを特徴とする請求項2に記載の3次元形状の測定装置。
  5. 前記第1格子部は、格子プレートモジュール、液晶ディスプレイ、及びデジタルミラーのいずれか一つが適用されることを特徴とする請求項2に記載の3次元形状の測定装置。
  6. 前記カメラ部は、前記第1パターンイメージ及び前記第2パターンイメージを受信して結像させる結像レンズと、
    前記結像レンズの一側に設置され、前記結像レンズにより結像された前記第1パターンイメージ及び前記第2パターンイメージを撮影するカメラと、で構成され、
    前記カメラは、CCDカメラまたはCMOSカメラが適用されることを特徴とする請求項1に記載の3次元形状の測定装置。
  7. 前記カメラ部は、前記検査対象物の2次元検査のための光を発生させる2次元検査照明部を更に含み、前記2次元検査照明部は、複数の発光ダイオードまたは円形ランプを含むことを特徴とする請求項1に記載の3次元形状の測定装置。
  8. 検査対象物を測定位置に移送させる移送ステージと、
    第1等価波長を有する第1パターン光を発生させて、前記検査対象物に対してそれぞれ照射する複数の第1プロジェクターと、
    前記第1等価波長と波長が異なる第2等価波長を有する第2パターン光を前記検査対象物に対してそれぞれ照射する複数の第2プロジェクターと、
    前記検査対象物によって反射される前記第1パターン光による第1パターンイメージと前記第2パターン光による第2パターンイメージとを撮影するカメラ部と、
    前記複数の第1プロジェクターと前記複数の第2プロジェクターとをそれぞれ制御して前記検査対象物の第1方向及び第2方向に前記複数の第1パターン光及び前記複数の第2パターン光を照射し、それぞれ前記第1パターン光及び前記第2パターン光により前記第1パターンイメージと前記第2パターンイメージとが前記カメラ部で撮影されると、前記第1パターンイメージ及び前記第2パターンイメージを受信して前記検査対象物の3次元形状を算出する制御部と、を含み、
    前記制御部は、
    前記第1パターンイメージ及び前記第2パターンイメージから第1位相及び第2位相をそれぞれ取得し、
    前記第1位相と前記第2位相との相対的な値を用いて第3位相を算出し、
    算出された前記第3位相から予測高さを取得し、前記予測高さ、前記第1位相及び前記第1等価波長を用いて前記第1位相の第1次数を算出し(前記第1次数は整数)、
    算出された前記第3位相から予測高さを取得し、前記予測高さ、前記第2位相及び前記第2等価波長を用いて前記第2位相の第2次数を算出し(前記第2次数は整数)、
    前記第1位相と前記第1次数を用いて最大測定高さが増加された前記第1方向による第1高さ情報を算出し且つ前記第2位相と前記第2次数を用いて最大測定高さが増加された前記第2方向による第2高さ情報を算出し、
    前記第1次数及び前記第2次数と、前記第1高さ情報及び前記第2高さ情報とを用いて前記検査対象物の統合された高さ情報を前記検査対象物の各点について算出し、前記統合された高さ情報から前記検査対象物の3次元形状を取得する
    ことを特徴とする3次元形状の測定装置。
  9. 前記複数の第1プロジェクターは互いに隣接するように設置されることを特徴とする請求項8に記載の3次元形状の測定装置。
  10. 前記複数の第1プロジェクターと前記複数の第2プロジェクターとは互いに対向するように設置されることを特徴とする請求項8に記載の3次元形状の測定装置。
  11. 第1プロジェクターの第1格子を移送しながら第1等価波長を有する第1パターン光を、検査対象物に対して第1方向に照射し、反射される複数の第1パターンイメージを取得し、取得された複数の第1パターンイメージを用いて第1位相を算出し、
    第2プロジェクターの第2格子を移送しながら前記第1等価波長とは異なる波長の第2等価波長を有する第2パターン光を、前記検査対象物に対して第2方向に照射し、反射される複数の第2パターンイメージを取得し、取得された複数の第2パターンイメージを用いて第2位相を算出し、
    前記第1位相と前記第2位相との相対的な値を用いて第3位相を算出し、
    算出された前記第3位相から予測高さを取得し、前記予測高さ、前記第1位相及び前記第1等価波長を用いて前記第1位相の第1次数を算出し(前記第1次数は整数)、
    算出された前記第3位相から予測高さを取得し、前記予測高さ、前記第2位相及び前記第2等価波長を用いて前記第2位相の第2次数を算出し(前記第2次数は整数)、
    前記第1位相と前記第1次数を用いて最大測定高さが増加された前記第1方向による第1高さ情報を算出し且つ前記第2位相と前記第2次数を用いて最大測定高さが増加された前記第2方向による第2高さ情報を算出し、
    前記第1次数及び前記第2次数と、前記第1高さ情報及び前記第2高さ情報とを用いて前記検査対象物の統合された高さ情報を前記検査対象物の各点について算出し、前記統合された高さ情報から前記検査対象物の3次元形状を取得する
    ことを含むことを特徴とする3次元形状の測定方法。
  12. 前記第3位相を用いて、前記第1位相の第1次数と前記第2位相の第2次数とを算出することを含むことを特徴とする請求項11に記載の3次元形状の測定方法。
  13. 前記第1次数及び前記第2次数と、前記第1位相及び前記第2位相とを用いて、前記第1高さ情報及び前記第2高さ情報を算出することを含むことを特徴とする請求項12に記載の3次元形状の測定方法。
  14. 前記第1位相を算出することは、
    前記第1プロジェクターをオンし、
    前記第1プロジェクターの前記第1格子を移送しながら前記第1等価波長を有する前記第1パターン光を、前記検査対象物に対して前記第1方向に照射し、反射される前記複数の第1パターンイメージを取得し、
    前記複数の第1パターンイメージからN−バケットアルゴリズムを用いて前記第1位相を算出することを含むことを特徴とする請求項11に記載の3次元形状の測定方法。
  15. 前記第2位相を算出することは、
    前記第2プロジェクターをオンし、
    前記第2プロジェクターの前記第2格子を移送しながら前記第1等価波長と異なる波長の前記第2等価波長を有する前記第2パターン光を、前記検査対象物に対して前記第2方向に照射し、反射される前記複数の第2パターンイメージを取得し、
    前記複数の第2パターンイメージからN−バケットアルゴリズムを用いて前記第2位相を算出することを含むことを特徴とする請求項11に記載の3次元形状の測定方法。
  16. 前記第2プロジェクターは、前記照明部から入射された光を集める集光レンズを更に含むことを特徴とする請求項3に記載の3次元形状の測定装置。
  17. 前記第2格子部は、格子プレートモジュール、液晶ディスプレイ、及びデジタルミラーのいずれか一つが適用されることを特徴とする請求項3に記載の3次元形状の測定装置。
JP2018003274A 2008-10-13 2018-01-12 多重波長を用いた3次元形状の測定装置及び測定方法 Pending JP2018077251A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0099998 2008-10-13
KR1020080099998A KR101190122B1 (ko) 2008-10-13 2008-10-13 다중파장을 이용한 3차원형상 측정장치 및 측정방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015156758A Division JP2015232575A (ja) 2008-10-13 2015-08-07 多重波長を用いた3次元形状の測定装置及び測定方法

Publications (1)

Publication Number Publication Date
JP2018077251A true JP2018077251A (ja) 2018-05-17

Family

ID=41503590

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009236031A Pending JP2010091570A (ja) 2008-10-13 2009-10-13 多重波長を用いた3次元形状の測定装置及び測定方法
JP2015156758A Pending JP2015232575A (ja) 2008-10-13 2015-08-07 多重波長を用いた3次元形状の測定装置及び測定方法
JP2018003274A Pending JP2018077251A (ja) 2008-10-13 2018-01-12 多重波長を用いた3次元形状の測定装置及び測定方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2009236031A Pending JP2010091570A (ja) 2008-10-13 2009-10-13 多重波長を用いた3次元形状の測定装置及び測定方法
JP2015156758A Pending JP2015232575A (ja) 2008-10-13 2015-08-07 多重波長を用いた3次元形状の測定装置及び測定方法

Country Status (6)

Country Link
US (1) US8325350B2 (ja)
EP (1) EP2175233B1 (ja)
JP (3) JP2010091570A (ja)
KR (1) KR101190122B1 (ja)
CN (1) CN101726261B (ja)
TW (1) TWI416066B (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295760B1 (ko) * 2011-03-10 2013-08-13 주식회사 미르기술 다중 격자 무늬를 이용한 비전검사장치
KR101245623B1 (ko) * 2011-03-31 2013-03-20 주식회사 미르기술 가시광선의 격자무늬와 자외선 또는 적외선 격자 무늬를 이용한 비전검사장치
JP5430612B2 (ja) * 2011-05-31 2014-03-05 Ckd株式会社 三次元計測装置
KR101466741B1 (ko) * 2011-06-28 2014-12-01 주식회사 고영테크놀러지 3차원 형상 측정방법
KR101268515B1 (ko) * 2011-07-22 2013-06-04 경북대학교 산학협력단 3차원 스캔 장치 및 3차원 형상 복원 방법
CN103782129B (zh) * 2011-09-09 2016-09-14 (株)茵斯派托 利用投影光栅振幅的三维形状测量装置及方法
JP5709009B2 (ja) * 2011-11-17 2015-04-30 Ckd株式会社 三次元計測装置
JP5847568B2 (ja) * 2011-12-15 2016-01-27 Ckd株式会社 三次元計測装置
JP5874508B2 (ja) * 2012-04-17 2016-03-02 オムロン株式会社 はんだの濡れ上がり状態の検査方法およびこの方法を用いた自動外観検査装置ならびに基板検査システム
CN103376071B (zh) * 2012-04-20 2017-06-30 德律科技股份有限公司 三维测量***与三维测量方法
KR101410220B1 (ko) * 2012-05-22 2014-06-20 주식회사 고영테크놀러지 3차원 형상 측정장치의 높이 측정 방법
KR101405427B1 (ko) * 2012-05-30 2014-06-17 주식회사 미르기술 단일주기격자를 이용한 멀티 모아레 비전검사장치
CN103528541B (zh) * 2012-07-04 2016-05-04 德律科技股份有限公司 三维测量***
TWI436030B (zh) 2012-07-04 2014-05-01 Test Research Inc 三維量測系統
US8970827B2 (en) * 2012-09-24 2015-03-03 Alces Technology, Inc. Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator
KR101952847B1 (ko) * 2012-10-12 2019-02-27 삼성전기주식회사 워피지 측정 시스템 및 워피지 측정 방법
DE102012112321B4 (de) * 2012-12-14 2015-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102013008250A1 (de) * 2013-05-15 2014-11-20 Focke & Co. (Gmbh & Co. Kg) Verfahren und Vorrichtung zur Herstellung von Verpackungen für Tabakprodukte
KR101490359B1 (ko) 2013-05-20 2015-02-06 (주)펨트론 표면 형상 측정 장치
KR101657197B1 (ko) * 2013-11-22 2016-09-21 조춘식 물체의 3차원 형상 측정 장치
KR101465996B1 (ko) * 2014-05-14 2014-11-27 주식회사 미르기술 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
KR101447645B1 (ko) * 2014-07-08 2014-10-08 주식회사 고영테크놀러지 3차원 형상 측정방법
RU2583852C2 (ru) * 2014-07-11 2016-05-10 Федеральное государственное бюджетное образовательное учреждение высшего образования "Тюменский государственный нефтегазовый университет" (ТюмГНГУ) Графо-проекционный муаровый способ измерения
JP6357949B2 (ja) * 2014-07-29 2018-07-18 セイコーエプソン株式会社 制御システム、ロボットシステム、及び制御方法
WO2016166807A1 (ja) * 2015-04-14 2016-10-20 ヤマハ発動機株式会社 外観検査装置および外観検査方法
US9964402B2 (en) 2015-04-24 2018-05-08 Faro Technologies, Inc. Two-camera triangulation scanner with detachable coupling mechanism
KR101639227B1 (ko) * 2015-06-08 2016-07-13 주식회사 고영테크놀러지 3차원 형상 측정장치
JP6109255B2 (ja) * 2015-07-14 2017-04-05 Ckd株式会社 三次元計測装置
CN105136030A (zh) * 2015-08-24 2015-12-09 苏州市博得立电源科技有限公司 一种自动检测***
KR101766468B1 (ko) 2015-09-02 2017-08-09 주식회사 미르기술 트리플 주파수 패턴을 이용한 3차원 형상 측정 방법
KR101705762B1 (ko) 2015-09-02 2017-02-14 주식회사 미르기술 3차원 형상 측정 장치의 틸트 교정 방법
CN105547190B (zh) * 2015-12-14 2018-08-14 深圳先进技术研究院 基于双角度单频率条纹投影的三维形貌测量方法及装置
JP6027220B1 (ja) * 2015-12-22 2016-11-16 Ckd株式会社 三次元計測装置
CN106500627B (zh) * 2016-10-19 2019-02-01 杭州思看科技有限公司 含有多个不同波长激光器的三维扫描方法及扫描仪
KR20180044157A (ko) * 2016-10-21 2018-05-02 주식회사 고영테크놀러지 복수의 상이한 패턴 광원의 설치가 가능한 패턴 광 조사 장치 및 검사 장치
KR101916827B1 (ko) * 2016-11-30 2018-11-08 단국대학교 산학협력단 고해상도를 갖는 3차원 영상 획득장치
CN111373222A (zh) 2017-09-27 2020-07-03 艾迈斯传感器新加坡私人有限公司 光投射***
CN107747915A (zh) * 2017-11-10 2018-03-02 华东师范大学 基于数字微镜器件的闭环式三维视觉装置
EP3761772A4 (en) 2018-02-26 2021-04-28 Koh Young Technology Inc COMPONENT MOUNT STATUS INSPECTION PROCESS, PRINTED CIRCUIT BOARD INSPECTION APPARATUS AND COMPUTER READABLE RECORDING MEDIA
KR102217201B1 (ko) * 2018-03-29 2021-02-18 주식회사 엘지화학 전극조립체의 얼라인 검사 장치 및 그를 이용한 전극조립체의 얼라인 검사 방법
KR102091623B1 (ko) 2018-05-31 2020-03-20 주식회사 미르기술 광파이버를 이용한 3차원 형상 측정 장치
JP7231432B2 (ja) * 2019-02-15 2023-03-01 株式会社キーエンス 画像処理装置
JP7164461B2 (ja) * 2019-02-15 2022-11-01 株式会社キーエンス 画像処理装置
JP7231433B2 (ja) * 2019-02-15 2023-03-01 株式会社キーエンス 画像処理装置
US20220172387A1 (en) * 2019-03-26 2022-06-02 Sony Group Corporation Image processing apparatus, image processing method, and image processing program
JP2021081204A (ja) * 2019-11-14 2021-05-27 株式会社安永 三次元計測装置及び三次元計測方法
US11835418B2 (en) 2021-09-30 2023-12-05 Opto-Alignment Technology, Inc. Simultaneous multi-surface non-contact optical profiler

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9420638D0 (en) 1994-10-13 1994-11-30 Moore John H Three-dimensional digitiser
JP3922784B2 (ja) * 1998-01-27 2007-05-30 松下電工株式会社 3次元形状計測装置
JP3799858B2 (ja) * 1999-02-12 2006-07-19 スズキ株式会社 形状認識装置
JP3417377B2 (ja) * 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
JP3554816B2 (ja) * 2000-09-14 2004-08-18 和歌山大学長 矩形波格子投影によるリアルタイム形状変形計測方法
JP3878023B2 (ja) * 2002-02-01 2007-02-07 シーケーディ株式会社 三次元計測装置
JP3878033B2 (ja) * 2002-02-28 2007-02-07 シーケーディ株式会社 三次元計測装置
JP4090860B2 (ja) * 2002-12-12 2008-05-28 オリンパス株式会社 3次元形状測定装置
CN100338434C (zh) * 2003-02-06 2007-09-19 株式会社高永科技 三维图像测量装置
KR100615576B1 (ko) * 2003-02-06 2006-08-25 주식회사 고영테크놀러지 3차원형상 측정장치
JP4357360B2 (ja) * 2004-05-14 2009-11-04 富士通株式会社 表面形状測定方法及び表面形状測定装置
US7620209B2 (en) * 2004-10-14 2009-11-17 Stevick Glen R Method and apparatus for dynamic space-time imaging system
CN2856928Y (zh) 2005-12-29 2007-01-10 清华紫光股份有限公司 一种采用双波长结构光测量物体轮廓的装置
JP2007192623A (ja) * 2006-01-18 2007-08-02 Tani Electronics Corp プリント回路基板のクリーム半田印刷状態の検査装置および検査方法
US7545512B2 (en) * 2006-01-26 2009-06-09 Koh Young Technology Inc. Method for automated measurement of three-dimensional shape of circuit boards
KR100722245B1 (ko) * 2006-03-23 2007-05-29 주식회사 고영테크놀러지 3차원형상 측정장치
KR20080043047A (ko) 2006-11-13 2008-05-16 주식회사 고영테크놀러지 새도우 모아레를 이용한 3차원형상 측정장치
JP4516949B2 (ja) * 2006-12-08 2010-08-04 Necエンジニアリング株式会社 三次元形状計測装置及び三次元形状計測方法
JP5123522B2 (ja) * 2006-12-25 2013-01-23 パナソニック株式会社 3次元計測方法及びそれを用いた3次元形状計測装置
WO2009094510A1 (en) * 2008-01-25 2009-07-30 Cyberoptics Corporation Multi-source sensor for three-dimensional imaging using phased structured light

Also Published As

Publication number Publication date
KR101190122B1 (ko) 2012-10-11
EP2175233A1 (en) 2010-04-14
JP2015232575A (ja) 2015-12-24
CN101726261A (zh) 2010-06-09
JP2010091570A (ja) 2010-04-22
US8325350B2 (en) 2012-12-04
CN101726261B (zh) 2012-06-13
TW201022626A (en) 2010-06-16
TWI416066B (zh) 2013-11-21
EP2175233B1 (en) 2013-03-20
KR20100041022A (ko) 2010-04-22
US20100091302A1 (en) 2010-04-15

Similar Documents

Publication Publication Date Title
JP2018077251A (ja) 多重波長を用いた3次元形状の測定装置及び測定方法
JP6317296B2 (ja) 3次元形状の測定方法及び測定装置
JP5562407B2 (ja) 基板検査装置及び検査方法
US10788318B2 (en) Three-dimensional shape measurement apparatus
TWI396823B (zh) 三維測量裝置
US20140198185A1 (en) Multi-camera sensor for three-dimensional imaging of a circuit board
KR101659302B1 (ko) 3차원 형상 측정장치
KR101081538B1 (ko) 3차원 형상 측정장치 및 측정방법
KR101196219B1 (ko) 3차원 형상 측정장치의 높이 측정방법 및 이를 이용한 3차원 형상 측정장치
JP5847568B2 (ja) 三次元計測装置
JP2007085862A (ja) パタン光照射装置、3次元形状計測装置、及びパタン光照射方法
JP5411914B2 (ja) 基板検査方法
KR20140138359A (ko) 3차원 프로파일 취득 장치, 패턴 검사 장치 및 3차원 프로파일 취득 방법
KR20120038072A (ko) 측정장치 및 이의 보정방법
JP5584671B2 (ja) 基板検査方法
KR101684244B1 (ko) 기판 검사방법
JP3906990B2 (ja) 外観検査装置及び三次元計測装置
JP2004108829A (ja) モアレ光学系を用いた形状測定装置及び形状測定方法
KR101226716B1 (ko) 색수차 보상방법, 이를 이용한 3차원 형상 측정방법 및 측정장치
KR20120051362A (ko) 색수차 보상방법, 이를 이용한 3차원 형상 측정방법 및 측정장치
JP2002081924A (ja) 三次元計測装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190701

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200728