JP3009205B2 - Inspection method and apparatus - Google Patents
Inspection method and apparatusInfo
- Publication number
- JP3009205B2 JP3009205B2 JP2295339A JP29533990A JP3009205B2 JP 3009205 B2 JP3009205 B2 JP 3009205B2 JP 2295339 A JP2295339 A JP 2295339A JP 29533990 A JP29533990 A JP 29533990A JP 3009205 B2 JP3009205 B2 JP 3009205B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection object
- dimensional shape
- inspection
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は工業製品の外観検査において、検出立体形状
を良品立体形状（設計データ）と比較検査する方法及び
その装置（システム）に関する。DETAILED DESCRIPTION OF THE INVENTION [Industrial Application Field] The present invention relates to a method and an apparatus (system) for comparing and inspecting a detected three-dimensional shape with a non-defective three-dimensional shape (design data) in an appearance inspection of an industrial product.
従来の一例として、特公昭63−9602号公報は対象物
に上方よりスリット光を投光、両側斜方よりこのスリッ
ト投影像を検出、これらより対象物の特定位置のプロフ
ィルを検出する光切断法であった。そこでは抽出された
光切断線よりはんだ付部を抽出し、抽出されたはんだ付
部の光切断線部分に対して複数の判定アルゴリズム、そ
の一つ一つは計数的処理であるが、を適用し、はんだ付
部の良否を評価するものであった。As a conventional example, Japanese Patent Publication No. 63-9602 discloses a light cutting method in which a slit light is projected onto an object from above, the slit projected image is detected from both oblique sides, and a profile of a specific position of the object is detected therefrom. Met. There, a soldered part is extracted from the extracted light cutting line, and multiple judgment algorithms are applied to the extracted light cutting line part of the soldered part, each of which is a numerical processing, but applied. Then, the quality of the soldered portion was evaluated.
また、従来技術は、特開昭54−114264号公報は、同
じく光切断法を検出手段とし、ネジの輪郭を抽出し、こ
れを予め記憶された標準ネジパターン（良品形状）と比
較し、予め設定された許容値以上の不一致を生じる部分
を欠陥とするものであった。In the prior art, Japanese Patent Application Laid-Open No. 54-114264 discloses a method in which a light cutting method is also used as a detecting means, a contour of a screw is extracted, and this is compared with a standard screw pattern (good shape) stored in advance. A portion where a mismatch exceeding a set allowable value is generated is regarded as a defect.
これらはいずれも、対象物の立体形状を検出し、検査
するものではあるが、その判定処理の対象となる検査情
報は、XYZ空間における立体形状というのではなく、XZ
平面上のプロフィルであった。しかし、いずれにしろ立
体的形状の検査をしており、以下本発明の実施例におい
ても、実施例自体はXYZ空間における立体形状として説
明するが、XZ平面上のプロフィルもその一部として含む
ものである。All of these are intended to detect and inspect the three-dimensional shape of the object, but the inspection information to be subjected to the determination processing is not a three-dimensional shape in the XYZ space but an XZ.
It was a profile on a plane. However, in any case, the three-dimensional shape is inspected, and in the following embodiments of the present invention, the embodiment itself will be described as a three-dimensional shape in the XYZ space, but the profile on the XZ plane is also included as a part thereof .
さらに、従来技術特願平01−180305号は、Ｘ線撮像
によりとらえたはんだ付部の濃淡画像を基にはんだ付部
の良否を判定する手段を示しており、立体形状そのもの
を検出して検査しているものではない。しかし、検出さ
れたＸ線濃淡画像を対数変換することにより、はんだ付
部の厚さ分布情報（厚さ画像）を得ており、その点で立
体形状情報（距離画像）に近い情報を対象としている。
そして、この実施例においては得られた厚さ画像（判定
処理の主要部はその波形、すなわち厚さ波形であるが）
を予め用意した良品はんだ付部のそれと比較し、不一致
の大きさより良否を判定している。特に、良品はんだ付
部が、いろいろな形状を有し、その変化範囲が大きいこ
とも着目し、多数の各種良品はんだ付部の厚さ波形を収
集し、これらよりクラスタリング処理により複数の典型
的良品波形を抽出し、これらと検出厚さ波形を比較し、
最も一致度の高い良品波形との不一致量を求め、これが
予め設定した許容値を越えている時、そのはんだ付部を
欠陥と判定している。Further, Japanese Patent Application No. 01-180305 discloses a means for judging the quality of a soldered portion based on a grayscale image of the soldered portion captured by X-ray imaging, and detects and inspects the three-dimensional shape itself. It is not what you are doing. However, the thickness distribution information (thickness image) of the soldered portion is obtained by logarithmically converting the detected X-ray density image, and information close to the three-dimensional shape information (distance image) at that point is targeted. I have.
Then, in this embodiment, the obtained thickness image (although the main part of the judgment processing is its waveform, that is, the thickness waveform)
Is compared with that of a good soldering portion prepared in advance, and the quality is determined based on the size of the mismatch. In particular, focusing on the fact that the non-defective soldered parts have various shapes and the range of change is large, the thickness waveforms of a large number of non-defective soldered parts are collected, and a plurality of typical non-defective parts are subjected to clustering processing. Extract the waveforms, compare them with the detected thickness waveform,
The amount of non-coincidence with the non-defective waveform having the highest degree of coincidence is determined, and when this amount exceeds a preset allowable value, the soldered portion is determined to be defective.
上記従来技術には以下の問題があった。 The above prior art has the following problems.
従来技術に関して言えば、はんだ付部の良品形状は
バリエーションが多い、このため従来技術では欠陥が
持つ形状的特質に着目して複数の計数的処理を設定して
いる。しかし不良品のバリエーションは、良品のバリエ
ーションよりも幅か広い、つまり不良品の形態は極めて
多様である。このため設定した計数的処理だけではこれ
らすべてを検出することができず、欠陥の一部を見逃す
という課題がある。With respect to the prior art, there are many variations in the non-defective shape of the soldered portion. Therefore, in the prior art, a plurality of numerical processes are set by focusing on the shape characteristic of the defect. However, the variation of the defective product is wider than the variation of the non-defective product, that is, the form of the defective product is extremely diverse. Therefore, all of these cannot be detected only by the set numerical processing, and there is a problem that a part of the defect is missed.
また従来技術では良品形状との比較検査を行ってい
る。しかし、良品形状が持つ固有の、かつ許容しうる変
形、例えばの実施例で言えばネジ端部のばりやネジ山
の丸味などの変化については考慮されていない。また検
出に伴う固有の誤差、例えばこの実施例で言えば光学系
の解像限度とこれに伴う光切断像のぼけに起因するネジ
山のシャープさ劣化などの変化についても考慮されてい
ないという課題を有していた。In the prior art, a comparative inspection with a non-defective product is performed. However, it does not take into account the inherent and acceptable deformation of the non-defective product, such as changes in the burrs of the screw ends and the roundness of the threads in the embodiment. Also, a problem that errors inherent in the detection, for example, in this embodiment, changes in the resolution limit of the optical system and changes in the sharpness of the threads caused by blurring of the light-section image accompanying the change are not considered. Had.
また従来技術では、各種バリエーションを持つ良品
多数のＸ線画像を検出し、このようにして得た多数良品
の検出情報からクラスタリング処理で典型的良品情報を
複数個創成し、これらと検査対象物からの検出情報を比
較することにより、良品のバリエーションに対応した検
査を実現している。しかし、実物から典型的良品情報を
作成するためには、実在しうる良品のバリエーションを
包含するだけの多数の良品を検出する必要があり、この
ため、検査前にこれら典型的良品情報抽出に多大な手間
を要するという課題がある。またこの方法では、設計変
更により対象部の形状の一部が変更された場合、変更さ
れた仕様の良品多数について再度データを採り直す必要
がある。さらに、この方法は、すでに多数の良品が存在
することを前提にして初めて成立する方法であり、初め
て作られた対象物を検査することは基本的にできない。In the prior art, a large number of non-defective X-ray images having various variations are detected, and a plurality of typical non-defective information are created by the clustering process from the detection information of the non-defective products obtained in this manner. By comparing the detection information of the above, the inspection corresponding to the variation of the non-defective product is realized. However, in order to create typical non-defective information from a real product, it is necessary to detect a large number of non-defective products that include variations of non-defective non-defective products. There is a problem that it takes time and effort. In addition, in this method, when a part of the shape of the target portion is changed due to a design change, it is necessary to collect data again for many non-defective products having changed specifications. Furthermore, this method is a method which is firstly established on the assumption that there are already a large number of non-defective products, and it is basically impossible to inspect an object made for the first time.
本発明の目的は上記従来技術の課題を解決すべく、
良品形状の持つバリエーション，波形の変形範囲に対応
させて信頼性の高い比較検査を実現できるようにした検
査方法及びその装置を提供することにある。An object of the present invention is to solve the above-mentioned problems of the prior art.
An object of the present invention is to provide an inspection method and an apparatus for realizing a highly reliable comparison inspection in accordance with a variation of a good product shape and a deformation range of a waveform.
また本発明の目的は、上記従来技術の課題を解決す
べく、製造工程で発生する良品の変形，検出に伴う立体
形状情報の変形に影響されることなく、欠陥のみを確実
に抽出してより高い精度で微細な欠陥まで検査できるよ
うにした検査方法及びその装置を提供することにある。Further, an object of the present invention is to solve the above-mentioned problems of the prior art by reliably extracting only defects without being affected by deformation of non-defective products occurring in a manufacturing process and deformation of three-dimensional shape information accompanying detection. An object of the present invention is to provide an inspection method and an apparatus capable of inspecting even a fine defect with high accuracy.
また本発明の他の目的は、上記従来技術の課題を解
決すべく、良品との比較検査において良品データの準備
工数の低減を、単一製品に対しても適用可能な検査とを
実現できるようにした検査方法及びその装置を提供する
ことにある。Another object of the present invention is to solve the above-mentioned problems of the prior art by realizing a reduction in man-hours for preparing non-defective data in a comparative inspection with a non-defective product, and an inspection applicable to a single product. An inspection method and an apparatus therefor are provided.
上記目的を達成するために、本発明は設計データ（CA
Dデータ）から良品立体形状を求め検出立体形状と比較
する。ここで良品立体形状は設計データから求めた立体
形状に製造工程で対象物に生じる固有の変形処理（例え
ばテーパ処理，角部についての丸み処理）を施す。ま
た、良品に良品として許容しうる、しかし無視できない
大きさのばらつきがある場合には、そのばらつきの範囲
内で複数の変形量の良品立体形状を求める。さらに／ま
たは、検出時に生じる固有の検出誤差のために生じる変
形を施し良品立体形状を求める。そしてこのようにして
求められた良品立体形状と検査対象物の検出立体形状を
比較するものである。In order to achieve the above object, the present invention provides design data (CA
D data) to determine a good three-dimensional shape and compare it with the detected three-dimensional shape. Here, the non-defective three-dimensional shape is subjected to a unique deformation process (for example, a taper process and a rounding process for a corner) generated in the object in the manufacturing process on the three-dimensional shape obtained from the design data. In addition, when the non-defective product has a non-negligible size variation that is acceptable as a non-defective product, a non-defective three-dimensional shape having a plurality of deformation amounts is obtained within the range of the variation. Further, a non-defective three-dimensional shape is obtained by performing a deformation caused by a unique detection error generated at the time of detection. Then, the non-defective three-dimensional shape obtained in this way is compared with the detected three-dimensional shape of the inspection object.
上記構成により、良品形状の持つバリエーション，形
状の変形範囲に対応させて比較検査を行うことができ、
その結果高い信頼度を得ることができる。また上記構成
により、製造工程で発生する良品の変形，検出に伴う立
体形状情報の変形に影響させることなく、高い精度で微
細な欠陥まで検査を行うことができる。With the above configuration, the comparative inspection can be performed in accordance with the variation of the good product shape and the deformation range of the shape.
As a result, high reliability can be obtained. Further, according to the above configuration, it is possible to inspect even minute defects with high accuracy without affecting the deformation of non-defective products generated in the manufacturing process and the deformation of the three-dimensional shape information accompanying the detection.
又上記構成により、良品データの準備工数の低減をは
かることができ、また単一製品に対しても適用可能にす
ることができる。Further, with the above configuration, it is possible to reduce the number of man-hours for preparing good-quality data, and it is possible to apply the method to a single product.
本発明の一実施例の構成を第１図に示す。第１図で四
角で囲んだ部分が本発明の検査方法で行う処理（機能，
方法）を、丸で囲んだ部分は入出力の情報を意味してい
る。本実施例は、設計データ（CADデータ）11を入力と
し、立体形状変換手段による立体形状変換，製造変形処
理手段14による製造変形処理，検出変形処理手段15によ
る検出変形処理及び、検査対象物に対する立体形状検出
装置18、及びこれらの出力間の比較検査手段20による比
較検査からなる。FIG. 1 shows the configuration of an embodiment of the present invention. In FIG. 1, the portions (the functions,
Method), the circled part means input / output information. In the present embodiment, design data (CAD data) 11 is input, and three-dimensional shape conversion by three-dimensional shape conversion means, manufacturing deformation processing by manufacturing deformation processing means 14, detection deformation processing by detection deformation processing means 15, and The three-dimensional shape detection device 18 and the comparison inspection by the comparison inspection means 20 between these outputs are performed.
設計データ11は、立体形状変換処理手段12による立体
形状変換処理により立体形状検出装置18からの出力フォ
ーマットと合致したフォーマットの立体形状情報（立体
形状モデル）13に変換される。立体形状検出器18によっ
て検出される検出立体形状19が、｛Ｚ（x,y）｝で規定
されるような２次元配列であれば、立体形状変換手段12
による立体形状変換処理の出力も同一フォーマットの２
次元配列である。以下、出力される立体形状モデル13を
｛ZM（x,y）｝と表現する。The design data 11 is converted into three-dimensional shape information (three-dimensional shape model) 13 in a format that matches the output format from the three-dimensional shape detection device 18 by the three-dimensional shape conversion processing by the three-dimensional shape conversion processing means 12. If the detected three-dimensional shape 19 detected by the three-dimensional shape detector 18 is a two-dimensional array defined by {Z (x, y)}, the three-dimensional shape conversion means 12
Of the 3D shape conversion process by
It is a dimensional array. Hereinafter, the output three-dimensional shape model 13 is expressed as {Z M (x, y)}.
例えば、第２図のように平面１上の座標（x0,y0）上
に半径ｒの球２が載っている設計データ11は 平面:Z＝０ 球：(ｘ−x0)２＋(ｙ＋y0)２＋(ｚ−ｒ)２＝r2 の組合せとして与えられる。立体形状変換手段12による
立体形状変換処理では、これを例えば第３図に示す２次
元配列の情報に変換する。このため、上記設計情報11を
元に次の変換処理を行う。For example, as shown in FIG. 2, design data 11 in which a sphere 2 having a radius r is placed on coordinates (x 0 , y 0 ) on a plane 1 is: plane: Z = 0 sphere: (x−x 0 ) 2 + It is given as a combination of (y + y 0 ) 2 + (z−r) 2 = r 2 . In the three-dimensional shape conversion processing by the three-dimensional shape conversion means 12, this is converted into, for example, information of a two-dimensional array shown in FIG. Therefore, the following conversion processing is performed based on the design information 11 described above.
立体形状変換手段12による立体形状変換処理は、設計
データ11として表現されている形状の種類、CADシステ
ム中の形状の表現法，立体形状検出器18の出力表現法に
より種々の変換処理が実現しうる。ここではその最も単
純な実施例を上に示した。 The three-dimensional shape conversion processing by the three-dimensional shape conversion means 12 realizes various types of conversion processing according to the type of shape expressed as the design data 11, the shape expression method in the CAD system, and the output expression method of the three-dimensional shape detector 18. sell. Here, the simplest embodiment is shown above.
次に立体形状検出装置18の一実施例を第４図に示す。
第４図は光切断法による立体形状検出装置18であり、直
線移動テーブル3,その上に固定されたスリット投光器４
と２つのTVカメラ５と6,光切断線抽出回路7,光切断線合
成回路８からなる。スリット投光器４よりスリット光９
を対象物に投影し、その輝線を両斜め方向からTVカメラ
５と６で検出する。両側から検出するのは、一方からだ
けでは対象物に死角を生じることがあるからである。検
出されたスリット輝線像は、７に送られ、光切断線を抽
出する。光切断線（波形情報）の抽出法の具体的処理内
容は、特開昭56−70407号公報（特公平02−3121号公
報）に示されている。また検出された２本の光切断線は
光切断線合成回路８により視角部を消去するように合成
される。この合成法の具体的処理内容は特開昭60−1401
07号公報に示されている。Next, one embodiment of the three-dimensional shape detecting device 18 is shown in FIG.
FIG. 4 shows a three-dimensional shape detecting device 18 based on the light-section method, which includes a linear moving table 3 and a slit projector 4 fixed thereon.
And two TV cameras 5 and 6, a light-section line extraction circuit 7, and a light-section line synthesis circuit 8. Slit light 9 from slit projector 4
Is projected on the object, and the bright lines are detected by the TV cameras 5 and 6 from both oblique directions. The detection is performed from both sides because a blind spot may be generated in the object only from one side. The detected slit bright line image is sent to 7, and a light cutting line is extracted. The specific processing content of the method of extracting the light section line (waveform information) is disclosed in JP-A-56-70407 (Japanese Patent Publication No. 02-3121). The two detected light-section lines are combined by the light-section line combining circuit 8 so as to eliminate the viewing angle. The specific processing content of this synthesis method is described in JP-A-60-1401.
No. 07 is disclosed.
以上の処理をテーブル３を移動しながら繰返し行うこ
とにより、第４図左下に示す立体形状情報10,｛Ｚ（x,
y）｝を得る。By repeating the above processing while moving the table 3, the three-dimensional shape information 10, ｛Z (x,
y) Obtain｝.
以上、光切断法による立体形状検出器の一実施例を示
したが、光切断法としても、この他、スポット光走査方
式光切断法（例えば、特開昭58−60593号公報（特公昭6
3−39841号公報））など各種方式を適用可能である。As described above, one embodiment of the three-dimensional shape detector using the light section method has been described. However, the light section method may be replaced with a spot light scanning type light section method (for example, Japanese Patent Application Laid-Open No. 58-60593 (Japanese Patent Publication No.
Various methods such as Japanese Patent Application Laid-Open No. 3-39841) are applicable.
さらに、本発明の立体形状検出装置は、光切断法に限
定されるものではなく、その他の各種立体形状検出法、
例えば、Shape from Shading法（例えば、池内：「反
射率地図に基づき、二次元濃淡画像より三次元形状を再
構成する２手法」，電子通信学会論文誌,Vol.J−65−D,
No.7,pp.842〜849（'82年７月））,Photometric Stere
o法（例えば池内：同上文献）,Shape form Texture法
（例えば、池内：「被写体表面上の小図形の幾何学的ひ
ずみから３次元形状を再構成する１手法」，同上論文
誌,pp.850〜857）,Shape form Specular法（例えば、
寺師・白井・越川：「偏光を用いた光沢物体の表面形状
の認識」，電子技術総合研究所案報，第50巻，第１号,p
p.86〜95）,Shape form Suntrace法（例えば、J.Kend
er,E.Smith;“SHAPE FROM DARKNESS:Deriving Surfa
ce Information form Dynamic Shadows",Proc. of
1st Int.Conf. on Compt.Vision,pp.539〜546,（'
87年６月））,Shape form Focus法（例えば、S.Naya
r,Y.Nakagawa;“Shape form Focus:An Effective A
pproach for Rough Surfaces",Proc.of 1990 IEEE
Int.Conf.on Robotics ＆ Automationに掲載予
定），ステレオ報（例えば、小堀・河野・篠崎：「ステ
レオ画像の三次元自動解析」，情報処理,Vol.22,No9,p
p.846〜855（1981年９月）） 以上に説明した立体形状検出器18の動作例として第５
図に検査対象物の一例と第６図にその検出立体形状｛ZT
（x,y）｝を示す。第５図の25は欠け欠陥である。第６
図においても欠け26の部分は欠けの状態が検出されてい
る。なお第３図，第４図，第６図において立体形状は光
切断線の集合のように表現しているが、これは立体形状
を分かりやすく説明するためにそのように表現している
ものであり、立体形状モデル｛ZM（x,y）｝や検出立体
形状｛ZT（x,y）｝は、そのようにも表示できるし、ま
たxy平面上で高さを明るさで表現すれば高い部分が明る
い濃淡画像、すなわち距離画像である。これらは画素単
位の離散的データである。Further, the three-dimensional shape detection device of the present invention is not limited to the light section method, other various three-dimensional shape detection methods,
For example, the Shape from Shading method (for example, Ikeuchi: “Two methods for reconstructing a three-dimensional shape from a two-dimensional grayscale image based on a reflectance map”, IEICE Transactions, Vol. J-65-D,
No.7, pp.842-849 (July 1982)), Photometric Stere
o method (for example, Ikeuchi: Ibid.), Shape form Texture method (for example, Ikeuchi: "A method for reconstructing a three-dimensional shape from geometric distortion of small figures on the surface of a subject"), Ibid., pp.850 ~ 857), Shape form Specular method (for example,
Terashi, Shirai, and Koshikawa: "Recognition of Surface Shape of Glossy Object Using Polarized Light", Proposal Report of IEICE, Vol. 50, No. 1, p.
p.86-95), Shape form Suntrace method (for example, J. Kend
er, E.Smith; “SHAPE FROM DARKNESS: Deriving Surfa
ce Information form Dynamic Shadows ", Proc. of
1st Int. Conf. On Compt. Vision, pp. 539-546, ('
June 1987)), Shape form Focus method (for example, S. Naya
r, Y.Nakagawa; “Shape form Focus: An Effective A
pproach for Rough Surfaces ", Proc. of 1990 IEEE
Int.Conf.on Robotics & Automation), Stereo report (eg, Kobori, Kono, Shinozaki: "3D automatic analysis of stereo images", Information processing, Vol.22, No9, p.
p.846-855 (September 1981) As the operation example of the three-dimensional shape detector 18 described above,
Figure shows an example of the inspection object and Fig. 6 shows the detected three-dimensional shape ｛Z T
(X, y)｝. Reference numeral 25 in FIG. 5 denotes a chip defect. Sixth
In the figure, the state of the chipped portion 26 is detected. In FIGS. 3, 4, and 6, the three-dimensional shape is expressed as a set of light-section lines, but this is expressed so as to easily explain the three-dimensional shape. Yes, the 3D shape model {Z M (x, y)} and the detected 3D shape {Z T (x, y)} can be displayed as such, and the height can be represented by brightness on the xy plane. The higher part is a bright grayscale image, that is, a distance image. These are discrete data in pixel units.
次に製造変形処理手段14による製造変形処理と検出変
形処理手段15による検出変形処理の動作内容について説
明する。製造変形処理手段14による製造変形処理は、製
造工程中で生じる、立体形状モデル｛ZM（x,y）｝には
表現されていない製造工程中に対象物に加えられる変形
と等価の処理を立体形状13に施すことである。Next, the operation contents of the manufacturing deformation process by the manufacturing deformation processing means 14 and the detection deformation processing by the detection deformation processing means 15 will be described. The manufacturing deformation process by the manufacturing deformation processing means 14 is a process equivalent to a deformation that occurs in the manufacturing process and is not expressed in the three-dimensional shape model {Z M (x, y)} and is added to the object during the manufacturing process. That is, the three-dimensional shape 13 is applied.
従ってその具体的処理内容は製造工程固有のものであ
る。それらの例の一部を以下に示す。Therefore, the specific processing contents are specific to the manufacturing process. Some of those examples are shown below.
第７図は、厚さt0の立体形状モデルを例示している。
第７図（ａ）は設計データ11であり、白部がＺ＝0,黒部
がＺ＝t0の領域を意味しているものとする。例えばフォ
トエッチングで製作される工業製品ではしばしばその設
計データ11はこのような要素で表現されている。第７図
（ｂ）はこの情報を基に立体形状変換手段12により立体
形状変換処理により形成された立体形状モデル13の模式
図であり、第７図は（ｃ）はそのＡ−Ａ断面を示してい
る。Figure 7 illustrates a three-dimensional shape model of the thickness t 0.
Figure No. 7 (a) is a design data 11, the white portion is Z = 0, black portion is assumed to mean a region of Z = t 0. For example, in an industrial product manufactured by photoetching, the design data 11 is often expressed by such elements. FIG. 7B is a schematic diagram of a three-dimensional shape model 13 formed by a three-dimensional shape conversion process by the three-dimensional shape conversion means 12 based on this information, and FIG. 7C is a cross-sectional view taken along line AA of FIG. Is shown.
これに対し、例えばフォトエッチング工程では第８図
（ａ）に示すようにまずフォトレジスト12のパターンを
表面に形成し、これをマスクに第８図（ｂ）のようにエ
ッチングを行い、最後に第８図（ｃ）のようにフォトレ
ジストを除去して完成する。このため製造変形処理手段
14における製造変形処理では第７図（ｂ）の立体形状モ
デル13を、第９図（ａ）の立体形状モデルに変形させ
る。第９図（ｂ）は第９図（ａ）のＡ−Ａ断面であり、
これは第８図（ｃ）と一致している。On the other hand, in the photoetching step, for example, a pattern of a photoresist 12 is first formed on the surface as shown in FIG. 8A, and etching is performed using this as a mask as shown in FIG. The photoresist is removed as shown in FIG. 8 (c) to complete the process. Therefore, the manufacturing deformation processing means
In the manufacturing deformation process at 14, the three-dimensional model 13 of FIG. 7B is transformed into the three-dimensional model of FIG. 9A. FIG. 9B is a cross-sectional view taken along line AA of FIG. 9A.
This is consistent with FIG. 8 (c).
製造変形処理手段14又は検出変形処理手段15によっ
て、第７図（ｂ）に示した立体形状モデルから第９図
（ａ）に示した検査用立体形状モデル16への変形処理を
第10図（ａ）に示す。白部がＺ＝0,黒部がＺ＝t0である
設計画像58に対し、膨張処理部51で黒部の領域を一画素
膨張させた画像59を得る。さらに膨張処理部52で一画素
膨張させ、元の設計画像58に対し２画素膨張させた画像
60を得る。減算部53で、一画素膨張させた画像59と元の
設計画像58の差画像61を得る。この差画像61に対し乗算
部55であらかじめ与えた値k1を乗ずる。同様に、設計画
像58に対し２画素膨張させた画像60と一画素膨張させた
画像59の差画像62を減算部54で計算する。差画像62に対
し、乗算部56でk2倍し、暗部がＺ＝k2t0の画像を得る。
設計画像58と、暗部がＺ＝k1t0の画像63と、暗部がＺ＝
k2t0の画像64を加算部57で加算し、階段状の濃度分布を
持つ画像65を得る。膨張処理の段数をこの例では２段と
したが一般には、ｎ段とすることで、滑らかな階段状の
立体形状モデルを得る。定数kiは、膨張処理の段数ｎよ
り、 とすると、断面が第９図（ｂ）に相当する検査用立体形
状モデル16を得る。kiの設定を変えることで、任意の断
面のホトレジストのモデルを得ることができる。FIG. 10 shows a process of transforming the three-dimensional shape model shown in FIG. 7 (b) into the three-dimensional shape model 16 for inspection shown in FIG. 9 (a) by the manufacturing deformation processing means 14 or the detection deformation processing means 15. a). With respect to the design image 58 in which the white part is Z = 0 and the black part is Z = t 0 , the expansion processing unit 51 obtains an image 59 obtained by expanding the black area by one pixel. Further, an image obtained by expanding one pixel in the expansion processing unit 52 and expanding the original design image 58 by two pixels.
Get 60. The subtraction unit 53 obtains a difference image 61 between the image 59 expanded by one pixel and the original design image 58. Multiplying the value k 1 given previously by the multiplication section 55 to the difference image 61. Similarly, a subtraction unit 54 calculates a difference image 62 between an image 60 obtained by expanding the design image 58 by two pixels and an image 59 obtained by expanding one pixel. To the difference image 62, the multiplication unit 56 k 2 multiplies, dark part to obtain an image of Z = k 2 t 0.
The design image 58, dark portion of the image 63 of the Z = k 1 t 0, a dark portion Z =
The image 64 of k 2 t 0 is added by the adding unit 57 to obtain an image 65 having a stepwise density distribution. Although the number of stages of the expansion process is two in this example, in general, a smooth stepped three-dimensional shape model is obtained by setting the number of stages to n. The constant k i is given by Then, a three-dimensional shape model 16 for inspection whose cross section corresponds to FIG. 9B is obtained. By changing the setting of k i , a photoresist model having an arbitrary cross section can be obtained.
膨張処理部51の処理オペレータを第10図（ｂ）に示
す。本オペレータは３×３画素に作用する。要素が全て
１のオペレータである。本オペレータを白部がＺ＝0,黒
部がＺ＝t0の画像に作用させ、結果がt0以上の画素をt0
とすることで膨張処理を実現できる。FIG. 10 (b) shows a processing operator of the expansion processing section 51. This operator operates on 3 × 3 pixels. The elements are all 1 operators. The operator applies the image to the image in which the white part is Z = 0 and the black part is Z = t 0 , and the pixel whose result is t 0 or more is t 0
By doing so, the expansion processing can be realized.
以上により第９図のような検査用立体形状モデル16を
得ることが可能である。またフォトエッチング工程で
は、エッチング条件を制御することにより、第11図
（ａ），（ｂ），（ｃ），（ｄ），（ｅ）に例示するよ
うな種々の断面形状を作り出すことが可能であるが、製
造変形手段14による製造変形処理ではこれらの断面形状
に立体形状モデル13を変形させることも可能である。こ
れらの断面形状は、その形状データを実物からの測定結
果などを基に与えても良いし、この検査方法の中に、製
造工程のシミュータ22を用意しておき、これを使って与
えても良い。これは、検出変形処理手段15による検出変
形処理についても同様であり、検出器のシミュレータ23
を予め用意しておき、これを用いて検出変形処理手段15
により変形させても良い。この検査法の実施例を第12図
に示す。第12図は、実施例の一部分であり、その全体は
立体形状モデル13より左側及び検査用立体形状モデル16
の下側は、第１図のそれと同じものがあるが、第12図で
はこれらを省略している。As described above, it is possible to obtain the three-dimensional shape model 16 for inspection as shown in FIG. In the photo-etching step, by controlling the etching conditions, it is possible to create various cross-sectional shapes as exemplified in FIGS. 11 (a), (b), (c), (d) and (e). However, in the manufacturing deformation processing by the manufacturing deformation means 14, it is also possible to deform the three-dimensional shape model 13 to these cross-sectional shapes. These cross-sectional shapes may be given based on the shape data of the shape data based on the measurement results from the actual product, or in this inspection method, a simulator 22 in the manufacturing process may be prepared and used. good. The same applies to the detection deformation processing by the detection deformation processing means 15, and the detector simulator 23
Are prepared in advance, and using this, the detection deformation processing means 15 is used.
May be deformed. FIG. 12 shows an embodiment of this inspection method. FIG. 12 is a part of the embodiment, the whole of which is on the left side of the three-dimensional model 13 and the three-dimensional model 16 for inspection.
The lower side has the same parts as those in FIG. 1, but these are omitted in FIG.
また、第11図（ｆ）と（ｇ）は、第10図（ｅ）のＢ部
の拡大であるが、工業製品ではしばしばミクロ的に観察
するとこれらのようにコーナやエッジ部，断差部でだれ
を生じていることがある。また、このようなだれを生じ
ていなくても、検出器の解像限度に近い性能で微細欠陥
を検出しようとすると、検出器の解像特性からこのよう
なだれを生じることがある。これらについても、だれの
変形を製造変形処理手段14又は検出変形処理手段15にり
立体形状モデルに施すことが可能である。その一実施例
としては、ぼかしフィルタを作用させることであり、こ
れは局所ウィンドの平滑化処理（例えば、３×３画素の
平均値処理）や、だれを点拡がり関数としてとらえ、こ
れをガウス分布で近似し、フィルタリング処理すること
も可能である。具体的には、点拡がり関数を と仮定し、 の処理をすれば良い。なお、上式は連続系の式で表現し
たが、離散データに対しては∫をΣとして適用すること
ができる。このようなフィルタリング処理は、局所オペ
レータによる重み付き平均値処理であり、その重み分布
の例を第13図に示す。FIGS. 11 (f) and 11 (g) are enlargements of the portion B in FIG. 10 (e). In the case of industrial products, microscopic observations often show corners, edges, and cuts. Who may be causing the problem. Even if such a droop does not occur, such a droop may occur due to the resolution characteristics of the detector when trying to detect a fine defect with a performance close to the resolution limit of the detector. In these cases, it is possible to apply the deformation of any one of the three-dimensional model to the manufacturing deformation processing means 14 or the detection deformation processing means 15. One example is to apply a blur filter, which can be a local window smoothing process (for example, an average value process of 3 × 3 pixels), or who can be treated as a point spread function and can be used as a Gaussian distribution. And filtering can be performed. Specifically, the point spread function Assuming What should I do? Although the above equation is expressed as a continuous equation, ∫ can be applied to discrete data. Such a filtering process is a weighted average value process by a local operator, and an example of the weight distribution is shown in FIG.
このような、エッジ部のだれや検出画像のぼけは、必
ずしも製造工程中の変形と検出器による変形に切分けら
れないことや切分けても意味がないことが多い。このよ
うなケースに対しては、製造変形処理と検出変形処理を
統合して変形処理手段24による変形処理として扱った方
が適している。この検査法の実施例を第14図に示す。第
14図は第12図と同じくこの実施例の一部であり、その他
の部分は第１図と同一である。Such drooping of the edge portion and blurring of the detected image are not always separated into the deformation during the manufacturing process and the deformation by the detector, and it is often meaningless to do so. In such a case, it is more appropriate to integrate the manufacturing deformation process and the detected deformation process and treat them as the deformation process by the deformation processing unit 24. An embodiment of this inspection method is shown in FIG. No.
FIG. 14 is a part of this embodiment like FIG. 12, and the other parts are the same as FIG.
製造変形処理手段14による製造変形処理の他の実施例
の一つとしては、はんだ付部の変形処理を説明する。第
15図（ａ）はプリント板33のパッド34,35上にチップ部
品36が搭載され、はんだ37,38により接合されている。
はんだはペースト印刷やはんだめっきにより供給される
ため、製造工程では不可避的に供給はんだ量にばらつき
を生じる。その結果、第15図（ｂ），（ｃ）のようには
んだ付部の形状は良品と言えども変化する。今、（ｂ）
の状態を良品の上限（ｃ）の状態を良品の下限とする
と、比較検査においては、これらを含む複数のはんだ付
形状を変形処理手段24による変形処理により作り出し、
これらと検出立体形状19を比較し、一致度の最も高い時
の不一致量を評価することにより、はんだ付部の良否を
決定する。なお、はんだ付部のモデル形状は、例えばケ
ンスイ線として与えることができる。As another embodiment of the manufacturing deformation processing by the manufacturing deformation processing means 14, a description will be given of a deformation processing of a soldered portion. No.
In FIG. 15A, a chip component 36 is mounted on pads 34 and 35 of a printed circuit board 33 and joined by solders 37 and 38.
Since the solder is supplied by paste printing or solder plating, the amount of supplied solder inevitably varies in the manufacturing process. As a result, as shown in FIGS. 15 (b) and (c), the shape of the soldered portion changes even though it is a non-defective product. Now, (b)
When the state of (c) is defined as the upper limit of non-defective products and the state of non-defective products is defined as the lower limit of non-defective products, in the comparative inspection, a plurality of soldering shapes including these are created by deformation processing by the deformation processing means 24,
By comparing these with the detected three-dimensional shape 19 and evaluating the amount of mismatch at the time of the highest degree of matching, the quality of the soldered portion is determined. The model shape of the soldered portion can be given as, for example, a kensui wire.
このように検査対象によっては、製造工程で複数のバ
リエーションを生じるケースがあり、これらの対象につ
いては複数の検査用立体形状モデル30を与える必要があ
る。これらの他の例としては、搭載部品の位置ずれや傾
きなどがある。これらに対応する本発明の一実施例を第
16図に示す。第16図は第12図と同じくこの実施例の一部
を示しており、その他の部分は第１図と同一である。As described above, depending on the inspection target, there are cases where a plurality of variations occur in the manufacturing process, and it is necessary to provide a plurality of three-dimensional shape models 30 for inspection for these targets. As other examples of these, there are positional shifts and inclinations of mounted components. One embodiment of the present invention corresponding to these
Figure 16 shows. FIG. 16 shows a part of this embodiment similarly to FIG. 12, and the other parts are the same as FIG.
この他、製造変形処理手段14による製造変形処理の実
例としては、機械加工部などの面とりやばりなどに対応
する処理がある。In addition, as an actual example of the manufacturing deformation process by the manufacturing deformation processing means 14, there is a process corresponding to chamfering or burring of a machined portion or the like.
次に形状変形処理手段15による形状変形処理の実施例
について示す。段差部などのだれやぼけに対応するぼか
しフィルタ，平滑化処理，点拡がり関数については上に
述べた。これらは最も典型的な検出変形処理である。Next, an embodiment of the shape deformation processing by the shape deformation processing means 15 will be described. The blur filter, the smoothing process, and the point spread function corresponding to the droop and blur of the step portion and the like have been described above. These are the most typical detection deformation processes.
また、共焦点顕微鏡で立体形状を求める場合などにお
いては、しばしば高周波成分が強調された立体形状にな
ることがある。第17図はその例を示しており、第17図
（ａ）のような立体形状モデル13が第17図（ｂ）のよう
に検出される。このような検出器に対する検出変形処理
としては、２次微分成分などの強調が考えられる。式
（１）にそのような変形処理の一実施例を示す。In addition, when a three-dimensional shape is obtained with a confocal microscope, the three-dimensional shape often emphasizes high-frequency components. FIG. 17 shows such an example, and a three-dimensional shape model 13 as shown in FIG. 17 (a) is detected as shown in FIG. 17 (b). As a detection deformation process for such a detector, enhancement of a second derivative component or the like can be considered. Equation (1) shows one embodiment of such a transformation process.
また、対象物には存在するが、立体形状検出器18では
検出できない領域が存在することがある。例えば死角に
なって見えない領域や検出深度域を越えた高い突起部や
深い凹部などがその例である。また、品質管理や製品検
査上、どうなっていても良い領域，検査する必要のない
領域が存在することもある。これらの領域については、
その部分を比較検査する必要がない。これらについては
不必要領域を示すdon't careマスクを作ることができ
る。このマスク｛Ｍ（x,y）｝Ｍ＝0,1で０が検査域、１
が検査不要域であり、比較検査手段20による比較検査で
は０の部分のみ処理すれば良い。 Further, there may be an area that exists in the target object but cannot be detected by the three-dimensional shape detector 18. For example, an area that cannot be seen due to a blind spot, a high protrusion or a deep recess beyond the detection depth area, and the like are examples thereof. In addition, there may be an area that does not matter in quality control and a product inspection, and an area that does not need to be inspected. For these areas,
There is no need to compare the parts. For these, a don't care mask indicating an unnecessary area can be formed. With this mask {M (x, y)} M = 0,1, 0 is the inspection area, 1
Is an inspection unnecessary area, and in the comparison inspection by the comparison inspection means 20, only the 0 part needs to be processed.
次に比較検査手段20による比較検査の実施例を述べ
る。比較検査手段20による比較検査では検出立体形状
｛ZT（x,y）｝19と検査用立体形状モデル｛ZR（x,y）｝
16,30を照合し、不一致を検出する。そして不一致部に
対し、その程度を評価し、その結果として欠陥情報を出
力する。Next, an embodiment of the comparative inspection by the comparative inspection means 20 will be described. In the comparative inspection by the comparative inspection means 20, the detected solid shape {Z T (x, y)} 19 and the inspection solid shape model {Z R (x, y)}
Match 16,30 and detect mismatch. Then, the degree of the mismatch is evaluated, and as a result, defect information is output.
｛ZT（x,y）｝と｛ZR（x,y）｝の照合と不一致検出に
は各種のマッチングアルゴリズムや差画像抽出アルゴリ
ズムが適用できる。｛ZT（x,y）｝と｛ZR（x,y）｝につ
いて例えば２次微分オペレータを作用させ、かつこの出
力をしきい値処理することにより、エッジの２値画像
｛ET（x,y）｝と｛ER（x,y）｝を求め、次式により２つ
の画像の位置ずれ量（ΔX,ΔＹ）を求める。Various matching algorithms and difference image extraction algorithms can be applied to the matching and mismatch detection of {Z T (x, y)} and {Z R (x, y)}. By applying, for example, a second derivative operator to {Z T (x, y)} and {Z R (x, y)} and subjecting the output to threshold processing, a binary image {E T ( x, y)} and {E R (x, y)} are obtained, and the displacement (ΔX, ΔY) between the two images is obtained by the following equation.
ここで、Σの範囲は例えば画面全面、 ｜は〔A|B〕で、Ｂが成立する条件下のＡを表す。 Here, the range of Σ is, for example, the entire screen, and | is [A | B], which represents A under the condition that B is satisfied.
は排他的論理和である。 Is an exclusive OR.
そして、｛ZR（ｘ−ΔX,y−ΔＹ）｝と｛ZT（x,y）｝
の差画像を求めることにより、不一致を検出することが
できる。また、あらかじめ位置合わせができている場合
には、｛ZR（x,y）｝と｛ZT（x,y）｝の差画像｛ZD（x,
y）｝を直接求めることができる。Then, {Z R (x−ΔX, y−ΔY)} and {Z T (x, y)}
By obtaining the difference image of, a mismatch can be detected. Also, if the positioning has been performed in advance, the difference image ｛Z D (x, y) between {Z R (x, y)} and {Z T (x, y)}
y)｝ can be obtained directly.
以上の実施例は、最も単純な照合法の例であるが、こ
の他に、微小欠陥を検出する比較検査法として、局所摂
動パターンマッチング法特開昭63−32666号公報，「局
所摂動パターンマッチング法によるLSIウェーハパター
ンの精密外観検査」，電子情報通信学会論文誌,Vol.J72
−Ｄ−II,No.12,pp2041〜2050（1989年12月））や、カ
スケードパターンマッチング法（前田，他5;「カスケー
ドパターンマッチングによるLSIウェーハ多層パターン
自動外観検査」，電子情報通信学会論文誌,Vol.J72−Ｄ
−II,No.12,pp2012〜2022）及びその中で用いられてい
る画素補間によるサブ画素間の比較処理なども適用する
ことができる。その他各種の比較検査手法が適用可能で
ある。The above embodiment is an example of the simplest matching method. In addition to this, as a comparative inspection method for detecting minute defects, a local perturbation pattern matching method disclosed in Japanese Patent Application Laid-Open No. 63-32666, "Local perturbation pattern matching Precise Visual Inspection of LSI Wafer Patterns by the Method ", IEICE Transactions, Vol.J72
−D-II, No.12, pp2041-2050 (December 1989)) and cascade pattern matching method (Maeda et al. 5; “Automatic LSI wafer multilayer pattern inspection by cascade pattern matching”, IEICE Transactions) Magazine, Vol. J72-D
-II, No. 12, pp2012 to 2022) and a comparison process between sub-pixels by pixel interpolation used therein can also be applied. Other various comparative inspection techniques are applicable.
抽出された｛ZD（x,y）｝に対し、その絶対値があら
かじめ設定したしきい値以上の部分を不一致として抽出
する。With respect to the extracted {Z D (x, y)}, a part whose absolute value is equal to or larger than a preset threshold value is extracted as a mismatch.
そして、これは不一致部について評価を行う。最も単
純な評価は、不一致部があれば不良として出力するもの
である。またその部分の面積（不一致画素数）や不一致
量（明さ差×画素数の和）が予め設定したしきい値以上
の時、これを欠陥として出力することも可能である。さ
らに不一致の形状をより詳細に｛ZT（x,y）｝と｛Z
R（x,y）｝を参照しながら評価することも可能である。
また不一致部について立体形状｛ZT（x,y）｝だけでな
く、濃淡画像やカラー画像あるいは不一致部のより高倍
率のこれら画像を予め用意した高倍率な立体形状検出器
や濃淡画像検出器やカラー画像検出器により検出し、こ
れら画像情報を評価することにより最終的に欠陥を認識
することも可能である。さらに、対象物を加振したり、
Ｘ線画像を検出したりというように、その他の手段を併
用することも可能である。Then, this evaluates the unmatched part. The simplest evaluation is to output a failure if there is a mismatch. Further, when the area (the number of mismatched pixels) or the amount of mismatch (the sum of the brightness difference × the number of pixels) of the portion is equal to or larger than a predetermined threshold value, it is possible to output this as a defect. More detailed mismatched shapes {Z T (x, y)} and {Z
It is also possible to evaluate while referring to R (x, y)｝.
In addition, not only the three-dimensional shape {Z T (x, y)} but also a high-magnification three-dimensional shape detector or gray-scale image detector prepared in advance for a gray-scale image, a color image, or a higher-magnification image of the non-matching part. And a color image detector, and by evaluating these image information, it is possible to finally recognize the defect. In addition, shake the object,
Other means, such as detecting an X-ray image, can also be used in combination.
以上、本発明の実施例を説明したが、以上の処理手段
12,14,15,24の全体を検査装置18,20内に実現しても良い
し、その一部をオフマシンの処理としても良い。例え
ば、立体形状モデル｛ZM（x,y）｝13または検査用立体
形状モデル｛ZR（x,y）｝16までをオフライン処理と
し、検査装置18,20にはこれらモデル情報を入力するこ
とでも良い。The embodiment of the present invention has been described above.
The entirety of 12, 14, 15, and 24 may be realized in the inspection devices 18 and 20, or a part of them may be off-machine processing. For example, the three-dimensional shape model ｛Z M (x, y)｝ 13 or the three-dimensional shape model for inspection RZ R (x, y)｝ 16 is set as offline processing, and these model information are input to the inspection devices 18 and 20. That is fine.
また、本実施例では｛ZM（x,y）｝に対し、変形処理
を施す実施例を示したが、｛ZM（x,y）｝を求める前に
変形処理を、またはその一部を施すことも可能である。Further, with respect to the present embodiment {Z M (x, y) }, is shown an embodiment in which the deformation process is performed, the deformation process prior to obtaining the {Z M (x, y) }, or a portion thereof Can also be applied.
さらに、本実施例では一貫して立体形状情報、すなわ
ち距離画像に対して示したが、距離画像だけでなく、プ
ロフィル波形（断面形状），濃淡画像｛Ｉ（x,y）｝，
カラー画像などの多次元画像｛Ii（x,y）,i＝1,n｝，対
象物の内部構造情報を含む３次元情報,3次元画像｛Ｉ
（x,y,z）｝及びこれらの波形情報に対しても本発明は
有効である。Further, in the present embodiment, the three-dimensional shape information, that is, the distance image is consistently shown. However, not only the distance image but also the profile waveform (cross-sectional shape), the grayscale image {I (x, y)},
Multi-dimensional image {Ii (x, y), i = 1, n} such as a color image, three-dimensional information including internal structure information of an object, three-dimensional image {I
The present invention is also effective for (x, y, z)} and these pieces of waveform information.
本発明によれば、設計図との比較照合，設計データと
の比較検査が可能であり、特に製造工程のプロセス条件
など製造条件及び検査における検出条件を考慮した、本
来良品として検出されるべきモデルと比較検査すること
が可能である。このため極めて信頼性の高い検査を実現
できる。ADVANTAGE OF THE INVENTION According to this invention, the comparison and collation with a design drawing and the comparative inspection with design data are possible, and especially the model which should be detected as a non-defective product in consideration of the manufacturing conditions, such as the process conditions of a manufacturing process, and the detection conditions in an inspection. It is possible to compare and inspect. Therefore, an extremely reliable inspection can be realized.
また、実在する良品との比較検査，実物同士の比較検
査ではないため、１個しか作らないような製品でも検査
することができる。また多数の実物良品から標準形状情
報を収集するなどの手間が不要であり、検査に入る前の
準備作業を大幅に軽減できる。Further, since it is not a comparison test with a real non-defective product or a comparison test between real products, it is possible to test a product in which only one product is manufactured. Further, it is not necessary to collect the standard shape information from a number of non-defective products, so that the preparation work before starting the inspection can be greatly reduced.
また、設計変更，製造工数やプロセス条件の変更、あ
るいは検出器の変更に対しても、それぞれ該当するデー
タや変形処理のみを変更すれば良いので、フレキシビリ
ティに豊みかつ常に高いレベルで均質な検査を実現でき
る。In addition, it is sufficient to change only relevant data and deformation processing for design changes, changes in manufacturing man-hours and process conditions, and changes in detectors. Inspection can be realized.
さらに、設計データはCADデータを参照することによ
り入力できる。また製造変形処理のための製造工程シミ
ュレータは、製造品質制御用ソフトウェアシステムの一
部としての活用できるなど、本発明は将来の計算機統合
された生産システム全体の中でも、諸資源を有効に活用
できるなどの効果を有している。Further, design data can be input by referring to CAD data. Also, the manufacturing process simulator for manufacturing deformation processing can be used as a part of a software system for manufacturing quality control, and the present invention makes it possible to effectively utilize various resources in the entire computer integrated production system in the future. The effect is as follows.
第１図は本発明の検査装置の一実施例の全体構成を示す
図、第２図は設計データの例を説明するための図、第３
図は立体形状モデルの例を説明するための図、第４図は
立体形状検出器の一実施例を示す図、第５図は検査対象
物の一例を示す図、第６図は検査対象物の検出立体形状
を説明するための図、第７図は検査対象物の一例の設計
データと立体形状モデルを説明するための図、第８図は
製造工程の一例としてエッチング工程を例に対象物の加
工による変化を説明するための図、第９図は製造変形処
理による立体形状モデルの変形結果の一例を示す図、第
10図はその具体的処理内容を説明するための図、第11図
はその他の製造工程における対象物の形状変化を例示し
た図、第12図は本発明の他の一実施例を、第１図の一部
分を切出し説明した図、第13図はガウス分布だれ，ぼか
しフィルタを説明するための図、第14図は本発明の他の
一実施例を、第１図の一部分を切出して説明した図、第
15図ははんだ付部の形状バリエーションを説明するため
の図、第16図は本発明の他の一実施例を、第１図の一部
分を切出して説明した図、第17図は検出変形の一例とし
て高周波成分強調の例を説明するための図である。 11……設計データ、12……立体形状変換手段、 13……立体形状モデル、14……製造変形処理手段、 15……検出変形処理手段、 16……検査用立体形状モデル、 17……検査対象物、18……立体形状検出装置、 19……検出立体形状、20……比較検査手段、 21……欠陥情報、24……変形処理手段、 30……複数の検査用立体形状モデル。FIG. 1 is a diagram showing the overall configuration of an embodiment of the inspection apparatus of the present invention, FIG. 2 is a diagram for explaining an example of design data, FIG.
FIG. 4 is a diagram for explaining an example of a three-dimensional shape model, FIG. 4 is a diagram showing an embodiment of a three-dimensional shape detector, FIG. 5 is a diagram showing an example of an inspection object, and FIG. FIG. 7 is a diagram for explaining design data of an example of an inspection object and a three-dimensional model, and FIG. 8 is an example of an etching process as an example of a manufacturing process. FIG. 9 is a diagram for explaining a change due to processing of FIG. 9, and FIG. 9 is a diagram showing an example of a deformation result of a three-dimensional shape model by a manufacturing deformation process.
FIG. 10 is a diagram for explaining the specific processing contents, FIG. 11 is a diagram illustrating the shape change of the object in other manufacturing steps, and FIG. 12 is another embodiment of the present invention. FIG. 13 is a view for explaining a part of the drawing, FIG. 13 is a view for explaining a Gaussian distribution blur and a blur filter, and FIG. 14 is a view for explaining another embodiment of the present invention by cutting out a part of FIG. Figure, No.
FIG. 15 is a view for explaining a shape variation of a soldered portion, FIG. 16 is a view showing another embodiment of the present invention by cutting out a part of FIG. 1, and FIG. 17 is an example of a detection deformation FIG. 8 is a diagram for explaining an example of high-frequency component emphasis. 11 ... design data, 12 ... three-dimensional shape conversion means, 13 ... three-dimensional shape model, 14 ... manufacturing deformation processing means, 15 ... detection deformation processing means, 16 ... ... three-dimensional shape model for inspection, 17 ... inspection Target object, 18: three-dimensional shape detection device, 19: detected three-dimensional shape, 20: comparative inspection means, 21: defect information, 24: deformation processing means, 30: multiple inspection three-dimensional shape models.
フロントページの続き (72)発明者 一ノ瀬 敏彰 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所生産技術研究所内 (72)発明者 吉村 和士 神奈川県横浜市戸塚区吉田町292番地 株式会社日立製作所生産技術研究所内 (56)参考文献 特開 昭63−211076（ＪＰ，Ａ) 特開 昭60−129605（ＪＰ，Ａ) 特開 昭63−9850（ＪＰ，Ａ) 特開 昭54−114264（ＪＰ，Ａ) 特開 平１−263050（ＪＰ，Ａ) 特開 平２−311962（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 - 11/30 102 G01W 21/84 - 21/91 G06T 1/00 - 9/20 Continued on the front page (72) Inventor Toshiaki Ichinose 292 Yoshida-cho, Totsuka-ku, Yokohama-shi, Kanagawa Prefecture Inside Hitachi, Ltd.Production Technology Research Institute (72) Inventor Kazushi Yoshimura 292 Yoshida-cho, Totsuka-ku, Yokohama-shi, Kanagawa Hitachi, Ltd. (56) References JP-A-63-211076 (JP, A) JP-A-60-129605 (JP, A) JP-A-63-9850 (JP, A) JP-A-54-114264 (JP) JP, A) JP-A-1-263050 (JP, A) JP-A-2-311962 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G01B 11/00-11/30 102 G01W 21/84-21/91 G06T 1/00-9/20
Claims (8)
査対象物が本来良品として検出されるべき製造工程に於
いて生じる変形と前記検査対象物を検出する検出手段の
検出誤差により生じる変形とを考慮した３次元立体形状
を表現する立体形状モデル画像を作成し、前記検査対象
物を前記検出手段で検出して前記検査対象物の検出立体
形状画像を得、該検出立体形状画像と前記立体形状モデ
ル画像とを比較して前記検査対象物を検査することを特
徴とする検査方法。1. A method according to claim 1, wherein said inspection object is deformed in a manufacturing process in which the inspection object is originally detected as a non-defective product and a deformation caused by a detection error of a detection means for detecting the inspection object. A three-dimensional shape model image expressing a three-dimensional shape in consideration of the above is created, and the detection object is detected by the detection means to obtain a detected three-dimensional shape image of the inspection object. An inspection method, wherein the inspection object is inspected by comparing with a shape model image.
モデル画像に対して縮小又は拡大処理を繰り返すことに
よるテーパ状変形処理または角部についての丸み処理を
施すことにより前記検査対象物の３次元立体形状に製造
工程に於いて生じる変形を考慮した立体形状モデル画像
を作成し、前記検査対象物を検出手段で検出して前記検
査対象物の検出立体形状画像を得、該検出立体形状画像
と前記立体形状モデル画像とを比較して前記検査対象物
を検査することを特徴とする検査方法。2. A three-dimensional shape of the inspection object by subjecting the three-dimensional shape model image based on the design data of the inspection object to taper deformation processing by repeating reduction or enlargement processing or rounding processing for corners. Create a three-dimensional shape model image in consideration of deformation occurring in the three-dimensional shape in the manufacturing process, obtain the detected three-dimensional shape image of the inspection object by detecting the inspection object by the detection means, and the detected three-dimensional image An inspection method for inspecting the inspection object by comparing with the three-dimensional shape model image.
を設計データに基づいて作成した立体形状モデル画像と
比較することにより前記検査対象物を検査する方法であ
って、前記検出手段で検出して得る画像のフォーマット
と同じフォーマットの前記検査対象物の立体形状モデル
画像を前記検査対象物の設計データを用いて作成し、前
記検査対象物を前記検出手段で検出して前記検査対象物
の距離画像を得、該距離画像と前記立体形状モデル画像
とを比較して前記検査対象物を検査することを特徴とす
る検査方法。3. A method for inspecting an inspection object by comparing an image obtained by detecting the inspection object with a detecting means with a three-dimensional model image created based on design data, wherein the detecting means comprises: Creating a three-dimensional model image of the inspection object in the same format as the image format obtained by detecting using the design data of the inspection object, detecting the inspection object by the detection means, An inspection method comprising: obtaining a distance image of an object; and comparing the distance image with the three-dimensional shape model image to inspect the inspection object.
査対象物を検出手段で検出する方向から見たときの３次
元立体形状を前記検出手段の検出誤差により生じる変形
を考慮した立体形状モデル画像を作成し、前記検査対象
物を前記検出手段で検出して前記検査対象物の検出立体
形状画像を得、該検出立体形状画像と前記立体形状モデ
ル画像とを比較して前記検査対象物を検査することを特
徴とする検査方法。4. A three-dimensional shape model in which a three-dimensional three-dimensional shape when the inspection object is viewed from a direction in which the detection means detects the inspection object based on design data of the inspection object in consideration of a deformation caused by a detection error of the detection means. An image is created, the inspection object is detected by the detection means to obtain a detected three-dimensional image of the inspection object, and the inspection object is compared by comparing the detected three-dimensional image with the three-dimensional model image. An inspection method characterized by inspecting.
ル画像とを比較して前記検査対象物を検査することを、
前記検出立体形状画像と前記立体形状モデル画像との差
画像を求めて、この差画像を予め設定した閾値と比較す
ることにより行うことを特徴とする請求項１乃至４の何
れかに記載の検査方法。5. Inspecting the inspection object by comparing the detected three-dimensional shape image with the three-dimensional shape model image,
The inspection according to any one of claims 1 to 4, wherein a difference image between the detected three-dimensional shape image and the three-dimensional shape model image is obtained, and the difference image is compared with a preset threshold value. Method.
段と、前記検査対象物を検出する検出手段と、前記記憶
手段に記憶された前記検査対象物の設計データに基づい
て前記検査対象物が本来良品として検出されるべき製造
工程に於いて生じる変形と前記検査対象物を検出する検
出手段の検出誤差により生じる変形とを考慮した３次元
立体形状を表現する立体形状モデル画像を作成する立体
形状モデル画像作成手段と、前記検出手段で検出した前
記検査対象物の検出立体形状画像を得る検出立体画像作
成手段と、該検出立体形状画像と前記立体形状モデル画
像とを比較して前記検査対象物を検査する比較検査手段
とを備えたことを特徴とする検査装置。6. A storage means for storing design data of an inspection object, a detection means for detecting the inspection object, and the inspection object based on the design data of the inspection object stored in the storage means. A three-dimensional model for creating a three-dimensional shape model image expressing a three-dimensional three-dimensional shape in consideration of a deformation that occurs in a manufacturing process that should be originally detected as a non-defective product and a deformation that occurs due to a detection error of a detection unit that detects the inspection object. A shape model image creating means, a detected three-dimensional image creating means for obtaining a detected three-dimensional shape image of the inspection object detected by the detecting means, and comparing the detected three-dimensional shape image with the three-dimensional shape model image to obtain the inspection object An inspection apparatus comprising: a comparative inspection means for inspecting an object.
段と、前記検査対象物を検出する検出手段と、前記記憶
手段に記憶された前記検査対象物の設計データに基づい
て前記検出手段の検査誤差により生じる変形を考慮した
立体形状モデル画像を作成する立体形状モデル画像作成
手段と、前記検出手段で検出した前記検査対象物の検出
立体形状画像を得る検出立体画像作成手段と、該検出立
体形状画像と前記立体形状モデル画像とを比較して前記
検査対象物を検査する比較検出手段とを備えたことを特
徴とする検査装置。7. A storage means for storing design data of an inspection object, a detection means for detecting the inspection object, and a detecting means for detecting the inspection object based on the design data of the inspection object stored in the storage means. A three-dimensional shape model image creating means for creating a three-dimensional shape model image in consideration of a deformation caused by an inspection error; a detected three-dimensional image creating means for obtaining a detected three-dimensional shape image of the inspection object detected by the detecting means; An inspection apparatus, comprising: comparison and detection means for comparing a shape image with the three-dimensional shape model image to inspect the inspection object.
段と、前記検査対象物の立体形状を検出する検出手段
と、該検出手段で検出した前記検査対象物の立体形状か
ら距離画像を得る距離画像作成手段と、前記記憶手段に
記憶された前記検査対象物の設計データを用いて前記距
離画像作成手段で得る前記距離画像画像の出力フォーマ
ットと同じフォーマットの立体形状モデル画像を作成す
る立体形状モデル画像作成手段と、前記距離画像作成手
段で作成した距離画像と前記立体形状モデル画像作成手
段で作成した立体形状モデル画像とを比較して前記検査
対象物を検査する比較検査手段とを備えたことを特徴と
する検査装置。8. A storage unit for storing design data of an inspection object, a detection unit for detecting a three-dimensional shape of the inspection object, and a distance image is obtained from the three-dimensional shape of the inspection object detected by the detection unit. A three-dimensional shape for creating a three-dimensional model image having the same format as the output format of the distance image obtained by the distance image creating means using the design data of the inspection object stored in the storage means; Model image creating means, and comparison inspection means for inspecting the inspection object by comparing the distance image created by the distance image creating means with the three-dimensional shape model image created by the three-dimensional shape model image creating means. An inspection apparatus characterized by the above-mentioned.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2295339A JP3009205B2 (en) | 1990-11-02 | 1990-11-02 | Inspection method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2295339A JP3009205B2 (en) | 1990-11-02 | 1990-11-02 | Inspection method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04169803A JPH04169803A (en) | 1992-06-17 |
| JP3009205B2 true JP3009205B2 (en) | 2000-02-14 |
Family
ID=17819337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2295339A Expired - Lifetime JP3009205B2 (en) | 1990-11-02 | 1990-11-02 | Inspection method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3009205B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3388034B2 (en) * | 1994-08-31 | 2003-03-17 | 株式会社東芝 | Monitoring method of equipment status using distribution measurement data |
| JP3974022B2 (en) | 2002-11-21 | 2007-09-12 | 富士通株式会社 | Feature amount calculation method and apparatus for soldering inspection, and program for executing the method |
| JP4518835B2 (en) * | 2004-05-13 | 2010-08-04 | 大日本スクリーン製造株式会社 | Defect detection device, wiring region extraction device, defect detection method, and wiring region extraction method |
| JP4583189B2 (en) * | 2005-01-27 | 2010-11-17 | 名古屋電機工業株式会社 | Shape pass / fail judgment device and shape pass / fail judgment method |
| JP4881584B2 (en) * | 2005-06-28 | 2012-02-22 | 株式会社ブリヂストン | How to create master data for inspection of uneven figures |
| JP5564348B2 (en) * | 2010-07-15 | 2014-07-30 | 株式会社キーエンス | Image processing apparatus and appearance inspection method |
| JP5641325B2 (en) * | 2010-12-07 | 2014-12-17 | アイシン精機株式会社 | Template character type recognition device |
| RU2546718C1 (en) * | 2013-12-03 | 2015-04-10 | Евгений Андреевич Шабунин | Optical fibres identification method and device for its implementation |
| JP6031151B2 (en) * | 2015-04-30 | 2016-11-24 | 株式会社日立ハイテクノロジーズ | Defect inspection method and apparatus |
| JP6703812B2 (en) * | 2015-08-05 | 2020-06-03 | Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 | 3D object inspection device |
| JP2020109374A (en) * | 2019-01-07 | 2020-07-16 | 日立オートモティブシステムズ株式会社 | Surface inspection device and surface inspection method |
| CN112014404A (en) * | 2020-08-27 | 2020-12-01 | Oppo（重庆）智能科技有限公司 | Component detection method, device, system, electronic equipment and storage medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60129605A (en) * | 1983-12-19 | 1985-07-10 | Toyota Motor Corp | Measurement of shape |
| JPS63211076A (en) * | 1987-02-27 | 1988-09-01 | Hitachi Ltd | Pattern checking device |
-
1990
- 1990-11-02 JP JP2295339A patent/JP3009205B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04169803A (en) | 1992-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8045789B2 (en) | Method and apparatus for inspecting defect of pattern formed on semiconductor device | |
| EP1664749B1 (en) | Apparatus and method for automated web inspection | |
| JP2742240B2 (en) | Defect detection method in inspection of structure surface | |
| CN114140679B (en) | Defect fusion method, device, recognition system and storage medium | |
| JP3312849B2 (en) | Defect detection method for object surface | |
| JP3009205B2 (en) | Inspection method and apparatus | |
| EP1430446B1 (en) | Image processing method for appearance inspection | |
| EP4226225B1 (en) | A line clearance system | |
| Sanz et al. | Machine-vision techniques for inspection of printed wiring boards and thick-film circuits | |
| KR20210073561A (en) | Automated inspection of sheet parts of any shape from manufacturing film | |
| JP3252857B2 (en) | Automatic inspection method of semiconductor package | |
| CN114651276A (en) | Manufacturing method | |
| CN117274258A (en) | Method, system, equipment and storage medium for detecting defects of main board image | |
| US20200090904A1 (en) | Detecting defects in a logic region on a wafer | |
| JP2006113073A (en) | System and method for pattern defect inspection | |
| JPH10171996A (en) | Intra-image grained point detecting method | |
| JP3752849B2 (en) | Pattern defect inspection apparatus and pattern defect inspection method | |
| JP2000028539A (en) | Defect detecting device | |
| JP2007192688A (en) | Flaw inspection method | |
| Radovan et al. | An approach for automated inspection of wood boards | |
| CN112464905B (en) | 3D target detection method and device | |
| CN114965272A (en) | Testing method of chip defect detection platform | |
| JP2711649B2 (en) | Surface scratch detection method for inspection object | |
| JP2794924B2 (en) | Wiring pattern inspection equipment | |
| US11875502B2 (en) | Production-speed component inspection system and method |