JP2020060533A

JP2020060533A - Optical evaluation device and optical evaluation method

Info

Publication number: JP2020060533A
Application number: JP2018193739A
Authority: JP
Inventors: 昇氣駕; Noboru KIGA
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-10-12
Filing date: 2018-10-12
Publication date: 2020-04-16

Abstract

To provide an optical evaluation device capable of determining, in an easy manner, whether or not a phase error of a photographed striped pattern is within an allowable range and normal photography is performed.SOLUTION: An optical evaluation device comprises: a lighting part which lights up an inspection object with striped pattern light; a photography part which photographs a plurality of images of the inspection object lit up with the striped pattern light differing in phase; and a processing part which processes the plurality of photographed images to generate a composite image including information associated with a surface of the inspection object, and then evaluates the photographed images. The photographed images are evaluated by acquiring intensity of a noise component superposed on the composite image because of a phase error of the striped pattern light in the photographed image, and comparing the acquired intensity of the noise component with a threshold.SELECTED DRAWING: Figure 1

Description

本発明は、光学評価装置、および、光学評価方法に関する。 The present invention relates to an optical evaluation device and an optical evaluation method.

光沢性を有するワークの表面上に存在する欠陥を検出するための技術がある。この技術として、周期的な縞状のパターン（縞パターン）で発光する光源を用いてワークを照明し、縞パターンの位相を変化させながらワークで反射された光をカメラで撮影し、撮影した複数の画像からワークの欠陥を検出する技術が知られている（特許文献１）。前述のような技術を用いた装置の場合、光源やワーク、カメラなどの振動や、縞パターンの位相を変化させるためのステージの駆動精度や経時変化などで、理想状態に対して縞パターンの位相にズレ（位相誤差）を生じさせることがある。 There is a technique for detecting a defect existing on the surface of a glossy work. In this technology, a work is illuminated using a light source that emits light in a periodic striped pattern (striped pattern), and the light reflected by the workpiece is shot with a camera while changing the phase of the striped pattern. There is known a technique for detecting a defect of a work from the image of (Patent Document 1). In the case of a device that uses the technology described above, the phase of the stripe pattern is different from the ideal state due to vibration of the light source, work, camera, etc. May cause a shift (phase error).

このような状態で複数の画像から合成画像を算出すると、撮影画像に照射された縞パターンの空間周波数（撮影空間周波数）の２倍の空間周波数（ノイズ空間周波数）のノイズ（ノイズ成分）が発生する。ノイズ成分が発生すると、欠陥がノイズに埋もれてしまうため検査性能が悪化する。そのため画像処理などでこのようなノイズを補正する手法が提案されている（特許文献２と特許文献３）。 When a composite image is calculated from a plurality of images in such a state, noise (noise component) having a spatial frequency (noise spatial frequency) that is twice the spatial frequency (imaging spatial frequency) of the stripe pattern irradiated on the captured image is generated. To do. When a noise component is generated, the defect is buried in the noise, so that the inspection performance is deteriorated. Therefore, a method of correcting such noise by image processing or the like has been proposed (Patent Documents 2 and 3).

特許文献２のノイズ補正方法では、位相ステップごとの撮影画像から縞パターンの誤差の解析を行い、誤差を見積もり、必要な場合は再撮影を行うなどして補正を行う方法である。特許文献３のノイズ補正方法では、縞パターンの位相をずらした画像を同時に２台のカメラで撮影して平均値を算出することで、縞パターンの誤差を補正する方法である。 The noise correction method of Patent Document 2 is a method of performing error correction of a stripe pattern by analyzing a captured image for each phase step, estimating the error, and performing re-imaging when necessary. The noise correction method of Patent Document 3 is a method of correcting the error of the stripe pattern by simultaneously capturing images with the phases of the stripe pattern shifted by two cameras and calculating an average value.

特許第５９９４４１９号公報Japanese Patent No. 5994419 特許第４１８７１２４号公報Japanese Patent No. 4187124 特開２０１８-０７７１４０号公報Japanese Patent Laid-Open No. 2018-077140

特許文献２の検査方法では、全撮影画像において縞パターンの位相誤差を求めるために、検査するための処理とは別に、全ての撮影画像の画像処理を行う必要がある。この場合、位相を変化させるステップ数が多くなると、その分だけ撮影画像が増え、検査時の画像処理時間の増大を招来しうる。また、特許文献３の検査方法では、カメラなどの光学系を追加してステージ誤差を補正するため、カメラで撮影する画像が倍増し、画像処理時間の増大を招来しうる。 In the inspection method of Patent Document 2, in order to obtain the phase error of the stripe pattern in all captured images, it is necessary to perform image processing on all captured images in addition to the processing for inspection. In this case, if the number of steps for changing the phase increases, the number of captured images increases, and the image processing time at the time of inspection may increase. Further, in the inspection method of Patent Document 3, an optical system such as a camera is added to correct the stage error, so the images taken by the camera are doubled and the image processing time may be increased.

本発明は、撮影された縞パターンの位相誤差が許容範囲内であり、正常な撮影ができているかを簡易な手法で判断可能な光学評価装置を提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an optical evaluation device capable of determining by a simple method whether or not a phase error of a captured fringe pattern is within an allowable range and normal imaging is possible.

上記課題を解決するために、被検物に縞パターン光を照明する照明部と、位相の異なる縞パターン光が照明された被検物の複数枚の撮影画像を撮影する撮影部と、複数枚の撮影画像を処理して被検物の表面に関する情報を含む合成画像を生成し、撮影画像を評価する処理部と、を備え、撮影画像の評価は、撮影画像内の縞パターン光の位相誤差によって合成画像に重畳されるノイズ成分の強度を取得し、取得したノイズ成分の強度を閾値と比較することにより実行される、ことを特徴とする。 In order to solve the above problems, an illumination unit that illuminates the subject with striped pattern light, an imaging unit that captures a plurality of captured images of the subject illuminated with the striped pattern light having different phases, and a plurality of images. A processing unit for processing the captured image to generate a composite image including information about the surface of the test object, and evaluating the captured image. The evaluation of the captured image is performed by the phase error of the stripe pattern light in the captured image. Is obtained by acquiring the intensity of the noise component to be superimposed on the composite image, and comparing the obtained intensity of the noise component with a threshold value.

本発明によれば、撮影された縞パターンの位相誤差が許容範囲内であり、正常な撮影ができているかを簡易な手法で可能な光学評価装置を提供することができる。 According to the present invention, it is possible to provide an optical evaluation apparatus capable of determining whether or not a captured fringe pattern has a phase error within an allowable range and can perform normal imaging by a simple method.

外観検査装置を示す概略図である。It is a schematic diagram showing a visual inspection device. 外観検査装置の他例を示す概略図である。It is a schematic diagram showing another example of an appearance inspection device. 外観検査装置の検査撮影処理を説明するためのフローチャートである。It is a flow chart for explaining inspection photography processing of an appearance inspection device. 基準画像と合成画像の概略図である。It is a schematic diagram of a standard image and a synthetic image. ノイズ空間周波数を発生させた基準合成画像の概略図である。It is the schematic of the reference | standard synthetic image which generated the noise spatial frequency.

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In each drawing, the same members or elements are designated by the same reference numerals, and duplicated description will be omitted.

＜第１実施形態＞
第１実施形態に係る外観検査装置１について説明する。図１は、外観検査装置１を示す概略図である。外観検査装置１は、光沢性を有するワーク１１（被検物）の表面を評価する光学評価装置である。ワーク１１は、例えば、工業製品に利用される表面が研磨された金属部品や樹脂部品などである。ワーク１１の表面には、キズや色抜けの他、打痕など緩やかな凹凸形状に起因する欠陥など、多様な欠陥が発生する。外観検査装置１は、ワーク１１の表面を評価することにより、これらの欠陥を検出し、検出結果に基づいて当該ワーク１１を良品または不良品に分類する。外観検査装置１は、ワーク１１を所定の位置に搬送する不図示の搬送装置（例えばコンベアやロボット、スライダ、手動ステージなど）を含んでもよい。 <First Embodiment>
The appearance inspection device 1 according to the first embodiment will be described. FIG. 1 is a schematic diagram showing an appearance inspection device 1. The appearance inspection apparatus 1 is an optical evaluation apparatus that evaluates the surface of a work 11 (inspection object) having gloss. The work 11 is, for example, a metal part or a resin part whose surface used for industrial products is polished. On the surface of the work 11, various defects such as scratches, color loss, and defects caused by gentle unevenness such as dents occur. The appearance inspection apparatus 1 detects these defects by evaluating the surface of the work 11 and classifies the work 11 as a good product or a defective product based on the detection result. The visual inspection apparatus 1 may include a transfer device (for example, a conveyor, a robot, a slider, a manual stage, or the like) (not shown) that transfers the work 11 to a predetermined position.

外観検査装置１は、ワーク１１に縞パターン光を照明する照明部１０１と、照明部１０１を介してワーク１１を撮影するカメラ１０２（撮影部）と、制御部１０４を備える。照明部１０１は、光を透過する透光板１０６と、透光板１０６の側周端面に配置されたＬＥＤなどの光源を含む。透光板１０６上のカメラ１０２側に、縞パターン状の反射部１０７が形成されており、光源から透光板１０６内に導入された光が反射部１０７で反射されることで、ワーク１１側へ縞パターン光を照射することができる。照明部１０１は可動部１０３によって保持されている。可動部１０３は、縞状のパターンと直交する方向（図中のＸ方向）に、照明部１０１を移動可能としている。本実施形態では、可動部１０３によって照明部１０１を移動させているが、照明部１０１に対してワーク１１を動かすことで、照明部１０１とワーク１１の相対的な位置を変えても良い。加えて照明部１０１本体を動かすのではなく、透明ディスプレイなどで縞状のパターンだけを動かすようにしてもよい。透光板１０６上に形成された各々の反射部１０７の間は、光が透過できるため、照明部１０１を介してワーク１１を撮影することが可能となっている。 The visual inspection apparatus 1 includes an illumination unit 101 that illuminates the work 11 with striped pattern light, a camera 102 (imaging unit) that captures an image of the work 11 via the illumination unit 101, and a control unit 104. The illumination unit 101 includes a light-transmitting plate 106 that transmits light and a light source such as an LED arranged on a side end surface of the light-transmitting plate 106. A striped pattern-shaped reflecting portion 107 is formed on the transparent plate 106 on the side of the camera 102, and the light introduced from the light source into the transparent plate 106 is reflected by the reflecting portion 107, so that the work 11 side is formed. Stripe pattern light can be emitted. The illumination unit 101 is held by the movable unit 103. The movable unit 103 can move the illumination unit 101 in a direction orthogonal to the striped pattern (X direction in the drawing). In the present embodiment, the illumination unit 101 is moved by the movable unit 103, but the relative positions of the illumination unit 101 and the work 11 may be changed by moving the work 11 with respect to the illumination unit 101. In addition, instead of moving the main body of the illumination unit 101, only a striped pattern may be moved by a transparent display or the like. Since light can be transmitted between the respective reflection portions 107 formed on the light transmitting plate 106, the work 11 can be photographed through the illumination portion 101.

カメラ１０２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなど、画素が２次元状に配置されたイメージセンサを備える。制御部１０４は、照明部１０１、カメラ１０２および可動部１０３と接続されている。制御部１０４は、例えばＣＰＵやメモリなどを有する基板によって構成されており、照明部１０１、カメラ１０２と可動部１０３を同期して制御する。制御部１０４は、可動部１０３とカメラ１０２を制御して、照明部１０１を移動させて、縞パターンの位相をずらした複数枚（Ｎ枚（Ｎ≧３））の画像を撮影させる。ただし、本発明を適用できる外観検査装置１は、このような構成に限定されるものではなく、手動にて可動部１０３を操作してワーク１１を移動させた後、マニュアルトリガーでカメラ１０２にてワーク１１を撮影してもよい。 The camera 102 includes an image sensor in which pixels are two-dimensionally arranged, such as a CCD image sensor or a CMOS image sensor. The control unit 104 is connected to the lighting unit 101, the camera 102, and the movable unit 103. The control unit 104 is configured by a substrate having a CPU and a memory, for example, and controls the illumination unit 101, the camera 102, and the movable unit 103 in synchronization. The control unit 104 controls the movable unit 103 and the camera 102 to move the illumination unit 101 to capture a plurality of (N (N ≧ 3)) images in which the phases of the stripe patterns are shifted. However, the visual inspection apparatus 1 to which the present invention is applicable is not limited to such a configuration, and after manually moving the movable portion 103 to move the work 11, the camera 102 is manually triggered. The work 11 may be photographed.

外観検査装置１は、さらに画像処理部としてのＰＣ１０５を含む。本実施形態のＰＣ１０５は、カメラ１０２で得られたＮ枚の撮影画像に基づいてワーク１１の表面を評価する機能を有する。ＰＣ１０５と制御部１０４は別体でなくてもよく、当該画像処理部を制御部１０４と一体的に設けてもよい。また、画像処理部は汎用的なＰＣではなく、画像処理専用のマシンであってもよい。撮影した合計Ｎ枚（Ｎ≧３）の撮影画像を、投影した縞パターンの位相がシフトする周波数成分の強度変化に関する情報を用いて、合成画像を生成する。合成画像の一例は、振幅画像、位相差画像やＮ枚の平均値を算出した平均画像があげられる。 The visual inspection apparatus 1 further includes a PC 105 as an image processing unit. The PC 105 of the present embodiment has a function of evaluating the surface of the work 11 based on N captured images obtained by the camera 102. The PC 105 and the control unit 104 do not have to be separate bodies, and the image processing unit may be provided integrally with the control unit 104. The image processing unit may be a machine dedicated to image processing instead of a general-purpose PC. A total of N (N ≧ 3) captured images that have been captured is used to generate a composite image using information regarding the intensity change of the frequency component in which the phase of the projected stripe pattern shifts. Examples of the composite image include an amplitude image, a phase difference image, and an average image obtained by calculating an average value of N sheets.

ｎ枚目（ｎ＝１、・・、Ｎ）の撮影画像をＩｎ（ｘ，ｙ）とするとき、振幅画像（ｘ，ｙ）は、以下の式により算出できる。

位相差Δθｘ（ｘ，ｙ）およびΔθｙ（ｘ，ｙ）は、以下の式により算出できる。

このような複数種の合成画像では、光学的に評価可能な表面性状が異なり、可視化される欠陥も異なるため、これらの画像を組み合わせることで、多様な表面性状を評価して、多様な欠陥を可視化する。 When the n-th (n = 1, ..., N) captured image is In (x, y), the amplitude image (x, y) can be calculated by the following formula.

The phase differences Δθx (x, y) and Δθy (x, y) can be calculated by the following formulas.

In such multiple types of composite images, the surface properties that can be optically evaluated are different, and the visualized defects are also different.By combining these images, various surface properties can be evaluated and various defects can be detected. Visualize.

本実施形態では、照明部１０１を介してワーク１１を撮影している構成としているが、図２に示すように照明部１０１を介さずにワーク１１をディスプレイなどの照明部１０１で斜めから投影し、その反射光をカメラ１０２で撮影する構成としてもよい。照明部１０１を介さずに斜めからの反射光を用いる構成の場合、照明部１０１は透光板を使用して透過部を生成する必要がないため、ディスプレイやプロジェクタなどで、ワークに縞パターン光を照射することができればよい。また縞パターンの位相変更は、必ずしも可動部１０３を有する必要はない。ディスプレイを用いた場合は映し出す画像を変更することで、プロジェクタを用いた場合は照射する縞パターンを変更することで、位相変更を行うことができる。この場合、合成画像生成に使用するＩ_sin、Ｉ_cosは以下の式を用いることで、振幅画像、位相差画像、平均画像を算出することができる。

In the present embodiment, the work 11 is photographed through the illumination unit 101, but as shown in FIG. 2, the work 11 is obliquely projected by the illumination unit 101 such as a display without the illumination unit 101. The camera 102 may capture the reflected light. In the case of using the obliquely reflected light without passing through the illuminating unit 101, the illuminating unit 101 does not need to use a translucent plate to generate a transmissive portion, so that a striped pattern light is applied to a work in a display or a projector. Can be irradiated. Further, the phase change of the stripe pattern does not necessarily need to have the movable portion 103. When the display is used, the projected image can be changed, and when the projector is used, the fringe pattern to be emitted can be changed to change the phase. In this case, the amplitude image, the phase difference image, and the average image can be calculated by using the following formulas for I _{sin and} I _cos used for generating the composite image.

合成画像を算出する際、経時変化、振動や可動機構の駆動精度など撮影画像の縞パターンの位相に誤差が発生した状態であると、撮影画像内の撮影空間周波数に依存した特定のノイズ空間周波数のノイズが合成画像に重畳され検査性能が悪化してしまう。また、ワークが曲面である場合や設置誤差がある場合、撮影空間周波数、又はノイズ空間周波数の予想が困難であるため、ノイズ成分の検出も困難となる。 When calculating the composite image, if there is an error in the phase of the stripe pattern of the captured image due to changes over time, vibration, driving accuracy of the movable mechanism, etc., a specific noise spatial frequency depending on the captured spatial frequency in the captured image Noise is superimposed on the composite image and the inspection performance deteriorates. Further, when the work is a curved surface or there is an installation error, it is difficult to predict the imaging spatial frequency or the noise spatial frequency, and thus it is difficult to detect the noise component.

そこで、本実施形態に係る外観検査装置１は、このノイズ空間周波数をあらかじめ撮影した画像（基準画像）から決定し、表面性状を評価する合成画像からノイズ空間周波数を抽出し、ノイズ強度を取得することで撮影画像の良否判定を行う。さらに、判定結果に応じてその後の処理を決定する。 Therefore, the appearance inspection apparatus 1 according to the present embodiment determines the noise spatial frequency from the image (reference image) captured in advance, extracts the noise spatial frequency from the composite image for evaluating the surface texture, and acquires the noise intensity. Therefore, the quality of the captured image is determined. Further, subsequent processing is determined according to the determination result.

図３は、外観検査装置１の検査撮影処理を説明するためのフローチャートである。なお、各工程は、制御部１０４による各部の制御によって実行されうる。最初に、後述するノイズ空間周波数を取得する手法を用いて基準画像のノイズ空間周波数を取得する（Ｓ１）。その後、外観検査を行うためにワークの撮影を開始（Ｓ２）し、位相の異なる縞パターンを照射して、ワークの複数の撮影画像を取得する（Ｓ３）。取得した複数の撮影画像を処理してワークの表面に関する情報を含む合成画像（振幅画像、位相差画像、平均画像など）を生成する（Ｓ４）。そして、表面性状検査に使用する合成画像からノイズ空間周波数の成分を抽出し、ノイズ成分の強度を取得する。（Ｓ５）。次に、この取得されたノイズ成分の強度とあらかじめ設定した閾値を比較し、閾値を超えたか否かで合成画像に用いられる撮影画像を評価し、撮影画像が正常に使用できるか良否判定を行う（Ｓ６）。ノイズ空間周波数の成分が設定した閾値を超えていなければ、正常に使用できる撮影画像であると判断し（Ｓ６、ＯＫ）、次のワーク撮影へ移行する（Ｓ８）。ノイズ空間周波数の成分が設定した閾値を超えている場合は、正常に使用できない撮影画像であると判断し（Ｓ６、ＮＧ）、エラー処理を行うことで次のワークの撮影を開始する（Ｓ７）。 FIG. 3 is a flow chart for explaining the inspection photographing process of the appearance inspection device 1. Each process can be executed by the control of each unit by the control unit 104. First, the noise spatial frequency of the reference image is acquired using the method of acquiring the noise spatial frequency described below (S1). After that, the photographing of the work is started to perform the appearance inspection (S2), the stripe patterns having different phases are irradiated, and a plurality of photographed images of the work are acquired (S3). The acquired plurality of captured images are processed to generate a composite image including information about the surface of the work (amplitude image, phase difference image, average image, etc.) (S4). Then, a noise spatial frequency component is extracted from the composite image used for the surface texture inspection, and the intensity of the noise component is acquired. (S5). Next, the intensity of the obtained noise component is compared with a preset threshold value, the photographed image used for the composite image is evaluated depending on whether the threshold value is exceeded, and it is determined whether the photographed image can be normally used or not. (S6). If the component of the noise spatial frequency does not exceed the set threshold value, it is determined that the captured image can be used normally (S6, OK), and the process shifts to the next workpiece imaging (S8). If the noise spatial frequency component exceeds the set threshold value, it is determined that the captured image cannot be used normally (S6, NG), and error processing is performed to start capturing the next workpiece (S7). .

次に、本実施形態におけるノイズ空間周波数を取得する工程（Ｓ１）について具体的に説明する。図４は、基準画像と合成画像の概略図である。基準画像２０１はあらかじめワーク１１を撮影した画像である。合成画像２０２は、ワーク１１の撮影画像を処理して生成された画像であり、表面性状検査に使用される、例えば振幅画像や位相差画像などである。まず、撮影画像の良否の判断基準となる、ノイズ空間周波数を抽出する確認エリアを選択する。図４に示すように、ワーク１１の部位によって空間周波数に差が出る。ワーク１１の曲面は高周波数となり、平面は曲面に比べ低周波数となる。本実施形態では、高周波数となる局面を確認エリア２０３ａと、確認エリア２０３ａに比べ低周波数となる平面を確認エリア２０３ｂとして、２つの確認エリアを選択している。なお、本実施形態では選択する確認エリアを２つとしているが、さらに多くの確認エリアを選択してもよく、逆に確認エリアを１つだけにしてもよい。確認エリアの位置は装置構造や設置環境の振動条件などで、ワーク１１上で発生するノイズに対して感度をあげてもよい。またノイズ空間周波数を正確に取得するために、選択される確認エリア内は同じような撮影空間周波数の縞からなる画像位置を選択することが望ましい。 Next, the step (S1) of acquiring the noise spatial frequency in this embodiment will be specifically described. FIG. 4 is a schematic diagram of the reference image and the composite image. The reference image 201 is an image obtained by previously photographing the work 11. The composite image 202 is an image generated by processing a captured image of the work 11 and is, for example, an amplitude image or a phase difference image used for the surface texture inspection. First, a confirmation area from which a noise spatial frequency is extracted, which is a criterion for determining the quality of a captured image, is selected. As shown in FIG. 4, the spatial frequency varies depending on the part of the work 11. The curved surface of the work 11 has a high frequency, and the flat surface has a low frequency as compared with the curved surface. In the present embodiment, two confirmation areas are selected as a confirmation area 203a for a phase having a high frequency and a confirmation area 203b for a plane having a lower frequency than the confirmation area 203a. In this embodiment, two confirmation areas are selected, but more confirmation areas may be selected, and conversely only one confirmation area may be selected. The position of the confirmation area may be increased in sensitivity to noise generated on the work 11 depending on the device structure and the vibration conditions of the installation environment. Further, in order to accurately acquire the noise spatial frequency, it is desirable to select an image position having similar fringes of the imaging spatial frequency in the selected confirmation area.

それぞれの確認エリア２０３ａおよび確認エリア２０３ｂにおいて、照明部１０１から照射した縞と直行方向に周波数解析を行う。これにより、基準画像内に照射された縞パターン光の空間周波数（撮影空間周波数）を算出し、適応する合成画像の種類に合わせて撮影空間周波数からノイズ空間周波数を決定する。撮影空間周波数を取得する周波数解析にはＦＦＴや確認エリアにおいてノイズ空間周波数が変化している際などはウエブレット解析を用いる。ノイズ空間周波数を決定する際は、振幅画像、位相差画像では撮影空間周波数の２倍の周波数が主要なノイズ空間周波数となり、平均画像では撮影空間周波数と同じ周波数が主要なノイズ空間周波数となる。 In each of the confirmation area 203a and the confirmation area 203b, frequency analysis is performed in the orthogonal direction with the stripes emitted from the illumination unit 101. As a result, the spatial frequency (shooting spatial frequency) of the striped pattern light emitted in the reference image is calculated, and the noise spatial frequency is determined from the shooting spatial frequency according to the type of the combined image to be adapted. Wavelet analysis is used for frequency analysis to acquire the imaging spatial frequency when FFT or noise spatial frequency is changing in the confirmation area. When determining the noise spatial frequency, a frequency twice as large as the photographing spatial frequency is the main noise spatial frequency in the amplitude image and the phase difference image, and the same frequency as the photographing spatial frequency is the main noise spatial frequency in the average image.

本実施形態ではあらかじめ撮影した基準画像からノイズ空間周波数を算出しているが、ワークの配置誤差や形状個体差などによるノイズ空間周波数への影響が大きくなる。どのワークでも同等のノイズ空間周波数であるとみなせない場合は、ワーク毎に撮影した撮影画像を基準画像として用いてノイズ空間周波数を算出してもよい。また、ノイズ空間周波数を決定する際に用いる基準画像は撮影画像に限定されない。例えば、事前にワークの３次元モデル情報とミラー、カメラ、照明といった外観検査装置を構成する部品の光学情報から光学シミュレーションを用いてシミュレーション画像を生成する。生成したシミュレーション画像を外観検査装置１へ取得させて、前述の撮影画像と同様の処理を行うことでノイズ空間周波数を決定してもよい。ここでいう光学情報とは、レンズを含むカメラ１０２、照明部１０１、ワーク１１の相対的な位置関係を示す配置情報と、カメラに取り付けるレンズのＦ値、倍率、ワーキングディスタンスの情報と、照明の縞パターンのピッチ、反射部と透過部のデューティ比、光源の波長の情報である。 In the present embodiment, the noise spatial frequency is calculated from the previously captured reference image, but the noise spatial frequency is greatly affected by the work placement error, individual shape difference, and the like. When it cannot be considered that the noise spatial frequency is the same for all works, the noise spatial frequency may be calculated by using a photographed image photographed for each work as a reference image. Further, the reference image used when determining the noise spatial frequency is not limited to the captured image. For example, a simulation image is generated in advance from the three-dimensional model information of the work and the optical information of the parts constituting the appearance inspection device such as the mirror, the camera, and the illumination by using the optical simulation. The noise spatial frequency may be determined by causing the appearance inspection apparatus 1 to acquire the generated simulation image and performing the same processing as the above-described captured image. The optical information referred to here is arrangement information indicating the relative positional relationship among the camera 102 including the lens, the illumination unit 101, and the work 11, information regarding the F value, magnification, and working distance of the lens attached to the camera, and the illumination information. It is information on the pitch of the stripe pattern, the duty ratio of the reflection part and the transmission part, and the wavelength of the light source.

次に、合成画像からノイズ空間周波数の成分を抽出する工程（Ｓ５）について説明する。表面性状検査に使用する合成画像２０２において基準画像２０１で選択した確認エリア２０３ａまたは２０３ｂに対応する領域の画像を選択する。選択された画像に対して前述したように縞と直行方向に周波数解析を行う。具体的には、例えば、確認エリア２０３ａを対象とする場合、基準画像２０１の確認エリア２０３ａ（第１局所領域）と、合成画像２０２における確認エリア２０３ａ（第２局所領域）とを比較し、ノイズ成分の強度を取得する。また強度を取得する際は、算出したノイズ空間周波数には多少の解析誤差が含まれる可能性があるため、ノイズ空間周波数付近の空間周波数をまとめて強度として算出してもよい。 Next, the step (S5) of extracting the noise spatial frequency component from the composite image will be described. An image of a region corresponding to the confirmation area 203a or 203b selected in the reference image 201 is selected in the composite image 202 used for the surface texture inspection. Frequency analysis is performed on the selected image in the stripe and orthogonal directions as described above. Specifically, for example, in the case of targeting the confirmation area 203a, the confirmation area 203a (first local area) of the reference image 201 and the confirmation area 203a (second local area) of the composite image 202 are compared and noise is compared. Get the intensity of a component. Further, when acquiring the intensity, the calculated noise spatial frequency may include some analysis error, and thus spatial frequencies near the noise spatial frequency may be collectively calculated as the intensity.

最後に撮影画像の良否判定する工程（Ｓ６）および良否判定で閾値を超えた際のエラー処理を行う工程（Ｓ７）について説明をする。撮影画像の良否判定する工程では、それぞれの確認エリアにおいて算出したノイズ成分の強度と予め設定した閾値と比較し、ノイズ成分の強度が閾値を超えているかどうかで撮影画像の良否判定を行う。たとえば確認エリアの欠陥には大きなコントラストがあるため弁別が容易であり、ノイズの影響を受けにくい場合は閾値を高く設定するなど、確認エリアに合わせて複数の閾値を設定してもよい。 Finally, the step (S6) of determining the quality of the captured image and the step (S7) of performing error processing when the threshold value is exceeded in the quality determination will be described. In the step of determining the quality of the captured image, the strength of the noise component calculated in each confirmation area is compared with a preset threshold value, and the quality of the captured image is determined based on whether the strength of the noise component exceeds the threshold value. For example, since a defect in the confirmation area has a large contrast, it is easy to discriminate, and a plurality of thresholds may be set in accordance with the confirmation area, such as setting a high threshold when the influence of noise is small.

良否判定の結果、ノイズ空間周波数の強度が閾値以下であれば、次のワークの撮影を開始する。閾値を超えてしまった場合は、エラー処理を行う。本実施形態ではエラー処理の内容は限定することはなく、たとえばユーザへエラーを表示して外観検査装置を停止させてもよく、再撮影を前提に検査したワークに対して撮影エラーフラグを付けることで、次のワーク撮影へ移行してもよい。また、エラー処理では補正を行ってもよく、たとえば撮影した全画像の縞パターンの位相を解析し、その解析結果をもとに合成画像を生成するアルゴリズムで補正しても良い。その他、照明部１０１を可動部１０３で動かして撮影している場合は、解析した縞パターンの位相誤差から可動部１０３の移動量を算出し、可動部１０３の移動量の指令値へフィードバックしても良い。もしくは、可動部１０３が駆動している状態で画像を取得している場合は、解析結果から画像取得タイミングのずれ量を算出して、カメラ１０２のシャッタタイミングを変更しても良い。 As a result of the quality judgment, if the intensity of the noise spatial frequency is equal to or less than the threshold value, the photographing of the next work is started. If the threshold is exceeded, error processing is performed. In the present embodiment, the content of error processing is not limited. For example, an error may be displayed to the user and the appearance inspection device may be stopped, and an imaging error flag may be attached to a workpiece inspected on the assumption of reimaging. Then, you may shift to the next work photographing. Further, correction may be performed in the error processing, for example, the phase of the striped pattern of all the captured images may be analyzed and the correction may be performed by an algorithm that generates a composite image based on the analysis result. In addition, when the illuminating unit 101 is moved by the movable unit 103 to take an image, the moving amount of the movable unit 103 is calculated from the phase error of the analyzed stripe pattern and is fed back to the command value of the moving amount of the movable unit 103. Is also good. Alternatively, when the image is acquired while the movable unit 103 is driven, the shutter timing of the camera 102 may be changed by calculating the amount of deviation of the image acquisition timing from the analysis result.

本実施形態の外観検査装置１では、あらかじめ取得した基準画像に基づきノイズ空間周波数を決定し、検査を行う合成画像のノイズ成分の強度を取得し、閾値と比較することで、撮影画像を評価する。これにより、簡易な手法で撮影された縞パターンの位相誤差が許容範囲内であり、正常な撮影ができているかを判断することが可能となる。 In the appearance inspection apparatus 1 of the present embodiment, the noise spatial frequency is determined based on the previously acquired reference image, the intensity of the noise component of the composite image to be inspected is acquired, and the intensity is compared with a threshold value to evaluate the captured image. . As a result, it is possible to determine whether the phase error of the fringe pattern photographed by a simple method is within the allowable range and the normal photographing is performed.

＜第２実施形態＞
次に、図５を用いて第２実施形態について説明する。第２実施形態は、ノイズ空間周波数を決定し（Ｓ１）、合成画像からノイズ空間周波数の成分を抽出する（Ｓ５）工程を除いては、外観検査装置１の装置構成を含め、第１実施形態と同様である。本実施形態では、基準画像のために撮影された画像（基準撮影画像）を処理して、基準画像としての合成画像（基準合成画像）生成する。この時、基準撮影画像に事前に外乱を与えることで、図５に示すようなノイズ空間周波数を発生させた基準合成画像（ノイズ合成画像２０４ａおよび２０４ｂ）を生成して、ノイズ空間周波数を決定する方法である。 <Second Embodiment>
Next, a second embodiment will be described with reference to FIG. The second embodiment includes the apparatus configuration of the appearance inspection apparatus 1 except for the step of determining the noise spatial frequency (S1) and extracting the noise spatial frequency component from the composite image (S5). Is the same as. In the present embodiment, an image captured for a reference image (reference captured image) is processed to generate a composite image (reference composite image) as a reference image. At this time, a reference synthetic image (noise synthetic images 204a and 204b) in which a noise spatial frequency is generated as shown in FIG. 5 is generated by applying a disturbance to the standard captured image in advance, and the noise spatial frequency is determined. Is the way.

はじめにノイズ空間周波数を決定する工程（Ｓ１）に使用するノイズ合成画像の生成方法ついて説明を行う。基準撮影画像の撮影時の位相ステップと基準合成画像の生成時の位相ステップに差を外乱として設けることで、ノイズ合成画像を生成することができる。容易な手法の一つは基準撮影画像の撮影時に可動部１０３の制御指令値を変更し、照明部１０１より照射される縞パターン光の位置を理想的な位置からずらす手法である。外乱をｎ枚目の撮影時の位相ずらし量αｎとすると、ｎ枚目の画像の位相は４π・（ｎ-１）／Ｎ＋αｎとなる。よって、この位相から可動部１０３の制御指令値を算出し、基準撮影画像を取得することで、ノイズ合成画像を生成することができる。 First, a method of generating a noise composite image used in the step (S1) of determining the noise spatial frequency will be described. By providing a difference between the phase step at the time of shooting the reference captured image and the phase step at the time of generating the reference combined image as the disturbance, the noise combined image can be generated. One of the easy methods is to change the control command value of the movable unit 103 at the time of capturing the reference captured image and shift the position of the striped pattern light emitted from the illumination unit 101 from the ideal position. When the disturbance is the phase shift amount αn at the time of shooting the nth image, the phase of the nth image is 4π · (n−1) / N + αn. Therefore, the noise command image can be generated by calculating the control command value of the movable unit 103 from this phase and acquiring the reference captured image.

ノイズ合成画像を生成する外乱の与え方は限定せず、本実施形態のように基準撮影画像取得時に外乱を与えてもよく、基準合成画像生成時に外乱を与えてもよい。基準撮影画像取得時の外乱は、ワーク１１と照明部１０１の相対位置を変更すればよいため、ワーク１１を移動させてもよい。また基準合成画像生成時では基準撮影画像の縞パターンの位相に対して、異なる位相のアルゴリズムを用いることでノイズ合成画像を生成することができる。また、ノイズ合成画像を実際の撮影画像から生成しているが、第一実施形態で述べたように事前に、ワーク３Ｄ情報や光学配置情報から光学シミュレーションを用いて生成した画像を取得して、同様の処理を行ってもよい。 The method of giving the disturbance for generating the noise combined image is not limited, and the disturbance may be given at the time of acquiring the reference captured image as in the present embodiment, or may be given at the time of generating the reference combined image. The disturbance at the time of obtaining the reference captured image may be moved by changing the relative position between the work 11 and the illumination unit 101. Further, at the time of generating the reference synthetic image, a noise synthetic image can be generated by using an algorithm of a different phase with respect to the phase of the stripe pattern of the reference captured image. Further, although the noise composite image is generated from the actual captured image, as described in the first embodiment, the image generated by using the optical simulation from the work 3D information or the optical arrangement information is acquired in advance, You may perform the same process.

次にノイズ空間周波数を決定する工程（Ｓ１）について説明を行う。まず前述した手法により初期位相の異なる２種類のノイズ合成画像２０４ａおよび２０４ｂを生成する。1つ目のノイズ合成画像２０４aに対して、２つ目のノイズ合成画像２０４ｂはノイズ空間周波数における縞パターンの初期位相をπ／２ずらしたノイズ合成画像である。２つ目のノイズ合成画像が振幅画像や位相差画像などであり、ノイズ空間周波数が撮影空間周波数の２倍の場合は基準撮影画像取得時の初期位相をπ／４、平均画像などで同じ空間周波数の場合はπ／２ずらすことで生成することができる。さらに生成した合成画像に対してノイズの発生を抑えた合成画像をベース画像として差し引くことで、ノイズ合成画像２０４を生成してもよい。これら２つのノイズ合成画像２０４にはワークの形状に沿ったノイズ空間周波数が含まれており、この２種類の画像に含まれる周波数がノイズ空間周波数となる。本実施形態では、ワークの形状に沿ったノイズ空間周波数を決める手法であるが、生成したノイズ合成画像２０４から第１実施形態のように確認エリア２０３を選択し、ノイズ空間周波数を周波数分析により決定してもよい。 Next, the step (S1) of determining the noise spatial frequency will be described. First, two types of noise synthesized images 204a and 204b having different initial phases are generated by the method described above. The second noise composite image 204b is a noise composite image in which the initial phase of the stripe pattern at the noise spatial frequency is shifted by π / 2 with respect to the first noise composite image 204a. If the second noise composite image is an amplitude image or a phase difference image, and the noise spatial frequency is twice the shooting spatial frequency, the initial phase when the reference captured image is acquired is π / 4, and the average space is the same space. In the case of frequency, it can be generated by shifting by π / 2. Further, the noise composite image 204 may be generated by subtracting a composite image in which noise is suppressed from the generated composite image as a base image. These two noise composite images 204 include noise spatial frequencies according to the shape of the work, and the frequencies included in these two types of images are noise spatial frequencies. In the present embodiment, the noise spatial frequency is determined according to the shape of the work, but the confirmation area 203 is selected from the generated noise composite image 204 as in the first embodiment, and the noise spatial frequency is determined by frequency analysis. You may.

最後に生成した２つのノイズ合成画像を用いてノイズ空間周波数の成分を抽出する工程（Ｓ５）について説明する。２つのノイズ合成画像２０４は初期位相がπ／２ずれていることから、ノイズ空間周波数のＳＩＮ波（正弦波）、ＣＯＳ波（余弦波）として扱うことで、ができる。検査を行う合成画像２０２に縞パターンの直行方向に、ＳＩＮ波、ＣＯＳ波（ノイズ合成画像）を掛け合わせ、抽出した各々の成分の二乗和を算出することで、ノイズ成分の強度を取得する。強度を取得する際、実施形態１で述べたように感度が高いエリアなど検査を行う確認エリア２０３を選択することが望ましい。本実施形態では主要なノイズ空間周波数だけでなく、倍波などのノイズ空間周波数の成分も強度として合わせて算出することができる。 The step (S5) of extracting the component of the noise spatial frequency using the last generated two noise composite images will be described. Since the initial phases of the two noise composite images 204 are deviated by π / 2, it is possible to treat them as SIN waves (sine waves) and COS waves (cosine waves) having noise spatial frequencies. The intensity of the noise component is acquired by multiplying the synthetic image 202 to be inspected with the SIN wave and the COS wave (noise synthetic image) in the orthogonal direction of the stripe pattern and calculating the sum of squares of the respective extracted components. When acquiring the intensity, it is desirable to select the confirmation area 203 to be inspected such as the area having high sensitivity as described in the first embodiment. In the present embodiment, not only the main noise spatial frequency but also the noise spatial frequency component such as a harmonic can be calculated as the intensity.

本実施形態の外観検査装置１では、初期位相の異なるノイズ合成画像を事前に生成することでノイズ空間周波数を決定し、検査を行う合成画像からノイズ空間周波数を抽出して合成画像のノイズ成分を閾値と比較することで、撮影画像の良否を判定可能である。これにより、簡易な手法で撮影された縞パターンの位相誤差が許容範囲内であり、正常な撮影ができているかを判断することが可能となる。 The appearance inspection apparatus 1 of the present embodiment determines noise spatial frequencies by generating noise composite images having different initial phases in advance, extracts noise spatial frequencies from the composite image to be inspected, and extracts the noise components of the composite image. The quality of the captured image can be determined by comparing the threshold value with the threshold value. As a result, it is possible to determine whether the phase error of the fringe pattern photographed by a simple method is within the allowable range and the normal photographing is performed.

（その他の実施形態）
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。 (Other embodiments)
Although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications can be made within the scope of the gist thereof.

１外観検査装置
１０１照明部
１０２カメラ
１０４制御部
２０１基準画像
２０２合成画像

1 Appearance inspection device 101 Illumination unit 102 Camera 104 Control unit 201 Reference image 202 Composite image

Claims

被検物に縞パターン光を照明する照明部と、
位相の異なる前記縞パターン光が照明された前記被検物の複数枚の撮影画像を撮影する撮影部と、
前記複数枚の撮影画像を処理して前記被検物の表面に関する情報を含む合成画像を生成し、前記撮影画像を評価する処理部と、を備え、
前記撮影画像の評価は、前記撮影画像内の縞パターン光の位相誤差によって前記合成画像に重畳されるノイズ成分の強度を取得し、前記取得したノイズ成分の強度を閾値と比較することにより実行される、ことを特徴とする光学評価装置。 An illumination unit that illuminates the subject with striped pattern light,
An imaging unit that captures a plurality of captured images of the test object illuminated by the striped pattern lights having different phases,
A processing unit that processes the plurality of captured images to generate a composite image that includes information about the surface of the object, and that evaluates the captured images.
The evaluation of the captured image is performed by acquiring the intensity of the noise component superimposed on the composite image due to the phase error of the striped pattern light in the captured image, and comparing the acquired intensity of the noise component with a threshold value. An optical evaluation device characterized by the following.

前記処理部は、前記ノイズ成分の強度を取得するための基準となる基準画像の第１局所領域のノイズ成分を取得し、前記合成画像における前記第１局所領域に対応する第２局所領域のノイズ成分と比較することで、前記ノイズ成分の強度を取得する、ことを特徴とする請求項１に記載の光学評価装置。 The processing unit acquires a noise component of a first local region of a reference image that serves as a reference for acquiring the intensity of the noise component, and noise of a second local region corresponding to the first local region of the composite image. The optical evaluation device according to claim 1, wherein the intensity of the noise component is acquired by comparing the intensity of the noise component.

前記基準画像、前記縞パターン光が照射された前記被検物を撮像した画像である、ことを特徴とする請求項２に記載の光学評価装置。 The optical evaluation device according to claim 2, wherein the reference image and an image of the test object irradiated with the striped pattern light are captured.

前記基準画像は、前記被検物の３次元モデル情報と前記光学評価装置の光学配置から光学シミュレーションで算出したシミュレーション画像である、ことを特徴とする請求項２に記載の光学評価装置。 The optical evaluation device according to claim 2, wherein the reference image is a simulation image calculated by optical simulation from the three-dimensional model information of the test object and the optical arrangement of the optical evaluation device.

前記基準画像は、前記縞パターン光が照射された前記被検物を撮像した基準撮影画像を処理して生成された基準合成画像であって、
前記基準合成画像は、前記基準撮影画像の撮影時の位相ステップと前記基準合成画像の生成時の位相ステップとに差を設けて生成される、ことを特徴とする請求項２に記載の光学評価装置。 The reference image is a reference composite image generated by processing a reference captured image obtained by capturing an image of the object irradiated with the striped pattern light,
The optical evaluation according to claim 2, wherein the reference composite image is generated by providing a difference between a phase step at the time of capturing the reference captured image and a phase step at the time of generating the reference composite image. apparatus.

前記基準画像は、縞パターン光が照射された前記被検物を撮影した基準撮影画像を処理して生成された基準合成画像であって、
前記基準合成画像は、前記基準撮影画像の縞パターンの位相に対して、異なる位相のアルゴリズムを用いて生成される、ことを特徴とする請求項２に記載の光学評価装置。 The reference image is a reference composite image generated by processing a reference captured image obtained by capturing an image of the object irradiated with stripe pattern light,
The optical evaluation device according to claim 2, wherein the reference composite image is generated by using an algorithm of a different phase with respect to the phase of the stripe pattern of the reference captured image.

前記処理部は、前記合成画像に正弦波および余弦波を掛け合わせ、各々の二乗和を算出することにより、前記ノイズ成分の強度を取得する、ことを特徴とする請求項４乃至６のうちいずれか１項に記載の光学評価装置。 7. The processing unit obtains the intensity of the noise component by multiplying the composite image by a sine wave and a cosine wave and calculating the sum of squares of the respective waves. The optical evaluation device according to item 1.

前記撮影部は、前記合成画像に重畳されるノイズ成分の強度が前記閾値を超えた場合、前記被検物の複数枚の撮影画像を再度撮影する、ことを特徴とする請求項１乃至７のうちいずれか１項に記載の光学評価装置。 8. The imaging unit re-captures a plurality of captured images of the test object when the intensity of a noise component superimposed on the composite image exceeds the threshold value. The optical evaluation device according to claim 1.

被検物に縞パターン光を照明する工程と、
位相の異なる前記縞パターン光が照明された前記被検物の複数枚の撮影画像を撮影する工程と、
前記複数枚の撮影画像を処理して前記被検物の表面に関する情報を含む合成画像を生成する工程と、を含み、
前記撮影画像の評価は、前記撮影画像内の縞パターン光の位相誤差によって前記合成画像に重畳されるノイズ成分の強度を取得し、前記取得したノイズ成分の強度を閾値と比較することにより実行される、ことを特徴とする光学評価方法。 A step of illuminating an object with a striped pattern light;
A step of capturing a plurality of captured images of the test object illuminated by the striped pattern light having different phases;
Processing the plurality of captured images to generate a composite image containing information about the surface of the subject,
The evaluation of the captured image is performed by acquiring the intensity of the noise component superimposed on the composite image due to the phase error of the striped pattern light in the captured image, and comparing the acquired intensity of the noise component with a threshold value. An optical evaluation method characterized by the following.