JP2015145797A - Image inspection device, image inspection method, image inspection program, and computer-readable recording medium - Google Patents
Image inspection device, image inspection method, image inspection program, and computer-readable recording medium Download PDFInfo
- Publication number
- JP2015145797A JP2015145797A JP2014017991A JP2014017991A JP2015145797A JP 2015145797 A JP2015145797 A JP 2015145797A JP 2014017991 A JP2014017991 A JP 2014017991A JP 2014017991 A JP2014017991 A JP 2014017991A JP 2015145797 A JP2015145797 A JP 2015145797A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- image
- height
- inspection object
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、検査対象物に対して所定の検査を行うための画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体に関する。 The present invention relates to an image inspection apparatus, an image inspection method, an image inspection program, and a computer-readable recording medium for performing a predetermined inspection on an inspection object.
検査対象物の寸法や形状を測定するための技術として、検査対象物に光を照射して、その透過光又は反射光を、受光レンズを用いて撮像手段に結像させ、得られた電子画像をコンピュータで画像処理することによって求める方法が知られている。この方法を実現する装置は画像計測装置等と呼ばれる。画像計測装置は、図５０に示すように、検査対象物を照明するための照明ユニット、照明光源、検査対象物の載置するステージ、受光レンズ、カメラ、コントローラ、ディスプレイ、マウス、キーボードを備える。ユーザは、検査対象物をこの画像計測装置のステージに載せ、適切な照明を施してディスプレイ上に検査対象物の画像を映し出す。このようなディスプレイ上に表示される検査対象物の表示例を図５１に示す。 As a technique for measuring the size and shape of an inspection object, the inspection object is irradiated with light, and the transmitted or reflected light is imaged on an imaging means using a light receiving lens, and the obtained electronic image There is known a method for obtaining the image by performing image processing on a computer. An apparatus for realizing this method is called an image measurement apparatus or the like. As shown in FIG. 50, the image measuring apparatus includes an illumination unit for illuminating the inspection object, an illumination light source, a stage on which the inspection object is placed, a light receiving lens, a camera, a controller, a display, a mouse, and a keyboard. The user places the inspection object on the stage of the image measuring apparatus, and displays an image of the inspection object on the display by applying appropriate illumination. A display example of the inspection object displayed on such a display is shown in FIG.
画像計測装置で撮像して得られた画像に対して画像処理を行い、点や直線、円等のエッジを抽出し、得られたエッジを用いてエッジ間で距離や角度、エッジ自身のパラメータ（例えば点であれば座標、円や円弧であれば直径や中心点座標等）等を測定することができる。また、測定結果をディスプレイに表示させる用途の他、測定した結果に基づいて、所定の条件（例えば寸法が所定の誤差範囲内か）を満たしているか否かを判定し、満たしていない場合は不合格として除外するといった検査装置としても、製造現場などで広く利用されている。 Image processing is performed on an image obtained by imaging with an image measuring device, and edges such as points, straight lines, and circles are extracted. Using the obtained edges, distances and angles between the edges, parameters of the edges themselves ( For example, coordinates can be measured for points, diameters and center point coordinates for circles and arcs, and the like. In addition to the purpose of displaying the measurement result on the display, it is determined whether or not a predetermined condition (for example, the dimension is within a predetermined error range) is satisfied based on the measurement result. It is also widely used at manufacturing sites as inspection devices that are excluded as acceptable.
このような画像計測装置は、二次元の画像に対して画像処理を測定していた。一方で検査対象物の三次元の画像データを測定する測定装置も知られており、これを利用した三次元画像の検査装置に応用することが考えられる。例えば検査対象物の高さが、所望の高さとなっているかどうかを判定する検査装置としての応用が可能となる。 Such an image measurement device measures image processing on a two-dimensional image. On the other hand, a measuring apparatus that measures three-dimensional image data of an inspection object is also known, and it is conceivable to apply it to a three-dimensional image inspection apparatus using this. For example, application as an inspection apparatus that determines whether the height of an inspection object is a desired height is possible.
検査対象物の三次元形状を測定するには、構造化照明を検査対象物に対して照射して、検査対象物の表面で反射された反射光から得られる縞投影画像を用いた三角測距を用いた計測方法が知られている。このような装置は、図５２に示すように、投光部１１０から出射される測定光の光軸と受光部１２０に入射する測定光の光軸（受光部１２０の光軸）との間の角度αが予め設定されている。ここでステージ１４０上に検査対象物Ｓが載置されない場合には、投光部１１０から出射される測定光は、ステージ１４０の載置面の点Ｏにより反射され、受光部１２０に入射される。一方、ステージ１４０上に検査対象物Ｓが載置される場合、投光部１１０から出射される測定光は、検査対象物Ｓの表面の点Ａにより反射され、受光部１２０に入射される。そして点Ｏと点Ａとの間のＸ方向における距離ｄを測定し、この距離ｄに基づいて検査対象物Ｓの表面の点Ａの高さｈを算出する。検査対象物Ｓの表面の全ての点の高さを算出することにより、検査対象物Ｓの三次元的な形状が測定される。検査対象物Ｓの表面の全ての点に測定光を照射するために、投光部１１０からは所定の構造化測定光パターンに従って測定光が出射され、縞状の測定光を用いた縞投影法によって検査対象物Ｓの三次元形状を効率よく測定する。 In order to measure the three-dimensional shape of an inspection object, structured illumination is irradiated onto the inspection object, and triangulation using a fringe projection image obtained from reflected light reflected from the surface of the inspection object A measurement method using the is known. As shown in FIG. 52, such an apparatus is provided between the optical axis of the measurement light emitted from the light projecting unit 110 and the optical axis of the measurement light incident on the light receiving unit 120 (the optical axis of the light receiving unit 120). The angle α is preset. Here, when the inspection object S is not placed on the stage 140, the measurement light emitted from the light projecting unit 110 is reflected by the point O on the placement surface of the stage 140 and enters the light receiving unit 120. . On the other hand, when the inspection object S is placed on the stage 140, the measurement light emitted from the light projecting unit 110 is reflected by the point A on the surface of the inspection object S and enters the light receiving unit 120. Then, the distance d in the X direction between the point O and the point A is measured, and the height h of the point A on the surface of the inspection object S is calculated based on the distance d. By calculating the heights of all points on the surface of the inspection object S, the three-dimensional shape of the inspection object S is measured. In order to irradiate all the points on the surface of the inspection object S with the measurement light, the light projection unit 110 emits the measurement light according to a predetermined structured measurement light pattern, and the fringe projection method using the striped measurement light Thus, the three-dimensional shape of the inspection object S is efficiently measured.
三角測距方式の計測装置では、検査対象物の表面に光が照射され、その反射光が１次元又は二次元に配列された画素を有する受光素子により受光される受光量分布のピーク位置に基づいて、検査対象物の表面の高さを計測することができる。これにより、検査対象物の表面を走査することで、検査対象物の表面形状を測定することが可能となる。 In the measuring device of the triangulation system, light is irradiated on the surface of the inspection object, and the reflected light is received based on the peak position of the received light amount distribution received by the light receiving element having pixels arranged one-dimensionally or two-dimensionally. Thus, the height of the surface of the inspection object can be measured. Thereby, the surface shape of the inspection object can be measured by scanning the surface of the inspection object.
さらに、このようにして得られた三次元画像を用いて、二次元情報に基づく寸法測定と、三次元情報に基づく高さ測定とを組み合わせた計測を高精度に行うことが考えられる。この場合において、二次元情報の場合は、透過照明や落射照明、リング照明等で検査対象物に照明光を照射し、得られた光学画像を画像処理することで、検査対象物の二次元寸法や形状を測定することができる。一方、三次元の高さ測定の場合は、図５２に示すように検査対象物の斜め上方から構造化照明を照射させ、得られた画像を画像処理する方法を採用できる。また、このような三次元の計測装置の例を図５３に示す。この例では、検査対象物の上方の左右にそれぞれ投光部を配置して、構造化照明を照射している。そして左右の投光部でそれぞれ得られた縞投影画像を合成することで、三次元の高さ画像を生成している。 Furthermore, using the 3D image obtained in this manner, it is conceivable to perform measurement with high accuracy by combining dimension measurement based on two-dimensional information and height measurement based on three-dimensional information. In this case, in the case of two-dimensional information, the two-dimensional dimensions of the inspection object are obtained by irradiating the inspection object with illumination light using transmitted illumination, epi-illumination, ring illumination, etc., and performing image processing on the obtained optical image. And shape can be measured. On the other hand, in the case of three-dimensional height measurement, as shown in FIG. 52, a method of irradiating structured illumination obliquely from above and inspecting the obtained image can be adopted. An example of such a three-dimensional measuring apparatus is shown in FIG. In this example, the light projecting units are arranged on the left and right above the inspection object, and structured illumination is emitted. A three-dimensional height image is generated by synthesizing the fringe projection images respectively obtained by the left and right light projecting units.
しかしながら、高さ情報を計測可能な測定装置では、被写界深度の制限があるため、測定したい検査対象物の高さが、この被写界深度の範囲内に含まれていない場合には、測定できないという問題があった。特に、高さ情報に基づき、検査対象物の高低差を測定するような用途においては、高低差の範囲が被写界深度よりも大きい場合は、計測ができなくなる。 However, in the measuring device that can measure the height information, there is a limit of the depth of field, so when the height of the inspection object to be measured is not included in the range of the depth of field, There was a problem that it could not be measured. In particular, in applications in which the height difference of an inspection object is measured based on height information, measurement cannot be performed when the range of the height difference is larger than the depth of field.
本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、被写界深度を超える高低差を有する検査対象に対しても、適切な高さ計測が可能な画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。 The present invention has been made to solve such conventional problems. The main object of the present invention is to provide an image inspection apparatus, an image inspection method, an image inspection program, and a computer readable image capable of appropriate height measurement even for an inspection object having a height difference exceeding the depth of field. It is to provide a recording medium.
上記の目的を達成するために、本発明の第１の側面に係る画像検査装置によれば、検査対象物を撮像した検査対象画像に対して所定の画像検査を実行するための画像検査装置であって、検査対象物を載置するためのステージと、検査対象物に対して斜め方向から測定光を投光して構造化照明を行うための測定光投光手段と、前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像するための撮像手段と、前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、前記高さ画像を検査対象画像として、該検査対象画像に対して所定の画像検査を実行するための画像検査手段と、検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段で撮像するための撮像条件として、該検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定するための検査設定手段と、前記検査設定手段で設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、前記撮像手段で高さ画像を撮像する際の撮像高さ範囲を設定可能な撮像高さ範囲設定手段とを備えることができる。上記構成により、検査設定毎に高さ画像を撮像するのでなく、複数の検査設定を纏めて一の高さ画像に含めることが可能となり、撮像に要するタクトタイムを短縮できる利点が得られる。 In order to achieve the above object, according to the image inspection apparatus according to the first aspect of the present invention, an image inspection apparatus for performing a predetermined image inspection on an inspection object image obtained by imaging an inspection object. A stage for placing the inspection object, a measurement light projecting unit for projecting the measurement light from the oblique direction to perform structured illumination on the inspection object, and the measurement light projection An imaging means for acquiring measurement light projected by the means and reflected by the inspection object and capturing a plurality of fringe projection images, and a height image having height information based on the plurality of fringe projection images A height image acquisition means for acquiring the image, an image inspection means for performing a predetermined image inspection on the inspection target image, using the height image as an inspection target image, and different heights of the inspection target For taking height images with each imaging means Inspection setting means for setting, for each of the inspection object heights, an inspection setting for generating a height image including the inspection object height to be inspected of the inspection object as an imaging condition. When imaging the height image with the imaging means so as to include a plurality of inspection object heights within one depth of field among the inspection object heights of the inspection settings set by the inspection setting means Imaging height range setting means capable of setting the imaging height range. With the above configuration, a height image is not captured for each inspection setting, but a plurality of inspection settings can be collectively included in one height image, and an advantage that the tact time required for imaging can be shortened can be obtained.
また第２の側面に係る画像検査装置によれば、前記撮像高さ範囲設定手段が、検査対象高さＺａとＺｂを一の被写界深度内に含めるように撮像高さ範囲を設定する際、被写界深度の中心である合焦位置を（Ｚａ＋Ｚｂ）／２に設定するよう構成できる。上記構成により、検査対象高さＺａとＺｂのそれぞれに対してほぼ等しい精度にて高さ計測を行うことが可能となる。 According to the image inspection apparatus according to the second aspect, when the imaging height range setting means sets the imaging height range so as to include the inspection object heights Za and Zb within one depth of field. The focus position that is the center of the depth of field can be set to (Za + Zb) / 2. With the above configuration, it is possible to perform height measurement with substantially equal accuracy for each of the inspection object heights Za and Zb.
さらに第３の側面に係る画像検査装置によれば、さらに前記撮像高さ範囲設定手段で複数の検査対象高さを一の被写界深度内に含めるように撮像高さ範囲を設定する際、より多くの検査対象高さを同一の被写界深度内に含めることで撮像に要する時間を短縮する速度優先モードと、被写界深度の中心である合焦位置の近傍に検査対象高さを設定することで、高さ測定の精度を高める精度優先モードとを選択可能な撮像高さ範囲モード選択手段を備えることができる。上記構成により、高さ測定の精度を優先するか、速度を優先するか、検査用途や目的などに応じて適宜使い分けることが可能となり、より柔軟な画像検査が実現できる。例えば、同一の被写界深度に含めたい検査対象高さ同士の差が、被写界深度とほぼ同じ程度に離れているような場合には、一の被写界深度に纏めるよりも、敢えて個別の被写界深度に分けて撮像した方が、精度よく高さ測定を行える。このように、要求される精度や速度に応じた柔軟な撮像高さ範囲に設定することで、使い勝手のよい画像検査が実現される。 Furthermore, according to the image inspection apparatus according to the third aspect, when setting the imaging height range so that a plurality of inspection object heights are included in one depth of field by the imaging height range setting means, Speed priority mode that shortens the time required for imaging by including more inspection object height within the same depth of field, and the inspection object height near the in-focus position that is the center of the depth of field By setting, it is possible to provide an imaging height range mode selection unit capable of selecting an accuracy priority mode that increases the accuracy of height measurement. With the above-described configuration, it is possible to properly use the height measurement accuracy or the speed, or to use them appropriately according to the inspection application or purpose, thereby realizing a more flexible image inspection. For example, if the difference between the inspection object heights that you want to include in the same depth of field is approximately the same as the depth of field, then dare rather than summing up to a single depth of field. It is possible to measure the height with higher accuracy when the image is divided into individual depths of field. In this way, by setting a flexible imaging height range according to the required accuracy and speed, a user-friendly image inspection is realized.
さらにまた第４の側面に係る画像検査装置によれば、さらに前記ステージを自動で上下に駆動させるための駆動機構を備えることができる。上記構成により、ステージの高さを自動で調整して撮像高さを設定できる。 Furthermore, the image inspection apparatus according to the fourth aspect can further include a drive mechanism for automatically driving the stage up and down. With the above configuration, the imaging height can be set by automatically adjusting the height of the stage.
さらにまた第５の側面に係る画像検査装置によれば、前記検査設定手段が、撮像条件として、高さ画像を生成するための縞投影画像を取得可能な、前記ステージ上における検査対象物を載置する載置設定位置を含めて設定可能とできる。上記構成により、検査対象物を高さ情報を用いて検査するためにユーザがステージ上に検査対象物を置く際に、正確な高さ情報が取得できない位置に置かれた場合には、判定手段でもって高さ情報取得不可能である旨が出力されるので、無駄な検査を実行することを回避できる。 Furthermore, according to the image inspection apparatus according to the fifth aspect, the inspection setting unit mounts an inspection object on the stage, which can acquire a fringe projection image for generating a height image as an imaging condition. It can be set including the placement setting position to be placed. With the above configuration, when the user places the inspection object on the stage in order to inspect the inspection object using the height information, if the user places the inspection object on a position where accurate height information cannot be obtained, the determination means Accordingly, since it is output that the height information cannot be obtained, it is possible to avoid performing a useless inspection.
さらにまた第６の側面に係る画像検査装置によれば、さらに検査対象物が前記ステージ上に置かれた初期位置と、前記検査条件として設定された載置設定位置とを比較して、該初期位置で高さ情報が取得可能かどうかを判定し、該判定結果が高さ情報取得不可能である場合に、該判定結果に基づく所定の出力を行う判定出力手段とを備えることができる。上記構成により、検査対象物を高さ情報を用いて検査するためにユーザがステージ上に検査対象物を置く際に、正確な高さ情報が取得できない位置に置かれた場合には、判定手段でもって高さ情報取得不可能である旨が出力されるので、無駄な検査を実行することを回避できる。 Furthermore, according to the image inspection apparatus according to the sixth aspect, the initial position where the inspection object is placed on the stage is compared with the placement setting position set as the inspection condition, and the initial position is compared. It can be provided with determination output means for determining whether or not height information can be acquired at a position and performing a predetermined output based on the determination result when the determination result indicates that the height information cannot be acquired. With the above configuration, when the user places the inspection object on the stage in order to inspect the inspection object using the height information, if the user places the inspection object on a position where accurate height information cannot be obtained, the determination means Accordingly, since it is output that the height information cannot be obtained, it is possible to avoid performing a useless inspection.
さらにまた第７の側面に係る画像検査装置によれば、前記判定出力手段を、前記検査設定手段で設定された前記ステージ上の載置設定位置に、検査対象物を載置させるように誘導するための誘導手段とできる。上記構成により、検査対象物を検査する際に、誘導手段でもって正しい載置設定位置に検査対象物を載置させることにより正確な検査を実現できる。 Furthermore, according to the image inspection apparatus according to the seventh aspect, the determination output means guides the inspection object to be placed at the placement setting position on the stage set by the inspection setting means. It can be a guiding means. With the above configuration, when inspecting an inspection object, an accurate inspection can be realized by placing the inspection object at a correct placement setting position by the guiding means.
さらにまた第８の側面に係る画像検査装置によれば、前記誘導手段を、前記ステージ上に検査対象物が置かれた状態で、所定の精度で計測が行えないと判定した場合に、誘導を実行するよう構成できる。上記構成により、検査対象物が置かれた状態のままで計測が可能であれば誘導機能を実行することなく検査を実行し、所定の精度での計測ができない場合にのみ誘導機能を実行するようにして、効率のよい処理が可能となる。 Furthermore, according to the image inspection apparatus according to the eighth aspect, when the guiding means determines that measurement cannot be performed with a predetermined accuracy in a state where the inspection object is placed on the stage, guidance is performed. Can be configured to run. With the above configuration, if measurement is possible with the inspection object placed, the inspection is executed without executing the guidance function, and the guidance function is executed only when measurement with a predetermined accuracy is not possible. Thus, efficient processing becomes possible.
さらにまた第９の側面に係る画像検査装置によれば、前記検査設定手段で設定する検査条件が、前記ステージ上の載置設定位置に加えて、該載置設定位置に載置される検査対象物の姿勢を規定した載置設定姿勢を含むことができる。 Furthermore, according to the image inspection apparatus according to the ninth aspect, the inspection condition set by the inspection setting unit is an inspection target placed at the placement setting position in addition to the placement setting position on the stage. A placement setting posture that defines the posture of the object can be included.
さらにまた第１０の側面に係る画像検査装置によれば、前記検査設定手段で設定する検査条件が、照明光の方向、照明光の明るさ、前記撮像手段の露光時間、前記ステージの位置の少なくともいずれかを含むことができる。 Furthermore, according to the image inspection apparatus according to the tenth aspect, the inspection conditions set by the inspection setting unit include at least the direction of illumination light, the brightness of illumination light, the exposure time of the imaging unit, and the position of the stage. Either can be included.
さらにまた第１１の側面に係る画像検査装置によれば、前記撮像高さ範囲設定手段が、前記検査設定手段で設定された複数の検査対象高さが、一の被写界深度内に含まれているかどうかを判定し、含まれていない場合に、各検査対象高さに対応させて異なる撮像高さ範囲を設定した複数の検査設定を生成可能とすることができる。上記構成により、検査したい複数の検査対象高さが一の被写界深度内に含むことができない場合でも、各検査対象高さに対応させて異なる撮像高さを設定した複数の検査設定を生成することができる。 Furthermore, according to the image inspection apparatus according to the eleventh aspect, the imaging height range setting means includes a plurality of inspection object heights set by the inspection setting means within one depth of field. If it is not included, it is possible to generate a plurality of inspection settings in which different imaging height ranges are set corresponding to each inspection target height. With the above configuration, even when multiple inspection target heights to be inspected cannot be included in one depth of field, multiple inspection settings are created with different imaging heights corresponding to each inspection target height can do.
さらにまた第１２の側面に係る画像検査装置によれば、検査対象物を撮像した検査対象画像に対して所定の画像検査を実行するための画像検査装置であって、検査対象物を載置するためのステージと、検査対象物に対して斜め方向から測定光を投光して構造化照明を行うための測定光投光手段と、前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像するための撮像手段と、前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、前記高さ画像を検査対象画像として、該検査対象画像に対して所定の画像検査を実行するための画像検査手段と、検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段で撮像するための撮像条件として、該検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定するための検査設定手段と、前記検査設定手段で設定された複数の検査対象高さが、一の被写界深度内に含まれているかどうかを判定し、含まれていない場合に、各検査対象高さに対応させて異なる撮像高さ範囲を設定した複数の検査設定を生成可能な撮像高さ範囲設定手段とを備えることができる。上記構成により、検査したい複数の検査対象高さが一の被写界深度内に含むことができない場合でも、各検査対象高さに対応させて異なる撮像高さを設定した複数の検査設定を生成することができる。 The image inspection apparatus according to the twelfth aspect is an image inspection apparatus for performing a predetermined image inspection on an inspection object image obtained by imaging the inspection object, and places the inspection object. A measuring light projecting means for projecting structured light from an oblique direction and performing structured illumination on the inspection object, and the measuring light projecting means for projecting light. Imaging means for acquiring reflected measurement light and capturing a plurality of fringe projection images, and height image acquisition means for acquiring a height image having height information based on the plurality of fringe projection images And an image inspection unit for performing a predetermined image inspection on the inspection target image, and the height image for each of the different heights of the inspection target by the imaging unit. As an imaging condition for imaging, the inspection Inspection setting means for setting the inspection setting for generating the height image including the inspection object height to be inspected of the object in the depth of field for each inspection object height, and the inspection setting means It is determined whether or not a plurality of set inspection object heights are included within one depth of field, and if they are not included, different imaging height ranges corresponding to each inspection object height are set. An imaging height range setting unit capable of generating a plurality of set inspection settings can be provided. With the above configuration, even when multiple inspection target heights to be inspected cannot be included in one depth of field, multiple inspection settings are created with different imaging heights corresponding to each inspection target height can do.
さらにまた第１３の側面に係る画像検査方法によれば、検査対象物を含む検査対象画像を撮像して、該撮像された検査対象画像に対して所定の画像検査を実行するための画像検査方法であって、検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段で撮像するための撮像条件として、該検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定する工程と、前記設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、前記撮像手段で高さ画像を撮像する際の撮像高さ範囲を設定する工程と、前記検査設定に従って、前記ステージ上に載置された検査対象物に対して、測定光投光手段で斜め方向から測定光を投光する構造化照明を行い、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像手段で、撮像高さ範囲において撮像し、得られた複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する工程と、前記撮像手段で撮像された検査対象物の画像に対して、画像検査手段で所定の画像検査を実行する工程とを含むことができる。これにより、検査設定毎に高さ画像を撮像するのでなく、複数の検査設定を纏めて一の高さ画像に含めることが可能となり、撮像に要するタクトタイムを短縮できる利点が得られる。 Furthermore, according to the image inspection method according to the thirteenth aspect, an image inspection method for capturing an inspection object image including an inspection object and executing a predetermined image inspection on the imaged inspection object image A height image including the height of the inspection object to be inspected in the depth of field as an imaging condition for each of the heights of the inspection object to be captured by the imaging means. A step of setting each inspection setting for generating each inspection target height, and a plurality of inspection target heights among the inspection target heights of the set inspection settings. A step of setting an imaging height range when the height image is picked up by the imaging means so as to be included, and a measurement light for the inspection object placed on the stage according to the inspection setting Projecting measurement light from an oblique direction Structured light is obtained, the measurement light reflected by the inspection object is acquired, and a plurality of fringe projection images are captured by the imaging means within the imaging height range. A step of obtaining a height image having height information and a step of executing a predetermined image inspection by the image inspection unit on the image of the inspection object imaged by the imaging unit. Accordingly, a height image is not captured for each inspection setting, but a plurality of inspection settings can be collectively included in one height image, and an advantage that a tact time required for imaging can be shortened can be obtained.
さらにまた第１４の側面に係る画像検査プログラムによれば、検査対象物を含む検査対象画像を撮像して、該撮像された検査対象画像に対して所定の画像検査を実行するための画像検査プログラムであって、検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段で撮像するための撮像条件として、該検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定する検査設定機能と、前記検査設定機能で設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、前記撮像手段で高さ画像を撮像する際の撮像高さ範囲を設定する撮像高さ範囲設定機能と、前記撮像高さ範囲設定機能で設定された検査設定に従って、前記ステージ上に載置された検査対象物に対して、測定光投光手段で斜め方向から測定光を投光する構造化照明を行い、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像手段で、撮像高さ範囲において撮像し、得られた複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する高さ画像生成機能と、前記撮像手段で撮像された検査対象物の画像に対して、画像検査手段で所定の画像検査を実行する検査機能とをコンピュータに実現させることができる。 Furthermore, according to the image inspection program according to the fourteenth aspect, an image inspection program for imaging an inspection object image including an inspection object and executing a predetermined image inspection on the imaged inspection object image A height image including the height of the inspection object to be inspected in the depth of field as an imaging condition for each of the heights of the inspection object to be captured by the imaging means. An inspection setting function for setting the inspection setting for generating each inspection object height, and a plurality of inspection object heights among the inspection object heights of each inspection setting set by the inspection setting function. Set by an imaging height range setting function for setting an imaging height range when imaging a height image by the imaging means and the imaging height range setting function so as to be included within one depth of field According to the inspection setting The structured light that projects the measurement light from an oblique direction by the measurement light projection means is applied to the inspection object placed on the stage, and the measurement light reflected by the inspection object is obtained to obtain a plurality of A height image generation function for capturing a fringe projection image with an imaging unit in an imaging height range, and obtaining a height image having height information based on the obtained plurality of fringe projection images, and imaging with the imaging unit It is possible to cause the computer to realize an inspection function for executing a predetermined image inspection by the image inspection means on the image of the inspection object that has been performed.
また第１５のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（商品名）、ＨＤ ＤＶＤ（ＡＯＤ）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ）等のハードウエア、又はプログラムソフトウエアとハードウエアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。 A fifteenth computer-readable recording medium stores the above program. CD-ROM, CD-R, CD-RW, flexible disk, magnetic tape, MO, DVD-ROM, DVD-RAM, DVD-R, DVD + R, DVD-RW, DVD + RW, Blu-ray (product) Name), HD DVD (AOD), and other magnetic disks, optical disks, magneto-optical disks, semiconductor memories, and other media that can store programs. The program includes a program distributed in a download manner through a network line such as the Internet, in addition to a program stored and distributed in the recording medium. Further, the recording medium includes a device capable of recording the program, for example, a general purpose or dedicated device in which the program is implemented in a state where the program can be executed in the form of software, firmware, or the like. Furthermore, each process and function included in the program may be executed by computer-executable program software, or each part of the process or function may be executed by hardware such as a predetermined gate array (FPGA, ASIC, DSP), or a program. You may implement | achieve in the format with which the partial hardware module which implement | achieves some elements of software and hardware is mixed.
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiments described below exemplify an image inspection apparatus, an image inspection method, an image inspection program, and a computer-readable recording medium for embodying the technical idea of the present invention. Does not specify an image inspection apparatus, an image inspection method, an image inspection program, and a computer-readable recording medium as follows. Further, the present specification by no means specifies the members shown in the claims to the members of the embodiments. In particular, the dimensions, materials, shapes, relative arrangements, and the like of the component parts described in the embodiments are not intended to limit the scope of the present invention unless otherwise specified, and are merely explanations. It is just an example. Note that the size, positional relationship, and the like of the members shown in each drawing may be exaggerated for clarity of explanation. Furthermore, in the following description, the same name and symbol indicate the same or the same members, and detailed description thereof will be omitted as appropriate. Furthermore, each element constituting the present invention may be configured such that a plurality of elements are constituted by the same member and the plurality of elements are shared by one member, and conversely, the function of one member is constituted by a plurality of members. It can also be realized by sharing.
また本明細書において「高さ画像」という場合には、高さ情報を含む画像の意味で使用し、例えば高さ画像に観察画像をテクスチャ情報として貼り付けた三次元の合成画像も、高さ画像に含む意味で使用する。また、本明細書において高さ画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。例えば、高さ画像は高さ情報を輝度等に変換して二次元画像として表示したり、または高さ情報をＺ座標情報として三次元状に表示することが可能である。 In the present specification, the term “height image” is used to mean an image including height information. For example, a three-dimensional composite image obtained by pasting an observation image as texture information on a height image is also referred to as a height image. Used in the meaning included in the image. Further, in the present specification, the display form of the height image is not limited to the one displayed in a two-dimensional form, but includes the one displayed in a three-dimensional form. For example, the height image can be displayed as a two-dimensional image by converting the height information into luminance or the like, or the height information can be displayed in three dimensions as Z coordinate information.
さらに本明細書において検査対象物をステージ上に置く「姿勢」とは、検査対象物の回転角度を意味する。なお、検査対象物が円錐のような平面視において点対称の形状の場合は、回転角度に依らず同じ結果が得られるため、姿勢は規定する必要がない。
（実施例１）
Further, in this specification, the “posture” where the inspection object is placed on the stage means the rotation angle of the inspection object. When the inspection object has a point-symmetric shape in a plan view such as a cone, the same result can be obtained regardless of the rotation angle, so that the posture need not be defined.
Example 1
画像検査装置は、検査対象物の画像（検査対象画像）を撮像し、得られた検査対象画像に対して、予め検査対象物の基準品に対して設定された部位を計測して検査を行うための装置である。ここで本明細書においては、このような検査対象画像に対する所定の検査を「画像検査」と呼ぶ。また本明細書において「検査」とは、検査対象物の寸法や角度などの計測結果に基づいて、これを所定の基準値と比較して良品又は不良品の判定を行う他、計測結果を表示部上に表示させたりデータとして出力させた上で、最終的な検査をユーザに委ねるような形態も「検査」に含む。さらに本明細書において「検査設定」には、画像検査の検査条件の設定の他、画像検査の対象となる画像を撮像するための撮像条件も含む。 The image inspection apparatus captures an image of an inspection object (inspection object image), and inspects the obtained inspection object image by measuring a portion set in advance for a reference product of the inspection object. It is a device for. Here, in the present specification, such a predetermined inspection for the inspection object image is referred to as “image inspection”. Also, in this specification, “inspection” is based on measurement results such as the size and angle of the object to be inspected and compared with a predetermined reference value to determine whether the product is non-defective or defective, and display the measurement result The “inspection” includes a form in which a final inspection is left to the user after being displayed on a department or output as data. Further, in this specification, “inspection setting” includes not only setting of inspection conditions for image inspection but also imaging conditions for capturing an image to be subjected to image inspection.
またこの画像検査装置は、検査対象画像の二次元の寸法のみならず、三次元の高さ計測も行うことができる。図１に、本発明の実施例１に係る画像検査装置のブロック図を示す。この図に示す画像検査装置５００は、撮像手段１００、制御手段２００、光源部３００及び表示部４００を備える。この画像検査装置は、光源部３００で構造化照明を行い、縞投影画像を撮像して高さ情報を有する高さ画像を生成し、これに基づいて検査対象物Ｓの三次元寸法や形状を計測することができる。このような縞投影を用いた測定は、検査対象物ＳやレンズをＺ方向に移動させることなく高さ測定ができるため、測定時間を短くできるという利点がある。
（撮像手段１００）
The image inspection apparatus can measure not only the two-dimensional dimensions of the inspection target image but also the three-dimensional height. FIG. 1 shows a block diagram of an image inspection apparatus according to Embodiment 1 of the present invention. An image inspection apparatus 500 shown in this figure includes an imaging unit 100, a control unit 200, a light source unit 300, and a display unit 400. This image inspection apparatus performs structured illumination with the light source unit 300, captures a fringe projection image, generates a height image having height information, and based on this, determines the three-dimensional dimensions and shape of the inspection object S. It can be measured. The measurement using such fringe projection has an advantage that the measurement time can be shortened because the height can be measured without moving the inspection object S or the lens in the Z direction.
(Imaging means 100)
図１の画像検査装置５００の撮像手段１００の構成を図２のブロック図に示す。撮像手段１００は、例えば顕微鏡であり、投光部１１０、受光部１２０、照明光出力部１３０、測定制御部１５０、及びこれらを収納する本体ケース１０１、並びにステージ１４０を備える。投光部１１０は、測定光源１１１、パターン生成部１１２及び複数のレンズ１１３、１１４、１１５を含む。受光部１２０は、カメラ１２１及び複数のレンズ１２２、１２３を含む。ステージ１４０上には、検査対象物Ｓが載置される。本体ケース１０１は、樹脂や金属製の筐体とする。
（投光部１１０）
The configuration of the imaging means 100 of the image inspection apparatus 500 of FIG. 1 is shown in the block diagram of FIG. The imaging unit 100 is, for example, a microscope, and includes a light projecting unit 110, a light receiving unit 120, an illumination light output unit 130, a measurement control unit 150, a main body case 101 that houses these, and a stage 140. The light projecting unit 110 includes a measurement light source 111, a pattern generation unit 112, and a plurality of lenses 113, 114, and 115. The light receiving unit 120 includes a camera 121 and a plurality of lenses 122 and 123. On the stage 140, the inspection object S is placed. The main body case 101 is a housing made of resin or metal.
(Light Projecting Unit 110)
投光部１１０は、ステージ１４０の斜め上方に配置される。この撮像手段１００は、複数の投光部１１０を含んでもよい。図２の例においては、撮像手段１００は２つの投光部１１０を含む。ここでは、第一の方向から検査対象物Ｓに対して第一測定光ＭＬ１を照射可能な第一測定光投光部１１０Ａ（図２において右側）と、第一の方向とは異なる第二の方向から検査対象物Ｓに対して第二測定光ＭＬ２を照射可能な第二測定光投光部１１０Ｂ（図２において左側）を、それぞれ配置している。第一測定光投光部１１０Ａ、第二測定光投光部１１０Ｂは受光部１２０の光軸を挟んで対称に配置される。なお投光部を３以上備えたり、あるいは投光部とステージを相対移動させて、共通の投光部を用いつつも、照明の方向を異ならせて投光させることも可能である。さらにこの例では投光部が投光する照明光の、垂直方向に対する照射角度を固定としているが、これを可変とすることもできる。
（測定光源１１１）
The light projecting unit 110 is disposed obliquely above the stage 140. The imaging unit 100 may include a plurality of light projecting units 110. In the example of FIG. 2, the imaging unit 100 includes two light projecting units 110. Here, the first measurement light projection unit 110A (right side in FIG. 2) that can irradiate the inspection object S with the first measurement light ML1 from the first direction is different from the first direction. A second measurement light projecting unit 110B (left side in FIG. 2) capable of irradiating the inspection object S from the direction with the second measurement light ML2 is disposed. The first measurement light projecting unit 110 </ b> A and the second measurement light projecting unit 110 </ b> B are arranged symmetrically across the optical axis of the light receiving unit 120. In addition, it is also possible to provide three or more light projecting units, or to move the light projecting unit and the stage relative to each other and use the common light projecting unit while projecting light with different illumination directions. Furthermore, in this example, the illumination angle of the illumination light projected by the light projecting unit is fixed with respect to the vertical direction, but this can be made variable.
(Measurement light source 111)
各第一測定光投光部１１０Ａ、第二測定光投光部１１０Ｂは、それぞれ第一測定光源１１１Ａ、第二測定光源１１１Ｂを備える。これら測定光源１１１Ａ、１１１Ｂは、例えば白色光を出射するハロゲンランプである。測定光源１１１Ａ、１１１Ｂは、白色光を出射する白色ＬＥＤ（発光ダイオード）や有機ＥＬ等の他の光源であってもよい。測定光源１１１Ａ、１１１Ｂから出射された光（以下、「測定光」と呼ぶ。）は、レンズ１１３により適切に集光された後、パターン生成部１１２に入射される。
（パターン生成部１１２）
Each of the first measurement light projectors 110A and the second measurement light projectors 110B includes a first measurement light source 111A and a second measurement light source 111B, respectively. These measurement light sources 111A and 111B are, for example, halogen lamps that emit white light. The measurement light sources 111A and 111B may be other light sources such as a white LED (light emitting diode) that emits white light or an organic EL. Light emitted from the measurement light sources 111 </ b> A and 111 </ b> B (hereinafter referred to as “measurement light”) is appropriately condensed by the lens 113 and then incident on the pattern generation unit 112.
(Pattern generator 112)
パターン生成部１１２は、測定光を検査対象物Ｓに対して投光させるよう、測定光源１１１から出射された光を反射させる。パターン生成部１１２に入射した測定光は、予め設定されたパターン及び予め設定された強度（明るさ）に変換されて出射される。パターン生成部１１２により出射された測定光は、複数のレンズ１１４、１１５により受光部１２０の観察・測定可能な視野よりも大きい径を有する光に変換された後、ステージ１４０上の検査対象物Ｓに照射される。 The pattern generator 112 reflects the light emitted from the measurement light source 111 so that the measurement light is projected onto the inspection object S. The measurement light incident on the pattern generation unit 112 is converted into a preset pattern and a preset intensity (brightness) and emitted. The measurement light emitted from the pattern generation unit 112 is converted into light having a diameter larger than the visual field that can be observed and measured by the light receiving unit 120 by the plurality of lenses 114 and 115, and then the inspection object S on the stage 140. Is irradiated.
パターン生成部１１２は、測定光を検査対象物Ｓに投光させる投光状態と、測定光を検査対象物Ｓに投光させない非投光状態とを切り替え可能な部材である。このようなパターン生成部１１２には、例えばＤＭＤ（デジタルマイクロミラーデバイス）が好適に利用できる。ＤＭＤを用いたパターン生成部１１２は、投光状態として測定光を光路上に反射させる反射状態と、非投光状態として測定光を遮光させる遮光状態とを切り替え可能に、測定制御部１５０により制御できる。ここで、第一測定光投光部１１０Ａ側に設けられた第一パターン生成部１１２Ａ、及び第二測定光投光部１１０Ｂ側に設けられた第二パターン生成部１１２Ｂを、共に反射状態とした様子を図３に、また第一パターン生成部１１２Ａ、第二パターン生成部１１２Ｂを共に遮光状態とした様子を図４に、さらに第一パターン生成部１１２Ａを反射状態とし、第二パターン生成部１１２Ｂを遮光状態とした様子を図５に、さらにまた第一パターン生成部１１２Ａを遮光状態とし、第二パターン生成部１１２Ｂを反射状態とした様子を図６に、それぞれ示す。
（ＤＭＤ）
The pattern generation unit 112 is a member capable of switching between a light projection state in which the measurement light is projected onto the inspection target S and a non-light projection state in which the measurement light is not projected onto the inspection target S. For such a pattern generation unit 112, for example, a DMD (digital micromirror device) can be suitably used. The pattern generation unit 112 using the DMD is controlled by the measurement control unit 150 so as to be able to switch between a reflection state in which the measurement light is reflected on the optical path as a light projection state and a light shielding state in which the measurement light is shielded as a non-light projection state. it can. Here, the first pattern generation unit 112A provided on the first measurement light projection unit 110A side and the second pattern generation unit 112B provided on the second measurement light projection unit 110B side are both in a reflective state. FIG. 3 shows the state, the first pattern generation unit 112A and the second pattern generation unit 112B are both shielded from light, and FIG. 4 shows the first pattern generation unit 112A in the reflection state. FIG. 5 shows a state in which the first pattern generation unit 112A is in a light-shielding state, and FIG. 6 shows a state in which the second pattern generation unit 112B is in a reflection state.
(DMD)
ＤＭＤの外観の平面図を図７Ａに、その拡大平面図を図７Ｂに、拡大斜視図を図７Ｃに、それぞれ示す。これらの図に示すように、ＤＭＤは多数のマイクロミラー（微小鏡面）ＭＭを平面上に配列した素子である。各マイクロミラーＭＭは表示素子の１画素に相当し、可動式で電極を駆動することで反射位置（ＯＮ状態）又は遮光位置（ＯＦＦ状態）に切り替えられる。各マイクロミラー単位でのＯＮ状態とＯＦＦ状態の切り替えは、測定制御部１５０からの信号により電気的に制御することができる。マイクロミラーがＯＮ状態のときは、図３において破線で示すように、測定光源１１１からの測定光ＭＬを投光部１１０の光軸側に反射させて、検査対象物Ｓに対して投光可能となる。一方、マイクロミラーがＯＦＦ状態のときは、図４において一点鎖線で示すように、測定光源１１１からの測定光ＭＬを投光部１１０の光軸とは異なる方向に反射させて、検査対象物Ｓへの投光を事実上遮断する。反射方向は、例えば光吸収体やヒートシンクといった、照明光等に影響を与えない部材のある方向とできる。 A plan view of the appearance of the DMD is shown in FIG. 7A, an enlarged plan view thereof is shown in FIG. 7B, and an enlarged perspective view thereof is shown in FIG. 7C. As shown in these figures, the DMD is an element in which a large number of micromirrors (micromirror surfaces) MM are arranged on a plane. Each micromirror MM corresponds to one pixel of the display element, and can be switched to a reflection position (ON state) or a light shielding position (OFF state) by driving the electrode in a movable manner. Switching between the ON state and the OFF state in each micromirror unit can be electrically controlled by a signal from the measurement control unit 150. When the micromirror is in the ON state, the measurement light ML from the measurement light source 111 can be reflected to the optical axis side of the light projecting unit 110 and projected onto the inspection object S as indicated by a broken line in FIG. It becomes. On the other hand, when the micromirror is in the OFF state, the measurement light ML from the measurement light source 111 is reflected in a direction different from the optical axis of the light projecting unit 110 as shown by a one-dot chain line in FIG. Virtually shuts off floodlights. The reflection direction can be a direction in which there are members that do not affect illumination light, such as a light absorber or a heat sink.
各マイクロミラーは、測定制御部１５０により個別にＯＮ状態、ＯＦＦ状態を切り替えることができるので、多数のマイクロミラーのＯＮ状態、ＯＦＦ状態を組み合わせて、所望の投影パターンを構成できる。これによって、三角測距に必要なパターンを生成して、検査対象物Ｓの測定が可能となる。このようにＤＭＤは、測定時には測定用の周期的な投影パターンを検査対象物Ｓに投光する投影パターン光学系として機能する。またＤＭＤは応答速度にも優れ、シャッターなどに比べ高速に動作させることができる利点も得られる。
（測定光の遮光状態）
Since each micromirror can be individually switched between the ON state and the OFF state by the measurement control unit 150, a desired projection pattern can be configured by combining the ON state and OFF state of a large number of micromirrors. As a result, a pattern necessary for triangulation can be generated and the inspection object S can be measured. Thus, the DMD functions as a projection pattern optical system that projects a periodic projection pattern for measurement onto the inspection object S during measurement. DMD is also excellent in response speed, and has an advantage that it can be operated at a higher speed than a shutter.
(Measurement light blocking state)
さらにＤＭＤは、各マイクロミラーをＯＦＦ状態とすれば、測定光ＭＬが検査対象物Ｓに投光されない遮光状態を作り出すことができ、測定光源１１１を点灯させたままで事実上測定光ＭＬを遮断できる。このため、観察画像を撮像する際に、測定光源１１１を消灯することなく、点灯状態を維持したままで測定光ＭＬを遮断する状態を作り出すことが可能となる。このことは、撮像手段１００を熱的に安定させた状態を維持しつつ、観察画像の撮像が可能なことを意味し、精度的に有利となる。 Further, the DMD can create a light shielding state in which the measurement light ML is not projected onto the inspection object S if each micromirror is turned off, and can effectively block the measurement light ML while the measurement light source 111 is turned on. . For this reason, when capturing an observation image, it is possible to create a state in which the measurement light ML is blocked without turning off the measurement light source 111 while maintaining the lighting state. This means that it is possible to capture an observation image while maintaining the state where the imaging unit 100 is thermally stabilized, which is advantageous in accuracy.
このようにして、測定光源１１１を点灯させたままで、測定画像の撮像と観察画像の撮像が可能となる。例えば、撮像手段で観察画像を撮像する場合は、観察用照明光源３２０をＯＮさせると共に、図４に示すように第一パターン生成部１１２Ａ及び第二パターン生成部１１２Ｂの両方を遮光状態とする。これによって観察用照明光源３２０を点灯させて照明光ＩＬを検査対象物Ｓに照射させる一方、第一測定光源１１１Ａを点灯させたまま、第一パターン生成部１１２Ａが非投光状態として、第一測定光ＭＬ１が検査対象物Ｓに投光されない第一測定光非投光状態となる。また第二測定光源１１１Ｂも点灯させたままで、第二パターン生成部１１２Ｂを非投光状態として、第二測定光ＭＬ２が検査対象物Ｓに投光されない第二測定光非投光状態となる。これにより、測定光に邪魔されることなく撮像部で観察画像を撮像できる。 In this way, it is possible to capture a measurement image and an observation image while keeping the measurement light source 111 turned on. For example, when an observation image is captured by the imaging means, the observation illumination light source 320 is turned on, and both the first pattern generation unit 112A and the second pattern generation unit 112B are in a light-shielded state as shown in FIG. Accordingly, the illumination light source for observation 320 is turned on to irradiate the inspection object S with the illumination light IL, while the first pattern generation unit 112A is in a non-light-projecting state while the first measurement light source 111A is turned on. The measurement light ML1 is in a first measurement light non-projection state in which the inspection object S is not projected. In addition, the second measurement light source 111B is turned on, the second pattern generation unit 112B is set in a non-light-projecting state, and the second measurement light ML2 is not projected onto the inspection object S. Thereby, an observation image can be picked up by the image pickup unit without being disturbed by the measurement light.
また第一測定光投光部１１０Ａと第二測定光投光部１１０Ｂの両方から投光させた測定画像（第三測定画像）を撮像する場合は、図３に示すように第一パターン生成部１１２Ａ及び第二パターン生成部１１２Ｂの両方を反射状態とし、かつ観察用照明光源３２０をＯＦＦとする。すなわち、第一測定光源１１１Ａを点灯させて、第一測定光ＭＬ１がレンズ１１３Ａにより適切に集光された後、投光状態とされた第一パターン生成部１１２Ａに入射され、所定の光路に向かって反射されて、複数のレンズ１１４Ａ、１１５Ａを経て適切な径に変換された後、ステージ１４０上の検査対象物Ｓに投光される第一測定光投光状態となる。また第二測定光源１１１Ｂについても同様に点灯されて、第二測定光ＭＬ２がレンズ１１３Ｂにより適切に集光された後、投光状態とされた第二パターン生成部１１２Ｂに入射され、所定の光路に向かって反射されて、複数のレンズ１１４Ｂ、１１５Ｂを経て適切な径に変換された後、検査対象物Ｓに投光される第二測定光投光状態となる。このような第一測定光投光状態、第二測定光投光状態となるよう、測定制御部１５０が制御する。なお、観察用照明光源３２０は消灯させるか、あるいはシャッターなどによって遮光させる。これによって、第一測定光ＭＬ１のみを投光させて第一測定画像を撮像手段で撮像できる。なお、第三測定画像は必ずしも測定に直接使用するものでなく、見え方の確認等の用途で適宜利用できる。 Further, when imaging a measurement image (third measurement image) projected from both the first measurement light projection unit 110A and the second measurement light projection unit 110B, as shown in FIG. 3, the first pattern generation unit Both 112A and the 2nd pattern production | generation part 112B are made into a reflective state, and the illumination light source 320 for observation is turned off. That is, after the first measurement light source 111A is turned on and the first measurement light ML1 is appropriately condensed by the lens 113A, the first measurement light ML1 is incident on the first pattern generation unit 112A in the light projection state and travels toward a predetermined optical path. Then, after being converted into an appropriate diameter through a plurality of lenses 114A and 115A, a first measurement light projecting state in which light is projected onto the inspection object S on the stage 140 is obtained. Similarly, the second measurement light source 111B is turned on, and the second measurement light ML2 is appropriately condensed by the lens 113B, and then incident on the second pattern generation unit 112B in a light projection state, and a predetermined optical path. The second measurement light is projected onto the inspection object S after being converted to an appropriate diameter through a plurality of lenses 114B and 115B. The measurement control unit 150 controls the first measurement light projection state and the second measurement light projection state. Note that the observation illumination light source 320 is turned off or shielded by a shutter or the like. Thereby, only the first measurement light ML1 is projected, and the first measurement image can be captured by the imaging unit. Note that the third measurement image is not necessarily used directly for measurement, but can be appropriately used for purposes such as confirmation of appearance.
さらに第一測定光投光部１１０Ａ側からの測定光のみで測定画像（第一測定画像）を撮像する場合は、図５に示すように第一パターン生成部１１２Ａを反射状態とし、第二パターン生成部１１２Ｂを遮光状態とする。すなわち、第一測定光源１１１Ａを点灯させたまま、第一パターン生成部１１２Ａを投光状態として、第一測定光ＭＬ１が検査対象物Ｓに投光される第一測定光投光状態とし、かつ第二測定光源１１１Ｂを点灯させたまま、第二パターン生成部１１２Ｂを非投光状態として、第二測定光ＭＬ２が検査対象物Ｓに投光されない第二測定光非投光状態とするように、測定制御部１５０で制御する。 Further, when a measurement image (first measurement image) is picked up only with measurement light from the first measurement light projecting unit 110A side, the first pattern generation unit 112A is set in a reflective state as shown in FIG. The generation unit 112B is set in a light shielding state. That is, with the first measurement light source 111A turned on, the first pattern generation unit 112A is set in the projection state, the first measurement light ML1 is set in the first measurement light projection state in which the first measurement light ML1 is projected onto the inspection object S, and While the second measurement light source 111B is turned on, the second pattern generation unit 112B is set in a non-light projection state so that the second measurement light ML2 is not projected onto the inspection object S. Control is performed by the measurement control unit 150.
逆に第二測定光投光部１１０Ｂ側からの測定光のみで測定画像（第二測定画像）を撮像する場合は、図６に示すように第一パターン生成部１１２Ａを遮光状態とし、第二パターン生成部１１２Ｂを反射状態とする。すなわち、第一測定光源１１１Ａを点灯させたまま、第一パターン生成部１１２Ａを非投光状態として、第一測定光ＭＬ１が検査対象物Ｓに投光されない第一測定光非投光状態とし、かつ第二測定光源１１１Ｂを点灯させたまま、第二パターン生成部１１２Ｂを投光状態として、第二測定光ＭＬ２が検査対象物Ｓに投光される第二測定光投光状態とするように、測定制御部１５０で制御する。なお、第一測定画像、第二測定画像のいずれの撮像に際しても、第三測定画像の場合と同様に観察用照明光源３２０は消灯させるか、あるいはシャッターなどによって遮光させる。 Conversely, when a measurement image (second measurement image) is captured only with the measurement light from the second measurement light projecting unit 110B side, the first pattern generation unit 112A is set in a light-shielded state as shown in FIG. The pattern generation unit 112B is set in a reflective state. That is, while the first measurement light source 111A is turned on, the first pattern generation unit 112A is set in a non-light-projecting state, and the first measurement light ML1 is not projected onto the inspection object S. In addition, the second measurement light source 111B is turned on and the second pattern generation unit 112B is set in the light projection state so that the second measurement light ML2 is projected onto the inspection object S. Control is performed by the measurement control unit 150. It should be noted that in both the first measurement image and the second measurement image, the observation illumination light source 320 is turned off or shielded by a shutter or the like as in the case of the third measurement image.
このようにして、観察画像の撮像時に測定光が干渉することなく、また測定画像の撮像時には、不要な方向からの測定光や照明光が干渉することなく、各画像を撮像できるようになり、高品質な測定画像を撮像して、計測の精度も向上できる。 In this way, the measurement light does not interfere when the observation image is captured, and each image can be captured without interference with the measurement light or illumination light from an unnecessary direction when the measurement image is captured. High-quality measurement images can be taken to improve measurement accuracy.
なおＤＭＤで測定光を遮断する遮光状態は、実質的に測定光を遮光できれば足りる。すなわち、ＤＭＤはマイクロミラーを数十万個から数百万個備えているので、例えば動作不良等の原因により一部のマイクロミラーがＯＦＦしないとしても、他のマイクロミラーをＯＦＦ状態として測定光の大部分を遮断できれば足りる。このように測定光の遮光状態とは、測定光の光量が、照明光による観察画像の撮像を実質的に妨げないレベルにまで低下させた状態を意味する。 It should be noted that it is sufficient for the DMD to block the measurement light as long as the measurement light can be substantially blocked. That is, since the DMD has hundreds of thousands to millions of micromirrors, even if some of the micromirrors are not turned off due to, for example, malfunction, the other micromirrors are turned off and the measurement light is It is enough to block the majority. Thus, the measurement light blocking state means a state in which the light amount of the measurement light is reduced to a level that does not substantially interfere with the imaging of the observation image by the illumination light.
また図４の例では、説明を判り易くするため、ＤＭＤの遮光状態において反射光をパターン生成部１１２から異なる方向に反射させた状態を示しているが、反射方向をＤＭＤ内部に設けられた光吸収体とすることで、本体ケース１０１内部に余計な測定光が照射される事態を回避できる。すなわちＤＭＤの遮光状態とは、測定光をＤＭＤから狙った方向（ここでは検査対象物Ｓの方向）とは異なる方向に反射させる場合、あるいはＤＭＤに入射された測定光を事実上吸収する場合を含む。 In addition, in the example of FIG. 4, for easy understanding, the reflected light is reflected from the pattern generation unit 112 in a different direction in the DMD light-shielding state. However, the reflection direction is the light provided in the DMD. By using the absorber, it is possible to avoid a situation in which extra measurement light is irradiated inside the main body case 101. That is, the DMD light-blocking state refers to a case where the measurement light is reflected in a direction different from the direction aimed at from the DMD (here, the direction of the inspection object S), or the measurement light incident on the DMD is effectively absorbed. Including.
なお以上の例ではパターン生成部１１２にＤＭＤを用いた例を説明したが、本発明はパターン生成部１１２をＤＭＤに限定するものでなく、他の部材を用いることもできる。例えば、パターン生成部１１２として、反射型の部材に代えて透過型の部材を用いて、測定光の透過量を調整してもよい。この場合は、パターン生成部１１２を測定光の光路上に配置して、測定光を透過させる投光状態と、測定光を遮光させる遮光状態とを切り替える。このようなパターン生成部１１２には、例えばＬＣＤ（液晶ディスプレイ）が利用できる。また、パターン生成部１１２としてその他ＬＣＯＳ（Liquid Crystal on Silicon：反射型液晶素子）やマスク等も利用できる。 In addition, although the example which used DMD for the pattern generation part 112 was demonstrated in the above example, this invention does not limit the pattern generation part 112 to DMD, Other members can also be used. For example, the transmission amount of the measurement light may be adjusted by using a transmissive member instead of the reflective member as the pattern generation unit 112. In this case, the pattern generation unit 112 is arranged on the optical path of the measurement light to switch between a light projection state that transmits the measurement light and a light shielding state that blocks the measurement light. For example, an LCD (Liquid Crystal Display) can be used as such a pattern generation unit 112. Further, as the pattern generation unit 112, other liquid crystal on silicon (LCOS), a mask, or the like can be used.
さらに図２等の例では、測定光投光部を２つ備えた例を説明したが、本発明はこれに限らず、測定光投光部を３以上設けることも可能である。あるいは、測定光投光部を一のみとすることもできる。この場合は、測定光投光部の位置を移動可能とすることで、異なる方向から測定光を検査対象物Ｓに対して投光できる。
（受光部１２０）
Further, in the example of FIG. 2 and the like, an example in which two measurement light projecting units are provided has been described. However, the present invention is not limited to this, and three or more measurement light projecting units may be provided. Alternatively, only one measuring light projector can be provided. In this case, the measurement light can be projected onto the inspection object S from different directions by making the position of the measurement light projection unit movable.
(Light receiving unit 120)
受光部１２０は、ステージ１４０の上方に配置される。検査対象物Ｓによりステージ１４０の上方に反射された測定光は、受光部１２０の複数のレンズ１２２、１２３により集光、結像された後、カメラ１２１により受光される。
（カメラ１２１）
The light receiving unit 120 is disposed above the stage 140. The measurement light reflected above the stage 140 by the inspection object S is condensed and imaged by the plurality of lenses 122 and 123 of the light receiving unit 120 and then received by the camera 121.
(Camera 121)
カメラ１２１は、例えば撮像素子１２１ａ及びレンズを含むＣＣＤ（電荷結合素子）カメラである。撮像素子１２１ａは、例えばモノクロＣＣＤ（電荷結合素子）である。撮像素子１２１ａは、ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の他の撮像素子であってもよい。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施の形態では、撮像素子としてモノクロのＣＣＤを採用し、後述する照明光出力部１３０をＲＧＢにそれぞれ対応した照明を時分割で照射して撮像することにより、カラー画像を取得している。このような構成にすることにより、計測精度を低下させずに測定物のカラー画像を取得することができる。 The camera 121 is, for example, a CCD (charge coupled device) camera including an image sensor 121a and a lens. The image sensor 121a is, for example, a monochrome CCD (charge coupled device). The image sensor 121a may be another image sensor such as a CMOS (complementary metal oxide semiconductor) image sensor. The color image sensor requires each pixel to receive light for red, green, and blue, so the measurement resolution is lower than that of a monochrome image sensor, and a color filter must be provided for each pixel. Sensitivity decreases. Therefore, in this embodiment, a monochrome CCD is used as the image sensor, and a color image is acquired by illuminating the illumination light output unit 130 described later with illumination corresponding to RGB in a time-sharing manner. Yes. With such a configuration, it is possible to acquire a color image of the measurement object without reducing the measurement accuracy.
ただ、撮像素子１２１ａとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部１３０からＲＧＢにそれぞれ対応した照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。撮像素子１２１ａの各画素からは、受光量に対応するアナログの電気信号（以下、「受光信号」と呼ぶ。）が測定制御部１５０に出力される。 However, it goes without saying that a color image sensor may be used as the image sensor 121a. In this case, although the measurement accuracy and sensitivity are reduced, it is not necessary to irradiate illumination corresponding to RGB from the illumination light output unit 130 in a time-sharing manner, and a color image can be obtained simply by irradiating white light. The optical system can be configured simply. From each pixel of the image sensor 121 a, an analog electrical signal (hereinafter referred to as “light reception signal”) corresponding to the amount of received light is output to the measurement control unit 150.
このようにして撮像された検査対象物Ｓの画像は、レンズの特性によって、検査対象物Ｓに対して極めて正確な相似形を成している。またレンズの倍率を用いてキャリブレーションをすることで、画像上の寸法と実際の検査対象物Ｓ上の寸法を正確に関連付けることができる。
（測定制御部１５０）
The image of the inspection object S imaged in this way has a very accurate similar shape to the inspection object S due to the characteristics of the lens. Further, by performing calibration using the magnification of the lens, the dimension on the image and the actual dimension on the inspection object S can be accurately correlated.
(Measurement control unit 150)
測定制御部１５０には、図示しないＡ／Ｄ変換器（アナログ／デジタル変換器）及びＦＩＦＯ（First In First Out）メモリが実装される。カメラ１２１から出力される受光信号は、光源部３００による制御に基づいて、測定制御部１５０のＡ／Ｄ変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。Ａ／Ｄ変換器から出力されるデジタル信号は、ＦＩＦＯメモリに順次蓄積される。ＦＩＦＯメモリに蓄積されたデジタル信号は画素データとして順次制御手段２００に転送される。
（制御手段２００）
The measurement control unit 150 includes an A / D converter (analog / digital converter) and a FIFO (First In First Out) memory (not shown). The light reception signal output from the camera 121 is sampled at a constant sampling period and converted to a digital signal by the A / D converter of the measurement control unit 150 based on control by the light source unit 300. Digital signals output from the A / D converter are sequentially stored in the FIFO memory. The digital signal stored in the FIFO memory is sequentially transferred to the control means 200 as pixel data.
(Control means 200)
図１に示すように、制御手段２００は、ＣＰＵ（中央演算処理装置）２１０、ＲＯＭ（リードオンリメモリ）２２０、作業用メモリ２３０、記憶装置２４０及び操作部２５０を含む。制御手段２００には、ＰＣ（パーソナルコンピュータ）等が利用できる。また、操作部２５０は、キーボード及びポインティングデバイスを含む。ポインティングデバイスとしては、マウス又はジョイスティック等が用いられる。また操作部２５０は、画像検査を行うために予め検査条件を設定するための検査設定手段２５１や、画像検査を行う対象領域である測定エリアを設定するための測定エリア指定手段２５２としても機能する（詳細は後述）。 As shown in FIG. 1, the control means 200 includes a CPU (Central Processing Unit) 210, a ROM (Read Only Memory) 220, a work memory 230, a storage device 240 and an operation unit 250. As the control means 200, a PC (personal computer) or the like can be used. The operation unit 250 includes a keyboard and a pointing device. As a pointing device, a mouse or a joystick is used. The operation unit 250 also functions as an inspection setting unit 251 for setting an inspection condition in advance for performing an image inspection and a measurement area designating unit 252 for setting a measurement area that is a target region for performing an image inspection. (Details will be described later).
ＲＯＭ２２０には、システムプログラムが記憶される。作業用メモリ２３０は、ＲＡＭ（ランダムアクセスメモリ）からなり、種々のデータの処理のために用いられる。記憶装置２４０は、ハードディスク等からなる。記憶装置２４０には、画像検査装置操作プログラム及び三次元画像計測プログラムが記憶される。また、記憶装置２４０は、測定制御部１５０から与えられる画素データ等の種々のデータを保存するために用いられる。さらに記憶装置は、測定画像を構成する画素毎に、輝度情報、高さ情報、属性情報を記憶する。
（ＣＰＵ２１０）
The ROM 220 stores a system program. The working memory 230 includes a RAM (Random Access Memory), and is used for processing various data. The storage device 240 is composed of a hard disk or the like. The storage device 240 stores an image inspection device operation program and a three-dimensional image measurement program. The storage device 240 is used for storing various data such as pixel data provided from the measurement control unit 150. Further, the storage device stores luminance information, height information, and attribute information for each pixel constituting the measurement image.
(CPU 210)
ＣＰＵ２１０は、測定制御部１５０から与えられる画素データに基づいて画像データを生成する。また、ＣＰＵ２１０は、生成した画像データに作業用メモリ２３０を用いて各種処理を行うと共に、画像データに基づく画像を表示部４００に表示させる。さらにこのＣＰＵは、後述する高さ画像取得手段２２８と、測定画像合成手段２１１と、誘導手段２１４と、警告手段２１５と、画像検査手段２１６と、位置演算手段２１７と、パターンマッチング手段２２１と、三次元画像合成手段２１３、判定手段２１８、判定出力手段２２２、撮像高さ範囲設定手段２２４の機能を実現することもできる。 The CPU 210 generates image data based on the pixel data given from the measurement control unit 150. The CPU 210 performs various processes on the generated image data using the work memory 230 and causes the display unit 400 to display an image based on the image data. The CPU further includes a height image acquisition unit 228, a measurement image synthesis unit 211, a guidance unit 214, a warning unit 215, an image inspection unit 216, a position calculation unit 217, a pattern matching unit 221, which will be described later. The functions of the three-dimensional image synthesis unit 213, the determination unit 218, the determination output unit 222, and the imaging height range setting unit 224 can also be realized.
ここで高さ画像取得手段２２８は、複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する。また測定画像合成手段２１１は、同じ検査対象物Ｓに対して、第一測定光投光部を用いて撮像した第一測定画像から計算した高さ画像と、第二測定光投光部を用いて撮像した第二測定画像から計算した高さ画像とを合成し、一の合成高さ画像を生成する。また誘導手段２１４は、検査設定手段２５１（詳細は後述）で設定されたステージ１４０上の載置設定位置に、検査対象物Ｓを載置させるようにユーザを誘導する。
（画像検査手段２１６）
Here, the height image acquisition unit 228 acquires a height image having height information based on the plurality of fringe projection images. The measurement image combining unit 211 uses the height image calculated from the first measurement image captured using the first measurement light projector and the second measurement light projector for the same inspection object S. The height image calculated from the second measurement image captured in this way is combined to generate one combined height image. The guiding unit 214 guides the user to place the inspection object S on the placement setting position on the stage 140 set by the inspection setting unit 251 (details will be described later).
(Image inspection means 216)
画像検査手段２１６は、撮像手段１００で撮像された検査対象物Ｓの画像に対して、所定の画像検査を実行する。この画像検査手段２１６は、検査対象画像に対して所定の計測を行うための計測手段を含むことができる。これにより、計測手段で計測された計測結果に基づいて画像検査を実行できる。例えば、検査対象物Ｓの所定部位の長さや角度といった計測を行った結果に基づいて、良品や不良などの判定といった検査を行うことが可能となる。計測手段が行う計測には、観察画像上で指定したプロファイル線を通り、画面に対して垂直な平面で切断した輪郭線を演算して、プロファイルグラフとして表示部４００に表示させたり、プロファイルグラフで示す輪郭線から円や直線などを抽出して、それらの半径や距離を求めることができる。 The image inspection unit 216 performs a predetermined image inspection on the image of the inspection object S imaged by the imaging unit 100. The image inspection unit 216 can include a measurement unit for performing predetermined measurement on the inspection target image. Thereby, an image inspection can be executed based on the measurement result measured by the measuring means. For example, based on the result of measurement such as the length and angle of a predetermined part of the inspection object S, it is possible to perform inspection such as determination of a non-defective product or a defect. For the measurement performed by the measuring means, a contour line that passes through the profile line specified on the observation image and is cut by a plane perpendicular to the screen is calculated and displayed on the display unit 400 as a profile graph, A circle, a straight line, etc. can be extracted from the contour line to be shown, and the radius and distance thereof can be obtained.
位置演算手段２１７は、検査対象物Ｓを撮像手段１００で正しく撮像可能なステージ１４０上の載置範囲を演算する。また警告手段２１５は、検査対象物Ｓの置かれた位置が位置演算手段２１７で演算された載置範囲に含まれていない場合に、ユーザに対して警告を表示させる。さらにパターンマッチング手段２２１は、撮像手段１００で撮像した観察画像に対して、検査基準画像をサーチするパターンマッチングを行うための部材である。また判定手段２１８は、検査対象物がステージ１４０上に置かれた初期位置で、撮像手段１００で正しく撮像できるかどうかを判定するための部材である。さらにまた撮像高さ範囲設定手段２２４は、検査設定手段２５１で設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、撮像手段１００で高さ画像を撮像する際の撮像高さ範囲を設定するための部材である。 The position calculation means 217 calculates a placement range on the stage 140 that allows the imaging object 100 to correctly image the inspection object S. The warning unit 215 displays a warning to the user when the position where the inspection object S is placed is not included in the placement range calculated by the position calculation unit 217. Further, the pattern matching unit 221 is a member for performing pattern matching for searching the inspection reference image with respect to the observation image captured by the imaging unit 100. The determination unit 218 is a member for determining whether or not the imaging unit 100 can correctly capture an image at the initial position where the inspection object is placed on the stage 140. Furthermore, the imaging height range setting unit 224 performs imaging so that a plurality of inspection target heights are included in one depth of field among the inspection target heights of the respective inspection settings set by the inspection setting unit 251. This is a member for setting an imaging height range when a height image is taken by means 100.
このようにＣＰＵ２１０は、様々な機能を実現するための異なる手段を兼用している。ただ、一の部材で複数の手段を兼用する構成に限られず、各手段や機能を実現する部材を複数、又はそれぞれ別個に設けることも可能であることはいうまでもない。
（表示部４００）
As described above, the CPU 210 also serves as a different means for realizing various functions. However, it is needless to say that a single member is not limited to a configuration that also serves as a plurality of means, and a plurality of members that realize each means and function can be provided separately or separately.
(Display unit 400)
表示部４００は、撮像手段１００で取得された縞投影画像や、縞投影画像に基づいて高さ画像取得手段２２８で生成した高さ画像、あるいは撮像手段１００で撮像された観察画像を表示させるための部材である。表示部４００は、例えばＬＣＤパネル又は有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。さらに表示部にタッチパネルを利用することで、操作部と兼用することができる。
（ステージ１４０）
The display unit 400 displays the fringe projection image acquired by the imaging unit 100, the height image generated by the height image acquisition unit 228 based on the fringe projection image, or the observation image captured by the imaging unit 100. It is a member. The display unit 400 is configured by, for example, an LCD panel or an organic EL (electroluminescence) panel. Furthermore, by using a touch panel for the display unit, it can also be used as an operation unit.
(Stage 140)
図２において、検査対象物Ｓが載置されるステージ１４０上の平面（以下、「載置面」と呼ぶ。）内で互いに直交する２方向をＸ方向及びＹ方向と定義し、それぞれ矢印Ｘ、Ｙで示す。ステージ１４０の載置面に対して直交する方向をＺ方向と定義し、矢印Ｚで示す。Ｚ方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。 In FIG. 2, two directions orthogonal to each other in a plane (hereinafter referred to as “mounting surface”) on the stage 140 on which the inspection object S is placed are defined as an X direction and a Y direction, respectively, and arrows X , Y. A direction orthogonal to the mounting surface of the stage 140 is defined as a Z direction and is indicated by an arrow Z. A direction rotating around an axis parallel to the Z direction is defined as a θ direction, and is indicated by an arrow θ.
ステージ１４０は、Ｘ−Ｙステージ１４１、Ｚステージ１４２及びθステージ１４３を含む。Ｘ−Ｙステージ１４１は、Ｘ方向移動機構及びＹ方向移動機構を有する。Ｚステージ１４２は、Ｚ方向移動機構を有する。θステージ１４３は、θ方向回転機構を有する。Ｘ−Ｙステージ１４１、Ｚステージ１４２及びθステージ１４３により、ステージ１４０が構成される。また、ステージ１４０は、載置面に検査対象物Ｓを固定する図示しない固定部材（クランプ）をさらに含む。ステージ１４０は、載置面に平行な軸を中心に回転可能な機構を有するチルトステージをさらに含んでもよい。 The stage 140 includes an XY stage 141, a Z stage 142, and a θ stage 143. The XY stage 141 has an X direction moving mechanism and a Y direction moving mechanism. The Z stage 142 has a Z direction moving mechanism. The θ stage 143 has a θ direction rotation mechanism. The XY stage 141, the Z stage 142, and the θ stage 143 constitute a stage 140. The stage 140 further includes a fixing member (clamp) (not shown) that fixes the inspection object S to the mounting surface. The stage 140 may further include a tilt stage having a mechanism that can rotate around an axis parallel to the placement surface.
ユーザは、ステージ操作部１４４を手動で操作することにより、ステージ１４０の載置面を受光部１２０に対して相対的にＸ方向、Ｙ方向もしくはＺ方向に移動させるか、又はθ方向に回転させることができる。 The user manually operates the stage operation unit 144 to move the mounting surface of the stage 140 in the X direction, the Y direction, the Z direction, or rotate in the θ direction relative to the light receiving unit 120. be able to.
ここで図２に示すように、左右の投光部１１０の中心軸と受光部１２０の中心軸は、ステージ１４０の焦点が最も合うピント平面で互いに交差するように、受光部１２０、投光部１１０、ステージ１４０の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部１２０の中心軸と一致しているため、θ方向にステージ１４０が回転した際に、検査対象物Ｓが視野から外れることなく、回転軸を中心に視野内で回転するようになっている。また、Ｚ方向移動機構に対して、これらＸＹθ及びチルト移動機構は支持されている。すなわち、ステージをθ方向に回転させたり、チルトさせた状態であっても、受光部１２０の中心軸と、Ｚ方向の移動軸にずれが生じない構成になっている。このようなステージ機構により、検査対象物Ｓの位置や姿勢を変化させた状態であっても、Ｚ方向にステージ１４０を移動させて異なる焦点位置の画像を複数撮像して合成することが可能となる。 Here, as shown in FIG. 2, the light receiving unit 120 and the light projecting unit are arranged such that the central axis of the left and right light projecting units 110 and the center axis of the light receiving unit 120 intersect each other on the focus plane where the focus of the stage 140 is best. 110 and the relative position of the stage 140 are determined. In addition, since the center of the rotation axis in the θ direction coincides with the center axis of the light receiving unit 120, when the stage 140 rotates in the θ direction, the inspection object S does not deviate from the field of view and is centered on the rotation axis. It is designed to rotate within the field of view. Further, the XYθ and tilt moving mechanisms are supported with respect to the Z direction moving mechanism. In other words, even if the stage is rotated in the θ direction or tilted, the center axis of the light receiving unit 120 and the movement axis in the Z direction are not displaced. With such a stage mechanism, even when the position and orientation of the inspection object S are changed, it is possible to move the stage 140 in the Z direction and capture and combine a plurality of images at different focal positions. Become.
なお、本実施の形態ではステージを手動で移動させる構成について説明したが、自動でステージを移動させる駆動機構を設けることもできる。例えば、モータにより駆動可能な電動ステージを採用してもよい。変形例１として図４１に示す画像検査装置４１００（後述）では、ステージ１４０のＸ方向移動機構、Ｙ方向移動機構、Ｚ方向移動機構及びθ方向回転機構として、ステッピングモータを利用している。ステージ１４０のＸ方向移動機構、Ｙ方向移動機構、Ｚ方向移動機構及びθ方向回転機構は、図４１のステージ操作部１４４又はステージ駆動部１４５により駆動される。ステージ駆動部１４５は、制御手段２００より与えられる駆動パルスに基づいて、ステージ１４０のステッピングモータに電流を供給することにより、ステージ１４０を受光部１２０に相対的にＸ方向、Ｙ方向もしくはＺ方向に移動させるか、又はθ方向に回転させることができる。ステージ駆動部１４５を駆動する駆動パルスは、ＣＰＵ２１０により供給される。
（光源部３００）
In the present embodiment, the configuration in which the stage is manually moved has been described. However, a drive mechanism that automatically moves the stage may be provided. For example, an electric stage that can be driven by a motor may be employed. In an image inspection apparatus 4100 (described later) shown in FIG. 41 as a first modification, a stepping motor is used as the X-direction moving mechanism, Y-direction moving mechanism, Z-direction moving mechanism, and θ-direction rotating mechanism of the stage 140. The X direction moving mechanism, Y direction moving mechanism, Z direction moving mechanism, and θ direction rotating mechanism of the stage 140 are driven by the stage operation unit 144 or the stage driving unit 145 of FIG. The stage driving unit 145 supplies the current to the stepping motor of the stage 140 based on the driving pulse supplied from the control unit 200, thereby moving the stage 140 relative to the light receiving unit 120 in the X direction, Y direction, or Z direction. It can be moved or rotated in the θ direction. A driving pulse for driving the stage driving unit 145 is supplied by the CPU 210.
(Light source unit 300)
光源部３００は、制御基板３１０及び観察用照明光源３２０を含む。制御基板３１０には、図示しないＣＰＵが実装される。制御基板３１０のＣＰＵは、制御手段２００のＣＰＵ２１０からの指令に基づいて、投光部１１０、受光部１２０及び測定制御部１５０を制御する。なお、この構成は一例であり、他の構成としてもよい。例えば測定制御部１５０で投光部１１０や受光部１２０を制御したり、又は制御手段２００で投光部１１０や受光部１２０を制御することとして、制御基板を省略してもよい。あるいはこの光源部３００に、撮像手段１００を駆動するための電源回路を設けることもできる。
（観察用照明光源３２０）
The light source unit 300 includes a control board 310 and an observation illumination light source 320. A CPU (not shown) is mounted on the control board 310. The CPU of the control board 310 controls the light projecting unit 110, the light receiving unit 120, and the measurement control unit 150 based on a command from the CPU 210 of the control unit 200. This configuration is an example, and other configurations may be used. For example, the control board may be omitted by controlling the light projecting unit 110 and the light receiving unit 120 with the measurement control unit 150 or controlling the light projecting unit 110 and the light receiving unit 120 with the control means 200. Alternatively, the light source unit 300 can be provided with a power supply circuit for driving the imaging unit 100.
(Light source for observation 320)
観察用照明光源３２０は、例えば赤色光、緑色光及び青色光を出射する３色のＬＥＤを含む。各ＬＥＤから出射される光の輝度を制御することにより、観察用照明光源３２０から任意の色の光を発生することができる。観察用照明光源３２０から発生される照明光ＩＬは、導光部材（ライトガイド）を通して撮像手段１００の照明光出力部１３０から出力される。なお観察用照明光源には、ＬＥＤの他、半導体レーザ（ＬＤ）やハロゲンライト、ＨＩＤなど、他の光源を適宜利用することもできる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。 The observation illumination light source 320 includes, for example, three color LEDs that emit red light, green light, and blue light. By controlling the luminance of the light emitted from each LED, light of an arbitrary color can be generated from the observation illumination light source 320. The illumination light IL generated from the observation illumination light source 320 is output from the illumination light output unit 130 of the imaging unit 100 through a light guide member (light guide). In addition to the LED, other light sources such as a semiconductor laser (LD), a halogen light, and an HID can be appropriately used as the observation illumination light source. In particular, when an element capable of imaging in color is used as the imaging element, a white light source can be used as the observation illumination light source.
照明光出力部１３０から出力される照明光ＩＬは、赤色光、緑色光及び青色光を時分割で切り替えて検査対象物Ｓに照射する。これにより、これらのＲＧＢ光でそれぞれ撮像された観察画像を合成して、カラーの観察画像を得て、表示部４００に表示させることができる。 The illumination light IL output from the illumination light output unit 130 irradiates the inspection object S by switching red light, green light, and blue light in a time division manner. Thereby, the observation images captured with these RGB lights can be synthesized to obtain a color observation image, which can be displayed on the display unit 400.
このようにしてカラーの観察画像を表示させる際、照明光の色を切り替える切替周波数を、表示部４００で表示内容を更新する（画面を書き換える）際のフレームレートと一致させると、フレームレートが低い場合（例えば数Ｈｚ程度）は、ちらつきが顕著となる。特に、ＲＧＢの原色によるカラー切り替えが目立つと、ユーザに不快感を与えることがある。そこで、ＲＧＢの照明光を切り替える切替周波数を、ユーザが人の目で認識できない程度の高速（例えば数百Ｈｚ）とすることで、このような問題を回避できる。照明光の色の切り替えは、照明光出力部１３０等により行われる。また、高速で照明光のＲＧＢを切り替えつつも、実際に撮像手段１００で検査対象物Ｓを撮像するタイミングは、表示部４００の表示内容の更新のタイミングとする。すなわち、観察像の撮像のタイミングと照明光の切り替えのタイミングは完全に一致させる必要はなく、撮像素子によるＲＧＢの観察画像の撮像が可能な程度に、いいかえると照明光のＲＧＢの切り替え周期が撮像周期の倍数となるようにリンクさせることで対応できる。この方法であれば、照明光の切り替えのタイミングを高速化することができ、撮像素子１２１ａで処理可能なフレームレートを向上させることなく、ユーザに与える不快感を低減できる。 When the color observation image is displayed in this manner, if the switching frequency for switching the color of the illumination light is made to coincide with the frame rate when the display contents are updated (rewrite the screen), the frame rate is low. In such a case (for example, about several Hz), the flicker becomes remarkable. In particular, when color switching by RGB primary colors is conspicuous, the user may be uncomfortable. Therefore, such a problem can be avoided by setting the switching frequency for switching the RGB illumination light to a high speed (for example, several hundred Hz) that the user cannot recognize with human eyes. The color of the illumination light is switched by the illumination light output unit 130 or the like. In addition, the timing at which the imaging unit 100 actually images the inspection object S while switching RGB of illumination light at high speed is the timing at which the display content of the display unit 400 is updated. In other words, it is not necessary that the observation image capturing timing and the illumination light switching timing coincide completely. In other words, the RGB switching period of the illumination light is captured to the extent that an RGB observation image can be captured by the image sensor. This can be handled by linking so as to be a multiple of the period. With this method, the illumination light switching timing can be increased, and the discomfort given to the user can be reduced without improving the frame rate that can be processed by the image sensor 121a.
図２の照明光出力部１３０は、円環形状を有し、受光部１２０を取り囲むようにステージ１４０の上方に配置される。これにより、影が発生しないように照明光出力部１３０から検査対象物Ｓにリング状に照明光が照射される。 The illumination light output unit 130 of FIG. 2 has an annular shape and is disposed above the stage 140 so as to surround the light receiving unit 120. Accordingly, the illumination light is irradiated from the illumination light output unit 130 to the inspection object S in a ring shape so that no shadow is generated.
また照明光出力部１３０は、このようなリング照明に加えて、透過照明や同軸落射照明を加えることもできる。図２の例では、透過照明手段をステージ１４０に設けている。透過照明手段は、ステージ１４０の下方から検査対象物Ｓを照明する。このためステージ１４０は、透過照明光源と、反射板と、照明用レンズ系を設けている。 In addition to the ring illumination, the illumination light output unit 130 can also add transmitted illumination and coaxial epi-illumination. In the example of FIG. 2, the transmitted illumination means is provided on the stage 140. The transmitted illumination means illuminates the inspection object S from below the stage 140. For this reason, the stage 140 is provided with a transmission illumination light source, a reflection plate, and an illumination lens system.
なお、リング照明や透過照明は、適宜省略することも可能である。これらを省略する場合は、三次元測定用の照明すなわち投光部を用いて、二次元画像の撮像を行うこともできる。 Note that ring illumination and transmitted illumination may be omitted as appropriate. When these are omitted, it is also possible to take a two-dimensional image using illumination for three-dimensional measurement, that is, a light projecting unit.
図１の例では観察用照明光源３２０を本体ケース１０１に含めず、撮像手段１００に対して外付けとして、光源部３００に観察用照明光源３２０を配置している。このようにすることで、観察用照明光源３２０から供給される照明光の品質を向上し易くできる。例えば観察用照明光源３２０を構成するＲＧＢの各ＬＥＤでは配光特性がそれぞれ異なることから、モノクロの撮像素子１２１ａでＲＧＢの観察画像をそれぞれ撮像した際、そのままでは視野内に照明色むらが発生する。そこで、それぞれのＬＥＤの配光特性に合わせた専用光学系を個別に用意し、組み合わせることで配光特性の違いを吸収し、色むらのない均一な白色照明を作り出した上で撮像手段１００に導入することができる。 In the example of FIG. 1, the observation illumination light source 320 is not included in the main body case 101, and the observation illumination light source 320 is disposed in the light source unit 300 as an external device with respect to the imaging unit 100. By doing in this way, the quality of the illumination light supplied from the observation illumination light source 320 can be easily improved. For example, the RGB LEDs constituting the observation illumination light source 320 have different light distribution characteristics. Therefore, when RGB observation images are captured by the monochrome image sensor 121a, illumination color unevenness occurs in the field of view. . Therefore, a dedicated optical system that matches the light distribution characteristics of each LED is individually prepared and combined to absorb the difference in the light distribution characteristics and create uniform white illumination with no color unevenness. Can be introduced.
また観察用照明光源３２０の発熱が、撮像手段１００の光学系に影響を与える事態を回避できる。すなわち、光学系の部材の近傍に熱源があると、熱膨張によって寸法が狂い、測定精度の低下が生じることがあるが、発熱源である観察用照明光源を本体ケース１０１から排除したことで、このような観察用照明光源の発熱に起因する問題を回避できる。また、この結果として発熱量の大きい高出力の光源を観察用照明光源に利用できる利点も得られる。
（実施の形態２）
In addition, it is possible to avoid a situation in which the heat generated by the observation illumination light source 320 affects the optical system of the imaging unit 100. In other words, if there is a heat source in the vicinity of the optical system member, the dimensions may be distorted due to thermal expansion, and the measurement accuracy may be reduced, but by removing the observation illumination light source that is a heat source from the main body case 101, Problems due to the heat generated by the observation illumination light source can be avoided. As a result, there is also an advantage that a high-output light source having a large calorific value can be used as an illumination light source for observation.
(Embodiment 2)
ただ、発熱量の小さい観察用照明光源を利用したり、あるいは相応の放熱機構を撮像手段側に設けるなどして、撮像手段側に観察用照明光源を設けることもできる。このような例を実施の形態２として図８に示す。この図に示す撮像手段１００’は、観察用照明光源３２０’として、発熱量の少ない白色ＬＥＤを用いている。この例では複数の白色ＬＥＤ素子を、レンズ１２２の周囲にリング状に配置して環状の照明光を生成している。このような構成によって、光源部と撮像手段とを光学的に接続するための導光部材や、照明光出力部を不要とでき、構成を簡素化できる利点が得られる。
（画像検査装置操作プログラムのＧＵＩの例）
However, the observation illumination light source can be provided on the imaging means side by using an observation illumination light source with a small calorific value or by providing a corresponding heat radiation mechanism on the imaging means side. Such an example is shown in FIG. The imaging means 100 ′ shown in this figure uses a white LED with a small amount of heat generation as the observation illumination light source 320 ′. In this example, a plurality of white LED elements are arranged in a ring shape around the lens 122 to generate annular illumination light. With such a configuration, a light guide member for optically connecting the light source unit and the imaging unit and an illumination light output unit can be eliminated, and an advantage that the configuration can be simplified can be obtained.
(GUI example of image inspection device operation program)
画像検査装置は、制御手段２００であるＰＣに画像検査装置５００を操作するための操作プログラムをインストールしている。表示部４００には、画像検査装置操作プログラムを操作するためのＧＵＩ（Graphical User Interface）が表示される。このようなＧＵＩ画面の一例を図９に示す。この例においては、表示部４００において、第一測定光投光部１１０Ａから第一測定光ＭＬ１が照射された検査対象物Ｓの第一測定画像Ｓ１と、第二測定光投光部１１０Ｂから第二測定光ＭＬ２が照射された検査対象物Ｓの第二測定画像Ｓ２とが並ぶように、表示させることができる。これら第一測定画像Ｓ１や第二測定画像Ｓ２は、高さ画像取得手段２２８で高さ画像を演算、生成するためのもととなる画像であり、この時点では未だ高さ情報を有していない。この例では、表示部４００の左側に設けられた画像表示領域４１０の、右側に第一表示領域４１６を、左側に第二表示領域４１７を設けている。このような２画面表示とすることで、各測定光で得られる測定画像の様子、特に影となる領域等を対比しながら確認できる。なお、画像表示領域の分割例は、このように左右に並べる構成に限らず、上下に並べる、あるいは別画面として構成する等、任意の構成が適宜利用できる。
（観察画像を用いた画像検査）
In the image inspection apparatus, an operation program for operating the image inspection apparatus 500 is installed in a PC which is the control means 200. The display unit 400 displays a GUI (Graphical User Interface) for operating the image inspection apparatus operation program. An example of such a GUI screen is shown in FIG. In this example, in the display unit 400, the first measurement image S1 of the inspection object S irradiated with the first measurement light ML1 from the first measurement light projection unit 110A and the second measurement light projection unit 110B It can be displayed so that the second measurement image S2 of the inspection object S irradiated with the second measurement light ML2 is aligned. The first measurement image S1 and the second measurement image S2 are images used to calculate and generate the height image by the height image acquisition unit 228, and still have height information at this point. Absent. In this example, the first display area 416 is provided on the right side and the second display area 417 is provided on the left side of the image display area 410 provided on the left side of the display unit 400. By using such a two-screen display, it is possible to confirm while comparing the state of the measurement image obtained with each measurement light, particularly the shadowed area. In addition, the division example of the image display area is not limited to the configuration in which the image display areas are arranged side by side in this manner, and an arbitrary configuration such as an arrangement in the vertical direction or a separate screen can be used as appropriate.
(Image inspection using observed images)
以上の画像検査装置は、このようにして検査対象物Ｓの検査対象画像を撮像すると共に、得られた検査対象画像に対して、予め検査対象物の基準品に対して設定された部位を計測して検査を行うことができる。このような画像検査は、二次元の観察画像に対しても、また三次元の高さ画像に対しても行うことができる。 The above-described image inspection apparatus captures the inspection target image of the inspection target S in this way, and measures the part set in advance for the reference product of the inspection target with respect to the obtained inspection target image. Can be inspected. Such an image inspection can be performed on a two-dimensional observation image and also on a three-dimensional height image.
次に、観察用照明光源３２０を用いて撮像した二次元の観察画像でもって、画像検査を行う手順を、図１０のフローチャートに基づいて説明する。まず、検査設定を作成し（ステップＳ１００１）、ユーザがステージ１４０上に検査対象物Ｓを置いて、検査対象物Ｓを撮像し（ステップＳ１００２）、得られた検査対象画像に対して所定の画像検査を実行し（ステップＳ１００３）、検査結果を表示する（ステップＳ１００４）という手順となる。以下、各工程の詳細を説明する。
（検査設定の作成）
Next, a procedure for performing an image inspection with a two-dimensional observation image captured using the observation illumination light source 320 will be described based on the flowchart of FIG. First, an inspection setting is created (step S1001), the user places the inspection object S on the stage 140, images the inspection object S (step S1002), and a predetermined image is obtained with respect to the obtained inspection object image. The inspection is executed (step S1003), and the inspection result is displayed (step S1004). Hereinafter, details of each process will be described.
(Create inspection settings)
検査設定の作成に際しては、例えば図１１のイメージ図に示すように、検査対象物Ｓに対して測定したい部位を設定しておく。この設定は、例えば画像検査プログラムの検査設定画面から行う。具体的には、検査対象物Ｓを特定の姿勢（回転角度）に置いた状態で、長さや角度など、検査したい部位を指定する。ここで設定した検査対象物Ｓの画像は、検査基準画像として登録される。
（検査対象画像の取得）
In creating the inspection setting, for example, as shown in the image diagram of FIG. 11, a region to be measured is set for the inspection object S. This setting is performed, for example, from the inspection setting screen of the image inspection program. Specifically, a part to be inspected such as a length and an angle is specified in a state where the inspection object S is placed in a specific posture (rotation angle). The image of the inspection object S set here is registered as an inspection reference image.
(Acquisition of images to be inspected)
このようにして検査設定が行われた状態で、実際の運用時に際しては、ユーザがステージ１４０上に検査対象物Ｓを載置する。この際、ユーザは検査対象物の置き方を特に意識することなく、ステージ１４０上の任意の位置に、任意の姿勢で、すなわち検査対象物の回転位置（回転角度）を意識することなく、載置する。そして、画像検査装置で検査対象物Ｓを撮像し、検査対象画像を取得する。この状態では、図１２のイメージ図に示すように、検査設定画面で規定した検査基準画像の姿勢とは必ずしも一致しない。 With the inspection setting made in this way, the user places the inspection object S on the stage 140 during actual operation. At this time, the user is not particularly aware of how to place the inspection object, and is placed at an arbitrary position on the stage 140 in an arbitrary posture, that is, without being aware of the rotation position (rotation angle) of the inspection object. Put. Then, the inspection object S is imaged by the image inspection apparatus, and the inspection object image is acquired. In this state, as shown in the image diagram of FIG. 12, the posture of the inspection reference image defined on the inspection setting screen does not always match.
なお、ユーザがステージ上に検査対象物を載置するに際しては、画像検査装置を動作状態として、画像検査の処理が可能となった状態でユーザに対し、ステージ上に検査対象物を置くように促すこともできるし、あるいはユーザが先にステージ上に検査対象物を置いた状態で、画像検査装置を動作させる（例えば検査実行ボタンを押す）こともできる。さらに検査処理の実行に際しても、ユーザが検査対象物をステージ上に載せた後に、検査実行ボタンを押すことで画像検査を実行させる態様の他、画像検査装置側で、ステージ上に検査対象物が載置されたことを検出すると、自動的に画像検査を実行するように構成してもよい。
（検査の実行）
When the user places the inspection object on the stage, the image inspection apparatus is set in the operating state so that the inspection object is placed on the stage with respect to the user in a state where the image inspection process is possible. The image inspection apparatus can be operated (for example, an inspection execution button is pressed) with the inspection object placed on the stage first. Further, when executing the inspection process, in addition to an aspect in which the image inspection is executed by pressing the inspection execution button after the user places the inspection object on the stage, the image inspection apparatus side has the inspection object on the stage. An image inspection may be automatically executed when it is detected that the image has been placed.
(Execution execution)
この状態で検査を実行するには、検査対象物Ｓを撮像した検査対象画像に対して、検査基準画像の含まれる位置及び姿勢（回転角度）を探すサーチを行う。ここでは、二次元の観察画像に対してパターンマッチングを行う。すなわち、パターンマッチング手段２２１が、検査対象物Ｓを撮像した二次元画像に対してサーチウィンドウを移動させながら、検査基準画像が含まれている位置と姿勢を検出する。そして検出された検査対象画像中の位置及び姿勢で、検査設定に従い、画像検査を実行する。
（パターンマッチング手段２２１）
In order to execute the inspection in this state, a search for the position and orientation (rotation angle) included in the inspection reference image is performed on the inspection target image obtained by imaging the inspection target S. Here, pattern matching is performed on a two-dimensional observation image. That is, the pattern matching unit 221 detects the position and orientation in which the inspection reference image is included while moving the search window with respect to the two-dimensional image obtained by imaging the inspection object S. Then, the image inspection is executed according to the inspection setting at the detected position and orientation in the inspection target image.
(Pattern matching means 221)
このように、検査基準画像を検索するパターンマッチングは、三次元の画像に対して行うのでなく、二次元の観察画像に対して行うことで、三次元のパターンマッチングに要する膨大な計算量を大幅に簡略化して、迅速、軽負荷にて検査基準画像の位置合わせを行うことができる。 In this way, pattern matching that searches for inspection reference images is not performed on three-dimensional images, but is performed on two-dimensional observation images, greatly increasing the amount of computation required for three-dimensional pattern matching. The inspection reference image can be aligned quickly and with light load.
またパターンマッチング手段２２１は、観察画像の全体を用いて、検査対象物Ｓの画像をサーチするマッチングを行い、このマッチングされた位置及び姿勢に対して画像検査手段２１６が画像検査を実行するように構成してもよい。この方法であれば、観察画像の全体をサーチすることで、検査基準画像の位置合わせを確実に行うことができる。
一方でパターンマッチング手段２２１は、観察画像の全体に限らず、その一部、具体的には特徴部分を用いて、検査対象物の画像をサーチするマッチングを行い、このマッチングされた位置及び姿勢に対して検査手段で検査を実行するよう構成してもよい。この方法であれば、観察画像の全体をサーチしないで済むため、より短時間で検査基準画像のサーチを行うことができる。ここで特徴部分は、画像処理手段で検査対象画像に対して画像処理により自動で抽出することができる。
（検査結果の表示）
Further, the pattern matching unit 221 performs matching for searching the image of the inspection object S using the entire observation image, and the image inspection unit 216 performs image inspection on the matched position and orientation. It may be configured. With this method, it is possible to reliably align the inspection reference image by searching the entire observation image.
On the other hand, the pattern matching unit 221 performs matching for searching for an image of the inspection target using not only the entire observation image but also a part thereof, specifically, a characteristic part, and the matching position and posture are determined. On the other hand, the inspection unit may perform the inspection. With this method, since it is not necessary to search the entire observation image, the inspection reference image can be searched in a shorter time. Here, the characteristic portion can be automatically extracted by image processing with respect to the inspection target image by the image processing means.
(Inspection result display)
検査結果（例えば寸法や角度）は、表示部４００上に表示される。この際、図１３に示すように、検査対象画像中で検出された検査基準画像と対応する検査対象物Ｓの位置及び姿勢に重ねて、検査結果を表示させる。すなわち、図１３のように検査対象物Ｓが傾いて載置されている場合は、検査結果もこれに追従して傾いた状態で表示される。 Inspection results (for example, dimensions and angles) are displayed on the display unit 400. At this time, as shown in FIG. 13, the inspection result is displayed so as to overlap the position and orientation of the inspection object S corresponding to the inspection reference image detected in the inspection object image. That is, when the inspection object S is placed at an inclination as shown in FIG. 13, the inspection result is also displayed in an inclined state following this.
このように、二次元画像を利用して画像検査を行う場合は、パターンマッチングを用いて位置合わせを行うため、ユーザは検査対象物の置き方を特に気にすることなく、任意の位置に任意の姿勢で置いても、測定及び検査が実行できる。
（三次元画像検査）
As described above, when performing an image inspection using a two-dimensional image, since the alignment is performed using pattern matching, the user can arbitrarily set an arbitrary position without minding how to place the inspection object. Measurement and inspection can be carried out even when placed in this position.
(3D image inspection)
一方、三次元画像を利用する場合は、三次元画像の撮像自体が、置き方によって変化するという特有の問題がある。すなわち、構造化照明を用いて高さ情報を取得する場合は、構造化照明の当て方によって、高さ情報を取得できる場合とできない場合が生じる。例えば図１４に示すような観察対象物に対して、図において左側から右側に向かって照明光を照射した場合は、図１５に示すように、構造化照明が当たらなかった影部分は測定できない、すなわち高さ情報が得られないことになる。このため、構造化照明を照射する際に、照明用光源との位置関係で影ができないような置き方とする必要が生じ、これは従来の二次元画像に対する画像検査では生じなかった、三次元画像を用いた画像検査に特有の課題である。 On the other hand, when a three-dimensional image is used, there is a particular problem that the imaging of the three-dimensional image itself changes depending on how it is placed. That is, when height information is acquired using structured illumination, there are cases where height information can be acquired and cannot be acquired depending on how the structured illumination is applied. For example, when the illumination light is irradiated from the left side to the right side in the drawing as shown in FIG. 14, the shadow portion that is not irradiated with structured illumination cannot be measured as shown in FIG. That is, height information cannot be obtained. For this reason, when illuminating structured illumination, it is necessary to place it in such a way that shadows cannot be formed due to the positional relationship with the light source for illumination, and this has not occurred in the conventional image inspection for two-dimensional images. This is a problem unique to image inspection using images.
また、別の検査対象物として、図１６に示すようなクリップを用いる場合は、構造化照明を照射すると図１７のような縞投影画像が得られ、この縞投影画像に基づいて図１８に示すような高さ画像が得られる。この例では、検査対象物Ｓの方向と、縞投影画像で得られる縞の向きを直交させることで、影ができず、正確な高さ画像が得られ、測定や検査も精度良く行える。 Further, in the case where a clip as shown in FIG. 16 is used as another inspection object, a fringe projection image as shown in FIG. 17 is obtained when structured illumination is irradiated, and based on this fringe projection image, shown in FIG. Such a height image is obtained. In this example, by making the direction of the inspection object S and the direction of the fringe obtained by the fringe projection image orthogonal, no shadow is produced, an accurate height image is obtained, and measurement and inspection can be performed with high accuracy.
一方、同じ検査対象物Ｓを図１９に示すように縦置きの姿勢でステージ上に置くと、図２０に示すように、検査対象物Ｓの形状が縞投影画像の縞の方向と平行に近付くため、影が生じ、さらに多重反射の影響も生じて、図２１に示すように正確な高さ画像を得ることができない。また、検査対象物の形状によっては、縞同士の間隔が狭くなり、縞が分離できなくなってしまうことで正しく測定できないこともある。
（載置位置判定機能）
On the other hand, when the same inspection object S is placed on the stage in a vertical orientation as shown in FIG. 19, the shape of the inspection object S approaches parallel to the stripe direction of the fringe projection image as shown in FIG. For this reason, a shadow is generated, and the influence of multiple reflection is also generated, so that an accurate height image cannot be obtained as shown in FIG. In addition, depending on the shape of the inspection object, the interval between the stripes becomes narrow, and the stripes cannot be separated, so that measurement may not be performed correctly.
(Mounting position judgment function)
このように、縞投影に基づいた高さ測定を行う場合は、同じ検査対象物であっても、検査対象物のステージ上への置き方によって三次元の高さ画像の精度が変化する。このため、安定した高さ測定結果を得るためには、毎回決まった置き方をすることが求められる。いいかえると、二次元の画像検査のように、どのように置いても同じ測定、検査結果が得られるのとは状況が異なる。このような背景に鑑み、本実施例では、縞投影で安定して高さ測定、検査ができる位置に検査対象物が置かれるように、必要に応じてユーザに対策を促す載置位置判定機能を提供する。具体的には、画像検査装置は、検査対象物がユーザによってステージ上に置かれた初期位置と、検査条件として設定された載置設定位置とを比較して、この初期位置で高さ情報が取得可能かどうかを判定し、この判定結果が高さ情報取得不可能である場合には、判定結果に基づく所定の出力を行う判定出力手段２２２を備えている。これによって検査対象物の縞投影画像を撮像手段１００で正しく撮像できない状態を回避する適切な対策を講じることが可能となって、三次元画像を用いた画像検査においても、高さ情報が不正確となる状態を避けて安定した検査結果を得ることが可能となる。
（高さ画像を用いた画像検査）
As described above, when the height measurement based on the fringe projection is performed, the accuracy of the three-dimensional height image changes depending on how the inspection object is placed on the stage even for the same inspection object. For this reason, in order to obtain a stable height measurement result, it is required to have a fixed arrangement every time. In other words, the situation is different from obtaining the same measurement and inspection results no matter how they are placed, as in a two-dimensional image inspection. In view of such a background, in this embodiment, the mounting position determination function that prompts the user to take measures as necessary so that the inspection object is placed at a position where the height can be stably measured and inspected by fringe projection. I will provide a. Specifically, the image inspection apparatus compares the initial position where the inspection object is placed on the stage by the user with the placement setting position set as the inspection condition, and the height information is obtained at this initial position. Judgment output means 222 is provided for determining whether or not the information can be acquired, and when the determination result indicates that the height information cannot be acquired. This makes it possible to take appropriate measures to avoid a state in which the fringe projection image of the inspection object cannot be correctly captured by the imaging unit 100, and the height information is inaccurate even in the image inspection using the three-dimensional image. It is possible to obtain a stable inspection result by avoiding the state of
(Image inspection using height image)
次に高さ画像を用いた画像検査の手順を、図２２のフローチャートに基づいて説明する。まずステップＳ２２０１において、検査条件の設定を行う。ここでは、検査の内容に応じて三次元計測用の検査設定と二次元計測用の検査設定のいずれか、又は両方を行うことができる。また検査設定は運用に先立ち最初に一度行っておけば足りる。言い換えると、運用時にはその都度設定する必要はない。 Next, an image inspection procedure using the height image will be described based on the flowchart of FIG. First, in step S2201, an inspection condition is set. Here, either or both of the inspection setting for three-dimensional measurement and the inspection setting for two-dimensional measurement can be performed according to the content of the inspection. In addition, it is sufficient to perform the inspection setting once before the operation. In other words, there is no need to set each time during operation.
このようにして検査設定を作成した上で、実際の運用時の動作（ステップＳ２２０２〜ステップＳ２２０４）を行える。まずステップＳ２２０２において、検査対象物Ｓをステージ１４０上に載置する。ここでは、ユーザに対し、画像検査装置がガイダンスを発して、載置位置を所定の載置設定位置に置くように促す、あるいはユーザがステージ上の任意の位置に置いた後に、ステージ側を移動させて適切な載置設定位置に位置合わせする方法等が利用できる（詳細は後述）。載置位置が適切な載置設定位置とならずに正確な高さ計測ができない場合は、必要に応じて処理を中止したり、ユーザに対して載置位置を調整するように促すこともできる。 In this way, after creating the inspection settings, the actual operation (steps S2202 to S2204) can be performed. First, in step S2202, the inspection object S is placed on the stage 140. Here, the image inspection apparatus issues guidance to the user to urge the user to place the placement position at a predetermined placement setting position, or move the stage side after the user places it at an arbitrary position on the stage. Thus, a method of aligning with an appropriate placement setting position can be used (details will be described later). If the placement position is not an appropriate placement setting position and accurate height measurement is not possible, the processing can be stopped or the user can be prompted to adjust the placement position if necessary. .
このようにして検査対象物Ｓが正しい載置設定位置に置かれると、ステップＳ２２０３に進み、検査対象画像を撮像し、得られた検査対象画像に対して所定の画像検査処理を実行する。そしてステップＳ２２０４において検査結果を出力し、検査結果の確認を行う。その後、別の検査対象物Ｓに対して検査を継続する場合はステップＳ２２０２に戻り、新たな検査対象物Ｓに対して上記処理を繰り返す。
（検査設定手段２５１）
When the inspection object S is placed at the correct placement setting position in this way, the process proceeds to step S2203, the inspection object image is captured, and a predetermined image inspection process is executed on the obtained inspection object image. In step S2204, the inspection result is output and the inspection result is confirmed. Thereafter, when the inspection for another inspection object S is continued, the process returns to step S2202, and the above processing is repeated for the new inspection object S.
(Inspection setting means 251)
次に、上記の各工程の詳細について説明する。まず画像検査を行うには、予め画像検査を行うための条件（検査条件）を設定しておく必要がある。検査条件は、検査設定手段２５１を介して設定する。 Next, the detail of each said process is demonstrated. First, in order to perform image inspection, it is necessary to set conditions (inspection conditions) for performing image inspection in advance. The inspection conditions are set via the inspection setting means 251.
検査設定手段２５１は、検査設定に含まれる撮像条件として、高さ画像を生成するための縞投影画像を取得可能な、ステージ１４０上における検査対象物Ｓを載置する載置設定位置を含めて設定する。これにより、検査対象物Ｓを高さ情報を用いて検査するためにユーザがステージ１４０上に検査対象物Ｓを置く際に、正確な高さ情報が取得できない位置に置かれた場合には、判定手段２１８でもって高さ情報取得不可能である旨が出力されるので、無駄な検査を実行することを回避できる。 The inspection setting means 251 includes a placement setting position on which the inspection object S is placed on the stage 140, which can acquire a fringe projection image for generating a height image as an imaging condition included in the inspection setting. Set. Accordingly, when the user places the inspection object S on the stage 140 in order to inspect the inspection object S using the height information, when the user places the inspection object S on a position where accurate height information cannot be obtained, Since the fact that the height information cannot be obtained is output by the determination means 218, it is possible to avoid performing a useless inspection.
検査条件は、画像検査のための条件、例えば測定対象物のどの部位の何を測定するか（更に加えて、得られた測定結果の数値に対して、所定の誤差範囲内か範囲外か等の良品判定）を、検査対象物の検査基準画像に対して設定する。検査基準画像は、検査対象物の基準品を、予め二次元の観察画像、及び／又は三次元の高さ画像として撮像しておき、これらを利用する。測定は、検査基準画像上で測定部位を特定する測定エリアを指定することで行う。また、このような検査設定は、高さ情報を利用した三次元的な測定のみならず、平面的な画像に対して二次元的な測定を行うこともできる。これらの三次元的な検査設定と二次元的な検査設定は、個別に指定する。以下、三次元的な検査設定と二次元的な検査設定の手順について、説明する。
（測定エリアの設定）
The inspection conditions are conditions for image inspection, for example, what part of the measurement object is to be measured (in addition, whether it is within a predetermined error range or out of range with respect to the numerical value of the obtained measurement result, etc. Is determined with respect to the inspection reference image of the inspection object. The inspection reference image is obtained by capturing a reference product of the inspection object in advance as a two-dimensional observation image and / or a three-dimensional height image. The measurement is performed by designating a measurement area for specifying the measurement site on the inspection reference image. Moreover, such an inspection setting can perform not only three-dimensional measurement using height information but also two-dimensional measurement on a planar image. These three-dimensional inspection settings and two-dimensional inspection settings are individually specified. Hereinafter, a procedure for three-dimensional inspection setting and two-dimensional inspection setting will be described.
(Measurement area setting)
検査条件は、検査対象画像中の測定すべき箇所の設定を含む。例えば、二次元測定用の測定条件（検査設定）は、図２３のイメージ図に示すように、検査対象物Ｓのエッジに従って測定エリアを設定する。測定エリアは、測定エリア指定手段２５２によって設定される。測定エリア指定手段２５２は、画像検査手段２１６で画像検査を行う対象領域を測定エリアとして指定するための部材である。この測定エリア指定手段２５２は、観察画像に対して設定する二次元測定エリアＭＡ２と、高さ画像に対して設定する三次元測定エリアＭＡ３とを、独立して設定できる。 The inspection condition includes setting of a location to be measured in the inspection target image. For example, as the measurement condition (inspection setting) for two-dimensional measurement, the measurement area is set according to the edge of the inspection object S as shown in the image diagram of FIG. The measurement area is set by the measurement area specifying means 252. The measurement area designating unit 252 is a member for designating a target area for image inspection by the image inspection unit 216 as a measurement area. The measurement area designating means 252 can independently set a two-dimensional measurement area MA2 set for the observation image and a three-dimensional measurement area MA3 set for the height image.
図２３の例では、二次元測定エリアＭＡ２を赤色の円状で示しており、この円の直径を測定するように測定条件を設定している。このような円の直径の他、特定の部材同士の間隔や溝の幅、あるいは特定の領域の面積といった項目を、計測、演算できる。このように、二次元の平面的な画像に対して、計測及び検査の設定を行う。 In the example of FIG. 23, the two-dimensional measurement area MA2 is shown as a red circle, and the measurement conditions are set so as to measure the diameter of this circle. In addition to the diameter of the circle, items such as the interval between specific members, the width of the groove, or the area of a specific region can be measured and calculated. In this way, measurement and inspection settings are performed on a two-dimensional planar image.
なお二次元測定エリアＭＡ２の設定には、円や矩形といった既存のパターンを選択、変形して利用する他、検査対象画像に対して画像処理を行い、エッジを抽出して、該エッジを利用して線分や領域を指定することもできる。 For setting the two-dimensional measurement area MA2, in addition to selecting and modifying an existing pattern such as a circle or rectangle, image processing is performed on the inspection target image, an edge is extracted, and the edge is used. You can also specify line segments and areas.
一方、三次元計測用の測定設定は、検査対象物Ｓの面に対して三次元測定エリアＭＡ３を設定する。例えば図２４のイメージ図に示す例では、三次元測定エリアＭＡ３として右下の円状の領域と、左上の矩形状の領域を指定しており、これらの三次元測定エリアＭＡ３で指定した面同士の高低差（高さ）を測定するように測定条件を設定している。あるいは他の三次元計測用の測定条件として、図２５のイメージ図に示すように、検査対象物Ｓの二次元画像に対して断面線を引き、この断面線上に、線状の測定エリアＭＡＬを設定し、線分で示した部分同士の高低差を測定する。 On the other hand, the measurement setting for three-dimensional measurement sets a three-dimensional measurement area MA3 for the surface of the inspection object S. For example, in the example shown in the image diagram of FIG. 24, the lower right circular area and the upper left rectangular area are designated as the three-dimensional measurement area MA3, and the surfaces designated in these three-dimensional measurement areas MA3 Measurement conditions are set to measure the height difference (height). Alternatively, as another measurement condition for three-dimensional measurement, as shown in the image diagram of FIG. 25, a cross-sectional line is drawn on the two-dimensional image of the inspection object S, and a linear measurement area MAL is set on the cross-sectional line. Then, the height difference between the portions indicated by the line segments is measured.
なお、三次元測定エリアを設定する対象となる画像は、図２４、図２５に示したような、高さ画像に対して観察画像のテクスチャ情報を貼り付けた三次元の合成画像とする他、後述する図３０に示すような高さ画像、あるいは観察画像や後述する深度合成画像とすることもできる。図３０に示す高さ画像は、鳥瞰図のように高さを所定範囲に区切ると共に、各高さ範囲に異なる色を割り当てることで高さを色彩で表現している。あるいは、高さ情報を輝度変化に置き換えた濃淡画像として、高さ画像を表現することもできる。このような高さ画像では、検査対象画像の表面の模様などのテクスチャ情報を有していないものの、表面形状の高低差が濃淡となって画像上に現れているので、二次元画像に対して利用されているエッジ抽出等の画像処理を利用することで、エッジ部分、すなわち高低差を検出でき、二次元画像に対する画像処理技術を三次元の高さ画像に対する処理に利用できる利点が得られる。 The target image for setting the three-dimensional measurement area is a three-dimensional composite image in which the texture information of the observation image is pasted on the height image as shown in FIGS. A height image as shown in FIG. 30 described later, an observation image, or a depth composite image described later can also be used. In the height image shown in FIG. 30, the height is divided into predetermined ranges as shown in a bird's-eye view, and the heights are expressed by colors by assigning different colors to the respective height ranges. Alternatively, the height image can be expressed as a grayscale image in which the height information is replaced with a luminance change. Such a height image does not have texture information such as the pattern of the surface of the image to be inspected, but the height difference of the surface shape appears as a shade on the image. By using image processing such as edge extraction that is used, an edge portion, that is, a height difference can be detected, and an advantage that an image processing technique for a two-dimensional image can be used for processing for a three-dimensional height image is obtained.
また三次元的な測定は、必ずしも高さ画像に対して行うのみならず、観察画像のような平面的な画像に対して設定することもできる。特に、同一の検査基準画像（例えば観察画像）に対して、二次元的な検査設定及び三次元的な検査設定を設定することで、効率よく必要な検査設定を纏めて行うことができ、また検査設定後の設定内容の確認の一覧性にも優れる。 The three-dimensional measurement is not necessarily performed on the height image, but can be set on a planar image such as an observation image. In particular, by setting two-dimensional inspection settings and three-dimensional inspection settings for the same inspection reference image (for example, an observation image), it is possible to efficiently perform necessary inspection settings collectively. Excellent listability for checking the settings after inspection settings.
なお、上述の通り測定条件を含めた検査設定の作成に際し、三次元的な検査設定と二次元的な検査設定とで異なる測定エリアを設定可能である。これらの設定の順序については、先に三次元測定用の測定条件を設定し、その後二次元測定用の測定条件を設定することが好ましい。三次元の計測は上述の通り検査対象物の載置の仕方に制約があるため、先に三次元測定したい箇所が確実に測定できるような検査対象物の載置位置及び載置角度を規定した上で、この位置及び姿勢において二次元計測の設定を作成することで、無駄のない設定作業が行える。
（検査対象画像の撮像条件）
Note that, as described above, when creating an inspection setting including measurement conditions, different measurement areas can be set for the three-dimensional inspection setting and the two-dimensional inspection setting. Regarding the order of these settings, it is preferable to set the measurement conditions for three-dimensional measurement first, and then set the measurement conditions for two-dimensional measurement. As described above, there are restrictions on how to place an inspection object in 3D measurement, so the position and angle of the inspection object were specified so that the location where the 3D measurement is desired can be measured first. By creating a setting for two-dimensional measurement at this position and orientation, a setting operation without waste can be performed.
(Conditions for image inspection)
また検査条件には、このような画像検査のための条件の他、検査対象画像の撮像条件も含まれる。例えば、照明光の方向、照明光の明るさ、撮像手段の露光時間、またステージがＸＹθ方向やＺ方向に移動可能な場合は、ステージの位置等の撮像条件が検査設定に含まれる。さらに、検査対象物の縞投影画像を撮像手段で撮像するに際して、該縞投影画像に基づき高さ情報を取得可能な、ステージ上における検査対象物を載置する載置設定位置、及び該載置設定位置に載置される検査対象物の姿勢を規定した載置設定姿勢を含む。なお本明細書において検査対象物の「姿勢」とは、平面視における一姿勢から回転させた回転角度を意味する。例えば検査対象物の形状が点対称、すなわち回転角度によらず同じ形状である場合（例えば円柱状や円錐形状）には、載置設定姿勢の設定は不要となる。以下、載置設定位置には、検査対象物を置く位置情報に加えて、必要な場合は姿勢情報も含めるものとする。 In addition to the conditions for such an image inspection, the inspection conditions include an imaging condition for the inspection target image. For example, when the illumination light direction, the brightness of the illumination light, the exposure time of the imaging means, and the stage can be moved in the XYθ direction and the Z direction, imaging conditions such as the position of the stage are included in the inspection setting. Further, when the fringe projection image of the inspection object is picked up by the imaging means, the placement setting position for placing the inspection object on the stage capable of acquiring height information based on the fringe projection image, and the placement It includes a placement setting posture that defines the posture of the inspection object placed at the set position. In the present specification, the “posture” of the inspection object means a rotation angle rotated from one posture in plan view. For example, when the shape of the inspection object is point-symmetric, that is, the same shape regardless of the rotation angle (for example, a columnar shape or a conical shape), setting of the placement setting posture is not necessary. Hereinafter, in addition to the position information where the inspection object is placed, the placement setting position includes posture information if necessary.
なお検査条件の設定にあたり、載置設定位置の設定と、画像検査処理条件の設定は、いずれを先に行ってもよいが、好ましくは先に載置設定位置を設定した後、画像検査処理条件の設定を行う。載置設定位置に検査対象物を置いた状態で画像検査処理が実行されるため、先に画像検査処理を設定し、後で載置設定位置を設定すると、当初の画像処理条件の設定時の位置や姿勢とは異なった状態で画像検査処理が実行されることとなって、場合によっては検査結果が見辛かったり、あるいは計測位置の修正などが必要になることが考えられるからである。逆に、先に載置設定位置を決定した上で、画像検査処理条件を設定すれば、予め決められた位置で計測等の部位を指定でき、無駄なく設定を行える。 In setting the inspection conditions, either the setting of the placement setting position or the setting of the image inspection processing condition may be performed first. Preferably, after setting the mounting setting position first, the image inspection processing condition is set. Set up. Since the image inspection process is executed with the inspection target placed at the placement setting position, if the image inspection process is set first and the placement setting position is set later, the initial image processing conditions are set. This is because the image inspection process is executed in a state different from the position and orientation, and it is considered that the inspection result is difficult to see or the measurement position needs to be corrected depending on the case. On the other hand, if the placement setting position is determined first and then the image inspection processing conditions are set, a part for measurement or the like can be specified at a predetermined position, and the setting can be performed without waste.
また載置設定位置は、特定の座標位置のみならず、ある程度の範囲でもって決定することが可能となる。すなわち、高さ情報を正確に取得することが目的であり、より具体的には縞投影に際して照明光の影ができなければ足りるので、このような観点から、影ができない位置及び／又は姿勢であれば足りる。よって、載置設定位置や載置設定姿勢を、ある程度の範囲でもって規定することもできる。本明細書において「載置設定位置」という場合は、特定の一点あるいは数値のみならず、このような範囲を持った設定を含む意味で使用する。
（検査設定作成の詳細）
The placement setting position can be determined not only at a specific coordinate position but also within a certain range. In other words, the purpose is to accurately obtain height information, and more specifically, it is sufficient if the illumination light does not have a shadow during fringe projection. If there is enough. Therefore, the placement setting position and the placement setting posture can be defined within a certain range. In this specification, the “placement setting position” is used to mean not only a specific point or numerical value but also a setting having such a range.
(Details of creating inspection settings)
次に、三次元の計測を含めた検査設定の詳細な手順を、図２６のフローチャートに基づいて説明する。まずステップＳ２６０１において、画像検査の対象となる検査対象物Ｓを含む検査基準画像を取得を開始する。ここでは、検査基準画像として、予め作成された検査対象画像の３Ｄ−ＣＡＤデータ等の検査データが存在する場合は、ステップＳ２６０２−１に進み、３Ｄ−ＣＡＤデータ上で検査対象物Ｓの載置位置及び姿勢を決定した上でステップＳ２６１６にジャンプする（なお本明細書においては、３Ｄ−ＣＡＤデータのような検査データ、すなわちラスタデータでないベクタデータも、便宜上「検査基準画像」に含む意味で使用する。）。一方、このような検査データがない場合は、ステップＳ２６０２〜ステップＳ２６１３を経て検査データを作成する。まずステップＳ２６０２において、ユーザに検査対象物Ｓをステージ１４０上に載置させるように促す。 Next, the detailed procedure of the inspection setting including the three-dimensional measurement will be described based on the flowchart of FIG. First, in step S2601, acquisition of an inspection reference image including an inspection object S that is an object of image inspection is started. Here, when inspection data such as 3D-CAD data of an inspection object image created in advance exists as the inspection reference image, the process proceeds to step S2602-1 and the inspection object S is placed on the 3D-CAD data. After determining the position and orientation, the process jumps to step S2616 (in this specification, inspection data such as 3D-CAD data, that is, vector data that is not raster data is also used for the purpose of being included in the “inspection reference image” for convenience. To do.) On the other hand, if there is no such inspection data, the inspection data is created through steps S2602 to S2613. First, in step S2602, the user is prompted to place the inspection object S on the stage 140.
次いで撮像条件を設定する。具体的にはステップＳ２６０３において、二次元の観察画像の撮像条件を設定する。ここでは観察用照明光源３２０を利用した照明光出力部であるリング照明を使用しながら、検査対象物Ｓの測定したい箇所が映るように、検査対象物Ｓの位置、姿勢、ピント、明るさ等を調整する。さらにステップＳ２６０４において、三次元の高さ画像の撮像条件を設定する。具体的には、三次元測定用の照明である投光部１１０の明るさ、検査対象物Ｓの位置、姿勢等を調整する。なお、以上の例では二次元画像の撮像条件を設定した後、三次元画像の撮像条件を設定しているが、必ずしもこの順序に限られず、逆に三次元画像の撮像条件を設定した後、二次元画像の撮像条件を設定することもできる。 Next, imaging conditions are set. Specifically, in step S2603, imaging conditions for a two-dimensional observation image are set. Here, the position, posture, focus, brightness, etc. of the inspection object S are shown so that the portion to be measured of the inspection object S is reflected while using ring illumination which is an illumination light output unit using the observation illumination light source 320. Adjust. Further, in step S2604, imaging conditions for a three-dimensional height image are set. Specifically, the brightness of the light projecting unit 110, which is illumination for three-dimensional measurement, the position, posture, and the like of the inspection object S are adjusted. In the above example, after setting the imaging conditions for the two-dimensional image, the imaging conditions for the three-dimensional image are set, but not necessarily in this order, and conversely, after setting the imaging conditions for the three-dimensional image, An imaging condition for a two-dimensional image can also be set.
次に、必要に応じて検査対象領域（ＲＯＩ）を指定する。具体的にはステップＳ２６０５において、ＲＯＩの設定が必要な場合は、ステップＳ２６０６に進み、ＲＯＩの設定を行う。またＲＯＩの設定が不要な場合は、ステップＳ２６０６を経ることなくステップＳ２６７に進む。なおＲＯＩの必要性を判定する工程は、例えば検査対象画像の全体を検査対象とする場合や、画像処理を用いて自動でＲＯＩを設定する場合などは、これらステップＳ２６０５〜ステップＳ２６０６を省略してもよい。 Next, a region to be inspected (ROI) is designated as necessary. Specifically, if ROI setting is necessary in step S2605, the process proceeds to step S2606, where ROI setting is performed. If setting of the ROI is unnecessary, the process proceeds to step S267 without passing through step S2606. Note that the step of determining the necessity of ROI omits these steps S2605 to S2606, for example, when the entire image to be inspected is to be inspected or when the ROI is automatically set using image processing. Also good.
次にステップＳ２６０７において、高さを測定したい箇所の明るさの調整が適切か否かを判定し、適切な場合はステップＳ２６０８に進み、適切でない場合はステップＳ２６０４に戻って三次元画像の撮像条件の設定を再度調整する。 Next, in step S2607, it is determined whether or not the brightness adjustment of the portion whose height is to be measured is appropriate. If appropriate, the process proceeds to step S2608, and if not appropriate, the process returns to step S2604 and the three-dimensional image capturing condition is determined. Adjust the setting again.
さらにステップＳ２６０８において、三次元計測を実行する（詳細は後述）。さらに必要に応じてステップＳ２６０９において二次元の観察画像を撮像して、二次元の計測も行う（詳細は後述）。この工程は、高さ計測のみの場合は省略できる。また、三次元計測に先立ち、先に二次元計測を実行してもよい。 In step S2608, three-dimensional measurement is executed (details will be described later). Further, if necessary, a two-dimensional observation image is captured in step S2609 to perform two-dimensional measurement (details will be described later). This step can be omitted when only height measurement is performed. Prior to the three-dimensional measurement, the two-dimensional measurement may be executed first.
そしてステップＳ２６１０において、計測結果を出力する。例えば、高さ画像や観察画像を表示部４００に表示させると共に、計測結果をこれらの画像に重ねて表示させる。 In step S2610, the measurement result is output. For example, the height image and the observation image are displayed on the display unit 400, and the measurement result is displayed so as to be superimposed on these images.
さらにステップＳ２６１１において、目的の箇所が正しく測定できたか否かを判定し、否の場合はステップＳ２６０３に戻って上記の工程を繰り返す。正しく測定できた場合はステップＳ２６１２に進み、検査結果を一時ファイルに保存し、さらにステップＳ２６１３において検査したい箇所のすべてについて検査設定が済んだか否かを判定し、未だの場合は、ステップＳ２６１４で再設定を行い、さらにステップＳ２６１５で再設定を反映させてステップＳ２６０３に戻り、必要な検査設定を順次行う。ステップＳ２６１４では、例えば検査したい箇所が被写界深度内に収まっていない場合は、ステップＳ２６１５においてＺステージを移動させる。また、検査したい箇所が影になっている場合は、ステップＳ２６１５においてθステージを移動させる。さらに検査したい箇所がＸ−Ｙ平面内の視野に収まっていない場合は、ステップＳ２６１５においてＸ−Ｙステージを移動させる。 Further, in step S2611, it is determined whether or not the target location has been correctly measured. If not, the process returns to step S2603 and the above steps are repeated. If the measurement can be performed correctly, the process proceeds to step S2612, where the inspection result is stored in a temporary file. Further, in step S2613, it is determined whether or not the inspection setting has been completed for all the locations to be inspected. In step S2615, the resetting is reflected and the process returns to step S2603 to sequentially perform necessary inspection settings. In step S2614, for example, if the location to be inspected is not within the depth of field, the Z stage is moved in step S2615. If the location to be inspected is shaded, the θ stage is moved in step S2615. Further, if the location to be inspected is not within the field of view in the XY plane, the XY stage is moved in step S2615.
以上のようにして、検査したい箇所のすべてについて検査設定が終了すると、ステップＳ２６１６に進み、該検査設定に従って三次元検査設定を作成する（詳細は後述）。例えば、二次元画像、高さ画像、三次元データのいずれか又は複数に対して、検査すべき箇所として測定エリアを登録する。 As described above, when the inspection setting is completed for all the portions to be inspected, the process proceeds to step S2616, and a three-dimensional inspection setting is created according to the inspection setting (details will be described later). For example, a measurement area is registered as a location to be inspected for any one or a plurality of two-dimensional images, height images, and three-dimensional data.
以上のようにして、ステップＳ２６０１〜ステップＳ２６１６を得て三次元計測用の検査設定が終了すると、必要に応じてステップＳ２６１７に進み、二次元計測用の検査設定を行う。例えば、二次元の観察画像に対して測定エリアを登録する（詳細は後述）。また二次元の検査が不要な場合は、ステップＳ２６１７を省略できる。 As described above, when Steps S2601 to S2616 are obtained and the inspection setting for three-dimensional measurement is completed, the process proceeds to Step S2617 as necessary to perform inspection setting for two-dimensional measurement. For example, a measurement area is registered for a two-dimensional observation image (details will be described later). If two-dimensional inspection is not necessary, step S2617 can be omitted.
なお以上の例では、上述の通り、先に三次元計測設定を行った後に、二次元計測設定を行う手順について説明したが、逆に二次元計測設定を行った後に三次元計測設定を行うことも可能である。ただしこの場合は、高さ画像の計測ができない姿勢で二次元計測設定を行わないように留意する必要がある。 In the above example, as described above, the procedure for performing the two-dimensional measurement setting after performing the three-dimensional measurement setting has been described, but conversely, the two-dimensional measurement setting is performed and then the three-dimensional measurement setting is performed. Is also possible. However, in this case, it is necessary to take care not to perform the two-dimensional measurement setting in a posture where the height image cannot be measured.
上述したステップＳ２６０８の三次元計測に際しては、検査対象物Ｓの測定したい部分の高低差が、レンズの被写界深度の範囲内であれば撮像が可能である。一方、図２７Ａに示すように、測定したい部分の高低差が三次元計測の被写界深度ＤＯＦを超える場合は、ピントが合って見える範囲が測定したい範囲よりも狭いため、そのままでは高さ情報を完全に取得することができない。そこで、Ｚステージを移動させて、レンズの被写界深度を超えた高低差の検査対象物Ｓを計測する。具体的には、計測したい範囲内にある検査対象物Ｓの高さが最も高い部分の高さをａ、最も低い部分をｂとすると、まず図２７Ｂに示すように、ａの高さでピントを合わせるようにレンズ系とステージの相対距離を調整（例えばステージ１４０又はカメラ１２１を移動）させて三次元計測を行い、高さ情報を取得する。次に図２７Ｃに示すように、ａとｂの中間にピントを合わせるように相対距離を変化させて同じく高さ情報を取得する。さらに図２７Ｄに示すように、ｂの高さでピントを合わせるように相対距離を変化させ、高さ情報を取得する。このようにして得られた高さ情報を合成することにより、被写界深度を超えた計測範囲についても、高さ計測が可能となる。これによって、検査対象物Ｓの測定したい部分の高低差が被写界深度よりも広い範囲であっても、正しく高さ情報を得ることが可能となる。
（深度合成画像ＦＩ）
In the above-described three-dimensional measurement in step S2608, imaging can be performed if the height difference of the portion to be measured on the inspection object S is within the range of the depth of field of the lens. On the other hand, as shown in FIG. 27A, when the height difference of the portion to be measured exceeds the depth of field DOF of the three-dimensional measurement, the range that is in focus is narrower than the range that is desired to be measured. Can't get completely. Therefore, the Z stage is moved to measure the inspection object S having a height difference exceeding the depth of field of the lens. Specifically, assuming that the height of the highest part of the inspection object S within the range to be measured is a and the lowest part is b, first, as shown in FIG. The relative distance between the lens system and the stage is adjusted so as to match (for example, the stage 140 or the camera 121 is moved), three-dimensional measurement is performed, and height information is acquired. Next, as shown in FIG. 27C, the height information is acquired by changing the relative distance so that the focus is in the middle of a and b. Further, as shown in FIG. 27D, the relative distance is changed so as to focus at the height of b, and height information is acquired. By combining the height information obtained in this way, height measurement can be performed even in a measurement range exceeding the depth of field. This makes it possible to correctly obtain height information even if the height difference of the portion to be measured on the inspection object S is in a range wider than the depth of field.
(Depth composite image FI)
また、この際に各高さ位置において観察画像も併せて撮像しておき、ピントの合った部位を抽出して合成することで、深度合成画像を合成することもできる。このような深度合成画像の例を、図２８に示す。またこの深度合成画像ＦＩを用いて、上述したステップＳ２６０９の二次元計測の検査設定を作成することもできる。 At this time, it is also possible to synthesize the depth composite image by capturing the observation image at each height position and extracting and synthesizing the focused part. An example of such a depth composite image is shown in FIG. In addition, using the depth composite image FI, it is possible to create the inspection setting for the two-dimensional measurement in step S2609 described above.
なおこの場合は、基準高さからの位置を知るために、リニアスケールなどの物差しが必要となる。また三次元測定の検査設定には、基準高さからの位置も併せて記録される。 In this case, a ruler such as a linear scale is required to know the position from the reference height. Further, the position from the reference height is also recorded in the inspection setting for the three-dimensional measurement.
また上述したステップＳ２６１６の三次元検査設定に際しては、二次元の画像（観察画像）に対して設定することもできるし、又は三次元の画像（高さ画像）に対して設定してもよい。観察画像に対して三次元検査設定を行う例を、図２９のイメージ図に基づいて説明する。この図において、左側の画像表示領域１１１には、検査対象画像として二次元の観察画像を表示している。また右側の操作領域には、測定エリアを指定するためのツール群が配置されている。この例では、画像表示領域１１１の左上の基板上に矩形状の三次元測定エリアＭＡ３１を指定し、一方画像表示領域１１１の右下の部材上に円形状の三次元測定エリアＭＡ３２を指定し、両者の高低差を計測するよう設定した例を示している。 In the above-described three-dimensional inspection setting in step S2616, it can be set for a two-dimensional image (observation image) or can be set for a three-dimensional image (height image). An example of performing the three-dimensional inspection setting on the observation image will be described based on the image diagram of FIG. In this figure, a two-dimensional observation image is displayed as an inspection target image in the left image display area 111. A tool group for designating a measurement area is arranged in the operation area on the right side. In this example, a rectangular three-dimensional measurement area MA31 is designated on the upper left substrate of the image display area 111, while a circular three-dimensional measurement area MA32 is designated on the lower right member of the image display area 111, An example is shown in which the height difference between the two is set to be measured.
また、ここで二次元の画像には、図２９に示した観察画像の他、高さ画像の高さを色で表現することで、高さ情報を平面的に表示させた高さ画像ＤＩとすることもできる。このような高さ画像ＤＩの例を図３０に示す。 In addition to the observation image shown in FIG. 29, the two-dimensional image includes a height image DI in which height information is displayed in a plane by expressing the height of the height image in color. You can also An example of such a height image DI is shown in FIG.
さらに測定エリアの指定には、このように領域を指定する他、上述の通り線状の測定エリアＭＡＬとして指定することもできる。例えば図３１のイメージ図に示す例では、観察画像上に線状の測定エリアＭＡＬを設定している。さらに図３２のイメージ図に示すように、画像表示領域において、線状の測定エリアＭＡＬに沿った検査対象画像の断面形状を示すプロファイル画像ＰＩを表示させ、このプロファイル画像ＰＩでもって検査内容を検査設定として設定することもできる。また、このような線状の測定エリアＭＡＬ上で、どの部分を計測するかを指定することもできる。
（高さ画像）
In addition to specifying the area in this way, the measurement area can be specified as the linear measurement area MAL as described above. For example, in the example shown in the image diagram of FIG. 31, a linear measurement area MAL is set on the observation image. Further, as shown in the image diagram of FIG. 32, a profile image PI indicating the cross-sectional shape of the inspection target image along the linear measurement area MAL is displayed in the image display area, and the inspection contents are inspected and set by the profile image PI. Can also be set. It is also possible to specify which part is to be measured on such a linear measurement area MAL.
(Height image)
さらに、以上のような二次元の画像に代えて、三次元の高さ画像を用いて検査条件を設定してもよい。例えば図３３のイメージ図に示すように、高さ画像を合成した三次元の合成画像ＴＩを画像表示領域１１１に表示させて、検査条件を立体的に指定することもできる。この場合は、ＲＯＩや線分を用いて測定する領域を指定する。 Furthermore, instead of the two-dimensional image as described above, an inspection condition may be set using a three-dimensional height image. For example, as shown in the image diagram of FIG. 33, a three-dimensional synthesized image TI obtained by synthesizing a height image can be displayed in the image display area 111 to specify inspection conditions three-dimensionally. In this case, an area to be measured is specified using ROI or a line segment.
なお三次元計測で設定可能な計測項目の例としては、平均段差、面交角、球と球との間の距離、球と平面との間の距離、円筒状の直径等が挙げられる。また、三次元計測の検査設定に含まれるパラメータとしては、三次元計測の有効／無効（三次元計測を無効に設定した場合は、二次元計測のみを行う。）、三次元計測条件の構造化照明の位置、構造化照明の明るさ、露光時間、測定モード、ステージの位置等が挙げられる。さらに検査設定としては、測定要素の位置（ＸＹ座標、大きさ、Ｚ位置等）、検査方法、公差等が挙げられる。
（二次元計測の検査設定）
Examples of measurement items that can be set in the three-dimensional measurement include an average step, a plane intersection angle, a distance between spheres, a distance between spheres and a plane, a cylindrical diameter, and the like. The parameters included in the inspection settings for 3D measurement include 3D measurement enabled / disabled (only 3D measurement is performed when 3D measurement is disabled), and 3D measurement conditions are structured. Illumination position, brightness of structured illumination, exposure time, measurement mode, stage position, and the like. Further, the inspection settings include the position of the measurement element (XY coordinates, size, Z position, etc.), inspection method, tolerance, and the like.
(Inspection settings for 2D measurement)
次に上述したステップＳ２６１７の二次元検査設定に際して、二次元計測の検査設定に含まれる設定パラメータとしては、二次元計測の有効／無効（二次元計測を無効に設定した場合は、三次元計測のみを行う。）が挙げられる。またまた二次元画像撮影条件としては、使用する照明の種類、照明の明るさ、露光時間、深度合成設定、ステージ位置等が挙げられる。さらに検査設定項目としては、検査位置、検査項目、公差等が挙げられる。ここで、上述した画像検査プログラムの操作領域に配置される、計測設定や検査設定を行うための計測ツールとしては、図３４Ａのイメージ図に示すような距離測定や角度測定等の計測ツール５８０Ａ、図３４Ｂのイメージ図に示すような点、線、円等の補助線の設定ツール５８０Ｂ、あるいは図３４Ｃのイメージ図に示すような形状公差、姿勢交差、位置交差などの設定ツール５８０Ｃ等が利用できる。 Next, in the above-described two-dimensional inspection setting in step S2617, the setting parameters included in the two-dimensional measurement inspection setting are valid / invalid of two-dimensional measurement (if two-dimensional measurement is set to invalid, only three-dimensional measurement is set. Is performed). The two-dimensional image shooting conditions include the type of illumination used, the brightness of the illumination, the exposure time, the depth composition setting, the stage position, and the like. Further, the inspection setting item includes an inspection position, an inspection item, tolerance, and the like. Here, as a measurement tool for performing measurement setting and inspection setting arranged in the operation area of the image inspection program described above, a measurement tool 580A such as distance measurement and angle measurement as shown in the image diagram of FIG. 34A, FIG. A setting tool 580B for auxiliary lines such as points, lines, and circles as shown in the image diagram of 34B, or a setting tool 580C for shape tolerance, posture intersection, position intersection, etc. as shown in the image diagram of FIG. 34C can be used.
このような計測ツールを用いて、検査条件の設定を行う。そして画像検査の設定が終了すると、画像検査の運用時においては、検査設定で設定された条件に従い、画像検査を実行する。具体的には、判定出力手段２２２が、検査対象物Ｓがステージ１４０上に置かれた初期位置と、検査条件として設定された載置設定位置とを比較して、この初期位置で高さ情報が取得可能かどうかを判定し、その判定結果が高さ情報取得不可能である場合には、該判定結果に基づく所定の出力を行う。この際、検査設定で設定された載置設定位置に検査対象物Ｓを載置させるように誘導する誘導機能を備えることができる。
（誘導機能）
Using such a measurement tool, the inspection conditions are set. When the image inspection setting is completed, the image inspection is executed according to the conditions set in the inspection setting during the operation of the image inspection. Specifically, the determination output means 222 compares the initial position where the inspection object S is placed on the stage 140 with the placement setting position set as the inspection condition, and the height information at this initial position. Can be acquired. If the determination result indicates that the height information cannot be acquired, a predetermined output based on the determination result is performed. At this time, it is possible to provide a guidance function for guiding the inspection object S to be placed at the placement setting position set in the inspection setting.
(Guidance function)
次に、判定出力手段２２２の具体例として、誘導手段２１４について説明する。誘導手段２１４は、縞投影で安定して高さ測定、検査ができる位置に検査対象物Ｓが置かれるように、ユーザを誘導するための手段である。誘導手段２１４は、例えば検査対象物Ｓがユーザによってステージ１４０上に置かれた初期位置が、載置設定位置と異なる場合に、ユーザに対し、載置設定値に置き直すように指示を与える。具体的には、表示部４００上に現在のステージ１４０の様子を撮像した観察画像を表示させ、ここに表示された検査対象物Ｓに対して、望ましい位置、すなわち載置設定位置を枠状に、観察画像に重ねて表示させる。さらに必要に応じて「枠状に重なる位置にワークを移動させて下さい」等のメッセージを表示部４００に表示させる。あるいは画像検査装置がスピーカを備える場合は、同様のメッセージを音声ガイダンスで再生してもよい。また、枠状に表示させる構成に代えて、又はこれに加えて、矢印で検査対象物を動かすべき方向を表示部上に表示させてもよい。このようにして、視覚的にユーザは正しい載置位置に検査対象物を移動させることが容易に行える。 Next, a guidance unit 214 will be described as a specific example of the determination output unit 222. The guiding means 214 is a means for guiding the user so that the inspection object S is placed at a position where the height can be stably measured and inspected by the fringe projection. For example, when the initial position where the inspection object S is placed on the stage 140 by the user is different from the placement setting position, the guiding unit 214 gives an instruction to the user to reset the placement setting value. Specifically, an observation image obtained by imaging the state of the current stage 140 is displayed on the display unit 400, and a desired position, that is, a placement setting position, is displayed in a frame shape with respect to the inspection object S displayed here. , It is displayed on the observation image. Further, if necessary, a message such as “Please move the workpiece to a position overlapping the frame” is displayed on the display unit 400. Alternatively, when the image inspection apparatus includes a speaker, the same message may be reproduced by voice guidance. Further, instead of or in addition to the configuration of displaying in a frame shape, the direction in which the inspection object should be moved may be displayed on the display unit with an arrow. In this way, the user can easily move the inspection object visually to the correct placement position.
また、ユーザがステージ１４０上に載置した初期位置が載置設定位置である場合は、このような誘導を省略することもできる。例えば判定手段２１８が、ユーザによる初期位置と載置設定位置を比較し、初期位置で高さ情報が取得できる場合は誘導機能をキャンセルし、一方載置位置の調整が必要と判定した場合は、誘導機能を実行するように誘導手段２１４を作動させる。 Further, when the initial position placed on the stage 140 by the user is the placement setting position, such guidance can be omitted. For example, the determination unit 218 compares the initial position by the user with the placement setting position, cancels the guidance function when the height information can be acquired at the initial position, and determines that the placement position needs to be adjusted. Actuating means 214 is activated to perform the guiding function.
あるいは誘導手段２１４を、ガイド枠表示手段として機能させてもよい。この場合はガイド枠表示手段が、載置範囲をステージ１４０上に、枠状のガイド枠として表示させる。例えば、ステージ１４０上の載置設定位置に検査対象物Ｓを置くためのガイド枠を表示させる。ガイド枠としては、十字パターンやグリッド等が利用できる（なお、この意味でガイド枠は、必ずしも閉じた枠状に限定するものでなく、位置合わせの基準となる任意の表示パターンが利用できる）。これにより、ユーザはガイド枠に従って検査対象物の載置位置や載置姿勢を視覚的に把握することが可能となる。このようなガイド枠表示手段には、投光部１１０を利用できる。また検査対象物の姿勢が問題となる場合は、検査対象物の形状に沿ったガイド枠を表示させることで、ユーザはガイド枠と一致する姿勢に検査対象物を置くことができ、さらに確実な誘導が可能となる。 Alternatively, the guiding unit 214 may function as a guide frame display unit. In this case, the guide frame display means displays the placement range on the stage 140 as a frame-shaped guide frame. For example, a guide frame for placing the inspection object S at the placement setting position on the stage 140 is displayed. As the guide frame, a cross pattern, a grid, or the like can be used (in this sense, the guide frame is not necessarily limited to a closed frame shape, and an arbitrary display pattern serving as a reference for alignment can be used). Thereby, the user can visually grasp the placement position and placement posture of the inspection object according to the guide frame. The light projecting unit 110 can be used for such guide frame display means. If the posture of the inspection object becomes a problem, the guide frame can be displayed along the shape of the inspection object so that the user can place the inspection object in a posture that matches the guide frame. Guidance is possible.
加えて、ガイド枠表示手段と位置演算手段２１７を組み合わせて、検査対象物Ｓの載置位置に応じてガイド枠を変化させることもできる。例えばガイド枠表示手段がガイド枠を赤色で表示させ、この枠内に検査対象物Ｓを置くように促すと共に、検査対象物Ｓが載置範囲内に配置されたことを位置演算手段２１７で検出すると、ガイド枠の表示色を青色に変更する。これによって、ユーザはガイド枠の色でもって現在の載置位置や載置姿勢が正しいかどうかを判別でき、より便利に使用できる。
（誘導手段２１４の具体例）
In addition, the guide frame display means and the position calculation means 217 can be combined to change the guide frame according to the placement position of the inspection object S. For example, the guide frame display means displays the guide frame in red, prompts the user to place the inspection object S in the frame, and detects that the inspection object S is placed in the placement range by the position calculation means 217. Then, the display color of the guide frame is changed to blue. Thus, the user can determine whether or not the current placement position and placement posture are correct based on the color of the guide frame, which can be used more conveniently.
(Specific example of guiding means 214)
ここで、誘導手段２１４が誘導を実行する手順の一例を図３５〜図４０のイメージ図に基づいて説明する。ここでは、まずユーザが検査したい検査対象物Ｓをステージ１４０上に置くよう促す。この際に、検査設定を行った際と同じ位置に検査対象物Ｓを置いてもらう必要がある。そこで、ユーザが位置調整し易いように、検査対象画像を参考のため表示させる。まず図３５の例では、検査設定時の二次元の観察画像を、検査基準画像ＲＩとして予め保存しておき、誘導時には画像表示領域を二分割して、一方に検査設定時の観察画像を表示させ、他方には検査対象画像のライブ映像ＬＩを並べて表示させている。これにより、ユーザは基準画像を参照しながら、同じ姿勢となるように検査対象物Ｓの位置を調整することができる。特に、現在のステージ１４０上の検査対象物Ｓの位置を、リアルタイムに更新するライブ映像ＬＩでもって確認することで、位置合わせ作業を効果的に行える。 Here, an example of a procedure in which the guiding unit 214 performs the guidance will be described based on the image diagrams of FIGS. Here, first, the user is prompted to place the inspection object S to be inspected on the stage 140. At this time, it is necessary to have the inspection object S placed at the same position as the inspection setting. Therefore, the inspection target image is displayed for reference so that the user can easily adjust the position. First, in the example of FIG. 35, a two-dimensional observation image at the time of inspection setting is stored in advance as an inspection reference image RI, the image display area is divided into two at the time of guidance, and an observation image at the time of inspection setting is displayed on one side. On the other hand, the live video LI of the inspection target image is displayed side by side. Thereby, the user can adjust the position of the inspection object S so as to have the same posture while referring to the reference image. In particular, by checking the current position of the inspection object S on the stage 140 with a live video LI that is updated in real time, the alignment operation can be effectively performed.
ここで基準画像は、観察画像に限らず、三次元の高さ画像や合成画像を利用することもできる。一方図３６の例では、画像表示領域に検査設定時の合成画像ＴＩとライブ映像ＬＩとを並べて表示させている。この構成でも同様に、ユーザは基準画像である三次元の画像を参照しながら、検査対象物Ｓの位置をライブ映像ＬＩで調整できる。 Here, the reference image is not limited to the observation image, and a three-dimensional height image or a composite image can also be used. On the other hand, in the example of FIG. 36, the composite image TI and the live video LI at the time of examination setting are displayed side by side in the image display area. In this configuration as well, the user can adjust the position of the inspection object S with the live video LI while referring to the three-dimensional image that is the reference image.
あるいは、画像表示領域に検査設定の二次元画像とライブ映像ＬＩを重ねて表示させることもできる。例えば図３７Ａに示す検査基準画像ＲＩに、図３７Ｂに示すライブ映像ＬＩを重ねて、図３８に示すように両者が一致するようにユーザが表示部４００を見ながら検査対象物Ｓの位置を調整する。あるいは、図３７Ａの基準画像と、図３７Ｂのライブ映像ＬＩとを切り替えて表示させ、大体の位置が合ったところで、重ね合わせ画像を表示し、位置を微調整するように構成してもよい。これにより、当初から重ね合わせて表示させるよりも、調整作業をスムーズに行える利点が得られる。
（投影画像）
Alternatively, the inspection setting two-dimensional image and the live video LI can be displayed in an overlapping manner in the image display area. For example, the live image LI shown in FIG. 37B is superimposed on the inspection reference image RI shown in FIG. 37A, and the user adjusts the position of the inspection object S while looking at the display unit 400 so that they match as shown in FIG. To do. Alternatively, the reference image of FIG. 37A and the live video LI of FIG. 37B may be switched and displayed, and when the approximate position is matched, a superimposed image may be displayed and the position may be finely adjusted. Accordingly, an advantage that the adjustment operation can be smoothly performed is obtained rather than the overlapping display from the beginning.
(Projected image)
さらに他の実施形態として、ステージ１４０上の載置設定位置に検査対象物Ｓを置いた状態の画像をステージ１４０上に投影させることもできる。すなわち、図３９に示すように、検査基準画像ＲＩを、投影投光系の照明を使って、ステージ１４０上の検査対象物Ｓ上に直接投影することで、ユーザは検査対象物Ｓが基準画像中の載置設定位置と重なるように、位置を調整できる。特に投光部１１０としてＤＭＤを用いた場合は、プロジェクタとして画像の投影に利用することが可能であるので、投影用の部材を別途用意することなく、画像の投影が可能となる。
（ガイド枠表示手段）
As yet another embodiment, an image with the inspection object S placed at the placement setting position on the stage 140 can be projected onto the stage 140. That is, as shown in FIG. 39, by directly projecting the inspection reference image RI onto the inspection target S on the stage 140 using the illumination of the projection light projection system, the user can inspect the inspection target S with the reference image. The position can be adjusted so as to overlap with the placement setting position inside. In particular, when a DMD is used as the light projecting unit 110, it can be used as a projector for projecting an image, so that it is possible to project an image without separately preparing a projection member.
(Guide frame display means)
あるいはまた、図４０に示すように、表示部４００に検査対象画像を表示させつつ、基準となる部位の載置設定位置を示す枠状のガイド枠ＧＤを表示させて、基準となる部位がガイド枠ＧＤ内に収まるように、ユーザは検査対象物Ｓ又はステージ１４０の位置を調整する。ガイド枠ＧＤは、ガイド枠表示手段で生成して表示させる。この場合は、予め検査基準画像ＲＩの内、位置合わせの基準となる基準部位ＲＡを検査設定手段２５１等で設定しておき、検査対象物Ｓを載置設定位置に置いた際に、基準部位ＲＡがステージ１４０上のどの位置（基準部位設定位置）に配置されるかを演算しておく、あるいは基準部位ＲＡのステージ１４０上の位置（基準部位設定位置）を直接ユーザが指定しておく。この基準部位設定位置を、ガイド枠ＧＤとして、表示部４００上で検査対象画像に重ねて表示させることで、ユーザはガイド枠ＧＤに基準部位ＲＡが沿うように、検査対象物Ｓ又はステージ１４０の位置を手動で調整できる。なお、ガイド枠ＧＤは表示部４００上に仮想的に表示させる構成の他、投光部や専用の部材でもって、ステージ１４０上の基準部位設定位置にパターンとして直接描画させることもできる。
（電動式ステージ）
Alternatively, as shown in FIG. 40, a frame-shaped guide frame GD indicating the placement setting position of the reference portion is displayed while the inspection target image is displayed on the display unit 400, and the reference portion is guided. The user adjusts the position of the inspection object S or the stage 140 so as to be within the frame GD. The guide frame GD is generated and displayed by the guide frame display means. In this case, of the inspection reference image RI, a reference portion RA that is a reference for alignment is set in advance by the inspection setting means 251 and the reference portion when the inspection object S is placed at the placement setting position. It is calculated in which position (reference part setting position) the RA is arranged on the stage 140, or the position of the reference part RA on the stage 140 (reference part setting position) is directly designated by the user. By displaying the reference part setting position as a guide frame GD on the display unit 400 so as to overlap the inspection target image, the user can move the inspection object S or the stage 140 so that the reference part RA is along the guide frame GD. The position can be adjusted manually. The guide frame GD can be drawn directly as a pattern at the reference site setting position on the stage 140 by a light projecting unit or a dedicated member, in addition to a configuration in which the guide frame GD is virtually displayed on the display unit 400.
(Electric stage)
以上の例では、ユーザが正しい載置設定位置に検査対象物Ｓを置くように誘導することを主眼とした構成について説明した。この方法では、基本的にユーザ側で載置位置を調整する必要がある。一方、画像検査装置側で載置位置を調整するように構成することもできる。例えばステージを電動式として、ユーザによる初期の載置位置によらず、正しい載置位置に無い場合は、自動的にステージを移動させることで、検査を実行可能とできる。このような画像検査装置は、上述した変形例１に係る図４１のように、検査対象物Ｓの画像を撮影し、検査設定の二次元画像とのズレを制御手段２００で認識して、ステージ１４０の平面方向の位置（ＸＹ座標及びθ）を自動で調整する。
（位置検出手段１４６）
In the above example, the configuration that focuses on guiding the user to place the inspection object S at the correct placement setting position has been described. In this method, it is basically necessary to adjust the mounting position on the user side. On the other hand, the mounting position can be adjusted on the image inspection apparatus side. For example, when the stage is motorized and the user is not at the correct placement position regardless of the initial placement position by the user, the stage can be automatically moved to perform inspection. Such an image inspection apparatus captures an image of the inspection object S as shown in FIG. 41 according to Modification 1 described above, recognizes a deviation from the two-dimensional image of the inspection setting by the control means 200, and performs a stage. The position (XY coordinates and θ) in the plane direction of 140 is automatically adjusted.
(Position detection means 146)
また、ステージ１４０上の検査対象物Ｓの位置を検出する位置検出手段１４６を備えて、ユーザが載置した検査対象物の載置位置の適否を判定することもできる。このような例を変形例２に係る画像検査装置４２００として図４２に示す。ここでは位置検出手段１４６で検出された載置位置が、検査設定手段２５１で設定された載置設定位置であることを判定すると、その旨を出力する。例えば、初期位置が載置設定位置である場合は、「ＯＫ」等のメッセージを表示部に表示させたり、ランプで青色を点灯させる等の方法で、ユーザに対して載置位置が正しいことを告知する。一方、位置検出手段１４６で検出された初期位置が、載置設定位置から外れていると判定された場合は、「ＮＧ」、「ＦＡＩＬ」等のエラーメッセージを表示部に表示させたり、赤ランプ等のインジケータを点灯させたり、ブザーで警報を鳴らすなど、ユーザに対して載置位置が正確でないことを告知すると共に、必要に応じて正確な載置位置となるように調整を促すことができる。この場合は、上述した誘導手段２１４やガイド枠表示手段等を組み合わせることができる。また、このような位置検出手段１４６には、近接スイッチやセンサ等が利用できる。
（位置演算手段２１７）
Moreover, the position detection means 146 for detecting the position of the inspection object S on the stage 140 can be provided to determine whether the placement position of the inspection object placed by the user is appropriate. Such an example is shown in FIG. 42 as an image inspection apparatus 4200 according to Modification 2. Here, when it is determined that the placement position detected by the position detection means 146 is the placement setting position set by the inspection setting means 251, that effect is output. For example, when the initial position is the placement setting position, a message such as “OK” is displayed on the display unit, or a blue light is turned on with a lamp, etc. to confirm that the placement position is correct for the user. Notice. On the other hand, when it is determined that the initial position detected by the position detection unit 146 is out of the placement setting position, an error message such as “NG” or “FAIL” is displayed on the display unit, or the red lamp It is possible to notify the user that the placement position is not accurate, such as turning on an indicator such as a buzzer and sounding an alarm with a buzzer, and to prompt the user to adjust the placement position to be accurate if necessary. . In this case, the above-described guiding means 214, guide frame display means, and the like can be combined. Moreover, a proximity switch, a sensor, etc. can be utilized for such a position detection means 146.
(Position calculation means 217)
また、検査対象物Ｓを撮像手段１００で正しく撮像可能なステージ上の載置範囲を演算するための位置演算手段２１７を備えることもできる。位置演算手段２１７の機能は、例えば制御手段で実現される。ユーザがステージに検査対象物Ｓを置く際、ステージに備えた位置検出手段１４６によって現在の載置位置を検出し、載置位置が、位置演算手段２１７で演算された載置範囲に含まれていない場合は、ユーザに対して警告手段２１５でもって警告を表示させる。警告手段２１５が行う警告の態様としては、例えば表示部４００上に「検査できません。置き直して下さい」等の警告メッセージを表示させたり、音声で警告メッセージを読み上げたり、警告音を発したり、赤色の点滅など、光のパターンでユーザに対して警告を発することができる。また、逆に現在の載置位置が、位置演算手段２１７で演算された載置範囲に含まれている場合は、何もしない他、警告手段２１５で「正しい位置です」と表示させる等のメッセージを表示させたり、音声案内を行うことで、ユーザは載置位置が正しいことを視覚的、聴覚的に確認できる。
（画像検査の実行）
Further, it is possible to provide a position calculating means 217 for calculating a placement range on the stage where the imaging object 100 can correctly image the inspection object S. The function of the position calculation means 217 is realized by a control means, for example. When the user places the inspection object S on the stage, the current placement position is detected by the position detection means 146 provided on the stage, and the placement position is included in the placement range calculated by the position calculation means 217. If not, a warning is displayed by the warning means 215 to the user. Examples of warnings performed by the warning means 215 include displaying a warning message such as “Cannot inspect. Please reposition” on the display unit 400, reading out the warning message by voice, generating a warning sound, red A warning can be issued to the user with a light pattern such as blinking. On the other hand, if the current placement position is included in the placement range calculated by the position calculation means 217, nothing is done, and a warning means 215 displays a message such as “correct position”. By displaying or providing voice guidance, the user can visually and audibly confirm that the placement position is correct.
(Perform image inspection)
以上のようにして、ステージ上に検査対象物Ｓを、検査設定時の載置設定位置に載置することが実現されると、上述した図２２のステップＳ２２０３の、画像検査処理の実行が可能となる。この画像検査装置は、三次元計測のみならず二次元計測が可能であるため、検査実行時には、画像検査手段２１６が二次元計測、三次元計測の検査設定の内容をそれぞれ確認する。いずれかの画像検査が有効になっていない場合は、その測定は行わないことで、無駄な検査処理を省いて処理時間の短縮化を図る。例えば二次元計測が無効の場合は、二次元の観察画像の撮影は行わない。また三次元計測が無効の場合は、縞投影での三次元計測は行わない。
（検査結果の出力）
As described above, when the inspection object S is placed on the stage at the placement setting position at the time of inspection setting, the image inspection processing in step S2203 of FIG. 22 described above can be performed. It becomes. Since this image inspection apparatus can perform not only three-dimensional measurement but also two-dimensional measurement, the image inspection means 216 confirms the contents of inspection settings for two-dimensional measurement and three-dimensional measurement, respectively, when performing inspection. If any of the image inspections is not effective, the measurement is not performed, so that unnecessary inspection processing is omitted and the processing time is shortened. For example, when the two-dimensional measurement is invalid, the two-dimensional observation image is not taken. When 3D measurement is disabled, 3D measurement by fringe projection is not performed.
(Output of inspection results)
このようにして画像検査が実行されると、検査結果が出力される。検査結果の出力としては、例えば図４３に示すように、検査結果をリストとして表示部４００に表示させる。または検査結果データを出力する。 When the image inspection is executed in this way, the inspection result is output. As an output of the inspection result, for example, as shown in FIG. 43, the inspection result is displayed on the display unit 400 as a list. Alternatively, test result data is output.
あるいは、表示部４００に表示された画像上に検査結果を重畳表示させることもできる。例えば図４４に示すように、二次元の観察画像上に寸法を表示させる。あるいは図４５に示すように、三次元の合成画像上に、測定した部位と測定結果とを表示させる。また、寸法や角度などの測定結果と共に、これを所定の基準値と比較した判定結果（例えばＯＫ／ＮＧの別）を表示させることもできる。このように、画像上に計測した部位や判定結果を重畳表示させることで、ユーザはどの部位の測定結果を示しているのかを視覚的に把握できる。また、色分けして表示させることもできる。例えば判定結果がＮＧの場合は赤色、ＯＫの場合は青色などと色分けすることで、さらにユーザは色でもって感覚的に判定結果を認識できる。 Alternatively, the inspection result can be superimposed and displayed on the image displayed on the display unit 400. For example, as shown in FIG. 44, dimensions are displayed on a two-dimensional observation image. Alternatively, as shown in FIG. 45, the measured part and the measurement result are displayed on the three-dimensional composite image. Further, together with measurement results such as dimensions and angles, a determination result (for example, OK / NG) that is compared with a predetermined reference value can be displayed. In this way, by displaying the measured part and the determination result on the image in a superimposed manner, the user can visually grasp which part of the measurement result is shown. It can also be displayed in different colors. For example, when the determination result is NG, the user can recognize the determination result sensuously with the color by color classification such as red, and when the determination result is OK, blue.
さらに、検査対象物に高さの異なる複数の面がある場合のように、検査対象物の検査したい高さ（検査対象高さ）が複数ある場合の画像検査について検討する。例えば、図４６に示すように、基準位置に対して検査対象高さＺａの検査対象物ａ上に、基準位置からの検査対象高さＺｂの検査対象物ｂと、同じく基準位置からの検査対象高さＺｃの検査対象物ｃを載置する例を考える。この場合、通常であれば３つの異なる検査対象高さＺａ、Ｚｂ、Ｚｃの位置でそれぞれ撮像を行うべく、撮像条件を含む検査設定を３つ作成し、次いで各検査設定に基づいて撮像を３回行って、画像検査（計測）を行うこととなる。この手順を図４７のフローチャートに従って説明すると、まずステップＳ４７０１において、検査設定の読み出しを行う。次にステップＳ４７０２において、検査対象高さＺａに合焦位置を移動させる。そしてステップＳ４７０３において、二次元の観察画像を撮像し、さらに三次元計測を行う。 Furthermore, an image inspection in the case where there are a plurality of heights (inspection object heights) to be inspected as in the case where the inspection object has a plurality of surfaces having different heights will be considered. For example, as shown in FIG. 46, on the inspection object a having the inspection object height Za with respect to the reference position, the inspection object b having the inspection object height Zb from the reference position, and also the inspection object from the reference position. Consider an example in which an inspection object c having a height Zc is placed. In this case, normally, three inspection settings including imaging conditions are created in order to perform imaging at three different inspection object heights Za, Zb, and Zc, and then 3 imaging is performed based on each inspection setting. Repeatedly, image inspection (measurement) is performed. This procedure will be described with reference to the flowchart of FIG. 47. First, in step S4701, the inspection setting is read. Next, in step S4702, the focus position is moved to the inspection target height Za. In step S4703, a two-dimensional observation image is captured, and further three-dimensional measurement is performed.
このようにして検査対象高さＺａでの撮像と画像検査が終了すると、次に検査対象高さＺｂでの撮像、画像検査を行う。具体的にはステップＳ４７０４において、検査対象高さＺｂに移動させ、合焦位置を再設定した後、ステップＳ４７０５において、二次元の観察画像を撮像し、さらに三次元計測を行う。さらに検査対象高さＺｃでの撮像等を行う。具体的にはステップＳ４７０６において検査対象高さＺｃに移動させ、ステップＳ４７０７において二次元の観察画像を撮像し、さらに三次元計測を行う。 When the imaging at the inspection target height Za and the image inspection are thus completed, the imaging and the image inspection at the inspection target height Zb are performed next. Specifically, after moving to the inspection object height Zb in step S4704 and resetting the focus position, in step S4705, a two-dimensional observation image is captured, and further three-dimensional measurement is performed. Further, imaging at the inspection target height Zc is performed. Specifically, it is moved to the inspection object height Zc in step S4706, a two-dimensional observation image is captured in step S4707, and three-dimensional measurement is further performed.
さらに必要に応じて、検査対象高さＺａ、Ｚｂ、Ｚｃで撮像した観察画像中から、焦点の合った画素を抽出して深度合成画像を合成することもでき（ステップＳ４７０８）、さらに検査対象物の高さ情報に基づいて三次元画像を合成することもできる（ステップＳ４７０９）。そしてパターンマッチングを実行し（ステップＳ４７１０）、二次元及び三次元検査用の測定エリアの領域割当をそれぞれ行った後（ステップＳ４７１１）、エッジ抽出と高さ情報の抽出を行い（ステップＳ４７１２）、検査結果を出力させる（ステップＳ４７１３）。ここでは表示部４００に検査結果を表示させる。 Furthermore, if necessary, it is also possible to extract a focused pixel from the observation images captured at the inspection object heights Za, Zb, and Zc to synthesize a depth composite image (step S4708). A three-dimensional image can be synthesized based on the height information (step S4709). Then, pattern matching is executed (step S4710), the area allocation of the measurement area for two-dimensional and three-dimensional inspection is performed (step S4711), edge extraction and height information extraction are performed (step S4712), and inspection is performed. The result is output (step S4713). Here, the inspection result is displayed on the display unit 400.
この方法では、検査対象高さが増えるほど、撮像回数が増えることとなり、処理時間も長くなる。そこで、検査設定手段２５１でそれぞれの高さ毎に検査設定を行う一方、高さ計測や高さ画像の撮像は、各高さ毎に行うのみならず、これらを纏めて計測及び／又は撮像することで、効率よく処理できる。 In this method, as the inspection object height increases, the number of imaging increases, and the processing time also increases. Therefore, while the inspection setting unit 251 performs inspection setting for each height, the height measurement and the imaging of the height image are not only performed for each height, but these are collectively measured and / or imaged. Therefore, it can process efficiently.
このため検査設定手段２５１は、検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段１００で撮像するための撮像条件として、検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定する。
（撮像高さ範囲設定手段２２４）
For this reason, the inspection setting means 251 uses the inspection object height to be inspected of the inspection object as the depth of field as an imaging condition for each of the heights of the inspection object to be captured by the imaging means 100. Inspection settings for generating the included height image are set for each inspection object height.
(Imaging height range setting means 224)
さらに、検査設定手段２５１で設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、撮像手段１００で高さ画像を撮像する際の撮像高さ範囲を設定可能な撮像高さ範囲設定手段２２４を備える。これにより、検査設定毎に高さ画像を撮像するのでなく、複数の検査設定を纏めて一の高さ画像に含めることが可能となり、撮像に要するタクトタイムを短縮できる利点が得られる。 Further, the imaging unit 100 captures a height image so that a plurality of inspection target heights are included in one depth of field among the inspection target heights set by the inspection setting unit 251. An imaging height range setting unit 224 that can set an imaging height range at the time is provided. Accordingly, a height image is not captured for each inspection setting, but a plurality of inspection settings can be collectively included in one height image, and an advantage that a tact time required for imaging can be shortened can be obtained.
例えば図４６の例において、｜Ｚｂ−Ｚａ｜＜（被写界深度）で、かつ｜Ｚｃ−Ｚａ｜＞（被写界深度）である場合は、検査対象物ａの検査対象高さＺａと検査対象物ｂの検査対象高さＺｂとは１回で測定可能である。一方、検査対象物ｃの検査対象高さＺｃについては、これらと同時に測定することはできない。このため撮像高さ範囲設定手段２２４で、検査対象高さＺａと検査対象高さＺｂに関する計測及び撮像を纏めて行うことにより、検査対象物ａと検査対象物ｂの画像検査は纏めて行うことができる。 For example, in the example of FIG. 46, when | Zb−Za | <(depth of field) and | Zc−Za |> (depth of field), the inspection object height Za of the inspection object a The inspection object height Zb of the inspection object b can be measured at one time. On the other hand, the inspection object height Zc of the inspection object c cannot be measured at the same time. For this reason, the imaging height range setting means 224 collectively performs measurement and imaging related to the inspection object height Za and the inspection object height Zb, thereby performing image inspection of the inspection object a and the inspection object b collectively. Can do.
具体的には撮像高さ範囲設定手段２２４は、例えば検査対象高さＺａとＺｂを一の被写界深度内に含めるように撮像高さ範囲を設定する際、被写界深度の中心である合焦位置（ピントの位置）を（Ｚａ−Ｚｂ）／２に設定する。これにより、検査対象高さＺａとＺｂのそれぞれに対してほぼ等しい精度にて高さ計測を行うことが可能となる。また、検査対象高さＺｃについては、通常通りＺｃを合焦位置として撮像することで、３回の撮像を２回に纏めることが可能となる。このように、高低差のある検査対象高さを画像検査する場合は、一番高い位置にある検査対象高さと、一番低い検査対象高さの、中心にピント位置を合わせることで、全体的に精度よく測定ができる。 Specifically, the imaging height range setting means 224 is the center of the depth of field when setting the imaging height range so as to include, for example, the inspection object heights Za and Zb within one depth of field. The in-focus position (focus position) is set to (Za-Zb) / 2. Thereby, it becomes possible to measure the height with substantially equal accuracy for each of the inspection object heights Za and Zb. In addition, with respect to the inspection target height Zc, it is possible to combine three imaging operations twice by imaging Zc as a focus position as usual. In this way, when performing an image inspection on an inspection target height with a height difference, the overall focus position is adjusted by aligning the focus position at the center of the highest inspection target height and the lowest inspection target height. Can be measured accurately.
一方で、縞投影での高さ測定はピント位置が最も高さ精度が高く、ピントが外れていくに連れて高さ精度が低くなるという特性がある。例えばＺａとＺｂの高度差｜Ｚｂ−Ｚａ｜が、被写界深度の幅と近付くほど、高さ測定の精度が低下することとなる。そこで、画像検査に要求される精度や要処理時間のバランスを考慮して、ＺａとＺｂの高度差が一定以上ある場合は、一回の撮像が可能な場合（すなわち｜Ｚｂ−Ｚａ｜＜（被写界深度））であっても、敢えて二回に分けて撮像することで、高さ計測の精度を向上させることが考えられる。このような判断は、撮像高さ範囲モード選択手段２２５によって行う。
（撮像高さ範囲モード選択手段２２５）
On the other hand, height measurement by fringe projection has a characteristic that the focus position has the highest height accuracy, and the height accuracy becomes lower as the focus is removed. For example, as the altitude difference | Zb−Za | between Za and Zb approaches the width of the depth of field, the accuracy of height measurement decreases. Therefore, in consideration of the accuracy required for image inspection and the balance of required processing time, if the altitude difference between Za and Zb is greater than or equal to a certain level, a single image can be captured (that is, | Zb−Za | <( Even in the case of the depth of field)), it is conceivable to improve the accuracy of the height measurement by taking the image twice. Such a determination is made by the imaging height range mode selection means 225.
(Imaging height range mode selection means 225)
撮像高さ範囲モード選択手段２２５は、撮像高さ範囲設定手段２２４で複数の検査対象高さを一の被写界深度内に含めるように撮像高さ範囲を設定する際、より多くの検査対象高さを同一の被写界深度内に含めることで撮像に要する時間を短縮する速度優先モードと、被写界深度の中心である合焦位置の近傍に検査対象高さを設定することで、高さ測定の精度を高める精度優先モードとを選択可能としている。これにより、高さ測定の精度を優先するか、速度を優先するか、検査用途や目的などに応じて適宜使い分けることが可能となり、より柔軟な画像検査が実現できる。例えば、同一の被写界深度に含めたい検査対象高さ同士の差が、被写界深度とほぼ同じ程度に離れているような場合には、一の被写界深度に纏めるよりも、敢えて個別の被写界深度に分けて撮像した方が、精度よく高さ測定を行える。このように、要求される精度や速度に応じた柔軟な撮像高さ範囲に設定することで、使い勝手のよい画像検査が実現される。
（変形例）
When the imaging height range mode selection unit 225 sets the imaging height range so that a plurality of inspection target heights are included in one depth of field by the imaging height range setting unit 224, more inspection targets are set. By including the height within the same depth of field, speed priority mode that shortens the time required for imaging, and by setting the inspection object height near the in-focus position that is the center of the depth of field, An accuracy priority mode that increases the accuracy of height measurement can be selected. As a result, it is possible to properly use the height measurement accuracy or speed as appropriate, depending on the inspection application and purpose, and more flexible image inspection can be realized. For example, if the difference between the inspection object heights that you want to include in the same depth of field is approximately the same as the depth of field, then dare rather than summing up to a single depth of field. It is possible to measure the height with higher accuracy when the image is divided into individual depths of field. In this way, by setting a flexible imaging height range according to the required accuracy and speed, a user-friendly image inspection is realized.
(Modification)
さらに以上の例では、複数の検査設定で各々設定された検査対象高さを、一の被写界深度内に含めることができる場合に、これらを纏めて計測又は撮像する方法について説明した。一方で、複数の検査対象高さを、一の被写界深度に含めることができない場合は、各検査対象高さ毎に、カメラやステージを移動させて高さ計測や観察画像の撮像を行う必要がある。この場合でも、各検査対象高さに対応させて異なる撮像高さ範囲を、複数の検査設定として各々設定しておくと共に、検査実行時にはこれら複数の検査設定を順次実行させることで、被写界深度を超えた高低差を有する検査対象物であってもスムーズに高さ計測を行える利点が得られる。このような変形例においては、例えば撮像高さ範囲設定手段２２４が、検査設定手段２５１で設定された複数の検査対象高さが、一の被写界深度内に含まれているかどうかをまず判定し、含まれている場合は上述した通り、複数の検査対象高さを一の被写界深度に含めるように、撮像高さ範囲を設定する。 Furthermore, in the above example, when the inspection object height set by each of the plurality of inspection settings can be included in one depth of field, the method of collectively measuring or imaging these has been described. On the other hand, if multiple inspection object heights cannot be included in one depth of field, the camera or stage is moved for each inspection object height to measure the height or capture an observation image. There is a need. Even in this case, a different imaging height range corresponding to each inspection object height is set as a plurality of inspection settings, and at the time of inspection execution, the plurality of inspection settings are sequentially executed, so that the object field Even if the inspection object has a height difference exceeding the depth, there is an advantage that the height can be measured smoothly. In such a modification, for example, the imaging height range setting unit 224 first determines whether or not a plurality of inspection target heights set by the inspection setting unit 251 are included in one depth of field. If it is included, as described above, the imaging height range is set so that a plurality of inspection object heights are included in one depth of field.
一方で、複数の検査対象高さを一の被写界深度内に含めることができないと判定された場合は、各検査対象高さに対応させて異なる撮像高さ範囲を設定した複数の検査設定を、撮像高さ範囲設定手段２２４で生成すると共に、検査実行時にはこれら複数の検査設定を順次読み込んで実行させる。このように、検査設定毎に検査対象高さを関連付けて記憶しておくことで、検査実行ボタンを押下すると、自動的に各検査設定が読み込まれて、検査設定で設定された検査対象高さでの高さ計測等を実行し、終了後は撮像高さ範囲を順次切り替えながら同様の処理を繰り返すことで、指定された検査対象高さ毎に撮像や高さ計測を実行できる。また画像検査手段は、各検査設定に従って撮像高さを変化させながら、複数の検査設定を順次実行することができる。これによって、ユーザは撮像高さ範囲毎に、検査設定を読み込んで、検査実行ボタンを押下して高さ計測を行い、終了後には一旦異なる撮像高さ範囲に切り替えた上で、再度検査実行ボタンを押下するという作業を繰り返し行うことなく、本来であれば纏めて高さ計測することができない、高さが被写界深度を超えるような高低差のある検査対象物に対しても、一括して高さ計測を実行させることができ、繁雑な作業から開放されて利便性が高められる。
（実施の形態３）
On the other hand, if it is determined that multiple inspection object heights cannot be included in one depth of field, multiple inspection settings that set different imaging height ranges corresponding to each inspection object height Is generated by the imaging height range setting means 224, and these inspection settings are sequentially read and executed when the inspection is executed. In this way, by storing the inspection object height in association with each inspection setting, when the inspection execution button is pressed, each inspection setting is automatically read and the inspection object height set in the inspection setting is read. After the measurement is completed, the same processing is repeated while sequentially switching the imaging height range, whereby imaging and height measurement can be executed for each designated inspection target height. The image inspection unit can sequentially execute a plurality of inspection settings while changing the imaging height according to each inspection setting. As a result, the user reads the inspection setting for each imaging height range, presses the inspection execution button to measure the height, and after completion, switches to a different imaging height range and then again executes the inspection execution button. Repeatedly, it is not possible to measure the height collectively without repeating the operation of pressing, even for inspection objects with height differences that exceed the depth of field. Therefore, height measurement can be executed, and it is freed from complicated work and convenience is improved.
(Embodiment 3)
一方で、上述した誘導は、必ずしも毎回行う必要はなく、必要に応じて実行させるようにしてもよい。例えば、始めは誘導を行わずに、ステージ上に置かれた載置位置の初期位置に対して、誘導が必要かどうかを判定し、必要があれば誘導することもできる。このような誘導の有無の判定を行う手順を実施の形態３として、以下図４８のフローチャートに基づいて説明する。 On the other hand, the above-described guidance does not necessarily need to be performed every time, and may be performed as necessary. For example, it is possible to determine whether or not guidance is necessary with respect to the initial position of the placement position placed on the stage without performing guidance at first, and to guide if necessary. The procedure for determining the presence / absence of such guidance will be described below as a third embodiment based on the flowchart of FIG.
まず、ステップＳ４８０１において、検査対象物をステージ上に載置する初期位置については、誘導を行わずにユーザに任せる。次にステップＳ４８０２において、二次元の観察画像を撮影し（任意）、さらにステップＳ４８０３において、三次元測定用の縞投影を行い、影となる部分や、投光の光量が飽和する部分を検知する。 First, in step S4801, the initial position where the inspection object is placed on the stage is left to the user without guidance. In step S4802, a two-dimensional observation image is taken (optional), and in step S4803, fringe projection for three-dimensional measurement is performed to detect a shadow portion or a portion where the amount of light emitted is saturated. .
そしてステップＳ４８０４において、測定されたデータを、検査設定と比較し、三次元測定の検査対象領域が箇所が影や飽和で測定不能になっていないかどうかを判定する。測定可能な場合は続けてステップＳ４８０５において、高さ測定と検査を行う。一方で測定不可能な場合は、ステップＳ４８０６において、測定できる位置に置かれるように誘導する。そしてステップＳ４８０３に戻って再度三次元測定を行う手順を繰り返す。このようにして、一旦三次元画像を生成した上で載置位置の再設定が必要かどうかを判定することにより、検査の度に毎回誘導を行う手間を省くことができ、特にユーザの初期位置がある程度正確な場合は効率よく画像検査を行える一方、万一初期位置が載置設定位置から外れても、誘導によってやり直すことで検査の正確性を担保できる。
（実施の形態４）
In step S4804, the measured data is compared with the inspection setting, and it is determined whether or not the region to be inspected in the three-dimensional measurement is unmeasurable due to a shadow or saturation. If the measurement is possible, the height measurement and inspection are performed in step S4805. On the other hand, if the measurement is impossible, in step S4806, it is guided to be placed at a position where it can be measured. Then, the procedure returns to step S4803 and repeats the procedure for performing the three-dimensional measurement again. In this way, once the three-dimensional image is generated and it is determined whether or not the placement position needs to be reset, it is possible to save the trouble of performing the guidance every time the inspection is performed. However, if the position is accurate to some extent, the image inspection can be performed efficiently. On the other hand, even if the initial position deviates from the placement setting position, the accuracy of the inspection can be secured by performing the guidance again.
(Embodiment 4)
さらに別の方法として、ユーザが検査対象物を置いた初期位置において三次元の検査までを一旦実行した上で、その結果に基づいて載置位置の調整が必要な場合には誘導を行って、載置位置の調整からやり直すこともできる。以下、このような手順を実施の形態４として、図４９のフローチャートに基づき説明する。まずステップＳ４９０１においては、実施の形態３と同様、検査対象物をステージ上に載置する初期位置については、ユーザに対して誘導を行わず、ユーザに任せる。次にステップＳ４９０２において、二次元の観察画像を撮影する（任意）。次にステップＳ４９０３において、三次元測定を実行する。 As yet another method, after the user has once performed up to three-dimensional inspection at the initial position where the inspection object is placed, guidance is performed when adjustment of the mounting position is necessary based on the result, It is also possible to start over from the adjustment of the mounting position. Such a procedure will be described below as a fourth embodiment with reference to the flowchart of FIG. First, in step S4901, as in the third embodiment, the initial position for placing the inspection object on the stage is left to the user without guiding the user. Next, in step S4902, a two-dimensional observation image is taken (optional). Next, in step S4903, three-dimensional measurement is executed.
そしてステップＳ４９０４において、測定したい部位の測定結果が正しく得られているか否かを判定する。測定できていた場合は、ステップＳ４９０５に進み、測定結果に基づく画像検査を行う。一方、測定できていない場合はステップＳ４９０６に進み、測定できる位置に置かれるように誘導した上でステップＳ４９０３に戻って以上の手順を繰り返す。 In step S4904, it is determined whether or not the measurement result of the part to be measured is correctly obtained. If it has been measured, the process advances to step S4905 to perform image inspection based on the measurement result. On the other hand, if it is not possible to measure, the process proceeds to step S4906, and after guiding to be placed at a position where it can be measured, the process returns to step S4903 and the above procedure is repeated.
このようにして、検査対象物が置かれた状態のままで計測が可能であれば誘導機能を実行することなく検査を実行できるので、処理を簡素化できる。また所定の精度での計測ができない場合には、誘導機能を実行させることで、計測ができなくなる事態を回避できる。 In this way, if the measurement can be performed with the inspection object placed, the inspection can be performed without executing the guidance function, thereby simplifying the processing. In addition, when measurement with a predetermined accuracy cannot be performed, a situation in which measurement cannot be performed can be avoided by executing a guidance function.
本発明の画像検査装置及び画像撮像方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体は、検査対象物の高さを三角測距の原理を利用して測定する測定装置やデジタイザ、あるいはこれらの検査結果に基づいて、良品か不良品かを判定する検査装置として好適に利用できる。 An image inspection apparatus, an image capturing method, an image inspection program, and a computer-readable recording medium according to the present invention include a measuring apparatus and a digitizer that measure the height of an inspection object using the principle of triangulation, or the like. The present invention can be suitably used as an inspection apparatus that determines whether a product is non-defective or defective based on the inspection result.
１００、１００’…撮像手段
１０１…本体ケース
１１０…投光部；１１０Ａ…第一測定光投光部；１１０Ｂ…第二測定光投光部
１１１…測定光源；１１１Ａ…第一測定光源；１１１Ｂ…第二測定光源
１１２…パターン生成部
１１２Ａ…第一パターン生成部；１１２Ｂ…第二パターン生成部
１１３〜１１５、１１３Ａ〜１１５Ａ、１１３Ｂ〜１１５Ｂ、１２２、１２３…レンズ
１２０…受光部
１２１…カメラ
１２１ａ…撮像素子
１３０…照明光出力部
１４０…ステージ
１４１…Ｘ−Ｙステージ
１４２…Ｚステージ
１４３…θステージ
１４４…ステージ操作部
１４５…ステージ駆動部
１４６…位置検出手段
１５０…測定制御部
２００…制御手段
２１０…ＣＰＵ
２１１…測定画像合成手段
２１３…三次元画像合成手段
２１４…誘導手段
２１５…警告手段
２１６…画像検査手段
２１７…位置演算手段
２１８…判定手段
２２０…ＲＯＭ
２２１…パターンマッチング手段
２２２…判定出力手段
２２４…撮像高さ範囲設定手段
２２５…撮像高さ範囲モード選択手段
２２８…高さ画像取得手段
２３０…作業用メモリ
２４０…記憶装置
２５０…操作部
２５１…検査設定手段
２５２…測定エリア指定手段
３００…光源部
３１０…制御基板
３２０、３２０’…観察用照明光源
４００…表示部
４１０…画像表示領域
４１６…第一表示領域
４１７…第二表示領域
４２０…操作領域
４２１…「３Ｄスキャン」タブ
４２４…「１ｓｈｏｔ−３Ｄ」ボタン
４２５…「エキスパート」ボタン
４２７…「観察画像」ボタン
４２８…「測定画像」ボタン
４３０…「測定」ボタン
５００、４１００、４２００…画像検査装置
５７０…「連結モード」選択欄
５８０Ａ、５８０Ｂ、５８０Ｃ…計測ツール
Ｓ、ａ、ｂ、ｃ…検査対象物
ＤＭＤ…デジタルマイクロミラーデバイス
ＭＭ…マイクロミラー
ＭＬ…測定光；ＭＬ１…第一測定光；ＭＬ２…第二測定光
ＩＬ…照明光
Ｓ１…第一測定画像
Ｓ２…第二測定画像
ＦＩ…深度合成画像
ＴＩ…三次元の合成画像
ＬＩ…ライブ映像
ＲＩ…検査基準画像
ＲＡ…基準部位
ＭＡ２…二次元測定エリア
ＭＡ３、ＭＡ３１、ＭＡ３２…三次元測定エリア
ＭＡＬ…線状の測定エリア
ＤＯＦ…被写界深度
ＤＩ…高さ画像
ＰＩ…プロファイル画像
ＧＤ…ガイド枠
DESCRIPTION OF SYMBOLS 100, 100 '... Imaging means 101 ... Main body case 110 ... Projection part; 110A ... First measurement light projection part; 110B ... Second measurement light projection part 111 ... Measurement light source; 111A ... First measurement light source; Second measurement light source 112 ... pattern generation unit 112A ... first pattern generation unit; 112B ... second pattern generation units 113-115, 113A-115A, 113B-115B, 122, 123 ... lens 120 ... light receiving unit 121 ... camera 121a ... Image sensor 130 ... Illumination light output part 140 ... Stage 141 ... XY stage 142 ... Z stage 143 ... θ stage 144 ... Stage operation part 145 ... Stage drive part 146 ... Position detection means 150 ... Measurement control part 200 ... Control means 210 ... CPU
211 ... Measured image synthesis means 213 ... 3D image synthesis means 214 ... Guiding means 215 ... Warning means 216 ... Image inspection means 217 ... Position calculation means 218 ... Determination means 220 ... ROM
221 ... Pattern matching means 222 ... Determination output means 224 ... Imaging height range setting means 225 ... Imaging height range mode selection means 228 ... Height image acquisition means 230 ... Work memory 240 ... Storage device 250 ... Operation unit 251 ... Inspection Setting means 252 ... Measurement area designating means 300 ... Light source unit 310 ... Control board 320, 320 '... Light source for observation 400 ... Display unit 410 ... Image display region 416 ... First display region 417 ... Second display region 420 ... Operation region 421 ... "3D scan" tab 424 ... "1shot-3D" button 425 ... "expert" button 427 ... "observation image" button 428 ... "measurement image" button 430 ... "measurement" button 500, 4100, 4200 ... image inspection apparatus 570 ... "Connection mode" selection field 580A, 580B, 580C ... Measurement tools S, a, b C ... inspection object DMD ... digital micromirror device MM ... micromirror ML ... measurement light; ML1 ... first measurement light; ML2 ... second measurement light IL ... illumination light S1 ... first measurement image S2 ... second measurement image FI ... Depth composite image TI ... Three-dimensional composite image LI ... Live image RI ... Inspection reference image RA ... Reference part MA2 ... Two-dimensional measurement area MA3, MA31, MA32 ... Three-dimensional measurement area MAL ... Linear measurement area DOF ... Depth of field DI ... Height image PI ... Profile image GD ... Guide frame
Claims (15)
検査対象物を載置するためのステージと、
検査対象物に対して斜め方向から測定光を投光して構造化照明を行うための測定光投光手段と、
前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像するための撮像手段と、
前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、
前記高さ画像を検査対象画像として、該検査対象画像に対して所定の画像検査を実行するための画像検査手段と、
検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段で撮像するための撮像条件として、該検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定するための検査設定手段と、
前記検査設定手段で設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、前記撮像手段で高さ画像を撮像する際の撮像高さ範囲を設定可能な撮像高さ範囲設定手段と
を備えることを特徴とする画像検査装置。 An image inspection apparatus for executing a predetermined image inspection on an inspection object image obtained by imaging an inspection object,
A stage for placing an inspection object;
Measuring light projecting means for projecting structured light from an oblique direction to the inspection object to perform structured illumination;
Imaging means for acquiring measurement light projected by the measurement light projecting means and reflected by the inspection object and capturing a plurality of fringe projection images;
A height image acquisition means for acquiring a height image having height information based on the plurality of fringe projection images;
Image inspection means for performing a predetermined image inspection on the inspection target image, using the height image as the inspection target image;
In order to generate a height image including the height of the inspection object to be inspected in the depth of field as an imaging condition for each of the heights of the inspection object to be captured by the imaging unit. Inspection setting means for setting each inspection setting for each inspection object height,
When imaging a height image with the imaging means so as to include a plurality of inspection object heights within one depth of field among the inspection object heights of each inspection setting set by the inspection setting means An image inspection apparatus comprising: an imaging height range setting unit capable of setting an imaging height range.
前記撮像高さ範囲設定手段が、検査対象高さＺａとＺｂを一の被写界深度内に含めるように撮像高さ範囲を設定する際、被写界深度の中心である合焦位置を
（Ｚａ＋Ｚｂ）／２
に設定するよう構成してなることを特徴とする画像検査装置。 The image inspection apparatus according to claim 1,
When the imaging height range setting means sets the imaging height range so that the inspection object heights Za and Zb are included in one depth of field, the focus position that is the center of the depth of field is ( Za + Zb) / 2
An image inspection apparatus characterized by being configured to be set to.
前記撮像高さ範囲設定手段で複数の検査対象高さを一の被写界深度内に含めるように撮像高さ範囲を設定する際、
より多くの検査対象高さを同一の被写界深度内に含めることで撮像に要する時間を短縮する速度優先モードと、
被写界深度の中心である合焦位置の近傍に検査対象高さを設定することで、高さ測定の精度を高める精度優先モードと
を選択可能な撮像高さ範囲モード選択手段を備えることを特徴とする画像検査装置。 The image inspection apparatus according to claim 1, further comprising:
When setting the imaging height range so that a plurality of inspection object heights are included in one depth of field by the imaging height range setting means,
Speed priority mode that reduces the time required for imaging by including more inspection object height within the same depth of field,
It is provided with an imaging height range mode selection means that can select an accuracy priority mode that increases the accuracy of height measurement by setting the inspection object height near the in-focus position that is the center of the depth of field. A characteristic image inspection apparatus.
前記ステージを自動で上下に駆動させるための駆動機構を備えることを特徴とする画像検査装置。 The image inspection apparatus according to claim 1, further comprising:
An image inspection apparatus comprising a drive mechanism for automatically driving the stage up and down.
前記検査設定手段が、撮像条件として、高さ画像を生成するための縞投影画像を取得可能な、前記ステージ上における検査対象物を載置する載置設定位置を含めて設定可能とすることを特徴とする画像検査装置。 The image inspection apparatus according to claim 1, wherein
The inspection setting means can be set including an installation setting position on which an inspection object is placed on the stage, which can acquire a fringe projection image for generating a height image as an imaging condition. A characteristic image inspection apparatus.
検査対象物が前記ステージ上に置かれた初期位置と、前記検査条件として設定された載置設定位置とを比較して、該初期位置で高さ情報が取得可能かどうかを判定し、該判定結果が高さ情報取得不可能である場合に、該判定結果に基づく所定の出力を行う判定出力手段とを備えることを特徴とする画像検査装置。 The image inspection apparatus according to claim 1, further comprising:
The initial position where the inspection object is placed on the stage is compared with the placement setting position set as the inspection condition to determine whether height information can be acquired at the initial position, and the determination An image inspection apparatus comprising: a determination output unit configured to perform a predetermined output based on the determination result when the result cannot obtain height information.
前記判定出力手段が、前記検査設定手段で設定された前記ステージ上の載置設定位置に、検査対象物を載置させるように誘導するための誘導手段であることを特徴とする画像検査装置。 The image inspection apparatus according to claim 6,
The image inspection apparatus, wherein the determination output means is a guiding means for guiding the inspection object to be placed at a placement setting position on the stage set by the inspection setting means.
前記誘導手段は、前記ステージ上に検査対象物が置かれた状態で、所定の精度で計測が行えないと判定した場合に、誘導を実行するよう構成してなることを特徴とする画像検査装置。 The image inspection apparatus according to claim 7,
An image inspection apparatus configured to perform guidance when it is determined that measurement cannot be performed with a predetermined accuracy in a state where an inspection object is placed on the stage. .
前記検査設定手段で設定する検査条件が、前記ステージ上の載置設定位置に加えて、該載置設定位置に載置される検査対象物の姿勢を規定した載置設定姿勢を含むことを特徴とする画像検査装置。 The image inspection apparatus according to claim 1,
The inspection condition set by the inspection setting means includes a placement setting posture that defines a posture of an inspection object placed at the placement setting position in addition to the placement setting position on the stage. Image inspection device.
前記検査設定手段で設定する検査条件が、照明光の方向、照明光の明るさ、前記撮像手段の露光時間、前記ステージの位置の少なくともいずれかを含むことを特徴とする画像検査装置。 An image inspection apparatus according to any one of claims 1 to 9,
The image inspection apparatus, wherein the inspection condition set by the inspection setting unit includes at least one of a direction of illumination light, brightness of illumination light, an exposure time of the imaging unit, and a position of the stage.
前記撮像高さ範囲設定手段が、前記検査設定手段で設定された複数の検査対象高さが、一の被写界深度内に含まれているかどうかを判定し、含まれていない場合に、各検査対象高さに対応させて異なる撮像高さ範囲を設定した複数の検査設定を生成可能としてなることを特徴とする画像検査装置。 An image inspection apparatus according to any one of claims 1 to 10,
The imaging height range setting means determines whether or not a plurality of inspection object heights set by the inspection setting means are included in one depth of field, An image inspection apparatus capable of generating a plurality of inspection settings in which different imaging height ranges are set in correspondence with inspection object heights.
検査対象物を載置するためのステージと、
検査対象物に対して斜め方向から測定光を投光して構造化照明を行うための測定光投光手段と、
前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像するための撮像手段と、
前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、
前記高さ画像を検査対象画像として、該検査対象画像に対して所定の画像検査を実行するための画像検査手段と、
検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段で撮像するための撮像条件として、該検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定するための検査設定手段と、
前記検査設定手段で設定された複数の検査対象高さが、一の被写界深度内に含まれているかどうかを判定し、含まれていない場合に、各検査対象高さに対応させて異なる撮像高さ範囲を設定した複数の検査設定を生成可能な撮像高さ範囲設定手段と
を備えることを特徴とする画像検査装置。 An image inspection apparatus for executing a predetermined image inspection on an inspection object image obtained by imaging an inspection object,
A stage for placing an inspection object;
Measuring light projecting means for projecting structured light from an oblique direction to the inspection object to perform structured illumination;
Imaging means for acquiring measurement light projected by the measurement light projecting means and reflected by the inspection object and capturing a plurality of fringe projection images;
A height image acquisition means for acquiring a height image having height information based on the plurality of fringe projection images;
Image inspection means for performing a predetermined image inspection on the inspection target image, using the height image as the inspection target image;
In order to generate a height image including the height of the inspection object to be inspected in the depth of field as an imaging condition for each of the heights of the inspection object to be captured by the imaging unit. Inspection setting means for setting each inspection setting for each inspection object height,
It is determined whether or not a plurality of inspection object heights set by the inspection setting means are included within one depth of field, and if they are not included, they differ according to each inspection object height An image inspection apparatus comprising: an imaging height range setting unit capable of generating a plurality of inspection settings in which an imaging height range is set.
検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段で撮像するための撮像条件として、該検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定する工程と、
前記設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、前記撮像手段で高さ画像を撮像する際の撮像高さ範囲を設定する工程と、
前記検査設定に従って、前記ステージ上に載置された検査対象物に対して、測定光投光手段で斜め方向から測定光を投光する構造化照明を行い、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像手段で、撮像高さ範囲において撮像し、得られた複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する工程と、
前記撮像手段で撮像された検査対象物の画像に対して、画像検査手段で所定の画像検査を実行する工程と、
を含むことを特徴とする画像検査方法。 An image inspection method for imaging an inspection object image including an inspection object and executing a predetermined image inspection on the imaged inspection object image,
In order to generate a height image including the height of the inspection object to be inspected in the depth of field as an imaging condition for each of the heights of the inspection object to be captured by the imaging unit. A step of setting each inspection setting for each inspection target height,
An imaging height range when the imaging unit captures a height image so as to include a plurality of inspection object heights within one depth of field among the inspection object heights of the set inspection settings. A process of setting
In accordance with the inspection setting, the measurement light reflected from the inspection object is obtained by performing structured illumination on the inspection object placed on the stage by projecting the measurement light from an oblique direction by the measurement light projection unit. Capturing a plurality of fringe projection images with an imaging means in an imaging height range, and obtaining a height image having height information based on the obtained plurality of fringe projection images;
A step of performing a predetermined image inspection by the image inspection means on the image of the inspection object imaged by the imaging means;
An image inspection method comprising:
検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段で撮像するための撮像条件として、該検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定する検査設定機能と、
前記検査設定機能で設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、前記撮像手段で高さ画像を撮像する際の撮像高さ範囲を設定する撮像高さ範囲設定機能と、
前記撮像高さ範囲設定機能で設定された検査設定に従って、前記ステージ上に載置された検査対象物に対して、測定光投光手段で斜め方向から測定光を投光する構造化照明を行い、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像手段で、撮像高さ範囲において撮像し、得られた複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する高さ画像生成機能と、
前記撮像手段で撮像された検査対象物の画像に対して、画像検査手段で所定の画像検査を実行する検査機能と
をコンピュータに実現させることを特徴とする画像検査プログラム。 An image inspection program for imaging an inspection object image including an inspection object and executing a predetermined image inspection on the imaged inspection object image,
In order to generate a height image including the height of the inspection object to be inspected in the depth of field as an imaging condition for each of the heights of the inspection object to be captured by the imaging unit. Inspection setting function for setting each inspection setting for each inspection target height,
When imaging a height image with the imaging means so as to include a plurality of inspection object heights within one depth of field among inspection object heights of each inspection setting set by the inspection setting function An imaging height range setting function for setting the imaging height range;
In accordance with the inspection setting set by the imaging height range setting function, the structured light for projecting the measurement light from an oblique direction is performed on the inspection object placed on the stage by the measurement light projection unit. The measurement light reflected by the inspection object is acquired, and a plurality of fringe projection images are picked up by the imaging means in the imaging height range, and the height having height information based on the obtained plurality of fringe projection images A height image generation function to acquire an image;
An image inspection program for causing a computer to realize an inspection function for executing a predetermined image inspection by an image inspection means on an image of an inspection object imaged by the imaging means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014017991A JP6230434B2 (en) | 2014-01-31 | 2014-01-31 | Image inspection apparatus, image inspection method, image inspection program, and computer-readable recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014017991A JP6230434B2 (en) | 2014-01-31 | 2014-01-31 | Image inspection apparatus, image inspection method, image inspection program, and computer-readable recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015145797A true JP2015145797A (en) | 2015-08-13 |
| JP6230434B2 JP6230434B2 (en) | 2017-11-15 |
Family
ID=53890094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014017991A Active JP6230434B2 (en) | 2014-01-31 | 2014-01-31 | Image inspection apparatus, image inspection method, image inspection program, and computer-readable recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6230434B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170135914A (en) * | 2015-09-10 | 2017-12-08 | 테년 3디 (톈진) 테크놀로지 코.,엘티디 | Multi-line laser array three-dimensional scanning system and multi-line laser array three-dimensional scanning method |
| JP2018013734A (en) * | 2016-07-22 | 2018-01-25 | 株式会社キーエンス | Magnification observation device |
| CN108253886A (en) * | 2016-12-28 | 2018-07-06 | 株式会社基恩士 | Three-dimensional measuring apparatus |
| JP2018128988A (en) * | 2017-02-10 | 2018-08-16 | 株式会社ニイガタマシンテクノ | Measurement data generation device, processing program generation system, and measurement data generation method |
| JP2019074667A (en) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | Magnifying observation device |
| JP2019519022A (en) * | 2016-04-18 | 2019-07-04 | シンボル テクノロジーズ リミテッド ライアビリティ カンパニー | Method and apparatus for scanning and dimensioning barcodes |
| WO2021009884A1 (en) * | 2019-07-17 | 2021-01-21 | 株式会社Ｆｕｊｉ | Inspection device and method for capturing inspection image |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6829993B2 (en) * | 2016-12-28 | 2021-02-17 | 株式会社キーエンス | Optical scanning height measuring device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08122021A (en) * | 1994-10-25 | 1996-05-17 | Tokai Rika Co Ltd | Size measuring instrument |
| JP2000339458A (en) * | 1999-05-25 | 2000-12-08 | Sharp Corp | Image processor |
| JP2006153636A (en) * | 2004-11-29 | 2006-06-15 | Olympus Corp | 3-dimensional measurement method and program making computer perform 3-dimensional measurement method |
| JP2012159410A (en) * | 2011-02-01 | 2012-08-23 | Keyence Corp | Dimension measuring device, dimension measuring method, and program for dimension measuring device |
| WO2013059223A1 (en) * | 2011-10-17 | 2013-04-25 | Robert Bishop | High speed autofocus system |
| JP2014013144A (en) * | 2010-10-27 | 2014-01-23 | Nikon Corp | Three-dimensional shape measurement device, three-dimensional shape measurement method, structure manufacturing method and structure manufacturing system |
-
2014
- 2014-01-31 JP JP2014017991A patent/JP6230434B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08122021A (en) * | 1994-10-25 | 1996-05-17 | Tokai Rika Co Ltd | Size measuring instrument |
| JP2000339458A (en) * | 1999-05-25 | 2000-12-08 | Sharp Corp | Image processor |
| JP2006153636A (en) * | 2004-11-29 | 2006-06-15 | Olympus Corp | 3-dimensional measurement method and program making computer perform 3-dimensional measurement method |
| JP2014013144A (en) * | 2010-10-27 | 2014-01-23 | Nikon Corp | Three-dimensional shape measurement device, three-dimensional shape measurement method, structure manufacturing method and structure manufacturing system |
| JP2012159410A (en) * | 2011-02-01 | 2012-08-23 | Keyence Corp | Dimension measuring device, dimension measuring method, and program for dimension measuring device |
| WO2013059223A1 (en) * | 2011-10-17 | 2013-04-25 | Robert Bishop | High speed autofocus system |
| JP2015503084A (en) * | 2011-10-17 | 2015-01-29 | ステラ アライアンス リミテッド ライアビリティ カンパニー | High-speed autofocus system |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102015606B1 (en) | 2015-09-10 | 2019-08-28 | 테년 3디 (톈진) 테크놀로지 코.,엘티디 | Multi-line laser array three-dimensional scanning system and multi-line laser array three-dimensional scanning method |
| KR20170135914A (en) * | 2015-09-10 | 2017-12-08 | 테년 3디 (톈진) 테크놀로지 코.,엘티디 | Multi-line laser array three-dimensional scanning system and multi-line laser array three-dimensional scanning method |
| JP2018516377A (en) * | 2015-09-10 | 2018-06-21 | テンヨウン サンウェイ（天津）科技有限公司 | Multi-line array laser light three-dimensional scanning system and multi-line array laser light three-dimensional scanning method |
| CN109074469B (en) * | 2016-04-18 | 2021-08-24 | 讯宝科技有限责任公司 | Bar code scanning and sizing |
| JP6992000B2 (en) | 2016-04-18 | 2022-01-13 | シンボル テクノロジーズ リミテッド ライアビリティ カンパニー | Methods and equipment for scanning barcodes and determining dimensions |
| JP2019519022A (en) * | 2016-04-18 | 2019-07-04 | シンボル テクノロジーズ リミテッド ライアビリティ カンパニー | Method and apparatus for scanning and dimensioning barcodes |
| JP2018013734A (en) * | 2016-07-22 | 2018-01-25 | 株式会社キーエンス | Magnification observation device |
| CN108253886A (en) * | 2016-12-28 | 2018-07-06 | 株式会社基恩士 | Three-dimensional measuring apparatus |
| CN108253886B (en) * | 2016-12-28 | 2021-07-02 | 株式会社基恩士 | Three-dimensional measuring device |
| JP2018109545A (en) * | 2016-12-28 | 2018-07-12 | 株式会社キーエンス | Three-dimensional measuring device |
| JP7143057B2 (en) | 2016-12-28 | 2022-09-28 | 株式会社キーエンス | Three-dimensional measuring device |
| JP2018128988A (en) * | 2017-02-10 | 2018-08-16 | 株式会社ニイガタマシンテクノ | Measurement data generation device, processing program generation system, and measurement data generation method |
| JP2019074667A (en) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | Magnifying observation device |
| JP7032098B2 (en) | 2017-10-17 | 2022-03-08 | 株式会社キーエンス | Magnifying observation device |
| WO2021009884A1 (en) * | 2019-07-17 | 2021-01-21 | 株式会社Ｆｕｊｉ | Inspection device and method for capturing inspection image |
| JPWO2021009884A1 (en) * | 2019-07-17 | 2021-01-21 | ||
| JP7194831B2 (en) | 2019-07-17 | 2022-12-22 | 株式会社Fuji | INSPECTION DEVICE AND INSPECTION IMAGING METHOD |
| US11877063B2 (en) | 2019-07-17 | 2024-01-16 | Fuji Corporation | Inspection device and method for capturing inspection image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6230434B2 (en) | 2017-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6462823B2 (en) | Image inspection device | |
| JP6230434B2 (en) | Image inspection apparatus, image inspection method, image inspection program, and computer-readable recording medium | |
| US10508902B2 (en) | Three-dimensional measurement device | |
| JP6029394B2 (en) | Shape measuring device | |
| US9970745B2 (en) | Measurement target measuring program, measurement target measuring method, and magnifying observation device | |
| JP3855756B2 (en) | 3D color shape detection device and 3D scanner | |
| JP6279048B2 (en) | Shape measuring device | |
| JP2021025914A (en) | Three-dimensional shape measuring device, three-dimensional shape measuring method, three-dimensional shape measuring program and computer-readable recording medium, and recorded equipment | |
| JP6234253B2 (en) | Image inspection apparatus, image inspection method, image inspection program, and computer-readable recording medium | |
| JP7280775B2 (en) | Three-dimensional shape measuring device and three-dimensional shape measuring method | |
| JP2016161312A (en) | Alignment method of surface shape measurement device | |
| JP5969867B2 (en) | Optical microscope | |
| JP2014106094A (en) | Shape measurement device | |
| CN108253905A (en) | Vertical color cofocus scanning method and system | |
| JP2015108582A (en) | Three-dimensional measurement method and device | |
| US20190213729A1 (en) | Image inspection device and illumination device | |
| US9638908B2 (en) | Image measurement device | |
| JP6694248B2 (en) | Three-dimensional image inspection apparatus, three-dimensional image inspection method, three-dimensional image inspection program, and computer-readable recording medium | |
| JP2017032340A (en) | Three-dimensional image inspection device, three-dimensional image inspection method, three-dimensional image inspection program, and computer readable recording medium | |
| JP7328824B2 (en) | Three-dimensional shape measuring device and three-dimensional shape measuring method | |
| JP2021025917A (en) | Three-dimensional shape measurement device | |
| JP7308689B2 (en) | 3D shape measuring device | |
| JP2014109490A (en) | Measurement microscope device and image photographing method employing the same | |
| US20240112321A1 (en) | Three-dimensional shape data generation apparatus | |
| JP2014056059A (en) | Optical microscope |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170810 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171017 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6230434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |