JP6620215B2 - Inspection device - Google Patents
Inspection device Download PDFInfo
- Publication number
- JP6620215B2 JP6620215B2 JP2018230187A JP2018230187A JP6620215B2 JP 6620215 B2 JP6620215 B2 JP 6620215B2 JP 2018230187 A JP2018230187 A JP 2018230187A JP 2018230187 A JP2018230187 A JP 2018230187A JP 6620215 B2 JP6620215 B2 JP 6620215B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- setting
- unit
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 345
- 238000005286 illumination Methods 0.000 claims description 119
- 238000012545 processing Methods 0.000 claims description 60
- 239000013598 vector Substances 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 description 58
- 229920006395 saturated elastomer Polymers 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 18
- 238000005259 measurement Methods 0.000 description 12
- 238000009825 accumulation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は検査装置、制御方法およびプログラムに関する。 The present invention relates to an inspection apparatus, a control method, and a program.
フォトメトリックステレオの原理を使ってワーク(検査対象製品)について正確な三次元形状を計測するためには、ワークの各表面に対して均一な光量で照明光が入射するような照明光源が必要となる。また、照明光の入射角は既知である必要がある。さらに、ワークの部位に応じて光の入射角が変化してはならないため、検査したいワークのサイズに応じたサイズの照明光源が必要となる。また、カメラに映し出された画像のスケール情報(1画素あたりの実寸法)も必要となる。外観検査装置はユーザにより設置されることが多く、これらの厳格な設置条件をユーザに要求するのは困難である。そこで、特許文献1によれば、照明とカメラを一体化した専用装置を提案することで、ユーザの設置負担を軽減している。 In order to measure an accurate three-dimensional shape of a workpiece (product to be inspected) using the principle of photometric stereo, an illumination light source that allows illumination light to enter each surface of the workpiece with a uniform amount of light is required. Become. Moreover, the incident angle of illumination light needs to be known. Furthermore, since the incident angle of light should not change according to the part of the workpiece, an illumination light source having a size corresponding to the size of the workpiece to be inspected is required. In addition, scale information (actual dimensions per pixel) of the image displayed on the camera is also required. The appearance inspection apparatus is often installed by the user, and it is difficult to require the user for these strict installation conditions. Therefore, according to Patent Document 1, the installation burden on the user is reduced by proposing a dedicated device in which the illumination and the camera are integrated.
ところで、それぞれ照明方向の異なる複数の輝度画像から検査画像を生成するには様々な制御パラメータを設定する必要がある。たとえば照明光源の光量やカメラのシャッタースピードなどが適切に設定される必要がある。ユーザはこれらの制御パラメータを調整しながらカメラにより取得されたワークの輝度画像の変化を確認することで適切な制御パラメータを探ってゆく。しかしながら、検査装置において検査に使用される検査画像は輝度画像から演算により生成された画像であるため、輝度画像を確認しても検査画像が正しいかどうかまでは直感的にわかりにくい。一方で、検査画像を表示してユーザに確認させてもよいが、撮像条件を調整しても検査画像が直感的にわかりやすく変化しないことがある。よって、検査画像だけを表示しても制御パラメータを調整することはユーザにとって困難な場合がある。 By the way, in order to generate an inspection image from a plurality of luminance images having different illumination directions, it is necessary to set various control parameters. For example, the light amount of the illumination light source and the shutter speed of the camera need to be set appropriately. The user searches for an appropriate control parameter by checking the change in the brightness image of the work acquired by the camera while adjusting these control parameters. However, since the inspection image used for the inspection in the inspection apparatus is an image generated by calculation from the luminance image, it is difficult to intuitively understand whether the inspection image is correct even if the luminance image is confirmed. On the other hand, the inspection image may be displayed and confirmed by the user, but the inspection image may not change intuitively and easily even if the imaging condition is adjusted. Therefore, it may be difficult for the user to adjust the control parameter even if only the inspection image is displayed.
そこで、本発明は、フォトメトリックステレオの原理を用いて取得された画像から検査用画像を生成する際のパラメータを容易に設定できるようにすることを目的とする。 Accordingly, an object of the present invention is to make it possible to easily set parameters for generating an inspection image from an image acquired using the principle of photometric stereo.
本発明によれば、たとえば、
異なる三以上の方向から検査対象物に光を照射する照明手段と、検査対象物からの反射光を受光し、複数の輝度画像を生成する撮像手段とを有し、フォトメトリックステレオの原理を用いて複数の輝度画像から検査対象物の特徴を抽出して検査を行う検査装置であって、
検査対象物から抽出される特徴のサイズを調整するためのパラメータであって、相対的に小さな値に設定されると検査対象物の細部の形状を抽出し、相対的に大きな値に設定されると検査対象物の全体の形状を抽出することができる特徴サイズを設定するための特徴サイズ設定手段と、
前記撮像手段により取得された複数の輝度画像に基づき、検査対象物の表面の法線ベクトルを求め、当該法線ベクトルのX方向の傾き成分を画素値とした第一傾き画像と、Y方向の傾き成分を画素値とした第二傾き画像を生成し、生成された第一傾き画像および第二傾き画像から、前記特徴サイズ設定手段により設定された互いに異なる複数の特徴サイズのそれぞれに対応する複数の形状画像を生成する検査画像生成手段と、
前記複数の形状画像のそれぞれに異なる種別の検査ツールの設定が可能な検査ツール設定手段と、
前記検査ツール設定手段により設定された検査ツールに対応する処理を、それぞれの検査ツールが設定された形状画像に対して実行する検査手段と、
備える検査装置が提供される。
According to the present invention, for example,
It has illumination means that irradiates light to the inspection object from three or more different directions and imaging means that receives reflected light from the inspection object and generates multiple luminance images, and uses the principle of photometric stereo An inspection device that performs inspection by extracting features of an inspection object from a plurality of luminance images,
This is a parameter for adjusting the size of the feature extracted from the inspection object, and if it is set to a relatively small value, the detailed shape of the inspection object is extracted and set to a relatively large value. And feature size setting means for setting a feature size capable of extracting the entire shape of the inspection object,
Based on a plurality of luminance images acquired by the imaging means, a normal vector of the surface of the inspection object is obtained, a first inclination image having a pixel value as an inclination component in the X direction of the normal vector, and a Y direction A second tilt image having a tilt component as a pixel value is generated, and a plurality of different sizes corresponding to a plurality of different feature sizes set by the feature size setting unit are generated from the generated first tilt image and second tilt image. Inspection image generation means for generating a shape image of
Inspection tool setting means capable of setting different types of inspection tools for each of the plurality of shape images;
Inspection means for executing processing corresponding to the inspection tool set by the inspection tool setting means on the shape image in which each inspection tool is set;
An inspection apparatus is provided.
本発明によれば、輝度画像と検査に使用される検査画像とを切り替えながら表示するか、またはこれらを同時に表示するため、ユーザにとってパラメータの調整結果を直感的にわかりやすくなる。これにより、フォトメトリックステレオの原理を用いて取得された画像から検査用画像を生成する際のパラメータを容易に設定できるようになる。 According to the present invention, the luminance image and the inspection image used for the inspection are displayed while being switched, or these are displayed at the same time, so that the user can intuitively understand the parameter adjustment result. This makes it possible to easily set parameters for generating an inspection image from an image acquired using the principle of photometric stereo.
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。 An embodiment of the present invention is shown below. The individual embodiments described below will help to understand various concepts, such as the superordinate concept, intermediate concept and subordinate concept of the present invention. Further, the technical scope of the present invention is determined by the scope of the claims, and is not limited by the following individual embodiments.
図1は外観検査システムの一例を示す図である。ライン1は検査対象物であるワーク2を搬送する搬送ベルトなどである。照明装置3はフォトメトリックステレオ法にしたがって検査対象物を照明する照明手段の一例である。カメラ4はフォトメトリックステレオ法にしたがって前記照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例である。画像処理装置5は、カメラ4により取得された複数の輝度画像からワーク2の表面の法線ベクトルを算出し、複数の輝度画像から算出された法線ベクトルに基づく画素値により構成された傾き画像と、当該傾き画像の縮小画像とについて、注目画素に隣接する隣接画素の法線ベクトルを用いて注目画素の画素値を積み上げ演算し、画素値を有する検査画像を生成し、検査画像を用いて検査対象物の良否を判定する外観検査装置である。傾き画像は法線ベクトル画像と呼ばれることもある。画像処理装置5は輝度画像から反射率画像(アルベド画像)を作成してもよい。表示部7は検査に関連する制御パラメータを設定するためのユーザインタフェースや傾き画像、反射率画像、検査画像などを表示する。入力部6は、コンソール、ポインティングデバイス、キーボードなどであり、制御パラメータを設定するために使用される。 FIG. 1 is a diagram illustrating an example of an appearance inspection system. A line 1 is a conveyance belt that conveys a workpiece 2 that is an inspection object. The illuminating device 3 is an example of an illuminating unit that illuminates an inspection object according to a photometric stereo method. The camera 4 is an example of an imaging unit that receives reflected light from the illuminated inspection object according to a photometric stereo method and generates a luminance image. The image processing device 5 calculates a normal vector of the surface of the workpiece 2 from a plurality of luminance images acquired by the camera 4, and an inclination image composed of pixel values based on the normal vectors calculated from the plurality of luminance images. And the reduced image of the tilt image, the pixel value of the pixel of interest is calculated using the normal vector of the adjacent pixel adjacent to the pixel of interest, an inspection image having the pixel value is generated, and the inspection image is used. It is an appearance inspection apparatus that determines the quality of an inspection object. The tilt image is sometimes called a normal vector image. The image processing device 5 may create a reflectance image (albedo image) from the luminance image. The display unit 7 displays a user interface for setting control parameters related to the inspection, an inclination image, a reflectance image, an inspection image, and the like. The input unit 6 is a console, a pointing device, a keyboard, or the like, and is used for setting control parameters.
<フォトメトリクスステレオの原理>
一般的なフォトメトリックステレオ法では、図2に示すように、ワーク2に対して4方向から照明光L1〜L4を切り替えながら照射し、4枚の輝度画像を生成する。各輝度画像を撮影する際に使用される照明光の方向は一方向だけである。なお、輝度画像は複数の画素により構成されており、4枚の輝度画像において座標が一致する4つの画素は同一のワーク表面に対応している。4つの画素の画素値(輝度値)I1、I2、I3、I4と、法線ベクトルnとの間には図2示した式1が成り立つ。ここでρは反射率である。Lは各方向からの照明光の光量であり、既知である。ここでは4方向とも光量は同一である。Sは照明方向行列であり、既知である。この数式を解くことで各座標(ワーク表面)ごとの反射率ρと法線ベクトルnが求められる。その結果、反射率画像と傾き画像とが得られる。
<Principle of photometric stereo>
In the general photometric stereo method, as shown in FIG. 2, the illumination light L1 to L4 is irradiated to the work 2 while switching from four directions to generate four luminance images. The direction of the illumination light used when photographing each luminance image is only one direction. Note that the luminance image is composed of a plurality of pixels, and four pixels having the same coordinates in the four luminance images correspond to the same work surface. 2 is established between the pixel values (luminance values) I1, I2, I3, and I4 of the four pixels and the normal vector n. Here, ρ is the reflectance. L is the amount of illumination light from each direction and is known. Here, the light quantity is the same in all four directions. S is an illumination direction matrix and is known. By solving this mathematical formula, the reflectance ρ and the normal vector n for each coordinate (work surface) are obtained. As a result, a reflectance image and a tilt image are obtained.
本実施形態では、さらに、傾き画像から高さ成分を抽出しワークの形状を示す形状画像を検査画像として作成する。検査画像は、図2に示し式2である積み上げ演算式により求められる。ここで、znはn回目の積み上げ結果であり、ワーク表面の形状を示している。x、yは画素の座標を示している。nは何回目の繰り返し計算であるかを示している。pは水平方向の傾き成分を示し、qは垂直方向の傾き成分を示している。p、qは法線ベクトルnから求められる。wは重みである。また、1回目の積み上げ演算では1/1の傾き画像を用い、2回目の積み上げには1/2の縮小傾き画像を用い、3回目の積み上げには1/4の縮小傾き画像を用いる。縮小画像を作成する際にはガウシアン処理を施してから縮小処理が施されてもよい。 In the present embodiment, the height component is further extracted from the tilt image, and a shape image indicating the shape of the work is created as an inspection image. The inspection image is obtained by a stacking arithmetic expression which is Expression 2 shown in FIG. Here, zn is the result of the n-th stacking and indicates the shape of the workpiece surface. x and y indicate pixel coordinates. n indicates the number of repeated calculations. p indicates a horizontal inclination component, and q indicates a vertical inclination component. p and q are obtained from the normal vector n. w is a weight. In addition, a 1/1 tilt image is used for the first stacking operation, a 1/2 reduced tilt image is used for the second stacking operation, and a 1/4 reduced tilt image is used for the third stacking operation. When creating a reduced image, reduction processing may be performed after performing Gaussian processing.
本実施形態では積み上げ演算において特徴サイズというパラメータを採用する。特徴サイズは積み上げ演算において使用される縮小画像の成分に対する重みを与えるパラメータである。特徴サイズはワーク2の表面形状の大きさを示すパラメータである。たとえば、特徴サイズが1であればxy方向で注目画素に隣接した4つの画素についての重みが最も大きくされて積み上げ演算される。特徴サイズが2であればxy方向で注目画素に隣接した8つの画素についての重みが最も大きく設定されて積み上げ演算が実行される。ただし、8つの画素を用いて演算することは演算量の増大を招くため、上述した縮小画像を作成して演算に使用する。つまり、8つの隣接画素を用いる代わりに、傾き画像を1/2に縮小して演算を実行する。これにより、ある注目画素について縮小画像における4つの画素を演算に考慮すればよいことになる。これは特徴サイズが4、8、16、32と増加したときもそれに応じた縮小画像を作成し、特徴サイズに対応した縮小画像について重みを最大に設定することで、同様の演算負荷の軽減効果が得られる。 In this embodiment, a parameter called feature size is employed in the stacking calculation. The feature size is a parameter that gives a weight to the components of the reduced image used in the accumulation operation. The feature size is a parameter indicating the size of the surface shape of the workpiece 2. For example, if the feature size is 1, the weights for the four pixels adjacent to the pixel of interest in the xy direction are maximized and the calculation is performed. If the feature size is 2, the weights for the eight pixels adjacent to the pixel of interest in the xy direction are set to be the largest, and the accumulation operation is executed. However, since calculation using eight pixels causes an increase in the amount of calculation, the above-described reduced image is created and used for the calculation. That is, instead of using eight adjacent pixels, the tilt image is reduced to ½ and the calculation is executed. Thus, four pixels in the reduced image may be taken into consideration for a certain target pixel. Even when the feature size increases to 4, 8, 16, 32, a reduced image corresponding to the feature size is created and the weight is set to the maximum for the reduced image corresponding to the feature size. Is obtained.
図3は積み上げ演算の一例を示している。この例では法線ベクトルnから求められた2枚の傾き画像(水平方向の傾き成分pの画像と垂直方向の傾き成分qの画像)を入力としている。まず、縮小度の大きい傾き画像で全体の形状を積み上げ、それよりも縮小度の小さい画像で細部形状を積み上げる。これにより短時間で全体の形状を復元できるようになる。図3によれば、たとえば、1/32の縮小画像について式2により注目画素についてワーク表面の形状を示すパラメータであるzを算出する。重みwは特徴サイズに応じて決定される。縮小画像を構成する1つ1つの画素を注目画素として積み上げ演算をイタレーション(繰り返し処理)する。zの初期値はゼロである。次に式2にしたがって1/16の縮小画像についてzを算出する。ここでは、1/32の演算結果に対して1/16の縮小画像の傾き成分が積み上げられる。同様にして、1/8縮小画像から1/1画像まで積み上げ演算が実行される。 FIG. 3 shows an example of a stacking operation. In this example, two tilt images obtained from the normal vector n (a horizontal tilt component p image and a vertical tilt component q image) are input. First, the entire shape is accumulated with an inclination image having a large reduction degree, and the detailed shape is accumulated with an image having a smaller reduction degree. As a result, the entire shape can be restored in a short time. According to FIG. 3, for example, z which is a parameter indicating the shape of the work surface for the target pixel is calculated using Equation 2 for a 1/32 reduced image. The weight w is determined according to the feature size. The accumulation operation is iterated (repeatedly processed) with each pixel constituting the reduced image as a target pixel. The initial value of z is zero. Next, z is calculated for a 1/16 reduced image according to Equation 2. Here, the inclination components of 1/16 reduced images are accumulated with respect to the 1/32 calculation result. Similarly, a stacking operation is performed from a 1/8 reduced image to a 1/1 image.
図4は各特徴サイズごと重みの一例を示している。横軸は解像度レベル(縮小度)を示し、縦軸は重みを示している。図4からわかるように、特徴サイズ1では縮小度が最も小さいレベル0(1/1画像)の重みが最大となる。これにより微細な形状を積み上げることが可能となる。特徴サイズ2ではレベル1(1/2画像)の重みが最大となる。これによりさらに大きなサイズの形状を積み上げることが可能となる。このように各重みは、特徴サイズに対応したレベルでピークが生じるように決定される。 FIG. 4 shows an example of the weight for each feature size. The horizontal axis indicates the resolution level (reduction degree), and the vertical axis indicates the weight. As can be seen from FIG. 4, in the feature size 1, the weight of level 0 (1/1 image) having the smallest reduction degree is the largest. Thereby, it becomes possible to accumulate fine shapes. In feature size 2, the weight of level 1 (1/2 image) is the maximum. Thereby, it becomes possible to pile up the shape of a bigger size. Thus, each weight is determined so that a peak occurs at a level corresponding to the feature size.
形状画像の復元方法としては、上記の積み上げ演算の他に公知のフーリエ変換積分法を採用することもできる(A Method for Enforcing Integrability in Shape from Shading Algorithms, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.10, No.4 July 1988)。当該方法においても計算プロセスにおいて縮小画像を生成し、重み付け成分を調整することにより抽出する特徴サイズを変更することが可能である。 As a method for restoring a shape image, a known Fourier transform integration method can be adopted in addition to the above-described accumulation operation (A Method for Enforcing Integrability in Shape from Shading Algorithms, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 10, No.4 July 1988). Also in this method, it is possible to change the feature size to be extracted by generating a reduced image in the calculation process and adjusting the weighting component.
図5は特徴サイズの違いに応じた検査画像の一例を示している。特徴サイズ4では細部の形状が抽出されており、特徴サイズ64では全体の形状が抽出されており、特徴サイズ16ではこれらの中間的なサイズの形状が抽出されていることがわかる。このように小さな特徴サイズは細かい傷を検査するのに役立ち、大きな特徴サイズは物体の有無の判別に適しており、中間の特徴サイズは凹凸文字のOCRなどに適している。つまり検査ツールに応じて適切な特徴サイズを選択することで検査精度を向上させることが可能となる。 FIG. 5 shows an example of an inspection image corresponding to a difference in feature size. It can be seen that the detailed shape is extracted in the feature size 4, the entire shape is extracted in the feature size 64, and the intermediate size is extracted in the feature size 16. The small feature size is useful for inspecting fine scratches, the large feature size is suitable for determining the presence or absence of an object, and the intermediate feature size is suitable for OCR of uneven characters. That is, it is possible to improve inspection accuracy by selecting an appropriate feature size according to the inspection tool.
図6はフォトメトリックステレオ法による検査画像の作成工程を示す図である。輝度画像601〜604はそれぞれ照明方向の異なる照明光によりワーク2を照明して取得された輝度画像である。なお、輝度画像600は4方向から同時に照明して得られた輝度画像である。それぞれ照明方向の異なる照明光によりワーク2を照明して取得された複数の輝度画像から演算によりワーク表面の法線ベクトルが求められる。傾き画像611は、輝度画像601〜604から求められた法線ベクトルのX方向の傾き成分を画素値とした傾き画像である。傾き画像612は、輝度画像601〜604から求められた法線ベクトルのY方向の傾き成分を画素値とした傾き画像である。反射率画像610は、輝度画像601〜604から求められた法線ベクトルから、ワーク表面の傾きによる輝度値の変動分を除去し、ワーク表面の反射率を画像にした反射率画像である。検査画像621〜623は傾き画像611、612から求められたそれぞれ特徴サイズの異なる画像である。なお、検査画像621〜623も傾き成分に基づく画素により構成されているため、傾き画像の一種である。このような手順でワーク2の検査画像が生成される。なお、検査ツールに依存して全方向照明画像である輝度画像600や反射率画像610が検査画像として採用されてもよい。全方向照明画像とは、照明装置3が備える複数の光源をすべて点灯させて取得された輝度画像のことである。 FIG. 6 is a diagram showing a process of creating an inspection image by the photometric stereo method. The luminance images 601 to 604 are luminance images obtained by illuminating the work 2 with illumination light having different illumination directions. Note that the luminance image 600 is a luminance image obtained by simultaneously illuminating from four directions. A normal vector of the workpiece surface is obtained by calculation from a plurality of luminance images obtained by illuminating the workpiece 2 with illumination light having different illumination directions. The tilt image 611 is a tilt image in which the X direction tilt component of the normal vector obtained from the luminance images 601 to 604 is used as a pixel value. The tilt image 612 is a tilt image in which the Y direction tilt component of the normal vector obtained from the luminance images 601 to 604 is a pixel value. The reflectance image 610 is a reflectance image obtained by removing the variation of the luminance value due to the tilt of the workpiece surface from the normal vector obtained from the luminance images 601 to 604 and using the reflectance of the workpiece surface as an image. The inspection images 621 to 623 are images having different characteristic sizes obtained from the tilt images 611 and 612, respectively. The inspection images 621 to 623 are also a kind of tilt image because they are composed of pixels based on the tilt component. An inspection image of the work 2 is generated by such a procedure. Depending on the inspection tool, the luminance image 600 and the reflectance image 610 that are omnidirectional illumination images may be adopted as the inspection image. An omnidirectional illumination image is a luminance image acquired by turning on all of a plurality of light sources included in the illumination device 3.
<テクスチャ情報>
テクスチャ情報とはワーク2の表面の反射率ρに基づく情報である。式1によって反射率ρが求められる、つまり4枚の輝度画像から1枚の反射率画像が得られる。反射率画像はワーク表面の反射率ρに比例した画素値を有する画像である。図7に示すように、4枚の輝度画像701〜704から法線ベクトルを算出し、算出された法線ベクトルと複数の輝度画像の各々対応する画素の輝度値に基づいて各画素の反射率に比例した画素値を算出することで反射率画像であるテクスチャ画像711、712が求められる。この生成方法としては4枚の輝度画像の画素平均によってテクスチャ画像を求める方法や、4枚の輝度画像からハレーションを除去してから画素平均によってテクスチャ画像を求める方法などがある。テクスチャ画像711は画像平均によって求められたものであり、テクスチャ画像712はハレーション除去によって求められたものの一例である。4枚の輝度画像において座標が一致する画素が4つ存在する。4つの画素のうち画素値が1番大きい画素を除外したり、画素値の大きい順に1番目からN番目(Nは3以下の自然数)までの画素を除外したりすることでハレーションを除去することが可能である。ハレーションは高い輝度として画像に現れるからである。テクスチャ画像711、712はともに反射率に基づく画素により構成されているため、反射率画像の一種である。
<Texture information>
The texture information is information based on the reflectance ρ of the surface of the work 2. The reflectance ρ is obtained by Equation 1, that is, one reflectance image is obtained from four luminance images. The reflectance image is an image having a pixel value proportional to the reflectance ρ of the workpiece surface. As shown in FIG. 7, a normal vector is calculated from four luminance images 701 to 704, and the reflectance of each pixel is calculated based on the calculated normal vector and the luminance value of each corresponding pixel in the plurality of luminance images. The texture images 711 and 712, which are reflectance images, are obtained by calculating pixel values proportional to. As this generation method, there are a method for obtaining a texture image by pixel average of four luminance images, a method for obtaining a texture image by pixel average after removing halation from the four luminance images, and the like. The texture image 711 is obtained by image averaging, and the texture image 712 is an example obtained by removing halation. There are four pixels with the same coordinates in the four luminance images. Remove the halation by excluding the pixel with the largest pixel value from the four pixels, or excluding the first to Nth pixels (N is a natural number of 3 or less) in order of increasing pixel value. Is possible. This is because halation appears in the image as high brightness. Since texture images 711 and 712 are both composed of pixels based on reflectance, they are a kind of reflectance image.
<機能ブロック>
図8は検査装置のブロック図である。この例では照明装置3、カメラ4および画像処理装置5がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置3は、フォトメトリックステレオ法にしたがって検査対象物を照明する照明手段の一例であり、光源群801とこれを制御する照明コントローラ802を備えている。複数の発光素子で1つのセグメントが構成され、さらに複数のセグメントによって光源群801が構成されていてもよい。セグメントの数は一般的には4つであるが、3つ以上であればよい。これは3方向以上の照明方向からワーク2を照明できれば、フォトメトリックステレオ法により検査画像を生成できるからである。図1に示したように照明装置3の外形はリング状をしていてもよい。また、照明装置3は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。たとえば、市場にはワーク2を撮影するために使用される照明ユニットが存在しているが、これらはフォトメトリックステレオ用に開発されたものではない。ただし、このような照明ユニットを複数個用意するとともに、これらを制御する照明コントローラを接続することで、照明装置3を構成してもよい。照明コントローラ802は、画像処理装置5からの制御コマンドに応じて光源群801の点灯タイミングや点灯パターンを制御する。照明コントローラ802は照明装置3に内蔵されているものとして説明するが、カメラ4に内蔵されていてもよいし、画像処理装置5に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。
<Functional block>
FIG. 8 is a block diagram of the inspection apparatus. In this example, the illumination device 3, the camera 4, and the image processing device 5 are each housed in separate housings, but this is only an example and may be appropriately integrated. The illuminating device 3 is an example of an illuminating unit that illuminates an inspection object according to a photometric stereo method, and includes a light source group 801 and an illumination controller 802 that controls the light source group 801. One segment may be composed of a plurality of light emitting elements, and the light source group 801 may be composed of a plurality of segments. The number of segments is generally four, but may be three or more. This is because if the workpiece 2 can be illuminated from three or more illumination directions, an inspection image can be generated by the photometric stereo method. As shown in FIG. 1, the outer shape of the lighting device 3 may be ring-shaped. Moreover, the illuminating device 3 may be comprised by the some illumination unit each isolate | separated. For example, there are lighting units in the market that are used to photograph the workpiece 2, but these are not developed for photometric stereo. However, you may comprise the illuminating device 3 by preparing several such lighting units and connecting the lighting controller which controls these. The illumination controller 802 controls the lighting timing and lighting pattern of the light source group 801 in accordance with a control command from the image processing device 5. Although the illumination controller 802 is described as being incorporated in the illumination device 3, it may be incorporated in the camera 4, may be incorporated in the image processing device 5, or may be provided in a casing independent of these. It may be accommodated.
カメラ4はフォトメトリックステレオ法にしたがって照明された検査対象物からの反射光を受光して輝度画像を生成する撮像手段の一例であり、画像処理装置5からの制御コマンドに応じて撮像処理を実行する。カメラ4はワーク2の輝度画像を作成して画像処理装置5に転送してもよいし、撮像素子から得られる輝度信号を画像処理装置5に転送し、画像処理装置5が輝度画像を生成してもよい。輝度信号は輝度画像の元になる信号であるため、広義には輝度信号も輝度画像である。 The camera 4 is an example of an imaging unit that receives reflected light from an inspection object illuminated according to a photometric stereo method and generates a luminance image, and executes imaging processing according to a control command from the image processing device 5 To do. The camera 4 may create a luminance image of the work 2 and transfer it to the image processing device 5, or transfer a luminance signal obtained from the image sensor to the image processing device 5, and the image processing device 5 generates a luminance image. May be. Since the luminance signal is a signal from which the luminance image is based, the luminance signal is also a luminance image in a broad sense.
画像処理装置5は、コンピュータの一種であり、CPUやASICなどのプロセッサ810と、RAM、ROM、可搬記憶媒体などの記憶装置820と、ASICなどの画像処理部830と、ネットワークインタフェースなどの通信部850とを有している。プロセッサ810は検査ツールの設定や、制御パラメータの調整、検査画像の生成・再生成・更新を担当する。フォトメトリック処理部811は、カメラ4により取得された複数の輝度画像からワーク2の表面の法線ベクトルnを算出し、複数の輝度画像から算出された法線ベクトルnに基づく画素値を有する傾き画像と、傾き画像の縮小画像とについて、注目画素に隣接する隣接画素の法線ベクトルnを用いて当該注目画素の画素値を積み上げ演算し、当該画素値を有する検査画像を生成する演算手段(検査画像生成手段)として機能する。なお、具体的には上述した数式などを使用して検査画像が生成される。照明制御部812は、照明コントローラ802に対して制御コマンドを送信することで照明パターンや照明切り替えタイミングなどを制御する。撮像制御部813は、カメラ4を制御する。UI管理部814は、検査ツールを設定するためのユーザインタフェース(UI)や検査画像を生成するために必要となるパラメータを設定するためのUIなどを表示部7に表示し、入力部6から入力された情報したがって検査ツールやパラメータを設定する。とりわけ、特徴サイズ設定部815は積み上げ演算において使用される縮小画像の成分に対する重みwを与えるパラメータである特徴サイズを設定する設定手段として機能する。画像選択部816は複数の輝度画像や複数の検査画像、複数の傾き画像、複数の反射率画像のうち表示すべき画像などを選択したりする。画像選択部816はカメラ4により取得された複数の輝度画像および検査画像のうち保存対象もしくは出力対象となる画像を選択してもよい。検査ツール設定部817は画像選択部816により選択された検査画像に対して検査ツールを設定する。基準画像設定部818は良品から取得された基準画像を設定する。表示制御部851は輝度画像と検査画像を切り替えて表示部7に表示させたり、または、輝度画像と検査画像とを同時に表示させたりする。また表示制御部851は制御パラメータが調整されると表示部7に表示されている画像を当該制御パラメータが反映された画像に更新する。検査ツール設定部817は、表示制御部851、特徴サイズ設定部815、画像選択部816、基準画像設定部818および条件設定部819を内包していてもよい。画像処理部830は基準画像を用いて検査画像にパターンサーチなどのサーチ処理を実行し、検査画像に検査領域を設定する検査領域設定手段として機能する。検査領域は、たとえば、文字認識領域である。条件設定部819は画像を表示部7や通信部850に接続された外部機器に出力する条件や、可搬記憶媒体などに保存する条件を設定する。判定部840は検査画像を用いてワーク2の良否を判定する判定手段として機能する。たとえば、判定部840は画像処理部830において検査画像を用いて実行された検査の結果を受け取って検査結果が良品条件(公差など)を満たしているかどうかを判定する。 The image processing apparatus 5 is a kind of computer, and includes a processor 810 such as a CPU and an ASIC, a storage device 820 such as a RAM, a ROM, and a portable storage medium, an image processing unit 830 such as an ASIC, and a communication such as a network interface. Part 850. The processor 810 is in charge of setting an inspection tool, adjusting control parameters, and generating / regenerating / updating an inspection image. The photometric processing unit 811 calculates a normal vector n of the surface of the work 2 from a plurality of luminance images acquired by the camera 4, and has a pixel value based on the normal vector n calculated from the plurality of luminance images. An arithmetic unit that accumulates the pixel value of the target pixel using the normal vector n of the adjacent pixel adjacent to the target pixel and generates an inspection image having the pixel value for the image and the reduced image of the tilt image ( Function as inspection image generation means). Specifically, the inspection image is generated using the above-described mathematical formula and the like. The illumination control unit 812 controls the illumination pattern, illumination switching timing, and the like by transmitting a control command to the illumination controller 802. The imaging control unit 813 controls the camera 4. The UI management unit 814 displays a user interface (UI) for setting an inspection tool, a UI for setting parameters necessary for generating an inspection image, and the like on the display unit 7 and inputs from the input unit 6. Set information and thus inspection tools and parameters. In particular, the feature size setting unit 815 functions as a setting unit that sets a feature size that is a parameter that gives a weight w to a component of a reduced image used in a stacking operation. The image selection unit 816 selects an image to be displayed from among a plurality of luminance images, a plurality of inspection images, a plurality of tilt images, and a plurality of reflectance images. The image selection unit 816 may select an image to be stored or output from among a plurality of luminance images and inspection images acquired by the camera 4. The inspection tool setting unit 817 sets an inspection tool for the inspection image selected by the image selection unit 816. The reference image setting unit 818 sets a reference image acquired from a non-defective product. The display control unit 851 switches the luminance image and the inspection image to be displayed on the display unit 7 or displays the luminance image and the inspection image at the same time. Further, when the control parameter is adjusted, the display control unit 851 updates the image displayed on the display unit 7 to an image reflecting the control parameter. The inspection tool setting unit 817 may include a display control unit 851, a feature size setting unit 815, an image selection unit 816, a reference image setting unit 818, and a condition setting unit 819. The image processing unit 830 functions as inspection region setting means for executing a search process such as a pattern search on the inspection image using the reference image and setting an inspection region on the inspection image. The inspection area is, for example, a character recognition area. The condition setting unit 819 sets conditions for outputting an image to an external device connected to the display unit 7 and the communication unit 850, and conditions for saving the image in a portable storage medium. The determination unit 840 functions as a determination unit that determines the quality of the workpiece 2 using the inspection image. For example, the determination unit 840 receives the result of the inspection performed using the inspection image in the image processing unit 830 and determines whether the inspection result satisfies a non-defective product condition (tolerance or the like).
記憶装置820は、カメラ4によって取得された輝度画像のデータである輝度画像データ821、フォトメトリック処理部811により生成された傾き画像データ822や反射率画像データ823を記憶する。また、記憶装置820は各種の設定データやユーザインタフェースを生成するためのプログラムコードなども記憶している。記憶装置820は特徴サイズがそれぞれ異なる検査画像を記憶して保持していてもよい。また、記憶装置820は検査画像に加え、検査画像の元になった傾き画像データや反射率画像データを記憶してもよい。これらはワーク2の誤判定が見つかったときに、検査画像、傾き画像または反射率画像のいずれに問題があったのかを特定して、その制御パラメータを修正するのに役立つであろう。 The storage device 820 stores luminance image data 821 that is luminance image data acquired by the camera 4, tilt image data 822 and reflectance image data 823 generated by the photometric processing unit 811. The storage device 820 also stores various setting data, a program code for generating a user interface, and the like. The storage device 820 may store and hold inspection images having different feature sizes. In addition to the inspection image, the storage device 820 may store tilt image data and reflectance image data that are the basis of the inspection image. These will help to identify whether there is a problem with the inspection image, the tilt image or the reflectance image and to correct the control parameters when an erroneous determination of the workpiece 2 is found.
画像処理部830は、フォトメトリック処理部811によって生成された検査画像(傾き画像データ822や反射率画像データ823)を用いて外観検査を実行する。傷検査部831は、それぞれ異なる特徴サイズ用いて生成された複数の検査画像に対して傷検査を実行する。OCR部832はそれぞれ異なる特徴サイズ用いて生成された複数の検査画像に対して文字認識処理を実行する文字認識処理手段として機能する。傷検査部831やOCR部832は記憶装置820に記憶されている検査画像(傾き画像データ822や反射率画像データ823)を読み出して検査を実行し、検査結果を記憶装置820に書き込んだり、判定部840に渡したりしてもよい。判定部840はこの検査結果に基づきワーク2の良否を判定する。 The image processing unit 830 performs an appearance inspection using the inspection image (tilt image data 822 and reflectance image data 823) generated by the photometric processing unit 811. The flaw inspection unit 831 performs a flaw inspection on a plurality of inspection images generated using different feature sizes. The OCR unit 832 functions as a character recognition processing unit that executes character recognition processing on a plurality of inspection images generated using different feature sizes. The wound inspection unit 831 and the OCR unit 832 read the inspection image (tilt image data 822 and reflectance image data 823) stored in the storage device 820, execute the inspection, write the inspection result in the storage device 820, and perform determination. It may be passed to the unit 840. The determination unit 840 determines the quality of the workpiece 2 based on the inspection result.
<設定モード>
検査システムには検査ツールを設定する設定モードと、設定された検査ツールにしたがってワーク2の外観検査を実行する検査モード(運転モード)とを有しいている。ここでは設定モードの一例について説明する。
<Setting mode>
The inspection system has a setting mode for setting an inspection tool and an inspection mode (operation mode) for executing an appearance inspection of the workpiece 2 in accordance with the set inspection tool. Here, an example of the setting mode will be described.
図9は設定モードに関するフローチャートである。入力部6を通じて設定モードの開始が指示されると、プロセッサ810のUI管理部814は検査ツールを設定するためのUIを表示部7に表示する。 FIG. 9 is a flowchart regarding the setting mode. When the start of the setting mode is instructed through the input unit 6, the UI management unit 814 of the processor 810 displays a UI for setting the inspection tool on the display unit 7.
図10はUIの一例を示している。UI管理部814が表示部7に表示するUI1000には、検査結果の保存先を指定するプルダウンメニュー1001や検査ツールの名称を入力するテキストボックス1002が設けられている。UI管理部814は実行ボタンの押し下げを検出すると次のUIを表示する。 FIG. 10 shows an example of a UI. The UI 1000 displayed on the display unit 7 by the UI management unit 814 is provided with a pull-down menu 1001 for designating a storage destination of the inspection result and a text box 1002 for inputting the name of the inspection tool. When the UI management unit 814 detects that the execution button has been pressed, the UI management unit 814 displays the next UI.
図11に示すUI1100には、検査ツールを設定するためのガイダンス1101と、カメラ4に撮像を指示する計測実行ボタン1102と、カメラ4により撮像された画像を表示する表示領域1103と、カメラ設定の開始を指示するカメラ設定ボタン1104を有している。なお、画像選択部1105は、表示領域1103に表示する画像や検査に使用する画像を選択するためのボタンである。この例では画像選択部1105によって、形状1、形状2、テクスチャおよびノーマルのうちいずれか1つの画像が択一的に選択される。計測実行ボタン1102が操作されると、撮像制御部がカメラ4に撮像を指示する。UI管理部814はカメラ4により取得された輝度画像を表示領域1103にレンダリングする。なお、画像選択部1105によって別の画像が選択されると、UI管理部814は画像選択部1105によって選択された画像を表示領域1103にレンダリングする。このようにユーザは画像選択部1105を操作するか、入力部6を通じて画像の切り替えを指示することで表示領域1103に表示される画像を切り替えることができる。カメラ設定ボタン1104が操作されると、UI管理部814は次のUIに切り替える。 A UI 1100 illustrated in FIG. 11 includes a guidance 1101 for setting an inspection tool, a measurement execution button 1102 for instructing the camera 4 to perform imaging, a display area 1103 for displaying an image captured by the camera 4, and camera settings. A camera setting button 1104 for instructing start is provided. Note that the image selection unit 1105 is a button for selecting an image to be displayed in the display area 1103 or an image to be used for inspection. In this example, the image selection unit 1105 selectively selects one of the images of shape 1, shape 2, texture, and normal. When the measurement execution button 1102 is operated, the imaging control unit instructs the camera 4 to perform imaging. The UI management unit 814 renders the luminance image acquired by the camera 4 in the display area 1103. When another image is selected by the image selection unit 1105, the UI management unit 814 renders the image selected by the image selection unit 1105 in the display area 1103. As described above, the user can switch the image displayed in the display area 1103 by operating the image selection unit 1105 or instructing the switching of the image through the input unit 6. When the camera setting button 1104 is operated, the UI management unit 814 switches to the next UI.
S901でUI管理部814はカメラ4を設定するためUIを表示部7に表示し、カメラ設定を実行する。図12はカメラ設定UI1200の一例を示している。カメラ設定タブ1201には、カメラの機種を設定するプルダウンメニュー1202、画像サイズを設定するプルダウンメニュー1203、シャッタースピードを設定するプルダウンメニュー1204、カメラの感度を設定するスライダー1205などを有している。なお、計測実行ボタン1102が操作されると、UI管理部814は、その時点で設定されている撮像パラメータにしたがってカメラ4によって取得された輝度画像を表示領域1103に表示する。これによりユーザは設定したパラメータが適切かどうかを判定できる。 In step S <b> 901, the UI management unit 814 displays a UI on the display unit 7 for setting the camera 4, and executes camera setting. FIG. 12 shows an example of the camera setting UI 1200. The camera setting tab 1201 includes a pull-down menu 1202 for setting the camera model, a pull-down menu 1203 for setting the image size, a pull-down menu 1204 for setting the shutter speed, and a slider 1205 for setting the sensitivity of the camera. When the measurement execution button 1102 is operated, the UI management unit 814 displays the luminance image acquired by the camera 4 in the display area 1103 according to the imaging parameter set at that time. Thereby, the user can determine whether the set parameter is appropriate.
S902でUI管理部814はフォトメトリック処理を設定するためUIを表示部7に表示し、設定を実行する。たとえば、カメラ設定UI1200に設けられているフォトメトリックステレオ設定タブ1210が操作されたこと検知すると、UI管理部814は、図13に示すように、フォトメトリックステレオ設定タブ1210を有効に切り替える。有効に切り替えるとは、ユーザ操作可能な状態にフォトメトリックステレオ設定タブ1210の表示状態を切り替えることをいう。フォトメトリックステレオ設定タブ1210には、画像を選択するためのプルダウンメニュー1301と、特徴サイズ設定部1302とが含まれている。この例では、それぞれ特徴サイズが異なる3つの検査画像(形状1、形状2、形状3)のいずれかを選択できるものとする。プルダウンメニュー1301によって選択された画像ごとに特徴サイズ設定部1302により特徴サイズが設定される。 In step S902, the UI management unit 814 displays a UI on the display unit 7 for setting photometric processing, and executes the setting. For example, when detecting that the photometric stereo setting tab 1210 provided in the camera setting UI 1200 is operated, the UI management unit 814 switches the photometric stereo setting tab 1210 to be valid as shown in FIG. To switch to enable means to switch the display state of the photometric stereo setting tab 1210 to a state in which the user can operate. The photometric stereo setting tab 1210 includes a pull-down menu 1301 for selecting an image and a feature size setting unit 1302. In this example, it is assumed that one of three inspection images (shape 1, shape 2, and shape 3) having different feature sizes can be selected. A feature size is set by the feature size setting unit 1302 for each image selected by the pull-down menu 1301.
フォトメトリックステレオ設定タブ1210に照明パターンを選択するための選択部が配置されてもよい。また、一回の照明あたりの発光量を指定する指定部が設けられてもよい。 A selection unit for selecting an illumination pattern may be arranged in the photometric stereo setting tab 1210. In addition, a designation unit that designates a light emission amount per one illumination may be provided.
S903でUI管理部814は検査ツールを設定するためのUIを表示部7に表示し、設定を実行する。図14は検査ツールを設定するUI1400の一例である。画像選択ボタン1401は、複数ある検査画像のうち検査に使用する検査画像を選択するためのボタンである。検査カテゴリー選択ボタン1402は、複数ある検査カテゴリーのうち検査ツールとして追加すべきツールのカテゴリーを選択するためのボタンである。認識対象設定ボタン1403は複数ある認識対象のうち1つを選択するためのボタンである。この例では、検査画像として「形状1」が選択され、カテゴリーとして「認識」が選択され、認識処理として「文字認識」が選択されている。追加ボタン1404が操作されると、UI管理部814は次のUIに切り替える。図15は基準画像登録UI1500を示している。基準画像登録UI1500には、上述した計測実行ボタン1102、表示領域1103に加え、登録ボタン1501が配置されている。登録ボタン1501が操作されると、UI管理部814は計測実行ボタン1102によって取得され、表示領域1103に表示されている画像を基準画像として登録する。登録が完了すると、UI管理部814は次のUIに切り替える。 In step S903, the UI management unit 814 displays a UI for setting the inspection tool on the display unit 7, and executes the setting. FIG. 14 shows an example of a UI 1400 for setting an inspection tool. The image selection button 1401 is a button for selecting an inspection image to be used for inspection from among a plurality of inspection images. The inspection category selection button 1402 is a button for selecting a category of a tool to be added as an inspection tool from among a plurality of inspection categories. The recognition target setting button 1403 is a button for selecting one of a plurality of recognition targets. In this example, “shape 1” is selected as the inspection image, “recognition” is selected as the category, and “character recognition” is selected as the recognition process. When the add button 1404 is operated, the UI management unit 814 switches to the next UI. FIG. 15 shows a reference image registration UI 1500. The reference image registration UI 1500 includes a registration button 1501 in addition to the above-described measurement execution button 1102 and display area 1103. When the registration button 1501 is operated, the UI management unit 814 registers the image acquired by the measurement execution button 1102 and displayed in the display area 1103 as a reference image. When registration is completed, the UI management unit 814 switches to the next UI.
図16は計測領域設定UI1600を示している。計測領域設定UI1600の表示領域1103には基準画像1601と、計測領域を示すフレーム1602が配置される。UI管理部814は入力部6からの指示に応じてフレーム1602の位置とサイズを変更する。ユーザは基準画像1601のうち計測対象としたい部分の位置とサイズに合わせてフレーム1602の位置とサイズを調整する。なお、さらに、UI管理部814は、文字の切り出し設定や、認識すべき文字の具体例(文字画像)と文字画像に対応する文字キャラクタを登録するための辞書設定などを実行してもよい。 FIG. 16 shows a measurement area setting UI 1600. A reference image 1601 and a frame 1602 indicating the measurement area are arranged in the display area 1103 of the measurement area setting UI 1600. The UI management unit 814 changes the position and size of the frame 1602 according to an instruction from the input unit 6. The user adjusts the position and size of the frame 1602 in accordance with the position and size of the portion to be measured in the reference image 1601. Further, the UI management unit 814 may perform character cutout settings, dictionary settings for registering specific examples (character images) of characters to be recognized and character characters corresponding to the character images, and the like.
次に傷検査ツールについて説明する。図17に示すように、検査カテゴリー選択ボタン1402によって傷検査が選択されると、UI管理部814は、検査内容選択ボタン1701を表示する。この例では、検査内容選択ボタン1701によって傷の総面積を計測するツールが選択されている。追加ボタン1404が操作されると、UI管理部814はUIを切り替える。 Next, the flaw inspection tool will be described. As shown in FIG. 17, when a wound inspection is selected by the inspection category selection button 1402, the UI management unit 814 displays an inspection content selection button 1701. In this example, a tool for measuring the total area of the wound is selected by the inspection content selection button 1701. When the add button 1404 is operated, the UI management unit 814 switches the UI.
図18は計測領域設定UI1800を示している。計測領域設定UI1800には、計測領域を示すフレーム1802が配置される。フレーム1802の形状は変更可能であり、たとえば、形状を選択するためのプルダウンメニュー1801によって複数の形状のうちいずれかの形状が選択される。UI管理部814はプルダウンメニュー1801によって選択された形状のフレーム1802を表示領域1103にレンダリングする。UI管理部814は入力部6からの指示に応じてフレーム1802の位置とサイズを変更する。 FIG. 18 shows a measurement area setting UI 1800. In the measurement area setting UI 1800, a frame 1802 indicating the measurement area is arranged. The shape of the frame 1802 can be changed. For example, one of a plurality of shapes is selected by a pull-down menu 1801 for selecting a shape. The UI management unit 814 renders the frame 1802 having the shape selected by the pull-down menu 1801 in the display area 1103. The UI management unit 814 changes the position and size of the frame 1802 in accordance with an instruction from the input unit 6.
図19は傷の検出条件を設定するための設定UI1900を示している。設定UI1900には、傷の検出方向を選択するためのプルダウンメニュー1901と、傷のセグメントサイズを指定するためのボックス1902と、傷のレベルを指定するためのスライダー1903が配置されている。設定UI1900により設定された傷検出条件に基づいて傷検査部831が傷を検出したときは、UI管理部814が傷の位置に傷検出マーク1910を表示してもよい。これにより、ユーザは、傷検出条件が適切かどうかを判断できよう。 FIG. 19 shows a setting UI 1900 for setting a flaw detection condition. The setting UI 1900 includes a pull-down menu 1901 for selecting a flaw detection direction, a box 1902 for designating a flaw segment size, and a slider 1903 for designating a flaw level. When the flaw inspection unit 831 detects a flaw based on the flaw detection condition set by the setting UI 1900, the UI management unit 814 may display a flaw detection mark 1910 at the flaw position. Thereby, the user will be able to judge whether the flaw detection condition is appropriate.
<検査モード>
図20は検査モードを示すフローチャートである。入力部6を通じて検査モードの開始が指示されると、プロセッサ810が動作モードを検査モードに移行させる。
<Inspection mode>
FIG. 20 is a flowchart showing the inspection mode. When the start of the inspection mode is instructed through the input unit 6, the processor 810 shifts the operation mode to the inspection mode.
S2001でプロセッサ810は設定された照明パターンにしたがって照明方向を切り替えながらワーク2の画像を撮像して取得する。具体的には、照明制御部812が、記憶装置820に保持されている設定データを参照して照明パターンを特定し、照明パターンを指定するためのコマンドを照明コントローラ802に送出する。撮像制御部813は記憶装置820に保持されている設定データを参照してカメラ4に関する制御パラメータ(シャッタースピードや感度など)を特定し、これを指定するコマンドをカメラ4に送信する。フォトメトリック処理部811は照明の開始を指示するためのトリガー信号を照明コントローラ802に送信するとともに、これと連動して撮像の開始を指示するためのトリガー信号をカメラ4に送信する。照明コントローラ802はトリガー信号に同期して照明方向を切り替える。たとえば、照明コントローラ802はコマンドにより指定された照明パターンにしたがって4つの照明方向について1つずつ順番に対応する発光素子を点灯させる。照明コントローラ802はコマンドと照明パターンとの対応関係をメモリなどに保持していてもよい。トリガー信号は照明開始時に1つだけ発行されてもよいし、切り替えタイミングにおいても発行されてもよい。カメラ4は制御パラメータにしたがってワーク2を撮像し、輝度画像を画像処理装置5に転送する。このようにして、たとえば、1つの照明方向につき1枚の輝度画像が生成される。 In step S2001, the processor 810 captures and acquires an image of the workpiece 2 while switching the illumination direction according to the set illumination pattern. Specifically, the illumination control unit 812 refers to the setting data held in the storage device 820, identifies the illumination pattern, and sends a command for designating the illumination pattern to the illumination controller 802. The imaging control unit 813 specifies control parameters (such as shutter speed and sensitivity) related to the camera 4 with reference to the setting data held in the storage device 820, and transmits a command for specifying the control parameter to the camera 4. The photometric processing unit 811 transmits a trigger signal for instructing the start of illumination to the illumination controller 802 and transmits a trigger signal for instructing the start of imaging to the camera 4 in conjunction with the trigger signal. The illumination controller 802 switches the illumination direction in synchronization with the trigger signal. For example, the illumination controller 802 turns on the light emitting elements corresponding to the four illumination directions one by one in accordance with the illumination pattern specified by the command. The lighting controller 802 may hold the correspondence between the command and the lighting pattern in a memory or the like. Only one trigger signal may be issued at the start of illumination, or may be issued at the switching timing. The camera 4 captures the workpiece 2 according to the control parameters and transfers the luminance image to the image processing device 5. In this way, for example, one luminance image is generated for one illumination direction.
S2002でプロセッサ810は複数の輝度画像から法線ベクトルnと反射率ρとを求める。上述したようにフォトメトリック処理部811は複数の輝度画像の画素値について式1を適用し、法線ベクトルnと反射率ρとを求める。 In S2002, the processor 810 obtains a normal vector n and a reflectance ρ from a plurality of luminance images. As described above, the photometric processing unit 811 applies Equation 1 to the pixel values of a plurality of luminance images to obtain the normal vector n and the reflectance ρ.
S2003でプロセッサ810は設定された特徴サイズにしたがって検査画像を生成する。上述したようにフォトメトリック処理部811は特徴サイズに対応する重みWを重みテーブルなどから決定し、式2を用いて積み上げ演算を実行して検査画像(傾き画像)を生成する。このように、フォトメトリック処理部811は複数の輝度画像からワーク2の表面の法線ベクトルnに基づく画素値を有する傾き画像を生成してもよい。なお、それぞれ値の異なる複数の特徴サイズを設定されている場合、フォトメトリック処理部811は設定された複数の特徴サイズのそれぞれについて検査画像を生成してもよい。また、フォトメトリック処理部811は上述した手法により反射率画像やテクスチャ画像を生成してもよい。たとえば、フォトメトリック処理部811は複数の輝度画像からワーク2の表面の法線ベクトルnとともにワーク2の表面の反射率ρを算出し、当該反射率ρに基づく画素値を有する反射率画像を生成してもよい。ここでは検査の対象とされる画像が生成され、検査の対象とさていない画像については生成が省略されてもよい。 In step S2003, the processor 810 generates an inspection image according to the set feature size. As described above, the photometric processing unit 811 determines the weight W corresponding to the feature size from the weight table or the like, and executes a stacking operation using Expression 2 to generate an inspection image (tilt image). As described above, the photometric processing unit 811 may generate an inclination image having a pixel value based on the normal vector n on the surface of the workpiece 2 from a plurality of luminance images. When a plurality of feature sizes having different values are set, the photometric processing unit 811 may generate an inspection image for each of the set feature sizes. The photometric processing unit 811 may generate a reflectance image or a texture image by the above-described method. For example, the photometric processing unit 811 calculates the reflectance ρ of the surface of the workpiece 2 together with the normal vector n of the surface of the workpiece 2 from a plurality of luminance images, and generates a reflectance image having a pixel value based on the reflectance ρ. May be. Here, an image to be inspected is generated, and generation of an image not to be inspected may be omitted.
S2004でプロセッサ810は検査画像を表示部7に表示する。UI管理部814は検査画像とともに、輝度画像、傾き画像、反射率画像を表示部7に同時または選択的に表示してもよい。選択的に表示する場合、UI管理部814は入力部6からの切り替え指示にしたがって、たとえば、4つの輝度画像を順番に切り替え表示してもよい。たとえば、入力部6のうちコンソールに設けられた特定のキーが画像の切替ボタンとして割り当てられていてもよい。 In step S2004, the processor 810 displays the inspection image on the display unit 7. The UI management unit 814 may display the luminance image, the tilt image, and the reflectance image together with the inspection image on the display unit 7 simultaneously or selectively. In the case of selective display, the UI management unit 814 may switch and display, for example, four luminance images in accordance with a switching instruction from the input unit 6. For example, a specific key provided on the console of the input unit 6 may be assigned as an image switching button.
S2005でプロセッサ810は画像処理部830に検査の実行を指示する。画像処理部830は検査を指示されると、予め設定された検査ツールを起動して検査画像に対して検査を実行する。たとえば、傷検査部831は設定された計測領域や検出条件にしたがって傷のレベルを判別し、検査結果(傷のレベル)を判定部840に転送する。なお、傷検査部831は、上述した基準画像を用いてパターンサーチを実行して検査領域を設定し、検査領域において検査を実行してもよい。また、OCR部832は、予め設定された文字認識設定にしたがって検査画像に対して文字認識処理を実行し、文字認識結果を判定部840に転送する。OCR部832も上述した基準画像を用いてパターンサーチを実行して検査領域(文字認識領域)を設定し、検査領域において検査を実行してもよい。 In step S2005, the processor 810 instructs the image processing unit 830 to execute inspection. When the inspection is instructed, the image processing unit 830 activates a preset inspection tool and executes the inspection on the inspection image. For example, the wound inspection unit 831 determines the level of the scratch according to the set measurement region and detection condition, and transfers the inspection result (scratch level) to the determination unit 840. Note that the flaw inspection unit 831 may perform a pattern search using the above-described reference image to set an inspection region, and perform inspection in the inspection region. In addition, the OCR unit 832 performs character recognition processing on the inspection image in accordance with preset character recognition settings, and transfers the character recognition result to the determination unit 840. The OCR unit 832 may perform a pattern search using the above-described reference image to set an inspection area (character recognition area), and execute an inspection in the inspection area.
S2006でプロセッサ810の判定部840は検査結果と判定閾値とを比較して、ワーク2が良品であるかどうかを判定する。たとえば、傷検査とOCRの両方を実行するように設定されている場合、判定部840は傷検査部831の検査結果とOCR部832の文字認識結果との両方が合格レベルにあるときに、ワーク2を良品と判定する。 In S2006, the determination unit 840 of the processor 810 compares the inspection result with the determination threshold value to determine whether the workpiece 2 is a non-defective product. For example, in a case where both the wound inspection and the OCR are set to be executed, the determination unit 840 determines whether the inspection result of the wound inspection unit 831 and the character recognition result of the OCR unit 832 are at a pass level. 2 is judged as a good product.
<画像保存設定>
図21は検査フローを設定するUI2100の一例を示している。UI管理部814はUI2100を表示部7に表示させ、検査フローのスタートからエンドまでの間に実行される複数の工程を入力部6から入力される指示にしたがって設定して行く。この例では、撮像工程、パターンサーチ工程、位置補正工程および傷検査工程が検査フローに追加されている。たとえば、入力部6を通じて検査フローのエンドが指定されると、UI管理部814はエンドにおいて検査履歴を蓄積するように設定してもよい。検査履歴とは、検査結果や検査に使用された画像などである。
<Image save settings>
FIG. 21 shows an example of a UI 2100 for setting an inspection flow. The UI management unit 814 displays the UI 2100 on the display unit 7 and sets a plurality of processes to be executed from the start to the end of the inspection flow according to instructions input from the input unit 6. In this example, an imaging process, a pattern search process, a position correction process, and a flaw inspection process are added to the inspection flow. For example, when the end of the inspection flow is designated through the input unit 6, the UI management unit 814 may be set to accumulate the inspection history at the end. The inspection history is an inspection result or an image used for the inspection.
なお、各工程を追加するときにUI管理部814は各工程で使用される画像の選択を、入力部6を通じて受け付けてもよい。たとえば、ユーザは入力部6を通じて撮像工程に対しては照明方向が異なる4つの輝度画像や傾き画像、反射率画像などを取得対象として指定し、パターンサーチ工程に対してはいずれかの輝度画像(全方向照明画像など)をサーチ対象として指定し、傷検査工程に対しては傾き画像から生成された検査画像などを検査対象として指定してもよい。本実施例では撮像工程にて撮像された複数の輝度画像から生成された複数の形状画像や反射率画像を後段の検査工程に出力することができるため、ユーザは、共通の撮像工程から生成された複数の検査画像を各画像の特性に応じた様々な検査に応用することができる。 When adding each process, the UI management unit 814 may accept selection of an image used in each process through the input unit 6. For example, the user designates, as the acquisition target, four luminance images, tilt images, and reflectance images having different illumination directions for the imaging process through the input unit 6, and any luminance image ( An omnidirectional illumination image or the like) may be designated as a search target, and an inspection image or the like generated from an inclination image may be designated as an inspection target for a scratch inspection process. In this embodiment, since a plurality of shape images and reflectance images generated from a plurality of luminance images captured in the imaging process can be output to the subsequent inspection process, the user is generated from a common imaging process. The plurality of inspection images can be applied to various inspections according to the characteristics of each image.
図22は履歴を蓄積する条件を設定するUI2200の一例を示している。蓄積条件を識別するための識別情報を設定する設定部2201は複数ある識別情報から設定対象となる識別情報を選択するためのプルダウンメニューによって構成されている。この例では設定部2201において「0:」という識別情報の蓄積条件が選択されている。蓄積条件としては、たとえば、検査結果が良品ではないときにのみ画像を蓄積するといった条件や、検査結果に依存せずに各ワークごとに常に画像を蓄積するといった条件などがある。ここでは、プロセッサ810は詳細設定ボタンなどが押されたことを検知すると条件設定部819を起動する。条件設定部819は、たとえば、常に画像を保存または出力するモードと、判定部840により検査対象物が良品ではないと判定されたときに画像を保存または出力するモードとのうちいずれかを設定してもよい。画像選択部2202は蓄積条件が満たされたときに保存する画像を選択する。ここでは画像選択部2202によって「すべて」と「指定」とを選択することができる。保存先選択部2203は、画像の保存先(例:内蔵メモリ、メモリカードなどの可搬メディアやFTPサーバなどのネットワークストレージ)を選択するためのプルダウンメニューによって構成されている。 FIG. 22 shows an example of a UI 2200 for setting conditions for accumulating history. The setting unit 2201 for setting identification information for identifying the accumulation condition is configured by a pull-down menu for selecting identification information to be set from a plurality of identification information. In this example, an accumulation condition of identification information “0:” is selected in the setting unit 2201. Examples of the accumulation condition include a condition that an image is accumulated only when the inspection result is not a non-defective product, and a condition that an image is always accumulated for each workpiece without depending on the inspection result. Here, the processor 810 activates the condition setting unit 819 when detecting that the detailed setting button or the like is pressed. For example, the condition setting unit 819 sets one of a mode in which an image is always stored or output and a mode in which an image is stored or output when the determination unit 840 determines that the inspection target is not a good product. May be. The image selection unit 2202 selects an image to be saved when the accumulation condition is satisfied. Here, “all” and “designation” can be selected by the image selection unit 2202. The storage destination selection unit 2203 includes a pull-down menu for selecting an image storage destination (for example, portable media such as a built-in memory or a memory card, or a network storage such as an FTP server).
図23は画像選択部2202で「指定」が選択されたときにUI管理部814が表示部7に表示させるUI2300の一例を示している。この例では、検査フローにおいて扱われるすべての種類の画像のうち実際に保存すべき画像を選択するためのチェックボックス2301が設けられている。形状1、2は特徴サイズが異なる検査画像(傾き画像)である。テクスチャは反射率画像である。ノーマルは全方向照明により取得された画像である。4つの矢印は照明方向を示している。つまり矢印マークによって照明方向が異なる4つの輝度画像が区別されている。チェックボックスにチェックされた画像が保存対象として設定される。 FIG. 23 shows an example of a UI 2300 that the UI management unit 814 displays on the display unit 7 when “designation” is selected by the image selection unit 2202. In this example, a check box 2301 for selecting an image to be actually saved among all types of images handled in the inspection flow is provided. Shapes 1 and 2 are inspection images (tilt images) having different feature sizes. The texture is a reflectance image. Normal is an image acquired by omnidirectional illumination. Four arrows indicate the illumination direction. That is, four luminance images having different illumination directions are distinguished by the arrow marks. An image whose check box is checked is set as a save target.
ところで、プロセッサ810は判定部840が判定を終了した後で画像を保存または出力する条件が満たされているかどうかを判断する判断手段を備えていてもよい。すなわち、検査フローのエンド部において、プロセッサ810は、条件設定部819により設定された蓄積条件や出力条件が満たされているかどうかを判断してもよい。 By the way, the processor 810 may include a determination unit that determines whether a condition for saving or outputting an image is satisfied after the determination unit 840 completes the determination. That is, at the end part of the inspection flow, the processor 810 may determine whether the storage condition and the output condition set by the condition setting unit 819 are satisfied.
図24は画像出力工程2401を検査フローに追加する例を示している。上述した実施例では検査フローの最後に画像を出力するように設定したが、この例では入力部6から入力されるユーザ指示にしたがってUI管理部814が検査フローの任意の位置に画像出力工程2401を設定する。このように、プロセッサ810は、判定部840が判定を終了する前に位置する画像出力工程2401で画像を保存または出力する条件が満たされているかどうかを判断してもよい。画像出力工程2401に関連する蓄積設定等は図21ないし図23を用いて説明したのと同様であってもよいし、異なってもよい。 FIG. 24 shows an example in which an image output process 2401 is added to the inspection flow. In the above-described embodiment, an image is set to be output at the end of the inspection flow. However, in this example, the UI management unit 814 performs an image output process 2401 at an arbitrary position in the inspection flow according to a user instruction input from the input unit 6. Set. As described above, the processor 810 may determine whether or not a condition for saving or outputting an image is satisfied in the image output step 2401 positioned before the determination unit 840 ends the determination. The accumulation settings and the like related to the image output process 2401 may be the same as or different from those described with reference to FIGS.
図25は蓄積設定(出力設定)に関するUIの別の例を示している。画像出力工程2401が入力部6により選択された状態で、さらに入力部6により設定を開始する指示が入力されると、UI管理部814はUI2501を表示する。画像変数2502は出力すべき画像を選択する画像選択部として機能し、この例では検査フローにおける各工程に付与されている画像変数によって出力すべき画像が指定される。つまり、各工程ごとに出力すべき画像を選択できる。UI2501において画像の出力枚数や画像形式なども設定されてもよい。出力先選択部2503は画像の出力先(例:内蔵メモリ、メモリカードなどの可搬記憶メディアやFTPサーバなどのネットワークストレージ)を選択するためのプルダウンメニューである。 FIG. 25 shows another example of a UI related to accumulation setting (output setting). When the image output process 2401 is selected by the input unit 6 and an instruction to start setting is further input by the input unit 6, the UI management unit 814 displays the UI 2501. The image variable 2502 functions as an image selection unit that selects an image to be output. In this example, an image to be output is designated by an image variable assigned to each process in the inspection flow. That is, an image to be output can be selected for each process. In the UI 2501, the number of output images and the image format may be set. An output destination selection unit 2503 is a pull-down menu for selecting an image output destination (for example, a portable storage medium such as a built-in memory or a memory card, or a network storage such as an FTP server).
図26は画像を選択するUI2600の一例である。UI2501において詳細設定ボタンが押し下げられると、UI管理部814はUI2600を表示する。UI2600ではすべての画像を保存するか、個別指定するかを選択するためのラジオボタンや、画像を個別に選択するためのチェックボックスなどが配置されている。この例では、ラジオボタンにより個別指定が選択されているため、チェックボックスが有効となり、チェックボックスを通じていくつかの画像が選択されている。このように、複数の輝度画像、検査画像、全方向照明画像および複数の輝度画像を合成して得られた合成輝度画像から保存対象もしくは出力対象となる画像が選択されてもよい。また、それぞれ特徴サイズが異なる複数の検査画像から保存対象もしくは出力対象となる画像を選択できるようにUI2600が構成されてもよい。また、複数の輝度画像、検査画像および検査対象物の表面の反射率を画素値とした反射率画像から保存対象もしくは出力対象となる画像を選択できるようにUI2600が構成されてもよい。 FIG. 26 shows an example of a UI 2600 for selecting an image. When the detailed setting button is pressed on the UI 2501, the UI management unit 814 displays the UI 2600. In the UI 2600, radio buttons for selecting whether all images are stored or individually designated, check boxes for individually selecting images, and the like are arranged. In this example, since individual designation is selected by a radio button, the check box is valid, and several images are selected through the check box. As described above, an image to be stored or output may be selected from a combined luminance image obtained by combining a plurality of luminance images, an inspection image, an omnidirectional illumination image, and a plurality of luminance images. Further, the UI 2600 may be configured such that an image to be saved or output can be selected from a plurality of inspection images each having a different feature size. Further, the UI 2600 may be configured so that an image to be stored or output can be selected from a plurality of luminance images, an inspection image, and a reflectance image using the reflectance of the surface of the inspection object as a pixel value.
<パラメータ調整における画像の表示>
上述したように輝度画像と検査画像を確認しながら制御パラメータを調整することで、ユーザは適切な制御パラメータを決定しやすくなる。ここではパラメータ調整に関するUIについて具体例を示す。
<Image display in parameter adjustment>
As described above, the user can easily determine an appropriate control parameter by adjusting the control parameter while checking the luminance image and the inspection image. Here, a specific example of a UI related to parameter adjustment is shown.
図27は制御パラメータを調整する際にUI管理部814が表示部7に表示するUI2701a、2701bの一例を示している。UI2701aとUI2701bとの違いは表示領域1103に表示されている画像が異なる点である。撮像設定タブ2702はカメラ4の撮像条件や照明装置3の照明条件などの制御パラメータを設定するためのUIである。シャッタースピード設定部2703はカメラ4のシャッタースピードを指定するためのプルダウンメニューであり、複数あるシャッタースピードのリストから1つのシャッタースピードが選択可能となっている。画像変数設定部2704はカメラ4により取得された画像を格納するための変数を入力するテキストボックスである。照明パターン設定部2705は複数ある照明パターンから1つの照明パターンを指定するためのプルダウンメニューである。照明パターンとは、たとえば、環状に並んだ16個の素子のうち、どの素子をどのような順番で発光させるかを規定したパターンである。光量設定部2706は照明装置3の光量レベルを設定するためのテキストボックスである。点灯回数設定部2708は1つのワークに対して照明装置3を点灯させる回数を選択するためのプルダウンメニューである。標準の点灯回数は4回であるが、8回など他の点灯回数も設定可能である。8回が設定されると、照明方向が8通りとなり、輝度画像の枚数も8枚となる。照明方向と輝度画像を増やすことで、より細かい傷を検出しやすくなるとともに、ハレーションが起きやすいワークであっても検査精度が向上する。点灯幅設定部2709は、1回の点灯タイミングで点灯する発光素子の数を設定するためのプルダウンメニューである。たとえば、4つの照明方向から照明光を照射するときに、1つの照明方向あたりで点灯する発光素子の数を1個、2個、3個、4個というように変更することが可能となる。点灯位置調整部2710は各照明パターンにおいてどの光源群を最初に点灯させるかを設定するUIである。照明装置3の実際配置と検査装置が想定している配置とが一致していないことがある。たとえば、右方向からワーク2に対して照明することを想定していても、照明装置3が所定位置から90度回転して取り付けられていれば、実際の照明方向が上方向または下方向となってしまう。照明パターンが右、下、左、上といった順番であれば、下、左、上、右といった順番に変更することで、照明装置3の実際配置と検査装置が想定している配置とが一致するようになる。なお、点灯位置調整部2710が起動されると、UI管理部814は、点灯すべき光源(発光素子)を指定するためのユーザインタフェースを表示してもよい。検査ツール設定部は、このUIを通じて点灯すべき光源の指定を受け付けてもよい。図27によれば、表示制御部851は、各輝度画像に対してその輝度画像について想定されている照明方向を示す矢印2712を重畳表示している。これにより実際の照明方向と演算上の照明方向とが一致しているかどうかをユーザは容易に判別できよう。 FIG. 27 shows an example of UIs 2701a and 2701b displayed on the display unit 7 by the UI management unit 814 when adjusting the control parameters. The difference between the UI 2701a and the UI 2701b is that the image displayed in the display area 1103 is different. The imaging setting tab 2702 is a UI for setting control parameters such as imaging conditions of the camera 4 and illumination conditions of the illumination device 3. A shutter speed setting unit 2703 is a pull-down menu for designating the shutter speed of the camera 4, and one shutter speed can be selected from a list of a plurality of shutter speeds. An image variable setting unit 2704 is a text box for inputting a variable for storing an image acquired by the camera 4. An illumination pattern setting unit 2705 is a pull-down menu for designating one illumination pattern from a plurality of illumination patterns. An illumination pattern is a pattern which prescribes | regulates which element is made to light-emit in what order among 16 elements arranged in a ring, for example. The light quantity setting unit 2706 is a text box for setting the light quantity level of the illumination device 3. The lighting number setting unit 2708 is a pull-down menu for selecting the number of times the lighting device 3 is turned on for one work. Although the standard lighting number is four, other lighting numbers such as eight can be set. When eight times are set, there are eight illumination directions, and the number of luminance images is eight. By increasing the illumination direction and the luminance image, it becomes easier to detect finer scratches, and the inspection accuracy is improved even for a work in which halation is likely to occur. The lighting width setting unit 2709 is a pull-down menu for setting the number of light emitting elements that are turned on at one lighting timing. For example, when irradiating illumination light from four illumination directions, it is possible to change the number of light-emitting elements that are turned on per illumination direction to 1, 2, 3, 4, or the like. The lighting position adjustment unit 2710 is a UI for setting which light source group is initially turned on in each illumination pattern. The actual arrangement of the illumination device 3 may not match the arrangement assumed by the inspection apparatus. For example, even if it is assumed that the workpiece 2 is illuminated from the right direction, if the illumination device 3 is attached by being rotated 90 degrees from a predetermined position, the actual illumination direction is an upward direction or a downward direction. End up. If the illumination pattern is in the order of right, bottom, left, and top, changing the order of bottom, left, top, and right will match the actual layout of the illumination device 3 with the layout assumed by the inspection device. It becomes like this. When the lighting position adjustment unit 2710 is activated, the UI management unit 814 may display a user interface for designating a light source (light emitting element) to be lit. The inspection tool setting unit may accept specification of a light source to be turned on through this UI. According to FIG. 27, the display control unit 851 superimposes and displays an arrow 2712 indicating the illumination direction assumed for each luminance image. As a result, the user can easily determine whether or not the actual illumination direction matches the calculated illumination direction.
UI管理部814の表示制御部851は表示領域1103に表示している画像について画素値が飽和している画素(白とび画素や黒つぶれ画素)を求め、これらを強調表示(例:赤色表示や点滅表示など)してもよい。白とび画素や黒つぶれ画素を明確にするために、表示制御部851は白とび画素や黒つぶれ画素をそれぞれ異なる色(例:赤色と青色など)に着色してもよい。さらに、白とびや黒つぶれは検査画像を見てもわからない。検査画像は輝度を示すものではなく法線ベクトル(傾き)などを示すものだからである。そこで、表示制御部851は輝度画像において白とび画素や黒つぶれ画素の位置(座標)を求め、検査画像を構成する画素のうち、輝度画像における白とび画素や黒つぶれ画素の位置に一致する位置の画素を強調表示してもよい。これにより、ユーザは検査画像を見ても白とび画素や黒つぶれ画素の発生を認識できるようになる。もちろん、強調表示は実際に白とび画素や黒つぶれ画素が生じている輝度画像においてのみ強調表示してもよい。ユーザは上述したように検査画像と輝度画像を切り替え表示できるため、輝度画像において白とび画素や黒つぶれ画素を確認できる。なお、表示制御部851は、合成輝度画像を構成している画素について飽和画素の位置と数を求め、飽和画素を合成輝度画像において強調表示したり、検査画像において強調表示したりしてもよい。 The display control unit 851 of the UI management unit 814 obtains pixels (whiteout pixels and blackout pixels) whose pixel values are saturated in the image displayed in the display area 1103, and highlights them (for example, red display or (Flashing display etc.). In order to clarify the whiteout pixels and the blackout pixels, the display control unit 851 may color the whiteout pixels and the blackout pixels in different colors (for example, red and blue). In addition, overexposure and underexposure cannot be seen from the inspection image. This is because the inspection image does not indicate luminance but indicates a normal vector (slope) or the like. Therefore, the display control unit 851 obtains the positions (coordinates) of whiteout pixels and blackout pixels in the luminance image, and among the pixels constituting the inspection image, positions that match the positions of whiteout pixels and blackout pixels in the luminance image. These pixels may be highlighted. As a result, the user can recognize the occurrence of overexposed pixels and blackout pixels even when viewing the inspection image. Of course, the highlighting may be performed only in the luminance image in which the overexposed pixels and the blackout pixels are actually generated. Since the user can switch and display the inspection image and the luminance image as described above, it is possible to check overexposed pixels and blackout pixels in the luminance image. Note that the display control unit 851 may obtain the position and number of saturated pixels for the pixels constituting the combined luminance image, and may highlight the saturated pixels in the combined luminance image or may be highlighted in the inspection image. .
表示制御部851は、白とび画素や黒つぶれ画素の強調表示とともにまたは強調表示に代えて、白とび画素の比率や黒つぶれ画素の比率を通知部2711に表示してもよい。比率は飽和している画素と飽和している画素との割合であってもよいし、画像を構成しているすべての画素に対する飽和画素の割合であってもよい。表示制御部851は、複数の輝度画像のそれぞれにおいて白とび画素の数と黒つぶれ画素の数をカウントし、白とび画素の数の最大値から白とび画素の比率を算出し、黒つぶれ画素の数の最大値から黒つぶれ画素の比率を算出し、これを通知部2711に表示してもよい。この場合、表示領域1103に表示される画像の種類を問わずに、通知部2711には白とび画素の比率や黒つぶれ画素の比率が表示される。 The display control unit 851 may display the ratio of over-exposed pixels and the ratio of under-exposed pixels on the notification unit 2711 together with or in place of the emphasis display of over-exposed pixels and under-exposed pixels. The ratio may be a ratio of saturated pixels to saturated pixels, or may be a ratio of saturated pixels to all pixels constituting the image. The display control unit 851 counts the number of overexposed pixels and the number of overexposed pixels in each of the plurality of luminance images, calculates the ratio of overexposed pixels from the maximum number of overexposed pixels, and The ratio of blackout pixels may be calculated from the maximum number and displayed on the notification unit 2711. In this case, regardless of the type of image displayed in the display area 1103, the notification unit 2711 displays the ratio of overexposed pixels and the ratio of underexposed pixels.
このように白とび画素や黒つぶれ画素を強調表示したり、白とび画素の比率や黒つぶれ画素の比率を表示したりすることで、表示領域1103に表示された画像を確認しながら白とび画素の比率や黒つぶれ画素がなくなるまで、シャッタースピード、光量、レンズの絞りなどを調整できるようになる。 In this way, by highlighting overexposed pixels and underexposed pixels, or by displaying overexposed pixel ratios and underexposed pixel ratios, overexposed pixels can be checked while checking the image displayed in the display area 1103. The shutter speed, light intensity, lens aperture, etc. can be adjusted until the blackout ratio and blackout pixels disappear.
表示制御部851は入力部6を通じて表示画像の切り替え指示が入力されると、現在表示されている画像から予め定められている別の画像を表示してもよい。たとえば、表示制御部851はそれぞれ照明方向の異なる4つの輝度画像、これらから生成された傾き画像、反射率画像、表明形状画像、テクスチャ画像、合成輝度画像などを、切り替え指示が入力されるたびに順番に表示部7に表示させてもよい。さらに検査画像は複数であってもよい。たとえば、表示制御部851は切り替え指示が入力されるたびに順番にそれぞれ特徴サイズが異なる複数の検査画像(表面形状画像)を表示部7に表示させてもよい。図27によれば、UI2701aでは左方向から照明光を照射して撮像した輝度画像が表示されており、UI2701bでは検査画像が表示されている。なお、UI管理部814が撮像設定タブ2702においていずれかの制御パラメータの変更を受け付けると、検査ツール設定部817は、変更された制御パラメータを照明制御部812や撮像制御部813に設定する。照明制御部812は変更された制御パラメータを照明コントローラ802に設定する。照明コントローラ802は変更された制御パラメータにしたがって光源群801を設定する。撮像制御部813は変更された制御パラメータにしたがってカメラ4を制御し、輝度画像を取得させる。フォトメトリック処理部811は新しく取得された輝度画像を受信して傾き画像や反射率画像、検査画像などを再生成(更新)する。表示制御部851は画像が更新されたことをフォトメトリック処理部811から通知されると、記憶装置820から更新された画像を読み出して表示領域1103に表示させる。 When a display image switching instruction is input through the input unit 6, the display control unit 851 may display another predetermined image from the currently displayed image. For example, each time a switching instruction is input, the display control unit 851 switches four luminance images having different illumination directions, tilt images, reflectance images, manifestation shape images, texture images, synthesized luminance images, and the like. You may display on the display part 7 in order. Further, there may be a plurality of inspection images. For example, the display control unit 851 may cause the display unit 7 to display a plurality of inspection images (surface shape images) having different feature sizes in order each time a switching instruction is input. According to FIG. 27, the UI 2701a displays a luminance image captured by irradiating illumination light from the left direction, and the UI 2701b displays an inspection image. Note that when the UI management unit 814 receives a change of any control parameter in the imaging setting tab 2702, the inspection tool setting unit 817 sets the changed control parameter in the illumination control unit 812 or the imaging control unit 813. The lighting control unit 812 sets the changed control parameter in the lighting controller 802. The illumination controller 802 sets the light source group 801 according to the changed control parameter. The imaging control unit 813 controls the camera 4 according to the changed control parameter, and acquires a luminance image. The photometric processing unit 811 receives the newly acquired luminance image and regenerates (updates) the tilt image, the reflectance image, the inspection image, and the like. When notified from the photometric processing unit 811 that the image has been updated, the display control unit 851 reads the updated image from the storage device 820 and displays it in the display area 1103.
このように輝度画像と検査画像とを切り替えながら表示することでユーザは適切な制御パラメータを見つけやすくなろう。また、制御パラメータが変更されたときは画像をリアルタイムで更新することで、さらに、ユーザは適切な制御パラメータを見つけやすくなろう。 By displaying the luminance image and the inspection image while switching between them, the user can easily find an appropriate control parameter. Further, when the control parameter is changed, the image is updated in real time, so that the user can easily find an appropriate control parameter.
図28は制御パラメータを調整する際にUI管理部814が表示部7に表示するUI2801a、2801bの一例を示している。UI2801a、2801bは制御パラメータのうち画像の補正処理(検査画像の生成条件など)に関連した制御パラメータを調整するために使用される。また、UI2801a、2801bの補正処理設定部2802では表示された画像についてのみ適用される個別設定と、複数の画像に対して共通に適用される共通設定とを調整できるように構成されている。個別設定としては、たとえば、ガイデッドフィルタの設定部2803とテクスチャ除去の設定部2804とが設けられている。ガイデッドフィルタとは画像を平滑化するフィルタである。ここでは平滑化のレベルを設定できる。テクスチャ除去とはワーク2の表面の模様や印刷の影響を除去することをいう。共通設定としては、暗部変動抑制の設定部2805やハレーション除去の設定部2806、方向別強調の設定部2807がある。暗部変動抑制とは画像の暗い部分におけるノイズの影響を抑制する処理のことである。ハレーション除去とは輝度画像におけるハレーションを除去して傾き画像や表面形状画像にその影響を及びにくくする処理である。方向別強調とはX方向(検査画像における上下方向)とY方向(検査画像における左右方向)とのうち指定した方向の凹凸を強調し、指定しなかった方向の凹凸を小さくする処理である。 FIG. 28 shows an example of UIs 2801a and 2801b displayed on the display unit 7 by the UI management unit 814 when adjusting the control parameters. UIs 2801a and 2801b are used to adjust control parameters related to image correction processing (inspection image generation conditions, etc.) among control parameters. Further, the correction processing setting unit 2802 of the UIs 2801a and 2801b is configured to be able to adjust individual settings that are applied only to the displayed image and common settings that are commonly applied to a plurality of images. As the individual setting, for example, a guided filter setting unit 2803 and a texture removal setting unit 2804 are provided. A guided filter is a filter that smoothes an image. Here, the level of smoothing can be set. Texture removal means removing the influence of the pattern on the surface of the work 2 and printing. Common settings include a dark portion fluctuation suppression setting unit 2805, a halation removal setting unit 2806, and a direction-specific emphasis setting unit 2807. Dark area fluctuation suppression is a process for suppressing the influence of noise in a dark part of an image. Halation removal is processing that removes halation in a luminance image and makes it less likely to affect the tilt image and surface shape image. The direction-specific emphasis is a process of emphasizing unevenness in a specified direction out of the X direction (up and down direction in the inspection image) and the Y direction (left and right direction in the inspection image) and reducing the unevenness in the direction not specified.
図29は画像の切り替え指示を入力するためのUI2901a、2901b、2901cの一例を示している。図30は入力部6の一部であるコンソール3000の一例を示している。UI2901aではコンソール3000によって操作されるページ切替部2902が設けられている。コンソール3000の上下左右キー3001を操作することでページ切替部2902がアクティブにされる。この状態で、上下左右キー3001が操作されると、表示制御部851は画像の切り替え指示が入力されたと判定する。 FIG. 29 shows an example of UIs 2901a, 2901b, and 2901c for inputting an image switching instruction. FIG. 30 shows an example of a console 3000 that is a part of the input unit 6. In the UI 2901a, a page switching unit 2902 operated by the console 3000 is provided. The page switching unit 2902 is activated by operating the up / down / left / right key 3001 of the console 3000. When the up / down / left / right key 3001 is operated in this state, the display control unit 851 determines that an image switching instruction has been input.
UI2901bは入力部6がタッチパネルによって実装される場合のUIである。画像切替ボタン2903の操作を検知すると、表示制御部851は画像の切り替え指示が入力されたと判定する。なお、画像切替ボタン2903では複数の画像の順番のうち順方向に画像を切り替えるボタンと逆方向に画像を切り替えるボタンとが設けられている。これにより複数の画像が表示対象となっていても素早く目的の画像を表示させることが可能となる。 A UI 2901b is a UI when the input unit 6 is mounted by a touch panel. When the operation of the image switching button 2903 is detected, the display control unit 851 determines that an image switching instruction has been input. Note that the image switching button 2903 is provided with a button for switching an image in the forward direction and a button for switching an image in the reverse direction in the order of a plurality of images. This makes it possible to quickly display a target image even when a plurality of images are to be displayed.
UI2901cは画像リスト2904と画像選択フレーム2905を有している。UI管理部814は入力部6を通じて画像リスト2904の表示指示が入力されると画像リスト2904を作成して表示する。表示制御部851は入力部6を通じて操作される画像選択フレーム2905によって選択された画像を表示領域1103に表示させる。 The UI 2901c has an image list 2904 and an image selection frame 2905. When a display instruction for the image list 2904 is input through the input unit 6, the UI management unit 814 creates and displays the image list 2904. The display control unit 851 displays the image selected by the image selection frame 2905 operated through the input unit 6 in the display area 1103.
図31は制御パラメータを調整する際にUI管理部814が表示部7に表示するUI3101a、3101b、3101cの一例を示している。UI3101aでは表示領域1103に検査画像と輝度画像といった2つの画像が同時に表示される。UI3101bでは表示領域1103に3つの検査画像と輝度画像とが同時に表示される。このように複数の画像が表示されるときは制御パラメータを調整したい画像を選択するための画像選択フレーム3120を表示制御部851が表示してもよい。表示制御部851は入力部6から入力される移動指示に応じて画像選択フレーム3120の位置を変更する。これによりユーザは制御パラメータを調整したい画像を選択できるようになる。 FIG. 31 shows an example of UIs 3101a, 3101b, and 3101c displayed on the display unit 7 by the UI management unit 814 when adjusting the control parameters. In the UI 3101a, two images such as an inspection image and a luminance image are simultaneously displayed in the display area 1103. In the UI 3101b, three inspection images and a luminance image are simultaneously displayed in the display area 1103. When a plurality of images are displayed in this way, the display control unit 851 may display an image selection frame 3120 for selecting an image for which the control parameter is to be adjusted. The display control unit 851 changes the position of the image selection frame 3120 according to the movement instruction input from the input unit 6. As a result, the user can select an image whose control parameter is to be adjusted.
UI3101cではフォトメトリックステレオに関する制御パラメータ(検査画像の生成条件など)を調整するためのタブ3102が有効にされている。この例でも生成条件の異なる複数の検査画像が表示領域1103に同時に表示されている。これにより生成条件の違いによる検査画像への影響を比較しやすくなろう。画像選択部3103は設定対象の画像を選択するためのプルダウンメニューである。この例ではプルダウンメニューには表示領域1103に表示されている4つの画像の識別情報が表示され、そのうち1つの画像の識別情報が選択される。なお、画像選択部3103によって選択された画像には画像選択フレーム2905が重畳表示されてもよい。特徴サイズ設定部3104は特徴サイズを指定するためのテキストボックスである。余裕度設定部3105は、特徴サイズに対してどの程度の余裕を持たせるかを設定するためのテキストボックスである。余裕度を小さくすると、特徴サイズに近いサイズの形状が強調される。余裕度を大きくすると、特徴サイズから離れたサイズの形状も強調される。このように余裕度を変更することで、図4に示した特徴サイズのピークが急峻になったり急峻ではなくなったりするように調整される。コントラスト設定部3106は画像のコントラストを設定するためのテキストボックスである。補正処理設定ボタン3107が操作せれるとUI管理部814は、図28に示したような補正処理設定部2802を呼び出す。移動体追従設定部3108は、移動体追従処理を有効化するか無効化するかを設定する設定部である。移動体追従処理とはワーク2が移動しているときに複数の輝度画像内でのワーク2の位置が整合するように輝度画像を補正する処理である。法線ベクトルや反射率は画素ごとの演算によって求められる。したがって同一の座標であれば同一の表面に対応するように輝度画像の位置合わせが必要となる。移動体追従処理は輝度画像から生成されるすべての画像に影響を及ぼす。それゆえ、輝度画像と検査画像とを対比しながら移動体追従処理の効果を確認することで、移動体追従処理を有効化すべきか無効化すべきかを適切に選択できるようになろう。環境光除去設定部3109は検査環境に設置されている蛍光灯などからの光(環境光)を除去する処理を有効化するための設定部である。環境光除去が有効化されるとフォトメトリック処理部が輝度画像から環境光除去処理を実行する。環境光はすべての輝度画像に影響し、それゆえに検査画像にも影響する。よって、輝度画像と検査画像とを対比しながら環境光除去処理の効果を確認することで、環境光除去処理を有効化すべきか無効化すべきかを適切に選択できるようになろう。 In the UI 3101c, a tab 3102 for adjusting control parameters (inspection image generation conditions, etc.) related to photometric stereo is enabled. In this example as well, a plurality of inspection images having different generation conditions are simultaneously displayed in the display area 1103. This will make it easier to compare the effect on the inspection image due to the difference in generation conditions. An image selection unit 3103 is a pull-down menu for selecting an image to be set. In this example, the identification information of four images displayed in the display area 1103 is displayed in the pull-down menu, and the identification information of one image is selected. Note that an image selection frame 2905 may be superimposed and displayed on the image selected by the image selection unit 3103. A feature size setting unit 3104 is a text box for designating a feature size. The margin setting unit 3105 is a text box for setting how much margin is allowed for the feature size. When the margin is reduced, the shape close to the feature size is emphasized. When the margin is increased, the shape having a size away from the feature size is also emphasized. By changing the margin as described above, the feature size peak shown in FIG. 4 is adjusted to be steep or not steep. A contrast setting unit 3106 is a text box for setting the contrast of the image. When the correction processing setting button 3107 is operated, the UI management unit 814 calls a correction processing setting unit 2802 as shown in FIG. The moving body tracking setting unit 3108 is a setting unit that sets whether to enable or disable the moving body tracking process. The moving body tracking process is a process of correcting the luminance image so that the positions of the workpieces 2 in the plurality of luminance images are aligned when the workpiece 2 is moving. The normal vector and the reflectance are obtained by calculation for each pixel. Therefore, if the coordinates are the same, it is necessary to align the luminance image so as to correspond to the same surface. The moving body tracking process affects all images generated from the luminance image. Therefore, by confirming the effect of the moving body tracking process while comparing the luminance image and the inspection image, it is possible to appropriately select whether the moving body tracking process should be validated or invalidated. The environment light removal setting unit 3109 is a setting unit for validating processing for removing light (environment light) from a fluorescent lamp or the like installed in the inspection environment. When the ambient light removal is enabled, the photometric processing unit executes the ambient light removal process from the luminance image. Ambient light affects all luminance images and hence the inspection image. Accordingly, by confirming the effect of the ambient light removal process while comparing the luminance image and the inspection image, it will be possible to appropriately select whether the ambient light removal process should be validated or invalidated.
図32は同時に表示する画像の枚数を設定するためのUI3201a、3201bの一例を示す図である。UI3201aはコンソール3000によって操作されるUIである。表示パターン設定部3202は表示領域1103に何枚の画像をどのような配列で表示するかを設定するためのUIである。UI3201bはタッチパネル向けのUIである。表示パターン切替ボタン3203が押されるごとに、表示制御部851は、1x1(1枚のみ表示)→1x2(横に2枚表示)→2x1(縦に2枚表示)→2x2(縦横にそれぞれ2枚ずつ表示)→1x1といった順番で表示パターンを切り替える。 FIG. 32 is a diagram showing an example of UIs 3201a and 3201b for setting the number of images to be displayed simultaneously. A UI 3201a is a UI operated by the console 3000. A display pattern setting unit 3202 is a UI for setting how many images are to be displayed in what arrangement in the display area 1103. A UI 3201b is a UI for a touch panel. Each time the display pattern switching button 3203 is pressed, the display control unit 851 displays 1 × 1 (displays only one image) → 1 × 2 (displays two images horizontally) → 2 × 1 (displays two images vertically) → 2 × 2 (two images vertically and horizontally) Display patterns are switched in the order of 1 × 1).
<まとめ>
本実施例によれば、フォトメトリック処理部811は、フォトメトリックステレオ法にしたがってカメラ4により取得された複数の輝度画像からワーク2の表面の法線ベクトルを算出し、複数の輝度画像から算出された法線ベクトルに基づく画素値により構成された傾き画像と、当該傾き画像の縮小画像とについて、注目画素に隣接する隣接画素の法線ベクトルを用いて当該注目画素の画素値を積み上げ演算し、当該画素値を有する検査画像を生成する。とりわけ、本実施例によれば、積み上げ演算において使用される縮小画像の成分に対する重みを与えるパラメータである特徴サイズを設定する特徴サイズ設定部815を設けている。このように特徴サイズという概念を導入することで、フォトメトリックステレオの原理を用いて取得された画像から検査用画像を生成する際のパラメータを容易に設定できるようになる。
<Summary>
According to the present embodiment, the photometric processing unit 811 calculates the normal vector of the surface of the work 2 from the plurality of luminance images acquired by the camera 4 according to the photometric stereo method, and is calculated from the plurality of luminance images. For the tilt image composed of the pixel values based on the normal vector and the reduced image of the tilt image, the pixel value of the target pixel is calculated using the normal vector of the adjacent pixel adjacent to the target pixel, An inspection image having the pixel value is generated. In particular, according to the present embodiment, the feature size setting unit 815 is provided for setting a feature size that is a parameter for giving a weight to the components of the reduced image used in the stacking calculation. Introducing the concept of feature size in this way makes it possible to easily set parameters for generating an inspection image from an image acquired using the principle of photometric stereo.
特徴サイズ設定部815はそれぞれ値の異なる複数の特徴サイズを設定してもよい。この場合、フォトメトリック処理部811は、特徴サイズ設定部815により設定された複数の特徴サイズのそれぞれについて検査画像を生成してもよい。検査ツールの種類に応じて適切な特徴サイズが異なることが考えられる。よって、それぞれ値の異なる複数の特徴サイズに応じて検査画像を生成することは、検査に対応したより適切な検査画像を選択する上で有利であろう。 The feature size setting unit 815 may set a plurality of feature sizes having different values. In this case, the photometric processing unit 811 may generate an inspection image for each of the plurality of feature sizes set by the feature size setting unit 815. It is conceivable that the appropriate feature size varies depending on the type of inspection tool. Therefore, generating an inspection image according to a plurality of feature sizes having different values will be advantageous in selecting a more appropriate inspection image corresponding to the inspection.
傷検査部831はそれぞれ異なる特徴サイズ用いて生成された複数の検査画像に対して傷検査を実行し、判定部840は、傷検査部831の検査結果を用いてワーク2の良否を判定してもよい。複数の検査画像に対して傷検査を実行することで、予め1つの検査画像を選択する必要がなくなり、ユーザにとっては便利であろう。OCR部832はそれぞれ異なる特徴サイズ用いて生成された複数の検査画像に対して文字認識処理を実行し、判定部840はOCR部832の文字認識結果を用いてワーク2の良否を判定してもよい。複数の検査画像に対して文字認識処理を実行することで、予め1つの検査画像を選択する必要がなくなり、ユーザにとっては便利であろう。 The flaw inspection unit 831 performs a flaw inspection on a plurality of inspection images generated using different feature sizes, and the determination unit 840 determines the quality of the workpiece 2 using the inspection result of the flaw inspection unit 831. Also good. By performing a scratch inspection on a plurality of inspection images, it is not necessary to select one inspection image in advance, which is convenient for the user. The OCR unit 832 performs character recognition processing on a plurality of inspection images generated using different feature sizes, and the determination unit 840 determines whether the workpiece 2 is good or bad using the character recognition result of the OCR unit 832. Good. By executing the character recognition process on a plurality of inspection images, it is not necessary to select one inspection image in advance, which is convenient for the user.
本来はフォトメトリックステレオ法によりワーク2の高さを示す高さ画像を生成することができる。しかし、ワーク2の表面の高さを計測するためには、かなり厳密にカメラ4と照明装置3の位置関係を設定する必要がある。一方で、フォトメトリックステレオ法により得られた画像のうち高さの情報を取得せずに形状の情報やテクスチャ(模様)の情報を使用することも可能である。たとえば、傷検査やOCRを行うのであれば、カメラ4と照明装置3の厳密な設定は不要である。このように正確な高さデータの不要な検査ツールであれば、カメラ4と照明装置3の配置条件を緩和することができる。なお、照明方向は3方向以上であればよい。 Originally, a height image indicating the height of the work 2 can be generated by the photometric stereo method. However, in order to measure the height of the surface of the workpiece 2, it is necessary to set the positional relationship between the camera 4 and the illumination device 3 fairly strictly. On the other hand, it is also possible to use shape information and texture (pattern) information without acquiring height information among images obtained by the photometric stereo method. For example, if scratch inspection or OCR is performed, strict setting of the camera 4 and the illumination device 3 is not necessary. If the inspection tool does not require accurate height data in this way, the arrangement conditions of the camera 4 and the illumination device 3 can be relaxed. The illumination direction may be three or more directions.
フォトメトリック処理部811はカメラ4により取得された複数の輝度画像からワーク2の表面の法線ベクトルとともにワーク2の表面の反射率を算出し、当該反射率に基づく画素値により構成された反射率画像を生成し、判定部840は反射率画像を用いてワーク2の良否を判定してもよい。これは反射率画像が検査に適している検査ツールも存在するからである。フォトメトリック処理部811はカメラ4により取得された複数の輝度画像からワーク2の表面の法線ベクトルに基づく画素値により構成された傾き画像を生成し、判定部840は傾き画像を用いてワーク2の良否を判定してもよい。これは傾き画像が検査に適している検査ツールも存在するからである。判定部840は輝度画像を用いてワーク2の良否を判定してもよい。傾き画像や反射率画像に加工する前の輝度画像が検査に適している検査ツールも存在するからである。判定部840は、それぞれ照明方向が異なる複数の輝度画像のうち少なくとも1つの輝度画像を用いてワーク2の良否を判定してもよい。照明方向の違いによって明確になるような傷なども存在するため、そのような傷の検出にはある方向からワーク2を照明することで得られた輝度画像が好適であろう。 The photometric processing unit 811 calculates the reflectance of the surface of the work 2 together with the normal vector of the surface of the work 2 from the plurality of luminance images acquired by the camera 4, and the reflectance constituted by the pixel value based on the reflectance. The image may be generated, and the determination unit 840 may determine the quality of the work 2 using the reflectance image. This is because some inspection tools have reflectance images suitable for inspection. The photometric processing unit 811 generates an inclination image composed of pixel values based on the normal vector of the surface of the work 2 from the plurality of luminance images acquired by the camera 4, and the determination unit 840 uses the inclination image for the work 2. You may determine the quality of. This is because there are inspection tools in which tilt images are suitable for inspection. The determination unit 840 may determine the quality of the work 2 using the luminance image. This is because there is an inspection tool in which a luminance image before being processed into an inclination image or a reflectance image is suitable for inspection. The determination unit 840 may determine the quality of the workpiece 2 using at least one luminance image among a plurality of luminance images each having a different illumination direction. Since there are scratches and the like that are clarified by the difference in illumination direction, a luminance image obtained by illuminating the workpiece 2 from a certain direction may be suitable for detecting such scratches.
判定部840は照明装置3のすべて光源を同時に点灯してカメラ4により取得された輝度画像を用いてワーク2の良否を判定してもよい。いわゆる全方向照明画像を用いることでワーク2の良否が判定されてもよい。たとえば、ワーク2のある部分の面積計算や端子の長さの測定などは、全方向照明画像が好適なことがある。 The determination unit 840 may determine whether the workpiece 2 is good or bad by using all of the light sources of the lighting device 3 at the same time and using the luminance image acquired by the camera 4. The quality of the work 2 may be determined by using a so-called omnidirectional illumination image. For example, an omnidirectional illumination image may be suitable for calculating the area of a part of the work 2 or measuring the length of the terminal.
判定部840はそれぞれ照明方向が異なる複数の輝度画像を合成して生成された合成輝度画像を用いてワーク2の良否を判定してもよい。合成輝度画像は全方向照明画像に類似した画像となる。よって、全方向照明画像に代えて合成輝度画像を用いることで、全方向照明画像を取得することなく、検査を実行することが可能となろう。全方向照明画像が必要な場合、それぞれ照明方向が異なる4枚の輝度画像と、同時に4方向から照明して得られた1枚の全方向照明画像とを取得しなければならない。つまり、5回の照明と5回の撮像とが必要となる。一方で、合成輝度画像を使用すれば、4回の照明と4回の撮像とを実行すればよい。このように合成輝度画像を採用することで、短時間で複数の検査画像を処理する必要があるときにはプロセッサ810の処理負荷を軽減できる。また、画像の取得枚数が多くなればなるほどライン1の搬送速度を低下させる必要が生じるが、本実施例では、画像の取得枚数を削減できるため、ライン1の搬送速度の高速化も可能である。 The determination unit 840 may determine the quality of the work 2 using a combined luminance image generated by combining a plurality of luminance images having different illumination directions. The combined luminance image is an image similar to the omnidirectional illumination image. Therefore, by using the synthesized luminance image instead of the omnidirectional illumination image, it will be possible to execute the inspection without acquiring the omnidirectional illumination image. When an omnidirectional illumination image is required, it is necessary to acquire four luminance images having different illumination directions and one omnidirectional illumination image obtained by illuminating from four directions at the same time. That is, 5 times of illumination and 5 times of imaging are required. On the other hand, if the composite luminance image is used, four times of illumination and four times of imaging may be executed. By adopting the composite luminance image in this way, the processing load on the processor 810 can be reduced when it is necessary to process a plurality of inspection images in a short time. Further, as the number of acquired images increases, the conveyance speed of the line 1 needs to be reduced. However, in this embodiment, since the number of acquired images can be reduced, the conveyance speed of the line 1 can be increased. .
記憶装置820は検査画像を記憶して保持してもよい。判定部840または画像処理部830は記憶装置820から検査画像を読み出して検査を実行し、検査結果に基づいてワーク2の良否を判定してもよい。なお、記憶装置820は内蔵メモリや可搬型記憶メディア、ネットワークストレージのいずれであってもよい。たとえば、可搬型記憶メディア、ネットワークストレージに検査画像を記憶すれば、検査画像を生成した装置とは異なる装置において検査処理を実行することも可能となろう。 The storage device 820 may store and hold the inspection image. The determination unit 840 or the image processing unit 830 may read the inspection image from the storage device 820, execute the inspection, and determine the quality of the workpiece 2 based on the inspection result. Note that the storage device 820 may be any of a built-in memory, a portable storage medium, and a network storage. For example, if the inspection image is stored in a portable storage medium or network storage, the inspection process may be executed in a device different from the device that generated the inspection image.
記憶装置820はそれぞれ値の異なる特徴サイズを適用して生成された複数の検査画像を記憶してもよい。記憶装置820は、検査画像に加え、傾き画像および反射率画像のうち少なくとも一方を記憶してもよい。画像選択部816は複数の検査画像から1つの検査画像を選択してもよい。また、検査ツール設定部817は画像選択部816により選択された検査画像に対して検査ツールを設定してもよい。それぞれ値の異なる特徴サイズを適用して生成された複数の検査画像のうち検査に不要なものも存在しうる。よって、ユーザは検査ツールに応じて検査画像を設定してもよい。 The storage device 820 may store a plurality of inspection images generated by applying feature sizes having different values. The storage device 820 may store at least one of an inclination image and a reflectance image in addition to the inspection image. The image selection unit 816 may select one inspection image from a plurality of inspection images. Further, the inspection tool setting unit 817 may set an inspection tool for the inspection image selected by the image selection unit 816. Some of the plurality of inspection images generated by applying feature sizes having different values may be unnecessary for inspection. Therefore, the user may set an inspection image according to the inspection tool.
図15などを用いて説明したように、画像処理部830は良品から取得された基準画像を用いてパターンサーチを実行して検査領域を設定してもよい。判定部840は検査領域において実行された検査の結果を用いてワーク2の良否を判定してもよい。検査領域は、たとえば、文字認識領域である。 As described with reference to FIG. 15 and the like, the image processing unit 830 may set the inspection region by performing a pattern search using a reference image acquired from a non-defective product. The determination unit 840 may determine the quality of the workpiece 2 using the result of the inspection performed in the inspection area. The inspection area is, for example, a character recognition area.
図11、図21ないし図26を用いて説明したように、画像選択部816はカメラ4により取得された複数の輝度画像および検査画像のうち保存対象もしくは出力対象となる画像を選択してもよい。また、画像選択部816は複数の輝度画像、検査画像、照明装置3が備える複数の光源をすべて点灯させて取得された輝度画像および複数の輝度画像を合成して得られた合成輝度画像から保存対象もしくは出力対象となる画像を選択してもよい。さらに、画像選択部816はそれぞれ特徴サイズが異なる複数の検査画像から保存対象もしくは出力対象となる画像を選択してもよい。さらに、画像選択部816は複数の輝度画像、検査画像およびワーク2の表面の反射率を画素値とした反射率画像から保存対象もしくは出力対象となる画像を選択してもよい。このように検査に関連する画像を適宜選択できるようにすることで、所望の画像を保存または出力することが容易となろう。 As described with reference to FIGS. 11, 21 to 26, the image selection unit 816 may select an image to be stored or output from among a plurality of luminance images and inspection images acquired by the camera 4. . The image selection unit 816 stores a plurality of luminance images, an inspection image, a luminance image obtained by turning on all of the plurality of light sources included in the illumination device 3, and a synthesized luminance image obtained by combining the plurality of luminance images. An image to be targeted or output may be selected. Further, the image selection unit 816 may select an image to be stored or output from a plurality of inspection images each having a different feature size. Further, the image selection unit 816 may select an image to be stored or output from a plurality of luminance images, an inspection image, and a reflectance image using the reflectance of the surface of the workpiece 2 as a pixel value. In this way, it becomes easy to store or output a desired image by appropriately selecting an image related to the examination.
画像を保存または出力する条件を設定する条件設定部819がさらに設けられてもよい。たとえば、図22や図26を用いて説明したように、条件設定部819は常に画像を保存または出力するモードと判定部840によりワーク2が良品ではないと判定されたときに画像を保存または出力するモードとのうちいずれかを設定してもよい。図21ないし図26を用いて説明したように、プロセッサ810は、判定部840が判定を終了した後でまたは前に画像を保存または出力する条件が満たされているかどうかを判断してもよい。たとえば、検査フローにおいて検査が終了した時点で画像を保存するかどうかが判断されてもよいし、検査フローのいずれかの工程で画像を保存するかどうかが判断されてもよい。とりわけ、後者の場合は検査フローの途中で生じる中間画像についても保存することが可能となろう。このような中間画像は検査に失敗した原因を探り、制御パラメータを調整する際に役立つであろう。 A condition setting unit 819 for setting conditions for storing or outputting an image may be further provided. For example, as described with reference to FIGS. 22 and 26, the condition setting unit 819 always stores or outputs an image when the mode 2 and the determination unit 840 determine that the work 2 is not good. Either of the modes to be performed may be set. As described with reference to FIGS. 21 to 26, the processor 810 may determine whether a condition for saving or outputting an image is satisfied after or before the determination unit 840 completes the determination. For example, it may be determined whether or not to save an image when the inspection is completed in the inspection flow, or it may be determined whether or not to save the image in any step of the inspection flow. In particular, in the latter case, an intermediate image generated in the middle of the inspection flow may be stored. Such an intermediate image will be useful in finding the cause of the failure of the examination and adjusting the control parameters.
上述したようにフォトメトリック処理部811はカメラ4により取得された複数の輝度画像に基づき検査対象物の表面の法線ベクトルを求め、法線ベクトルに応じた複数の画素値により構成された検査画像を生成する。また表示制御部851および表示部7は複数の輝度画像のうち少なくとも1つと検査画像とを切り替えて表示するか、または、複数の輝度画像のうち少なくとも1つと検査画像とを同時に表示する。また、検査ツール設定部817はカメラ4の制御パラメータおよび照明装置3の制御パラメータのうち少なくとも1つを調整する調整手段として機能する。さらに表示制御部851は制御パラメータが調整されると表示部7に表示されている画像を変更後の制御パラメータが反映された画像に更新する更新手段として機能する。このように輝度画像と検査に使用される検査画像とを切り替えながら表示するか、またはこれらを同時に表示するため、ユーザにとってパラメータの調整結果を直感的にわかりやすくなる。これにより、フォトメトリックステレオの原理を用いて取得された画像から検査用画像を生成する際のパラメータを容易に設定できるようになるだろう。 As described above, the photometric processing unit 811 obtains a normal vector of the surface of the inspection object based on a plurality of luminance images acquired by the camera 4, and an inspection image configured by a plurality of pixel values corresponding to the normal vector. Is generated. The display control unit 851 and the display unit 7 switch and display at least one of the plurality of luminance images and the inspection image, or display at least one of the plurality of luminance images and the inspection image at the same time. The inspection tool setting unit 817 functions as an adjustment unit that adjusts at least one of the control parameters of the camera 4 and the control parameters of the illumination device 3. Further, when the control parameter is adjusted, the display control unit 851 functions as an updating unit that updates the image displayed on the display unit 7 to an image reflecting the changed control parameter. As described above, since the luminance image and the inspection image used for the inspection are displayed while being switched, or these are displayed at the same time, it is easy for the user to intuitively understand the parameter adjustment result. Thereby, it will be possible to easily set parameters when generating an inspection image from an image acquired using the principle of photometric stereo.
シャッタースピード設定部2703に関して説明したように、検査ツール設定部817によりカメラ4のシャッタースピード(露光時間)が変更されるとカメラ4は当該露光時間に基づいてワーク2を撮像して複数の輝度画像を取得する。表示制御部851は露光時間が変更された後に取得された複数の輝度画像のうち少なくとも1つの輝度画像と、この輝度画像に基づき再生成された検査画像とを同時または切り替えて表示部7に表示させてもよい。シャッタースピードが変更されると輝度画像の明るさが変化し、さらには法線ベクトルと反射率もその影響を受ける。つまり、傾き画像や反射率画像、これらから派生的に生成される検査画像(表面形状画像やテクスチャ画像)にもこの変化が影響する。よって、輝度画像と検査画像を確認しながら調整することで露光時間を適切に調整することが可能となろう。とりわけ露光時間の変化は検査画像よりも輝度画像で確認しやすいため、検査画像とともに輝度画像を確認できることが有利であろう。 As described with reference to the shutter speed setting unit 2703, when the shutter speed (exposure time) of the camera 4 is changed by the inspection tool setting unit 817, the camera 4 captures the workpiece 2 based on the exposure time and generates a plurality of luminance images. To get. The display control unit 851 displays at least one luminance image among the plurality of luminance images acquired after the exposure time is changed and the inspection image regenerated based on the luminance image on the display unit 7 simultaneously or by switching. You may let them. When the shutter speed is changed, the brightness of the luminance image changes, and the normal vector and the reflectance are also affected. That is, this change also affects the tilt image, the reflectance image, and the inspection image (surface shape image or texture image) that is derived therefrom. Therefore, it will be possible to appropriately adjust the exposure time by adjusting the luminance image and the inspection image while confirming them. In particular, since the change in exposure time is easier to check with the luminance image than the inspection image, it would be advantageous to be able to check the luminance image together with the inspection image.
光量設定部2706に関して説明したように、検査ツール設定部817によって照明光量が変更されると照明装置3が備える複数の光源のそれぞれの照明光量が変更される。つまり、複数方向からの照明光の光量がそれぞれ連動して変更される。通常、複数方向からの照明光の各光量は同一である。照明光の光量もシャッタースピードと同様に画像に変化をもたらす。よって、輝度画像と検査画像を確認しながら調整することで照明光量を適切に調整することが可能となろう。 As described with respect to the light amount setting unit 2706, when the illumination light amount is changed by the inspection tool setting unit 817, the illumination light amounts of the plurality of light sources included in the illumination device 3 are changed. That is, the amount of illumination light from a plurality of directions is changed in conjunction with each other. Normally, the amounts of illumination light from a plurality of directions are the same. The amount of illumination light changes the image as well as the shutter speed. Therefore, it will be possible to appropriately adjust the amount of illumination light by making adjustments while confirming the luminance image and the inspection image.
表示制御部851は輝度画像を表示するときに、当該輝度画像を構成している画素のうち画素値が飽和している画素(飽和画素)を強調表示してもよい。また、通知部2711に関して説明したように、表示制御部851は飽和画素と画素値が飽和していない画素(非飽和画素)との割合を示す情報を表示してもよい。また、表示制御部851は複数の輝度画像を合成した合成輝度画像を表示するときに、当該合成輝度画像を構成している画素のうち飽和画素を強調表示するか、または、飽和画素と非飽和画素との割合を示す情報を表示してもよい。白とびや黒つぶれなどの飽和画素は法線ベクトルや反射率の計算に誤差をもたらす。よって、飽和画素を強調表示することで、飽和画素が十分に少なくなるように制御パラメータを調整しやすくなる。表示制御部851は、検査画像を表示するときに、当該検査画像の画素のうち対応する輝度画像における飽和画素と座標が一致している画素を強調表示するか、または、飽和画素と非飽和画素との割合を示す情報を表示してもよい。上述したように傾き画像などの検査画像では輝度の飽和した画素を判別できない。そこで、輝度画像において飽和画素の座標を求め、検査画像においてその座標の画素を強調表示することで、検査画像を確認するだけでも飽和画素の有無をユーザが確認できるようになる。 When displaying the luminance image, the display control unit 851 may highlight and display a pixel (saturated pixel) having a saturated pixel value among the pixels constituting the luminance image. Further, as described regarding the notification unit 2711, the display control unit 851 may display information indicating a ratio between a saturated pixel and a pixel whose pixel value is not saturated (non-saturated pixel). In addition, when the display control unit 851 displays a composite luminance image obtained by combining a plurality of luminance images, the display control unit 851 highlights saturated pixels among pixels constituting the combined luminance image, or is saturated with saturated pixels. You may display the information which shows the ratio with a pixel. Saturated pixels such as overexposure and underexposure introduce errors in normal vector and reflectance calculations. Therefore, by highlighting the saturated pixels, it is easy to adjust the control parameter so that the saturated pixels are sufficiently reduced. When displaying the inspection image, the display control unit 851 highlights a pixel whose coordinates coincide with the saturation pixel in the corresponding luminance image among the pixels of the inspection image, or the saturation pixel and the unsaturated pixel Information indicating the ratio may be displayed. As described above, pixels with saturated brightness cannot be determined in an inspection image such as an inclination image. Therefore, by obtaining the coordinates of the saturated pixel in the luminance image and highlighting the pixel of the coordinate in the inspection image, the user can confirm the presence or absence of the saturated pixel only by confirming the inspection image.
点灯回数設定部2708に関して説明したように、検査ツール設定部817は照明装置3の点灯回数を調整してもよい。点灯回数は撮像回数に一致しているため、点灯回数が増えれば照明方向の数も増える。つまり、輝度画像の枚数が増加して、検査画像の演算精度も向上することになる。そこで、点灯回数を調整しながら輝度画像や検査画像を確認することで、検査画像の演算精度がどの程度向上するかを確認できるようになる。点灯回数を増やせば、それだけ演算量が増加するため、点灯回数と検査画像の演算精度との妥協点を見つけることにも役立つであろう。 As described regarding the lighting number setting unit 2708, the inspection tool setting unit 817 may adjust the number of times the lighting device 3 is turned on. Since the number of lighting matches the number of imaging, the number of illumination directions increases as the number of lighting increases. That is, the number of luminance images is increased, and the calculation accuracy of the inspection image is also improved. Therefore, it is possible to confirm how much the calculation accuracy of the inspection image is improved by checking the luminance image and the inspection image while adjusting the number of times of lighting. If the number of times of lighting is increased, the amount of calculation increases accordingly, so it may be useful to find a compromise between the number of times of lighting and the calculation accuracy of the inspection image.
点灯位置調整部2710に関して説明したように、検査ツール設定部817は、照明装置3が備える複数の光源のうち点灯すべき光源を変更してもよい。照明装置3が誤って設置されると、照明装置3の照明方向と、フォトメトリック処理部811で想定している照明方向とがずれてしまうことがある。図27では矢印2712がフォトメトリック処理部で想定している照明方向を示しており、この例では照明装置3の照明方向と、フォトメトリック処理部で想定している照明方向とが一致している。ユーザは輝度画像を確認することでこれらが一致してないことを容易に判別できる。一致していなければ、ユーザは点灯位置調整部2710により光源(発光素子)の点灯位置を調整することで、照明装置3の照明方向と、フォトメトリック処理部で想定している照明方向とを一致させることができる。 As described regarding the lighting position adjustment unit 2710, the inspection tool setting unit 817 may change the light source to be lit among the plurality of light sources provided in the illumination device 3. If the illumination device 3 is installed by mistake, the illumination direction of the illumination device 3 and the illumination direction assumed by the photometric processing unit 811 may be shifted. In FIG. 27, an arrow 2712 indicates the illumination direction assumed in the photometric processing unit, and in this example, the illumination direction of the illumination device 3 matches the illumination direction assumed in the photometric processing unit. . The user can easily determine that they do not match by checking the luminance image. If they do not match, the user adjusts the lighting position of the light source (light emitting element) with the lighting position adjustment unit 2710, so that the illumination direction of the illumination device 3 matches the illumination direction assumed by the photometric processing unit. Can be made.
点灯位置調整部2710に関して説明したように、UI管理部814の表示制御部851は検査ツール設定部817が点灯すべき光源を変更するときに、点灯すべき光源を指定するためのユーザインタフェースを表示してもよい。検査ツール設定部817はユーザインタフェースにおいて点灯すべき光源の指定を受け付けてもよい。たとえば、UI管理部814は光源の配置(円形配置や矩形配置など)を示すUIを表示し、そのUI上で現在の輝度画像に対応する照明方向(光源群)の指定を受け付けてもよい。 As described regarding the lighting position adjustment unit 2710, the display control unit 851 of the UI management unit 814 displays a user interface for designating the light source to be lit when the inspection tool setting unit 817 changes the light source to be lit. May be. The inspection tool setting unit 817 may accept designation of a light source to be turned on in the user interface. For example, the UI management unit 814 may display a UI indicating the arrangement of light sources (circular arrangement, rectangular arrangement, etc.), and accept the designation of the illumination direction (light source group) corresponding to the current luminance image on the UI.
図28や図31などを用いて説明したように、検査ツール設定部817は表示制御部851が検査画像を表示しているときに、フォトメトリックステレオ法による当該検査画像の生成条件を調整してもよい。生成条件のうち代表的なものは特徴サイズである。表示制御部851はそれぞれ生成条件が異なる複数の検査画像を切り替えて表示するか、または、同時に表示することで、ユーザは生成条件の影響を確認しつつ適切な生成条件を見出しやすくなろう。図29を用いて説明したように、表示制御部851は、それぞれ生成条件が異なる複数の検査画像のうちから選択された1つの検査画像を表示してもよい。フォトメトリック処理部は検査ツール設定部817により調整された特徴サイズにしたがって選択された1つの検査画像を再生成し、表示制御部851は再生成された検査画像を表示部7に表示させてもよい。生成条件は、複数の検査画像に対して共通に設定される共通設定項目と複数の検査画像に対して個別に設定される個別設定項目を含む。たとえば、露光時間や暗部変動制御、ハレーション除去などは各輝度画像に共通に設定される項目である。一方で特徴サイズやガイデッドフィルタ、テクスチャ除去などは、複数の検査画像のそれぞれで個別に設定される項目である。このように個別設定項目と共通設定項目とを分けることで効率よく調整を実行できるようになろう。 As described with reference to FIGS. 28 and 31, the inspection tool setting unit 817 adjusts the generation condition of the inspection image by the photometric stereo method when the display control unit 851 displays the inspection image. Also good. A typical generation condition is a feature size. The display control unit 851 displays a plurality of inspection images with different generation conditions by switching or displaying them simultaneously, so that the user can easily find an appropriate generation condition while confirming the influence of the generation condition. As described with reference to FIG. 29, the display control unit 851 may display one inspection image selected from a plurality of inspection images having different generation conditions. The photometric processing unit regenerates one inspection image selected according to the feature size adjusted by the inspection tool setting unit 817, and the display control unit 851 may display the regenerated inspection image on the display unit 7. Good. The generation conditions include common setting items that are commonly set for a plurality of inspection images and individual setting items that are individually set for a plurality of inspection images. For example, exposure time, dark part variation control, halation removal, and the like are items commonly set for each luminance image. On the other hand, the feature size, guided filter, texture removal, and the like are items that are individually set for each of a plurality of inspection images. Thus, the adjustment can be efficiently performed by dividing the individual setting items and the common setting items.
表示制御部851はワーク2の表面の法線ベクトルに応じた画素値により構成された傾き画像と、ワーク2の表面の反射率に応じた画素値により構成された反射率画像とを切り替えて表示するか、または、同時に表示してもよい。このように種類の異なる検査画像についても輝度画像ともに確認できるようにすることで、各検査画像について制御パラメータが適切かどうかをユーザが判断しやすくなろう。 The display control unit 851 switches between an inclination image composed of pixel values corresponding to the normal vector of the surface of the work 2 and a reflectance image composed of pixel values corresponding to the reflectance of the surface of the work 2. Or may be displayed simultaneously. By making it possible to confirm both the luminance images of different types of inspection images in this way, the user can easily determine whether the control parameter is appropriate for each inspection image.
1…ライン、2…ワーク、3…照明装置、4…カメラ、5…画像処理装置、6…入力部、7…表示部 DESCRIPTION OF SYMBOLS 1 ... Line, 2 ... Work, 3 ... Illuminating device, 4 ... Camera, 5 ... Image processing apparatus, 6 ... Input part, 7 ... Display part
Claims (6)
検査対象物から抽出される特徴のサイズを調整するためのパラメータであって、相対的に小さな値に設定されると検査対象物の細部の形状を抽出し、相対的に大きな値に設定されると検査対象物の全体の形状を抽出することができる特徴サイズを設定するための特徴サイズ設定手段と、 This is a parameter for adjusting the size of the feature extracted from the inspection object, and if it is set to a relatively small value, the detailed shape of the inspection object is extracted and set to a relatively large value. And feature size setting means for setting a feature size capable of extracting the entire shape of the inspection object,
前記撮像手段により取得された複数の輝度画像に基づき、検査対象物の表面の法線ベクトルを求め、当該法線ベクトルのX方向の傾き成分を画素値とした第一傾き画像と、Y方向の傾き成分を画素値とした第二傾き画像を生成し、生成された第一傾き画像および第二傾き画像から、前記特徴サイズ設定手段により設定された互いに異なる複数の特徴サイズのそれぞれに対応する複数の形状画像を生成する検査画像生成手段と、 Based on a plurality of luminance images acquired by the imaging means, a normal vector of the surface of the inspection object is obtained, a first inclination image having a pixel value as an inclination component in the X direction of the normal vector, and a Y direction A second tilt image having a tilt component as a pixel value is generated, and a plurality of different sizes corresponding to a plurality of different feature sizes set by the feature size setting unit are generated from the generated first tilt image and second tilt image. Inspection image generation means for generating a shape image of
前記複数の形状画像のそれぞれに異なる種別の検査ツールの設定が可能な検査ツール設定手段と、 Inspection tool setting means capable of setting different types of inspection tools for each of the plurality of shape images;
前記検査ツール設定手段により設定された検査ツールに対応する処理を、それぞれの検査ツールが設定された形状画像に対して実行する検査手段と、 Inspection means for executing processing corresponding to the inspection tool set by the inspection tool setting means on the shape image in which each inspection tool is set;
備える検査装置。Inspection device provided.
前記検査画像生成手段は、前記三つの特徴サイズに対応した形状画像である第一形状画像、第二形状画像、第三形状画像を生成し、 The inspection image generation means generates a first shape image, a second shape image, and a third shape image that are shape images corresponding to the three feature sizes,
前記検査ツール設定手段は、前記第一形状画像、第二形状画像、第三形状画像のそれぞれに対して検査ツールの設定が可能であること、 The inspection tool setting means is capable of setting an inspection tool for each of the first shape image, the second shape image, and the third shape image;
を特徴とする請求項1に記載の検査装置。 The inspection apparatus according to claim 1.
前記余裕度は、 The margin is
前記余裕度が相対的に小さく設定されると、前記特徴サイズに近いサイズの形状が前記形状画像において強調され、 When the margin is set relatively small, the shape close to the feature size is emphasized in the shape image,
前記余裕度が相対的に大きく設定されると、前記特徴サイズから離れたサイズの形状も前記形状画像において強調される When the margin is set to be relatively large, a shape having a size away from the feature size is also emphasized in the shape image.
パラメータであることを特徴とする請求項1ないし3のいずれか一項に記載の検査装置。The inspection apparatus according to claim 1, wherein the inspection apparatus is a parameter.
前記検査画像生成手段は、前記方向強調設定手段により設定された方向の凹凸が強調された前記形状画像を生成することを特徴とする請求項1ないし4のいずれか一項に記載の検査装置。 The inspection apparatus according to claim 1, wherein the inspection image generation unit generates the shape image in which unevenness in the direction set by the direction enhancement setting unit is emphasized.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018230187A JP6620215B2 (en) | 2018-12-07 | 2018-12-07 | Inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018230187A JP6620215B2 (en) | 2018-12-07 | 2018-12-07 | Inspection device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014119100A Division JP6470506B2 (en) | 2014-06-09 | 2014-06-09 | Inspection device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019205665A Division JP6825067B2 (en) | 2019-11-13 | 2019-11-13 | Inspection equipment and its control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019045510A JP2019045510A (en) | 2019-03-22 |
JP6620215B2 true JP6620215B2 (en) | 2019-12-11 |
Family
ID=65815737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018230187A Active JP6620215B2 (en) | 2018-12-07 | 2018-12-07 | Inspection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6620215B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7281942B2 (en) * | 2019-03-29 | 2023-05-26 | Juki株式会社 | Inspection device and inspection method |
JP7273659B2 (en) * | 2019-08-29 | 2023-05-15 | 株式会社キーエンス | Image measurement system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61213753A (en) * | 1985-03-20 | 1986-09-22 | Agency Of Ind Science & Technol | System for detecting flaw on surface of object having regular reflection characteristic |
US20040184653A1 (en) * | 2003-03-20 | 2004-09-23 | Baer Richard L. | Optical inspection system, illumination apparatus and method for use in imaging specular objects based on illumination gradients |
JP2007206797A (en) * | 2006-01-31 | 2007-08-16 | Omron Corp | Image processing method and image processor |
WO2013061976A1 (en) * | 2011-10-24 | 2013-05-02 | 株式会社日立製作所 | Shape inspection method and device |
-
2018
- 2018-12-07 JP JP2018230187A patent/JP6620215B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019045510A (en) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6470506B2 (en) | Inspection device | |
JP6290720B2 (en) | Inspection device, inspection method, and program | |
JP6403445B2 (en) | Inspection device, inspection method, and program | |
JP6278842B2 (en) | Inspection device, inspection method, and program | |
JP6405124B2 (en) | Inspection device, inspection method, and program | |
US9638910B2 (en) | Image measurement device | |
JP6825067B2 (en) | Inspection equipment and its control method | |
JP6620215B2 (en) | Inspection device | |
JP6585793B2 (en) | Inspection device, inspection method, and program | |
JP6280451B2 (en) | Inspection device | |
JP6395455B2 (en) | Inspection device, inspection method, and program | |
JP6638098B2 (en) | Inspection device | |
JP6475875B2 (en) | Inspection device | |
JP6864722B2 (en) | Inspection equipment, inspection methods and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6620215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |