JP6308880B2 - Image inspection device - Google Patents
Image inspection device Download PDFInfo
- Publication number
- JP6308880B2 JP6308880B2 JP2014119138A JP2014119138A JP6308880B2 JP 6308880 B2 JP6308880 B2 JP 6308880B2 JP 2014119138 A JP2014119138 A JP 2014119138A JP 2014119138 A JP2014119138 A JP 2014119138A JP 6308880 B2 JP6308880 B2 JP 6308880B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- image
- inspection apparatus
- unit
- installation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、フォトメトリックステレオ法を用いた画像検査装置に関する。 The present invention relates to an image inspection apparatus using a photometric stereo method.
ワーク(検査対象物や被写体)の表面の傷の有無や外観形状、印字された文字の読み取りといった検査を行う画像検査装置が利用されている。このような画像検査装置は、ワークに対して必要な照明を行い、画像を撮像し、得られた画像データに対してエッジ検出等、画像処理を行い、その結果に基づいて良否判定等の判断を行っていた。 2. Description of the Related Art Image inspection apparatuses that perform inspections such as the presence or absence of scratches on the surface of a workpiece (inspection object or subject), appearance shape, and reading of printed characters are used. Such an image inspection apparatus performs necessary illumination on a workpiece, captures an image, performs image processing such as edge detection on the obtained image data, and determines pass / fail judgment based on the result. Had gone.
しかしながらこのような画像検査装置では、ワークの種類によっては照明の種類や当てる方向によって見えやすさが変わるケースがあった。このため、このようなワークに対して適切な検査を行うには、十分な知識や経験が必要であった。 However, in such an image inspection apparatus, depending on the type of work, there are cases in which the visibility changes depending on the type of illumination and the direction of application. For this reason, sufficient knowledge and experience are required to perform an appropriate inspection on such a workpiece.
また、従来の画像検査装置では、照明条件や設置条件等が少し変わっただけで誤検出が起きやすく、安定的に検出することが困難であるという問題もあった。さらに、ワークの外観検査においては、傷、縁等のワークの形状に関する情報、言い換えると立体的な情報と、印字、シミ等の平面的な情報の両方が検査の対象になるところ、お互いが干渉し合う結果、上手く検出できないことがあるという問題もあった。 Further, in the conventional image inspection apparatus, there is a problem that erroneous detection is likely to occur only when the illumination condition, installation condition, and the like are slightly changed, and it is difficult to detect stably. Furthermore, in the appearance inspection of workpieces, both information on the shape of the workpiece such as scratches and edges, in other words, three-dimensional information, and planar information such as printing and stains are subject to inspection. As a result, there was a problem that it could not be detected well.
このような問題を解決するための技術として、フォトメトリックステレオ法を用いて高さ情報を取得する画像処理装置が知られている(例えば、特許文献1)。ここでフォトメトリックステレオ法(photometric stereo)とは、照度差ステレオ法とも呼ばれ、異なる複数の照明方向から照明した画像を撮像して、その陰影情報からワークの法線ベクトルを求める三次元計測の手法の一つである。このようなフォトメトリックステレオ法を用いた画像処理装置は、法線ベクトル(傾き画像に相当)からX軸やY軸の成分を輝度値に置き換えた画像や、反射率画像(アルベド(Albedo)画像に相当)を作成して、画像検査に応用している。 As a technique for solving such a problem, an image processing apparatus that acquires height information using a photometric stereo method is known (for example, Patent Document 1). The photometric stereo method (photometric stereo) is also called illuminance difference stereo method, which is a three-dimensional measurement method that captures images illuminated from different illumination directions and calculates the normal vector of the workpiece from the shadow information. One of the methods. An image processing apparatus using such a photometric stereo method is an image obtained by replacing a normal vector (corresponding to an inclination image) with X-axis and Y-axis components by luminance values, or a reflectance image (Albedo image). Is applied to image inspection.
このようなフォトメトリックステレオ法を利用した画像検査においては、照明とカメラの位置関係が極めて重要になる。特にワークの表面に生じた傷や印字を、フォトメトリックステレオ法で検査しようとすれば、照明とカメラの対応位置は厳密に規定する必要がある。このため、従来の画像検査装置では、照明とカメラを一体に構成していた。いいかえると、照明とカメラの設置に際して、設置の自由度を与えることは従来行われていなかった。 In such an image inspection using the photometric stereo method, the positional relationship between the illumination and the camera is extremely important. In particular, if the photometric stereo method is used to inspect scratches or prints generated on the surface of a workpiece, it is necessary to strictly define the corresponding positions of the illumination and the camera. For this reason, in the conventional image inspection apparatus, the illumination and the camera are configured integrally. In other words, it has not been done in the past to give freedom of installation when installing lighting and cameras.
しかしながら、この構成では、照明とカメラとを一体に固定していることから、一体型のカメラ照明ユニットが必然的に大型化し、取り回しが悪くなるという問題があった。例えば図18において矢印で示すように、検査位置に障害物が存在すると、カメラ照明ユニットと干渉して、設置できないことが生じる。特に、カメラに大型のレンズを装着すると、更に干渉のリスクが高くなる。加えて、カメラが長大になると、図19に示すように照明光の一部を遮ることも考えられる。これを回避するために、障害物と干渉しない位置に遠ざけてカメラ照明ユニットを配置しようとすれば、照明とワークとの距離(ライトワーキングディスタンス(Light Working Distance:LWD))が遠くなる分、照明光の光量が減少して、検査の精度の低下に繋がる。 However, in this configuration, since the illumination and the camera are fixed integrally, there is a problem that the integrated camera illumination unit is inevitably increased in size and is difficult to handle. For example, as indicated by an arrow in FIG. 18, if there is an obstacle at the inspection position, it may interfere with the camera illumination unit and cannot be installed. In particular, when a large lens is attached to the camera, the risk of interference further increases. In addition, when the camera is long, it may be possible to block part of the illumination light as shown in FIG. To avoid this, if the camera lighting unit is placed away from a position where it does not interfere with the obstacle, the distance between the lighting and the work (Light Working Distance (LWD)) increases. The amount of light decreases, leading to a decrease in inspection accuracy.
一方で、カメラと照明を分離することができれば、図20に示すように、障害物と干渉しない位置に配置しやすくなる。またカメラが照明光を遮らないように調整することも可能となる。 On the other hand, if the camera and the illumination can be separated, as shown in FIG. 20, the camera and the illumination can be easily arranged at positions that do not interfere with the obstacle. It is also possible to adjust so that the camera does not block the illumination light.
さらに、ハレーションや影の影響を抑えるための最適な配置も可能となる。すなわち、LWDを小さく取った検査や大きく取った検査といった、検査の用途に応じた適切な配置を選択できるようになる。 Furthermore, an optimal arrangement for suppressing the influence of halation and shadows is also possible. That is, it becomes possible to select an appropriate arrangement according to the purpose of the inspection, such as an inspection with a small LWD or an inspection with a large LWD.
具体的には、図21Aに示すようにLWDを小さく取ることで、照明手段21〜24からの照明光が横方向から多く照射できる。一般にハレーションが発生するのは、入射角と反射角が同じ場合であるから、照明手段21〜24とワークWKとを接近させてLWDを小さくすることで、ハレーションの発生する位置を、ワークWKの外側近傍とすることができ、言い換えるとワークの表面近傍でのハレーションを抑制できる。 Specifically, as shown in FIG. 21A, by taking a small LWD, a large amount of illumination light from the illumination means 21 to 24 can be emitted from the lateral direction. In general, halation occurs when the incident angle and the reflection angle are the same. Therefore, by reducing the LWD by bringing the illumination means 21 to 24 and the work WK closer to each other, the position where the halation occurs is determined. It can be in the vicinity of the outside, in other words, halation near the surface of the workpiece can be suppressed.
さらに、LWDを小さくすることで、ワークWKのローアングル照明に近い観察を実現できる。例えば、上方からの直接照明では光が拡散し認識が困難なワーク表面上の浅い凹凸であっても、斜め方向から照明光を照射することで、小さい傾きの表面形状もコントラストを大きく変化させて、浅い凸凹の変化を捉え易くできる。 Further, by reducing the LWD, it is possible to realize observation close to low-angle illumination of the work WK. For example, even with shallow unevenness on the workpiece surface where light is diffused and difficult to recognize with direct illumination from above, illumination with illumination light from an oblique direction can greatly change the contrast of the surface shape with a small inclination. This makes it easy to capture changes in shallow irregularities.
逆に図21Bに示すようにLWDを大きく取ることで、照明手段21〜24からの照明光が上方向から多く照射されることとなり、影が生じ難くなって、フォトメトリックステレオ法では見えない領域が減少し、フォトメトリックステレオ処理の精度を向上できる。また、上述の通り照明手段21〜24とワークWKが干渉し難くなるため、高さが大きなワークWKに対しても好適に利用可能とできる。 Conversely, by taking a large LWD as shown in FIG. 21B, a large amount of illumination light from the illumination means 21 to 24 is irradiated from above, and it is difficult for shadows to occur, and an area that cannot be seen by the photometric stereo method And the accuracy of photometric stereo processing can be improved. Moreover, since the illumination means 21-24 and the workpiece | work WK become difficult to interfere as above-mentioned, it can be used suitably also for the workpiece | work WK with big height.
このように、カメラと照明を分離したことで、様々な目的や用途の検査に対応でき、また配置の自由度を高められるといった利点が得られる。 Thus, by separating the camera and the illumination, it is possible to cope with inspections for various purposes and applications and to obtain an advantage that the degree of freedom in arrangement can be increased.
しかしながら、照明とカメラとを別体に構成してフォトメトリックステレオ法で画像検査を行う場合は、照明とカメラとの相対的な位置関係を明確に設定する必要がある。もし、設定された照明方向と、実際の照明方向とが大きく異なる場合は、検査精度が低下したり、誤った結果が出力されてしまったりする虞があった。すなわち、フォトメトリックステレオ法では複数の異なる照明方向から照明した部分照明画像を取得する必要があるところ、カメラと照明を設置するに際して、ユーザが、多数ある照明の接続を間違えたり、方位角を全体的にずらして設置してしまったりする虞があった。 However, when the illumination and the camera are configured separately and the image inspection is performed by the photometric stereo method, it is necessary to clearly set the relative positional relationship between the illumination and the camera. If the set illumination direction and the actual illumination direction are greatly different, there is a possibility that the inspection accuracy is lowered or an erroneous result is output. In other words, in the photometric stereo method, it is necessary to acquire partial illumination images illuminated from a plurality of different illumination directions. When installing a camera and illumination, the user makes a mistake in connecting many illuminations or sets the entire azimuth angle. There was a risk that it would be installed at a staggered distance.
例えば、図23に示すようにワークの上方において、ワークを配置した鉛直線上にカメラを配置し、さらにワークの周囲を囲むようにリング状の照明を配置する場合を考える。このような配置において、フォトメトリックステレオ法を用いてワークの高さ形状を取得する場合、照明の方向とカメラの回転角度を一致させる必要がある。 For example, as shown in FIG. 23, consider a case in which a camera is arranged above a workpiece on a vertical line on which the workpiece is arranged, and ring-shaped illumination is arranged so as to surround the workpiece. In such an arrangement, when the height shape of the workpiece is acquired using the photometric stereo method, it is necessary to match the direction of illumination with the rotation angle of the camera.
しかしながら、カメラや照明が円筒状や円環状のように点対称の形状である場合は、その回転角度が判り難く、位置合わせが容易でない。この結果、回転位置が所期の位置からずれることがある。 However, when the camera or the illumination has a point-symmetric shape such as a cylindrical shape or an annular shape, the rotation angle is difficult to understand and alignment is not easy. As a result, the rotational position may deviate from the intended position.
あるいは、図22に示すように、東西南北の方向に照明を配置する例においても、各照明ユニットの形状が共通の場合は、照明の取り違えが生じうる。 Or in the example which arrange | positions illumination in the direction of east, west, north, and south as shown in FIG. 22, when the shape of each illumination unit is common, the mix-up of illumination may arise.
特に、ワークの表面の形状といった特徴量は、回転角度や配置位置等の設定が多少誤っていても、ある程度検出される。例を挙げると、実際の設置角度と検査装置で設定した設置角度が45度程度ずれた場合、性能は大幅劣化するもののワークの表面形状は観察できる。このことから、ユーザが照明の設置ミスに気付き難いという特有の事情もあった。 In particular, the feature quantity such as the shape of the surface of the workpiece is detected to some extent even if the setting of the rotation angle, the arrangement position, etc. is slightly wrong. For example, when the actual installation angle and the installation angle set by the inspection apparatus are shifted by about 45 degrees, the surface shape of the workpiece can be observed although the performance is greatly deteriorated. For this reason, there was also a peculiar situation that it was difficult for the user to notice an installation error of lighting.
本発明は、このような事情に鑑みてなされたものであり、その主な目的は、フォトメトリックステレオ法を利用した外観検査において、照明とカメラとの設置の自由度を高めつつ、設置時の誤設定を回避して正確な検査結果を得られるようにした画像検査装置を提供することにある。 The present invention has been made in view of such circumstances, and its main purpose is to improve the degree of freedom of installation between the illumination and the camera in the appearance inspection using the photometric stereo method, and at the time of installation. An object of the present invention is to provide an image inspection apparatus capable of avoiding erroneous setting and obtaining an accurate inspection result.
本発明の第1の側面に係る画像検査装置によれば、ワークの外観検査を行うための画像検査装置であって、ワークを互いに異なる照明方向から照明するための三以上の照明手段と、前記三以上の照明手段と各々接続され、各照明手段を所定の点灯順で点灯させるための照明制御手段と、前記三以上の照明手段と別体に設けられ、前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像するための撮像手段と、前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と、前記法線ベクトル算出手段で法線ベクトルが正しく算出されるよう、所定の照明光をワークに照射するため予め設定された設置設定に従って前記照明手段又は撮像手段を設置する作業を補助するための設置補助手段とを備え、前記三以上の照明手段が、環状に一体的に配置された環状照明ユニットで構成されており、前記設置設定が、前記法線ベクトルを正しく算出するための前記環状照明ユニットを設置する際の前記撮像手段に対する前記環状照明ユニットの環状方向における角度情報を含んでおり、前記設置補助手段は、前記角度情報を含む設置設定に従って前記環状照明ユニットの環状方向における設置位置を表示させることができる。上記構成により、撮像手段と別体に配置される照明手段を、設置補助手段に従って正しい照明光を照射できるよう設置できるので、フォトメトリックステレオ法を利用した画像検査の精度よく実行できる利点が得られる。また、環状照明ユニットの回転位置を設置補助手段によって確定できるので、設置時に回転位置がずれて検査精度が低下する事態を回避できる。
According to the image inspection apparatus according to the first aspect of the present invention, there is provided an image inspection apparatus for inspecting the appearance of a work, wherein three or more illumination means for illuminating the work from different illumination directions, Illumination control means for connecting each of the three or more illumination means and lighting each of the illumination means in a predetermined lighting order; provided separately from the three or more illumination means; and each illumination means by the illumination control means By imaging the workpiece from a certain direction at the illumination timing to be lit, an imaging unit for imaging a plurality of partial illumination images with different illumination directions, and a plurality of partial illumination images captured by the imaging unit Based on the photometric stereo method, using the pixel value of each pixel in the correspondence relationship, a normal vector calculation method for calculating the normal vector for the surface of the workpiece of each pixel In order to assist the operation of installing the illumination unit or the imaging unit according to a preset installation setting for irradiating the workpiece with predetermined illumination light so that the normal vector is correctly calculated by the normal vector calculation unit The three or more illumination means are constituted by an annular illumination unit that is integrally arranged in an annular shape, and the installation setting is used to correctly calculate the normal vector. The angle information in the annular direction of the annular illumination unit with respect to the imaging means when installing the illumination unit is included, and the installation auxiliary means is installed in the annular direction of the annular illumination unit according to the installation setting including the angle information. It can Rukoto to display. With the above configuration, the illumination unit arranged separately from the imaging unit can be installed so that the correct illumination light can be emitted according to the installation auxiliary unit, so that an advantage that the image inspection using the photometric stereo method can be performed with high accuracy is obtained. . In addition, since the rotation position of the annular illumination unit can be determined by the installation auxiliary means, it is possible to avoid a situation in which the rotation position is shifted during installation and the inspection accuracy is lowered.
また、第2の側面に係る画像検査装置によれば、前記角度情報を、前記環状照明ユニットの環状方向における回転位置又は回転角度とすることができる。
さらに、第3の側面に係る画像検査装置によれば、前記法線ベクトル算出手段で算出される法線ベクトルは、前記撮像手段の光軸方向における該撮像手段と照明手段との相対距離の変化に応じて、その法線ベクトルの強度が変化する依存性を有することができる。上記構成により、法線ベクトルの強度を、撮像手段と照明手段との相対距離でもって任意に調整できる利点が得られる。例えば、ワークの外観検査において高い検出精度が求められない用途においては、法線ベクトルの強度が低くても足りる。特に撮像手段と照明手段の設置の自由度を高めた利点を享受しつつ、画像検査に必要な精度を確保して、高い利便性とユーザビリティを提供できる。
Moreover, according to the image inspection apparatus which concerns on a 2nd side surface, the said angle information can be made into the rotation position or rotation angle in the cyclic | annular direction of the said annular illumination unit.
Furthermore, according to the image inspection apparatus according to the third aspect, the normal vector calculated by the normal vector calculation unit is a change in the relative distance between the imaging unit and the illumination unit in the optical axis direction of the imaging unit. Depending on, the normal vector can have a dependency of changing intensity. With the above configuration, there is an advantage that the intensity of the normal vector can be arbitrarily adjusted by the relative distance between the imaging unit and the illumination unit. For example, in applications where high detection accuracy is not required in the appearance inspection of the workpiece, the intensity of the normal vector may be low. In particular, while enjoying the advantage of increasing the degree of freedom of installation of the imaging means and the illumination means, it is possible to ensure the accuracy necessary for image inspection and provide high convenience and usability.
さらにまた、第4の側面に係る画像検査装置によれば、設置設定が、前記三以上の照明手段の各々が発する照明光の方向を含むことができる。
Furthermore, according to the image inspection apparatus according to a fourth aspect, the installation settings can include a direction of the illumination light each of the three or more lighting means emits.
さらにまた、第5の側面に係る画像検査装置によれば、設置設定が、前記三以上の照明手段を設置する位置を含むことができる。
Furthermore, according to the image inspection apparatus according to the fifth aspect, the installation setting can include a position where the three or more illumination units are installed.
さらにまた、第6の側面に係る画像検査装置によれば、設置設定が、前記照明手段と照明制御手段の配線情報を含むことができる。
Furthermore, according to the image inspection apparatus according to the sixth aspect, the installation setting can include wiring information of the illumination unit and the illumination control unit.
さらにまた、第7の側面に係る画像検査装置によれば、さらに前記三以上の照明手段の各々から延長された照明ケーブルと、前記照明手段と前記照明制御手段とを中継し、前記照明ケーブルを接続するための照明分岐ユニットとを備え、前記照明分岐ユニットは、各照明ケーブルをそれぞれ接続するための複数の照明接続コネクタを備え、前記設置補助手段が、各照明接続コネクタに設けられた、前記設置設定に従い接続先の照明手段が複数の照明手段の内いずれであるかを示す第一設置表記を含むことができる。上記構成により、照明分岐ユニットに設けられた第一設置表記に従って、ユーザは接続すべき照明手段を特定できるので、設置時の配線ミスを回避できる。
Furthermore, according to the image inspection apparatus according to the seventh aspect, the illumination cable further extended from each of the three or more illumination means, the illumination means and the illumination control means are relayed, and the illumination cable is connected. An illumination branch unit for connection, the illumination branch unit includes a plurality of illumination connection connectors for connecting each illumination cable, and the installation auxiliary means is provided in each illumination connection connector, According to the installation setting, a first installation notation indicating which of the plurality of illumination means is the connection destination illumination means can be included. With the above configuration, the user can specify the illumination means to be connected in accordance with the first installation notation provided in the illumination branch unit, so that a wiring mistake at the time of installation can be avoided.
さらにまた、第8の側面に係る画像検査装置によれば、前記設置補助手段が、前記照明ケーブルに設けられた、前記設置設定に従い接続先の照明接続コネクタが複数の照明接続コネクタの内いずれであるかを示す第二設置表記を含み、前記第二設置表記を、前記第一設置表記と対応させて接続可能に構成できる。上記構成により、第一設置表記と第二設置表記に従って、ユーザはこれらを対応させるように照明ケーブルを照明接続コネクタに接続することで、意図しない接続ミスを排除し、所期通りのフォトメトリックステレオ法を用いた画像検査結果を得ることができる。
Furthermore, according to the image inspection apparatus according to the eighth aspect, the installation auxiliary means is provided on the illumination cable, and the illumination connection connector of the connection destination is any of the plurality of illumination connection connectors according to the installation setting. A second installation notation indicating whether or not there is included, and the second installation notation can be configured to be connectable with the first installation notation. With the above configuration, according to the first installation notation and the second installation notation, the user connects the illumination cable to the illumination connection connector so that they correspond to each other, thereby eliminating an unintentional connection mistake and achieving the desired photometric stereo. An image inspection result using the method can be obtained.
さらにまた、第9の側面に係る画像検査装置によれば、さらに前記設置補助手段が、前記照明手段と前記照明制御手段との対応する配線先を示す表記を含むことができる。
Furthermore, according to the image inspection apparatus of the ninth aspect, the installation assisting unit can further include a notation indicating a wiring destination corresponding to the illumination unit and the illumination control unit.
さらにまた、第10の側面に係る画像検査装置によれば、さらに前記法線ベクトル算出手段で算出された各画素の法線ベクトルに対して、X方向及びY方向に微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成するための輪郭画像生成手段を備えることができる。上記構成により、法線ベクトルに微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成し、この輪郭画像を検査対象の画像として適用することで、ワークや照明の傾きの影響を受け難い、従来のフォトメトリックステレオを用いた高さ計測よりも環境にロバストな画像検査を実現できる。 Furthermore, according to the image inspection apparatus according to the tenth aspect, the normal vector of each pixel calculated by the normal vector calculation means is further subjected to differentiation processing in the X direction and the Y direction, Contour image generation means for generating a contour image indicating the contour of the surface inclination can be provided. With the above configuration, the normal vector is subjected to differentiation processing to generate a contour image indicating the contour of the workpiece surface tilt, and this contour image is applied as an image to be inspected, thereby affecting the influence of the workpiece or illumination tilt. Image inspection that is harder to receive and more robust to the environment than conventional height measurement using photometric stereo can be realized.
さらにまた、第11の側面に係る画像検査装置によれば、さらに前記照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、前記法線ベクトルと同数個の前記各画素のアルベドを算出し、前記アルベドから、前記対象物の表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するテクスチャ抽出画像生成手段を備え、前記輪郭画像生成手段と前記テクスチャ抽出画像生成手段とが切り替え可能とできる。 Furthermore, according to the image inspection apparatus according to the eleventh aspect, from the calculated normal vector of each pixel, which is the number of times of illumination by the illumination unit, the same number of the respective pixels as the normal vector. A texture extraction image generation unit configured to calculate an albedo and generate a texture extraction image indicating a pattern obtained by removing the inclination state of the surface of the object from the albedo, the contour image generation unit and the texture extraction image generation unit; Can be switched.
さらにまた、第12の側面に係る画像検査装置によれば、さらに生成された輪郭画像に対して検査対象となる検査領域の位置を特定する検査領域特定手段と、特定された検査領域内の傷を検出するための画像処理を施す画像処理手段と、処理結果に基づいて、前記対象物表面の傷の有無を判定する判定手段とを備えることができる。 Furthermore, according to the image inspection apparatus according to the twelfth aspect, the inspection region specifying means for specifying the position of the inspection region to be inspected with respect to the generated contour image, and the scratch in the specified inspection region Image processing means for performing image processing for detecting the image, and determination means for determining the presence or absence of scratches on the surface of the object based on the processing result.
さらにまた、第13の側面に係る画像検査装置によれば、前記照明手段を4個備えることができる。 Furthermore, according to the image inspection apparatus according to the thirteenth aspect, four illumination means can be provided.
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための例示であって、本発明は以下のものに特定されない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
(1.画像検査装置1の構成)
Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiment described below is an example for embodying the technical idea of the present invention, and the present invention is not limited to the following. Further, the present specification by no means specifies the members shown in the claims to the members of the embodiments. In particular, the dimensions, materials, shapes, relative arrangements, and the like of the component parts described in the embodiments are not intended to limit the scope of the present invention unless otherwise specified, and are merely explanations. It is just an example. Note that the size, positional relationship, and the like of the members shown in each drawing may be exaggerated for clarity of explanation. Furthermore, in the following description, the same name and symbol indicate the same or the same members, and detailed description thereof will be omitted as appropriate. Furthermore, each element constituting the present invention may be configured such that a plurality of elements are constituted by the same member and the plurality of elements are shared by one member, and conversely, the function of one member is constituted by a plurality of members. It can also be realized by sharing.
(1. Configuration of the image inspection apparatus 1)
本発明の実施の形態1に係る画像検査装置のブロック図を、図1に示す。この図に示す画像検査装置1は、検査対象物(以下、「ワークWK」ともいう。)を一定の方向から撮像する撮像手段11と、ワークWKを異なる三以上の照明方向から照明するための照明手段と、各照明手段を一ずつ点灯順に点灯させるための照明制御手段31と、照明制御手段と撮像手段と接続されてこれらを制御する画像処理部41を備えている。画像処理部41と撮像手段とは、撮像ケーブル12を介して、また画像処理部41と照明制御手段31とは照明ケーブル32を介して、それぞれ接続されている。また画像処理部は、表示手段51と操作手段61を接続している。さらに画像処理部には、必要に応じて外部機器であるPLC(Programable Logic Controller)やコンピュータ等と接続することもできる。 FIG. 1 shows a block diagram of an image inspection apparatus according to Embodiment 1 of the present invention. The image inspection apparatus 1 shown in this figure is for imaging an inspection object (hereinafter also referred to as “work WK”) from a certain direction and for illuminating the work WK from three or more different illumination directions. Illumination means, illumination control means 31 for lighting each illumination means one by one in the order of lighting, and an image processing unit 41 connected to the illumination control means and the imaging means to control them. The image processing unit 41 and the imaging unit are connected via the imaging cable 12, and the image processing unit 41 and the illumination control unit 31 are connected via the illumination cable 32, respectively. The image processing unit connects the display unit 51 and the operation unit 61. Furthermore, the image processing unit can be connected to an external device such as a PLC (Programmable Logic Controller) or a computer as necessary.
撮像手段は、照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークWKを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像する。 The imaging unit captures a plurality of partial illumination images having different illumination directions by imaging the workpiece WK from a certain direction at an illumination timing at which each illumination unit is turned on by the illumination control unit.
画像処理部は、法線ベクトル算出手段41aと、輪郭画像生成手段41bと、テクスチャ抽出画像生成手段41cと、検査領域特定手段41dと、画像処理手段41eと、判定手段41fの機能を実現する。法線ベクトル算出手段41aは、撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、各画素のワークWKの表面に対する法線ベクトルnを算出する。輪郭画像生成手段41bは、算出された各画素の法線ベクトルnに対して、X方向及びY方向に微分処理を施し、ワークWK表面の傾きの輪郭を示す輪郭画像を生成する。テクスチャ抽出画像生成手段41cは、照明手段による照明する回数個ある、算出された各画素の法線ベクトルnから、法線ベクトルnと同数個の各画素のアルベドを算出し、アルベドから、ワークWKの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成する。検査領域特定手段41dは、生成された輪郭画像に対して検査対象となる検査領域の位置を特定する。画像処理手段41eは、特定された検査領域内の傷を検出するための画像処理を施す。判定手段41fは、処理結果に基づいて、ワークWK表面の傷の有無を判定する。 The image processing unit realizes the functions of a normal vector calculation unit 41a, a contour image generation unit 41b, a texture extraction image generation unit 41c, an inspection region specification unit 41d, an image processing unit 41e, and a determination unit 41f. The normal vector calculation unit 41a calculates a normal vector n with respect to the surface of the work WK of each pixel by using pixel values for each pixel having a correspondence relationship among the plurality of partial illumination images captured by the imaging unit. . The contour image generation unit 41b performs a differentiation process on the calculated normal vector n of each pixel in the X direction and the Y direction to generate a contour image indicating the contour of the inclination of the workpiece WK surface. The texture extraction image generating unit 41c calculates the albedo of each pixel as many as the normal vector n from the calculated normal vector n of each pixel that is illuminated by the illumination unit, and from the albedo, the work WK The texture extraction image which shows the pattern which removed the inclination state of the surface of is generated. The inspection area specifying unit 41d specifies the position of the inspection area to be inspected with respect to the generated contour image. The image processing unit 41e performs image processing for detecting a flaw in the specified inspection area. The determination unit 41f determines the presence or absence of a scratch on the surface of the workpiece WK based on the processing result.
撮像手段と照明手段とは、別個の部材として配置可能としている。これによって自由度の高いレイアウトが可能となる。一例として、図2の模式平面図及び図3の模式側面図に示すように、ステージSG上に載置されたワークWKの真上に、光軸を鉛直方向に向けた撮像手段11を配置する。また撮像手段11の周囲の東西南北の方位に、4個の照明手段、すなわち第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24を、同一の高さに配置する。配置された撮像手段と各照明手段の位置関係は、画像検査装置側で記録される。照明制御手段により所定の照明タイミングで各照明手段を順次点灯させて、共通の撮像手段でもって、ワークを一定の方向から撮像して部分照明画像を取得する。 The imaging unit and the illumination unit can be arranged as separate members. This enables a layout with a high degree of freedom. As an example, as shown in the schematic plan view of FIG. 2 and the schematic side view of FIG. 3, the imaging unit 11 with the optical axis directed in the vertical direction is disposed directly above the work WK placed on the stage SG. . Further, the four illumination means, that is, the first illumination means 21, the second illumination means 22, the third illumination means 23, and the fourth illumination means 24 are arranged at the same height in the east, west, north, and south directions around the imaging means 11. Deploy. The positional relationship between the imaging unit arranged and each illumination unit is recorded on the image inspection apparatus side. Each illumination means is sequentially turned on at a predetermined illumination timing by the illumination control means, and the workpiece is imaged from a certain direction with the common imaging means to obtain a partial illumination image.
なお、撮像手段と照明手段とは、別個の部材とする構成に限らず、これらをアーム等を介して一体に構成してもよい。この場合は、予め撮像手段と照明手段の位置関係が固定されているため、光軸を一致させるといった調整作業を不要とできる。ただし、自由度が失われる。
(撮像手段)
Note that the imaging unit and the illumination unit are not limited to being configured as separate members, and may be configured integrally via an arm or the like. In this case, since the positional relationship between the imaging unit and the illumination unit is fixed in advance, it is possible to eliminate the adjustment work of matching the optical axes. However, the degree of freedom is lost.
(Imaging means)
撮像手段11は、例えば、CCD(Charge Coupled Device)カメラやCMOS(Complementary Metal Oxide Semiconductor)イメージャ等の撮像素子が利用できる。撮像素子で被写体の画像を光電変換して画像信号を出力し、出力された画像信号を信号処理ブロックが輝度信号と色差信号とに変換して、撮像ケーブル12で接続された画像処理部41に出力する。
(照明手段)
As the imaging means 11, for example, an imaging element such as a CCD (Charge Coupled Device) camera or a CMOS (Complementary Metal Oxide Semiconductor) imager can be used. The image of the subject is photoelectrically converted by the imaging device to output an image signal, and the output image signal is converted into a luminance signal and a color difference signal by the signal processing block, and the image processing unit 41 connected by the imaging cable 12 is connected. Output.
(Lighting means)
照明手段21、22、23、24は、ワークWKに対して、異なる照明方向から照明光を照射できるよう、図2の模式平面図に示すようにワークWKの周囲をとり囲むように配置される。また図3の模式側面図に示すように、各照明手段は、光軸を斜め下方に向けて設置される。各照明手段で照明されたワークを、共通の撮像手段で撮像できるよう、撮像手段の光軸と、照明手段を設けた平面(仮想回転面)の中心軸とを一致させることが好ましい。また、照明手段同士の間隔(中心軸からの方位角)は、360°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。さらにまた、各照明手段とワークとの距離も、一定とすること好ましい。このようにすることで、フォトメトリックステレオ処理の演算に必要な方位角や天頂角情報の入力を簡易化できる。また後述の通り、全灯画像MCを撮像する際はすべての照明手段を点灯した全灯状態で撮像するため、上記状態にすれば、全照明の強さを均等に弱めるだけで、ムラの少ない照明状態で撮像できる。 The illumination means 21, 22, 23, and 24 are arranged so as to surround the work WK as shown in the schematic plan view of FIG. 2 so that the work WK can be irradiated with illumination light from different illumination directions. . Further, as shown in the schematic side view of FIG. 3, each illuminating means is installed with its optical axis obliquely downward. It is preferable that the optical axis of the imaging unit and the central axis of the plane (virtual rotation plane) provided with the illumination unit coincide with each other so that the workpiece illuminated by each illumination unit can be imaged by the common imaging unit. Moreover, it is preferable to arrange | position 360 degrees equally as the space | interval (azimuth angle from a central axis) between illumination means, dividing | segmenting equally by the number of illumination means. Furthermore, the zenith angle is preferably constant for all illumination means. Furthermore, it is preferable that the distance between each illumination means and the workpiece is also constant. By doing so, it is possible to simplify the input of azimuth and zenith angle information necessary for the calculation of photometric stereo processing. As will be described later, when capturing the all-lamp image MC, since all the illumination means are imaged in the all-lamp state, the above-described state reduces the intensity of all the illuminations evenly and reduces unevenness. Images can be taken under illumination.
図1の例では、第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24の4つで構成される。各照明手段は、白熱球や蛍光灯等が利用できる。特に、発光ダイオード(Light Emitting Diode:LED)等の半導体発光素子は、消費電力が少なく長寿命で応答性にも優れ、好ましい。各照明手段は、図1に示すように、それぞれに対応するケーブル71、72、73、74を介して、照明分岐ユニット75に接続され、さらにケーブル76を介して、照明制御手段31に接続されている。
(照明分岐ユニット)
In the example of FIG. 1, the first illumination unit 21, the second illumination unit 22, the third illumination unit 23, and the fourth illumination unit 24 are configured. Each illumination means can use an incandescent bulb or a fluorescent lamp. In particular, a semiconductor light emitting element such as a light emitting diode (LED) is preferable because it consumes less power and has a long life and excellent responsiveness. As shown in FIG. 1, each lighting unit is connected to the lighting branching unit 75 via cables 71, 72, 73, 74 corresponding to each lighting unit, and further connected to the lighting control unit 31 via a cable 76. ing.
(Lighting branch unit)
照明分岐ユニットは、各照明手段を照明制御手段と接続するためのインターフェースである。具体的には、照明手段から延長された照明ケーブルを接続するための照明接続コネクタを設けている。図1の例では、4つの照明手段を接続するよう、4つの照明接続コネクタを設けている。この際、照明ケーブルを正しく照明接続コネクタに接続するよう、設置補助手段としてマーク等を設けてもよい(詳細は後述)。各照明手段の照明メーブルを、照明分岐ユニットの照明接続コネクタに正しく接続することで、照明制御手段でもって正しい順序で正しい方向から照明手段を点灯でき、さらに各照明タイミングと同期させて撮像手段を動作させることで、部分照明画像を撮像できる。なお、照明分岐ユニットは、図1の例では照明制御手段と別体に設けられているが、この構成に限られず、例えば照明制御手段に照明分岐ユニットを組み込んでもよい。 The illumination branching unit is an interface for connecting each illumination unit to the illumination control unit. Specifically, an illumination connection connector for connecting an illumination cable extended from the illumination means is provided. In the example of FIG. 1, four illumination connection connectors are provided so as to connect the four illumination means. At this time, a mark or the like may be provided as installation assistance means so that the illumination cable is correctly connected to the illumination connection connector (details will be described later). By correctly connecting the illumination table of each illumination means to the illumination connection connector of the illumination branch unit, the illumination means can be lit in the correct direction in the correct order by the illumination control means, and the imaging means can be synchronized with each illumination timing. A partial illumination image can be taken by operating. The illumination branching unit is provided separately from the illumination control unit in the example of FIG. 1, but is not limited to this configuration. For example, the illumination branching unit may be incorporated in the illumination control unit.
照明手段21、22、23、24の照明色は、ワークWKのタイプに応じて変更することもできる。例えば、細かい傷を検査したい場合には、波長が短い青色が好適である。また、着色されたワークを検査するときは、照明の色が邪魔にならないように、白色の照明を使うのが好ましい。さらに、ワークに油が付いているときには、その影響を防ぐために、赤色の照明を採用するとよい。 The illumination colors of the illumination means 21, 22, 23, and 24 can be changed according to the type of the work WK. For example, when it is desired to inspect a fine scratch, blue having a short wavelength is suitable. When inspecting a colored workpiece, it is preferable to use white illumination so that the illumination color does not get in the way. Furthermore, when oil is attached to the workpiece, red illumination may be employed to prevent the influence.
また照明手段は、上述した図1〜図3の例では4個としているが、異なる三以上の照明方向からワークWKを照明できるよう、少なくとも3個あれば足りる。照明手段の数を増やすと、より多くの照明方向から部分照明画像が得られるため、画像検査の精度を向上できる。例えば、北東、北西、南東、南西の方位を加えて全部で8個配置してもよい。また、照明手段同士の間隔(中心軸からの方位角)は、360°を照明手段の数で均等に分割して配置することが好ましい。さらに天頂角は、すべての照明手段で一定とすることが好ましい。なお、処理すべき画像の枚数が増えることで処理量が増え、処理時間が遅くなる。本実施の形態においては、処理速度と演算処理のし易さ、精度等のバランスを考慮して、上述の通り照明手段の数を4個としている。 In the example of FIGS. 1 to 3 described above, the number of illumination means is four. However, at least three illumination means are sufficient so that the workpiece WK can be illuminated from three or more different illumination directions. When the number of illumination means is increased, partial illumination images can be obtained from more illumination directions, so that the accuracy of image inspection can be improved. For example, you may arrange | position eight in total including the northeast, northwest, southeast, and southwest direction. Moreover, it is preferable to arrange | position 360 degrees equally as the space | interval (azimuth angle from a central axis) between illumination means, dividing | segmenting equally by the number of illumination means. Furthermore, the zenith angle is preferably constant for all illumination means. Note that the amount of processing increases as the number of images to be processed increases, and the processing time is delayed. In the present embodiment, the number of illumination means is set to four as described above in consideration of the balance between processing speed, ease of arithmetic processing, accuracy, and the like.
また、照明手段を、環状に配置された複数個の発光素子で構成することもできる。例えば図4に示す実施形態2に係るリング照明では、環状に配置された発光素子を4つの照明ブロックに分割している。そして照明制御手段が、第一照明ブロックを第一照明手段、第二照明ブロックを第二照明手段、第三照明ブロックを第三照明手段、第四照明ブロックを第四照明手段として、それぞれの照明ブロックの照明タイミングを異ならせることで、4つの別個の照明手段が存在するのと同様に制御できる。 Further, the illumination means can be constituted by a plurality of light emitting elements arranged in an annular shape. For example, in the ring illumination according to the second embodiment illustrated in FIG. 4, the annular light emitting element is divided into four illumination blocks. The illumination control means uses the first illumination block as the first illumination means, the second illumination block as the second illumination means, the third illumination block as the third illumination means, and the fourth illumination block as the fourth illumination means. By making the illumination timing of the blocks different, it can be controlled in the same way as there are four separate illumination means.
またこの構成であれば、同一のリング照明を用いて、照明手段の数を任意に変更できる利点も得られる。すなわち、各発光素子の点灯を照明制御手段で任意に制御できる場合は、図5に示すように、環状に配列された発光素子の円周を4区分から5区分に分割するように照明ブロックを変更し、5つの照明ブロックをそれぞれ点灯させる照明タイミングをずらして各部分照明画像を撮像するように照明制御手段で制御することで、5つの照明方向からの部分照明画像を取得できる。さらに同様に環状の円周を6分割、7分割に変更すれば、照明方向をさらに増やすことができる。また、常時一定の照明ブロックにて部分照明画像を取得する構成に限らず、周期毎に照明ブロックを変更してもよい。このように、各発光素子の点灯パターンを調整することで、同一のリング照明を用いて、仮想的に照明ブロックの数を変更し、照明手段の数を調整するのと同様の効果を得ることができる。言い換えると、共通のハードウェアでもって異なる精度に対応できる。 Further, with this configuration, there is an advantage that the number of illumination means can be arbitrarily changed using the same ring illumination. That is, when the lighting control means can arbitrarily control the lighting of each light emitting element, as shown in FIG. 5, the illumination block is divided so that the circumference of the annularly arranged light emitting elements is divided into 4 sections to 5 sections. The partial illumination images from the five illumination directions can be acquired by controlling the illumination control unit so that the partial illumination images are captured by shifting the illumination timing for lighting the five illumination blocks. Similarly, if the annular circumference is changed to 6 divisions and 7 divisions, the illumination direction can be further increased. Moreover, you may change an illumination block for every period, not only the structure which acquires a partial illumination image with a constant illumination block at all times. In this way, by adjusting the lighting pattern of each light emitting element, the same effect as the case of virtually changing the number of illumination blocks and adjusting the number of illumination means using the same ring illumination can be obtained. Can do. In other words, common hardware can handle different accuracies.
さらに照明手段は、円環状に配置する他、実施形態3として図6の模式平面図に示すように、バー状に構成された照明手段を矩形状に配置したり、実施形態4として図7の模式平面図に示すように、多角形状に配置することもできる。 Furthermore, the illumination means is arranged in an annular shape, and as shown in the schematic plan view of FIG. 6 as Embodiment 3, the illumination means configured in a bar shape is arranged in a rectangular shape, or as Embodiment 4 in FIG. As shown in the schematic plan view, they can be arranged in a polygonal shape.
あるいは、照明手段を円や多角形の環状に配置する他、平面状に配置することもできる。例えば、多数の発光素子を平面状に配置し、点灯する照明ブロックを変化させることで、異なる照明方向を実現することもできる。具体的には、図8に示す変形例に係る照明手段のように、同心円状の円環を複数重ねた照明ユニット20’を構成し、半径の異なる各円環をそれぞれ照明ブロックとして照明手段を構成する。あるいは、図9に示す他の変形例に係る照明手段のように、ドットマトリックス状に発光素子を並べた照明ユニット20”としつつ、中心を通る複数の線分で分割した照明ブロックでもって照明手段を構成してもよい。このように本発明において照明手段や照明方向とは、必ずしも物理的に離間された照明に限られず、一の照明手段を複数に分割した照明ブロックでもって、照明を行う構成も含む意味で使用する。 Alternatively, the illumination means can be arranged in a planar shape in addition to the circular or polygonal ring shape. For example, different illumination directions can be realized by arranging a large number of light emitting elements in a plane and changing the illumination block to be lit. Specifically, like the illumination unit according to the modification shown in FIG. 8, the illumination unit 20 ′ is configured by stacking a plurality of concentric rings, and the illumination unit is configured with each ring having a different radius as an illumination block. Configure. Alternatively, as in the illumination unit according to another modified example shown in FIG. 9, the illumination unit 20 ″ is a lighting unit in which light emitting elements are arranged in a dot matrix, and the illumination unit is divided by a plurality of line segments passing through the center. Thus, in the present invention, the illumination means and the illumination direction are not necessarily limited to physically separated illumination, and illumination is performed with an illumination block in which one illumination means is divided into a plurality of parts. It is used in the meaning including the structure.
なお、本実施例においては各照明手段による部分照明光が撮像範囲内で並行光であるとの前提で処理している。部分照明光が平行光である限り、照明光の方向(例えば東西南北のいずれか)だけが問題となり、その詳細な位置、例えば照明手段の光源の座標位置等は考慮する必要はない。
(照明制御手段)
In the present embodiment, processing is performed on the assumption that the partial illumination light from each illumination means is parallel light within the imaging range. As long as the partial illumination light is parallel light, only the direction of the illumination light (for example, any one of east, west, south, and north) becomes a problem, and its detailed position, for example, the coordinate position of the light source of the illumination means, does not need to be considered.
(Lighting control means)
照明制御手段は、三以上の照明手段を一ずつ点灯順に点灯させると共に、各照明手段を点灯させる照明タイミングにて、ワークを撮像手段で一定の方向から撮像するよう、各照明手段と撮像手段を同期させるように制御する。いいかえると照明制御手段は、照明手段による照明タイミングと、撮像手段による撮像タイミングとを同期させる。また照明制御手段が各照明手段を点灯させる点灯順は、ワークの周囲を取り囲むように配置された照明手段を、時計回り、反時計回りといった順で点灯させる他、離散的な順序、例えば一つおきや交差するような順としてもよい。どのような順であっても、各照明タイミングで撮像された部分照明画像が、どの照明方向の照明にて撮像されたものであるかを把握できれば、フォトメトリックステレオ法に基づいて法線ベクトル画像を構築できる。 The illumination control means turns on each of the illumination means and the imaging means so that the three or more illumination means are turned on one by one in the order of lighting, and the workpiece is imaged from a certain direction by the imaging means at the illumination timing at which each illumination means is turned on. Control to synchronize. In other words, the illumination control means synchronizes the illumination timing by the illumination means and the imaging timing by the imaging means. Further, the lighting control means turns on each lighting means by lighting the lighting means arranged so as to surround the work in the order of clockwise or counterclockwise, or in a discrete order, for example, one It may be in the order of crossing every other. Normal vector images based on the photometric stereo method can be used as long as the partial illumination images captured at each illumination timing are captured in which illumination direction in any order. Can be built.
なお図1の実施形態1では、照明制御手段31は、画像処理部41と別体として設けられているが、この構成に限られない。例えば、図10に示す実施形態5のように、画像処理部41と一体化されていてもよいし、あるいは図11に示す実施形態6のように、照明手段25に内蔵されていてもよい。
(画像処理部)
In Embodiment 1 of FIG. 1, the illumination control unit 31 is provided as a separate body from the image processing unit 41, but is not limited to this configuration. For example, it may be integrated with the image processing unit 41 as in the fifth embodiment shown in FIG. 10, or may be built in the illumination means 25 as in the sixth embodiment shown in FIG.
(Image processing unit)
画像処理部41は、撮像手段11及び照明手段21、22、23、24の動作を制御するとともに、撮像手段11から入力された4つの部分照明画像の画像信号Q1〜Q4を用いて、各画素における面の法線ベクトル画像(以下、「傾き画像」という。)を生成し、傾き画像のX方向及びY方向の第2次の傾き画像(以下、「輪郭抽出画像」という。)や、アルベド(albedo、反射率を意味する。)画像(以下、「テクスチャ抽出画像」ともいう。)を作成し、それらの画像を用いて、傷の検査や文字の検出等を行うための処理をする。なお、傷の検査や文字の検出等を行うための処理は、画像処理部41で処理する構成に限らず、例えばPLC81等の外部部機器側で実行させることもできる。 The image processing unit 41 controls the operations of the imaging unit 11 and the illumination units 21, 22, 23, and 24, and uses the image signals Q <b> 1 to Q <b> 4 of the four partial illumination images input from the imaging unit 11. A normal vector image (hereinafter referred to as an “inclined image”) of the surface at, and a second-order inclined image (hereinafter referred to as an “outline extracted image”) in the X and Y directions of the inclined image, or an albedo. (Albedo, meaning reflectance) An image (hereinafter also referred to as “texture extraction image”) is created, and processing for performing scratch inspection, character detection, and the like is performed using these images. Note that the processing for performing a flaw inspection, character detection, and the like is not limited to the configuration processed by the image processing unit 41, and can be executed by an external device such as the PLC 81, for example.
図12は、画像処理部41の信号処理系42を示している。信号処理系42は、CPU43、メモリ44、ROM45、表示手段51、ポインティングデバイス等の操作手段61、撮像手段11、照明制御手段31、結果出力処理を実行するPLC(プログラマブル・ロジック・コントローラ)81より構成されており、これらは、バス46やケーブル12、32、52、62、82を介して互いに接続されている。なお、ROM45は、可搬メディアであってもよい。また表示手段51を、例えばタッチパネルとする等、操作手段61と兼用させてもよい。 FIG. 12 shows a signal processing system 42 of the image processing unit 41. The signal processing system 42 includes a CPU 43, a memory 44, a ROM 45, a display unit 51, an operation unit 61 such as a pointing device, an imaging unit 11, an illumination control unit 31, and a PLC (programmable logic controller) 81 that executes a result output process. These are connected to each other via a bus 46 and cables 12, 32, 52, 62, 82. The ROM 45 may be a portable medium. Further, the display unit 51 may be combined with the operation unit 61 such as a touch panel.
CPU43は、ROM45に格納されているプログラムに基づいて、メモリ44、ROM45、表示手段51、操作手段61、撮像手段11、照明制御手段31、PLC81の相互間でのデータの送受を制御したり、表示手段51、撮像手段11、照明制御手段31の制御を行っている。 The CPU 43 controls transmission / reception of data between the memory 44, the ROM 45, the display unit 51, the operation unit 61, the imaging unit 11, the illumination control unit 31, and the PLC 81 based on a program stored in the ROM 45, Control of the display means 51, the imaging means 11, and the illumination control means 31 is performed.
画像処理部41は、例えば、プログラムが格納された1台のコンピュータを想定しているが、複数のコンピュータの組み合わせにより各手段が構成されるようにしてもよいし、一部の手段を専用の回路により構成してもよい。あるいは、ASICのように専用設計された部材とすることもできる。
(判定手段)
For example, the image processing unit 41 is assumed to be a single computer in which a program is stored. However, each unit may be configured by a combination of a plurality of computers, or some of the units may be dedicated. You may comprise by a circuit. Or it can also be set as the member designed exclusively like ASIC.
(Judgment means)
画像処理部41は上述の通り、判定手段の機能を実現する。判定手段は、得られたテクスチャ抽出画像に基づいて、傷の有無や大きさの検査を行う。例えば所定の閾値以上の場合に傷であると判定する。また、判定手段は必要に応じて輪郭抽出画像に基づいてOCRを行い、認識された文字列を出力することもできる。
(基本原理)
As described above, the image processing unit 41 realizes the function of the determination unit. The determination means inspects the presence / absence and size of the scratch based on the obtained texture extraction image. For example, if it is equal to or greater than a predetermined threshold, it is determined that it is a scratch. In addition, the determination unit can perform OCR based on the contour extraction image as necessary and output a recognized character string.
(Basic principle)
次に、以上の画像検査装置を用いて、ワークの外観検査を行う基本原理について、従来技術である特許文献1の技術と対比しながら説明する。まず特許文献1に開示された技術の基本原理は、フォトメトリックステレオ法の原理を利用し、未知の面に対して、様々な方向から光を当てて、ワークの反射光の違いを利用してワークの形を推定しようとするものである。ワークの反射光は、照明の入射角度、照明の距離等を反映し、入射角度が90°になるところが最も明るくなり、照明との距離が離れれば離れるほど暗くなる性質がある。 Next, the basic principle of performing an appearance inspection of a workpiece using the above-described image inspection apparatus will be described in comparison with the technique of Patent Document 1 which is a conventional technique. First, the basic principle of the technique disclosed in Patent Document 1 is based on the principle of the photometric stereo method. Light is applied to an unknown surface from various directions, and the difference in reflected light of the workpiece is used. It is intended to estimate the shape of the workpiece. The reflected light of the work reflects the incident angle of the illumination, the distance of the illumination, etc., and has the property that the portion where the incident angle is 90 ° is brightest and becomes darker as the distance from the illumination increases.
この性質を利用して、明るさと位置が既知である照明を複数個用意して、照明の点灯を順に切り替えていき、それぞれの点において、各方向の照明から照射されたときの反射光の明るさの違いを利用して表面がどちらを向いているかを推定する。具体的には、傾き画像のX成分Y成分を、X成分の輝度に置き換えたX成分画像やY成分の輝度に置き換えたY成分画像を作成して検査に応用しようとするものである。 Using this property, prepare multiple illuminations with known brightness and position, switch the lighting on in order, and the brightness of the reflected light when illuminated from each direction of illumination at each point Use the difference to estimate which direction the surface is facing. Specifically, an X component image in which the X component Y component of the tilt image is replaced with the luminance of the X component and a Y component image in which the luminance of the Y component is replaced are created and applied to the inspection.
しかしながら、この方法は、照明やワークの設置面の僅かな傾きや、元々入力している照明の位置等の入力情報の過誤に対して、得られる検査画像が大きく変化してしまう等、ロバスト性に劣るという問題があった。例えば、実際には凸凹がないのに凸凹の画像になったり、あるいは照明に対しては通常、近くが明るく見えるところ、明るさの変化によってワークの中央が盛り上がったような画像に見えるといった、ワークの実際の形状に即した検査画像が必ずしも得られないという欠点があった。 However, this method has robustness such as a slight change in the lighting or workpiece installation surface, or an error in input information such as the position of the originally input lighting, resulting in a large change in the obtained inspection image. There was a problem of being inferior. For example, a work that has an uneven image with no actual unevenness, or that appears to be bright in the vicinity of lighting, but appears to be an image where the center of the work is raised due to changes in brightness. However, there is a drawback that an inspection image conforming to the actual shape cannot always be obtained.
これに対して、本実施の形態に係る画像検査技術の基本原理は、フォトメトリックステレオ法を利用して第1次の傾き画像を生成することを出発点としながらも、得られた第1次の傾き画像をX方向及びY方向に微分処理して第2次の傾き画像、すなわち、輪郭抽出画像を作成し、その画像を用いて、傷の検査等を行うものである。第2次の傾き画像は、前述の欠点が生ずるようなケースであっても、その影響が小さく、面の傾き変化の大きいところが暗くなる階調とする一方、面の傾き変化の小さいところが明るくなる階調と設定することで、ワークの表面の傾きが大きく変化する傷や輪郭等を抽出するのに好適な画像となる。 On the other hand, the basic principle of the image inspection technique according to the present embodiment is that the obtained first order is obtained while generating a first-order tilt image using the photometric stereo method. The second tilt image, that is, the contour extraction image, is generated by differentiating the tilt image in the X direction and the Y direction, and the image is inspected for scratches and the like. Even in the case where the above-mentioned drawbacks occur, the second-order tilt image has a small effect, and the portion where the change in the surface inclination is large is darkened while the portion where the change in the surface inclination is small is bright. By setting the gradation, an image suitable for extracting scratches, contours, and the like that greatly change the inclination of the surface of the workpiece is obtained.
また、特許文献1に開示された技術では、フォトメトリックステレオ法を利用して生成した反射率画像(テクスチャ抽出画像に相当。)は、ハレーションが起きてしまい、文字の検出等が困難な場合があった。これに対して、本実施の形態に係る画像検査技術は、基本的には、2つの照明でしか同じ箇所ではハレーションしないという基本原理を利用して、各画素において、例えば4つの画素値の内、上から3つ目の画素値を採用することで、ハレーションの影響を取り除くようにしている。 Further, with the technique disclosed in Patent Document 1, the reflectance image (corresponding to a texture extracted image) generated by using the photometric stereo method may cause halation and it may be difficult to detect characters. there were. On the other hand, the image inspection technique according to the present embodiment basically uses the basic principle that halation is performed at the same location with only two illuminations. By adopting the third pixel value from the top, the influence of halation is removed.
加えて、特許文献1に開示された画像処理装置は、カメラと照明用の光源を一体に構成しているが、この構成では、カメラと光源が大型化して、設置に際して大きさの制約を受けるという問題もあった。これに対して本実施の形態に係る画像検査装置では、撮像手段と照明手段を別個の部材とできるので、配置スペースを考慮したより柔軟な設置が可能となって、使い勝手の面でも有利となる。
(フォトメトリックステレオ法の基本原理)
In addition, the image processing apparatus disclosed in Patent Document 1 integrally includes a camera and a light source for illumination. However, in this configuration, the camera and the light source are enlarged, and the size is restricted during installation. There was also a problem. On the other hand, in the image inspection apparatus according to the present embodiment, since the imaging unit and the illumination unit can be separate members, more flexible installation is possible in consideration of the arrangement space, which is advantageous in terms of usability. .
(Basic principle of photometric stereo method)
ここで、図13A〜図13Dを参照しながら、フォトメトリックステレオ法の基本原理について説明する。まず、図13Aに示すように、未知の拡散反射面S、及び明るさと位置が既知の複数の照明(この例では第一照明手段L1と第二照明手段L2の2個)がある場合を想定する。例えば図13Bに示すように、第一照明手段L1から光を照射すると、拡散反射面Sの表面における拡散反射光は、(1)照明の明るさ(既知)、(2)照明の向き(既知)、(3)ワークWKの表面の向き(法線ベクトルn)、(4)ワークWKの表面のアルベドのパラメータのみで決定される。 Here, the basic principle of the photometric stereo method will be described with reference to FIGS. 13A to 13D. First, as shown in FIG. 13A, it is assumed that there is an unknown diffuse reflection surface S and a plurality of illuminations whose brightness and position are known (in this example, two of the first illumination unit L1 and the second illumination unit L2). To do. For example, as shown in FIG. 13B, when light is irradiated from the first illumination means L1, the diffuse reflection light on the surface of the diffuse reflection surface S is (1) brightness of illumination (known), (2) direction of illumination (known) ), (3) surface orientation of workpiece WK (normal vector n), and (4) surface albedo parameter of workpiece WK.
そこで、図13B及び図13Cに示すように、複数の異なる照明方向、具体的には三以上の照明方向から照明光が投光されたときの拡散反射光からなる部分照明画像を、それぞれ撮像手段で撮影する。そして図13Dに示すように、3以上の部分照明画像を入力画像とすることで、未知である(3)ワークWK表面の向き(法線ベクトルn)、(4)ワークWK表面のアルベドを、以下の関係式に基づいて算出できる。
I=ρLSn
Therefore, as shown in FIG. 13B and FIG. 13C, each of the partial illumination images composed of the diffuse reflected light when the illumination light is projected from a plurality of different illumination directions, specifically, three or more illumination directions, is respectively imaged. Shoot with. Then, as shown in FIG. 13D, by using three or more partial illumination images as input images, the unknown (3) orientation of the workpiece WK surface (normal vector n), (4) the albedo of the workpiece WK surface, It can be calculated based on the following relational expression.
I = ρLSn
上式において、
ρ:アルベド
L:照明の明るさ
S:照明方向行列
n:表面の法線ベクトル
I:画像の階調値
In the above formula,
ρ: albedo L: illumination brightness S: illumination direction matrix n: surface normal vector I: image gradation value
上式から、照明手段が3つの場合、次式で表すことができる。 From the above formula, when there are three illumination means, it can be expressed by the following formula.
また照明手段が4つの場合は、次式で表すことができる。 Moreover, when there are four illumination means, it can be expressed by the following equation.
上式より、法線ベクトルnは、次式で表現できる。
n=1/ρL・S+I
From the above equation, the normal vector n can be expressed by the following equation.
n = 1 / ρL · S + I
上式において、
S+:正方行列であれば、普通の逆行列
S+:縦長行列の逆行列は以下の式で表現されるムーアペンローズの擬似逆行列
S+=(StS)-1St
で求める。
(アルベド)
In the above formula,
If S + : square matrix, ordinary inverse matrix S + : inverse matrix of vertical matrix is Moore-Penrose pseudo inverse matrix S + = (S t S) −1 St
Ask for.
(Albedo)
さらにアルベドρは、次式で表現できる。
ρ=|I|/|LSn|
(2−2.輪郭抽出画像)
Further, the albedo ρ can be expressed by the following equation.
ρ = | I | / | LSn |
(2-2. Outline extraction image)
次に、フォトメトリックステレオ法で傾き画像を生成すると共に、得られた傾き画像から、傷や輪郭等のワークの表面情報を得る方法について説明する。
(傾き画像)
Next, a method of generating a tilt image by the photometric stereo method and obtaining surface information of a workpiece such as a scratch or a contour from the obtained tilt image will be described.
(Tilt image)
まず、傾き画像の生成方法について説明する。ワークの曲面をSとするとき、傾き画像は次式で与えられる。
x方向:δs/δx、y方向:δs/δy
First, a tilt image generation method will be described. When the curved surface of the workpiece is S, the tilt image is given by the following equation.
x direction: δs / δx, y direction: δs / δy
ここで傾き画像の例として、ワークとして一円玉を用いた例を図14A、図14Bに示す。図14Aは、法線方向のY座標成分画像、図14Bは法線方向のX座標成分画像である。ここでは、4つの照明方向から撮像した部分照明画像を用いて、Y方向(図において垂直方向)に微分することで図14Aに示す傾き画像を、またX方向(図において水平方向)に微分することで図14Bに示す傾き画像を図14Bを、それぞれ得ている。 Here, as an example of the tilt image, an example in which a one-yen coin is used as a work is shown in FIGS. 14A and 14B. FIG. 14A is a Y coordinate component image in the normal direction, and FIG. 14B is an X coordinate component image in the normal direction. Here, using the partial illumination images captured from the four illumination directions, the inclination image shown in FIG. 14A is differentiated in the X direction (horizontal direction in the figure) by differentiating in the Y direction (vertical direction in the figure). Thus, the tilt image shown in FIG. 14B is obtained as shown in FIG. 14B.
ここで、傷や輪郭等はワーク表面の傾きが変化する箇所なので、傾き画像をそれぞれの方向に微分する。第2次の傾き画像は、次式で与えられる。
x方向:δ2s/δx2、y方向:δ2s/δy2
(輪郭抽出画像)
Here, since the scratches, contours, and the like are places where the tilt of the workpiece surface changes, the tilt image is differentiated in each direction. The second-order tilt image is given by the following equation.
x direction: δ 2 s / δx 2 , y direction: δ 2 s / δy 2
(Outline extraction image)
以上から、x方向、y方向の傾き画像の部分δ2s/δx2、δ2s/δy2を合成して、ワークの輪郭や傷情報を含む輪郭抽出画像を生成する。輪郭抽出画像Eは、次式で与えられる。
E=δ2s/δx2+δ2s/δy2
From the above, the portions δ 2 s / δx 2 and δ 2 s / δy 2 of the tilt image in the x direction and the y direction are synthesized to generate a contour extracted image including the contour of the workpiece and flaw information. The contour extraction image E is given by the following equation.
E = δ 2 s / δx 2 + δ 2 s / δy 2
上式において、Eは輪郭情報、Sはワークの曲面をそれぞれ示している。図14A、図14Bから演算された輪郭抽出画像の例を、図14Cに示す。輪郭抽出画像は、高い部分が白色、低い部分が黒色となるように、画像の濃淡(輝度)で高さを表現している。
(微分合成方法)
In the above equation, E indicates contour information, and S indicates the curved surface of the workpiece. An example of the contour extraction image calculated from FIGS. 14A and 14B is shown in FIG. 14C. In the contour extracted image, the height is expressed by shading (brightness) of the image so that the high portion is white and the low portion is black.
(Differential synthesis method)
以上のような輪郭抽出画像の生成に際して行われる微分合成方法としては、(1)単純加算、(2)多重解像度、(3)二乗和等が挙げられる。
(1:単純加算)
Examples of the differential synthesis method performed when generating the contour extracted image as described above include (1) simple addition, (2) multi-resolution, and (3) sum of squares.
(1: Simple addition)
ここで(1)の単純加算は、各画素におけるX,Y傾き画像の微分の和である。
(2:多重解像度)
Here, the simple addition in (1) is the sum of the differentiation of the X and Y tilt images at each pixel.
(2: Multi-resolution)
また(2)の多重解像度は、傾き画像を異なる縮小率で縮小した縮小傾き画像を複数作成し、それぞれの縮小傾き画像において、(1)の方法で輪郭の強さを求める。縮小率は、例えば1/1、1/2、1/4、1/8、1/16、1/32等とする。このようにして得られた複数の縮小輪郭画像に対して、所定の重み付けを行い、拡大処理を行い、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とする。ここで重み付けを変更すれば、任意の太さの傷や輪郭等を抽出することが可能となる。
(3:二乗和)
For the multi-resolution of (2), a plurality of reduced inclination images obtained by reducing the inclination image with different reduction ratios are created, and the strength of the contour is obtained by the method of (1) in each reduced inclination image. The reduction ratio is, for example, 1/1, 1/2, 1/4, 1/8, 1/16, 1/32, or the like. The plurality of reduced contour images obtained in this way are subjected to predetermined weighting and enlargement processing, and the sum of all the enlarged reduced contour images is defined as a contour extraction image. If weighting is changed here, it becomes possible to extract a flaw, outline, etc. of arbitrary thickness.
(3: sum of squares)
さらに(3)の二乗和では、X,Y傾き画像の微分の二乗の和を輪郭の強さとする輪郭抽出画像を作成する。なお、本実施形態においては、(2)の多重解像度を採用している。 Further, in the sum of squares of (3), a contour extraction image is created in which the sum of the squares of the derivatives of the X and Y tilt images is the strength of the contour. In the present embodiment, the multi-resolution (2) is adopted.
如何なる大きさを傷として判断するかは、ユーザの用途によって異なる。例えば、10ピクセルに跨がったものを傷として判断する場合もあれば、100ピクセルに跨がっている凹んだものを傷として判断する場合もある。また、急峻なエッジだけをエッジとして抽出したい場合もある。 What size is determined as a scratch varies depending on the use of the user. For example, there may be a case where a thing straddling 10 pixels is determined as a scratch, and a case where a concave part straddling 100 pixels is determined as a scratch. In some cases, only sharp edges may be extracted as edges.
傾き画像の画素数が大きいと処理上は大きな傷となるため、大きな傷を抽出したければ、傾き画像を縮小してから(1)の方法で輪郭の強さを求めてから拡大する。一方、小さな傷を抽出したければ、重み付けをせずに(1)の方法で微分合成をすればよい。 If the number of pixels in the tilt image is large, the processing results in a large scratch. Therefore, if a large scratch is to be extracted, the tilt image is reduced and then the contour strength is obtained by the method (1) and then enlarged. On the other hand, if it is desired to extract small scratches, differential synthesis may be performed by the method (1) without weighting.
すなわち、重み付けは、合成するときに予め決められた重みのセットを用意しておき、縮小傾き画像を上記の全種類作成し、大きい傷を見たければ、より縮小した画像からの結果を重くし、小さい傷を見たければ、縮小を弱めた画像からの結果を重くする。 That is, for weighting, a set of weights determined in advance is prepared, all the above-mentioned types of reduced tilt images are created, and if you want to see large scratches, the results from the more reduced images are weighted. If you want to see small scratches, weight the results from images with reduced reduction.
ここで、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とするのは、傷は、通常、複数の周波数に跨がって検出されるため、例えば一つの周波数に限定すると、その限定した周波数で検出される傷だけを抽出してしまい、全体的にぼやけてしまうからである。
(特徴サイズ)
Here, the result of adding all the enlarged reduced contour images as the contour extraction image is that the scratch is usually detected across a plurality of frequencies. This is because only the flaws detected at the limited frequency are extracted and blurred as a whole.
(Feature size)
前述した重みのセットは、例えば、特徴サイズというパラメータを設けて、この値が1のときに一番細かい傷が検出でき、この値を上げていくと大きな傷が検出できるようにする。特徴サイズを大きくしていき、より大きな傷が検出し易い状態になったとき、ワーク表面の凸凹がより明瞭となる。そこで、特徴サイズに所定の閾値を設けて、その閾値以上になった場合を凹凸モードとして、輪郭抽出画像の特徴サイズによって、輪郭抽出モードと使い分けるようにしてもよい。 The weight set described above is provided with a parameter called feature size, for example, so that the finest scratches can be detected when this value is 1, and large scratches can be detected as this value is increased. When the feature size is increased and larger scratches are easily detected, the unevenness of the workpiece surface becomes clearer. Therefore, a predetermined threshold value may be provided for the feature size, and the case where the threshold value is equal to or greater than the threshold value may be used as the concavo-convex mode, depending on the feature size of the contour extraction image.
次に、δ2s/δx2及びδ2s/δy2の計算方法について説明する。この計算方法としては、(1)前進差分や、(2)中央差分等が挙げられる。
(1:前進差分)
Next, a method for calculating δ 2 s / δx 2 and δ 2 s / δy 2 will be described. Examples of the calculation method include (1) forward difference, (2) center difference, and the like.
(1: Forward difference)
前進差分においては、水平方向の傾き画像Gh、垂直方向の傾き画像Gvを入力として、輪郭画像Eの座標(x、y)における画素G(x,y)を、次式で計算する。 In the forward difference, the horizontal gradient image Gh and the vertical gradient image Gv are input, and the pixel G (x, y) at the coordinates (x, y) of the contour image E is calculated by the following equation.
E(x,y)=Gh(x−1,y)−Gh(x,y)+Gv(x,y−1)−Gv(x,y) E (x, y) = Gh (x-1, y) -Gh (x, y) + Gv (x, y-1) -Gv (x, y)
ここで、輪郭画像に表れる傷の情報を、模式的なプロファイルとして図15A〜図15Dに示す。これらの図において、図15Aはワークの表面情報、図15Bは傾き画像、図15Cは前身差分による輪郭画像、図15Dは中央差分による輪郭画像のプロファイルを、それぞれ示している。(1)の前進差分では、図15A、図15Cに示すように、1ピクセル単位の傷が明瞭に見えるというメリットがある。一方で、元画像に対して0.5ピクセルずれた画像が得られてしまうというデメリットもある。
(2:中央差分)
Here, the information on the scratches appearing in the contour image is shown in FIGS. 15A to 15D as schematic profiles. In these drawings, FIG. 15A shows the surface information of the workpiece, FIG. 15B shows the tilt image, FIG. 15C shows the contour image based on the forerunner difference, and FIG. 15D shows the profile of the contour image based on the center difference. In the forward difference of (1), there is an advantage that scratches in units of one pixel can be clearly seen as shown in FIGS. 15A and 15C. On the other hand, there is a demerit that an image shifted by 0.5 pixels from the original image is obtained.
(2: Central difference)
次に中央差分によるδ2s/δx2及びδ2s/δy2の計算方法について説明する。水平方向の傾き画像Gh、垂直方向の傾き画像Gvを入力として、輪郭画像Eの座標(x、y)における画素G(x,y)を、次式で計算する。 Next, a method for calculating δ 2 s / δx 2 and δ 2 s / δy 2 by the central difference will be described. The pixel G (x, y) at the coordinates (x, y) of the contour image E is calculated by the following formula using the horizontal tilt image Gh and the vertical tilt image Gv as inputs.
E(x,y)=Gh(x−1,y)−Gh(x+1,y)+Gv(x,y−1)−Gv(x,y+1) E (x, y) = Gh (x-1, y) -Gh (x + 1, y) + Gv (x, y-1) -Gv (x, y + 1)
(2)の中央差分は、図15A、図15Dに示すように、座標が元画像とずれないメリットがある一方で、結果が少しぼけてしまうというデメリットもある。
(2−3.テクスチャ抽出画像)
As shown in FIGS. 15A and 15D, the central difference of (2) has a merit that the coordinates are not shifted from the original image, but also has a demerit that the result is slightly blurred.
(2-3. Texture extraction image)
次に、フォトメトリックステレオ法で得られた傾き画像から、ワークの表面状態を除去して、文字の検出等に好適なテクスチャ抽出画像を得る方法について説明する。まず、テクスチャ情報は、ワークの表面のアルベドρから計算する。アルベドρは、次式で与えられる。 Next, a method for obtaining a texture extracted image suitable for character detection or the like by removing the surface state of the workpiece from the tilt image obtained by the photometric stereo method will be described. First, the texture information is calculated from the albedo ρ on the surface of the workpiece. The albedo ρ is given by the following equation.
ρ=|I|/|LSn| ρ = | I | / | LSn |
上式において、
ρ:アルベド
L:照明の明るさ
S:照明方向行列
n:表面の法線ベクトル
I:画像の階調値
In the above formula,
ρ: albedo L: illumination brightness S: illumination direction matrix n: surface normal vector I: image gradation value
なお上記ρ=|I|/|LSn|の式でテクスチャ抽出画像(アルベド)を1枚求めることができるが、この式で得られた法線ベクトルとN枚の入力画像(部分照明画像)から、テクスチャ抽出画像(アルベド)をN枚求めてこれを合成し、一枚のテクスチャ抽出画像(アルベド)を求めることもできる。具体的な合成の方法としては平均法、ハレーション除去法等が挙げられる。 Note that one texture extraction image (albedo) can be obtained by the above equation ρ = | I | / | LSn |. From the normal vector obtained by this equation and N input images (partial illumination images). It is also possible to obtain N texture extracted images (albedo) and synthesize them to obtain one texture extracted image (albedo). Specific methods of synthesis include an average method, a halation removal method, and the like.
図16A〜図16Cに、テクスチャ抽出画像の例を示す。これらの図において、図16Aは入力画像である4枚のテクスチャ抽出画像を示しており、図16Bはこれらに対して平均法を適用したテクスチャ抽出画像、図16Cはハレーション除去法を適用したテクスチャ抽出画像を、それぞれ示している。
(1:平均法)
Figure 16A~ Figure 16C, showing an example of a texture Extraction image. In these figures, FIG. 16A shows four texture extracted images as input images, FIG. 16B shows a texture extracted image obtained by applying an average method to these images, and FIG. 16C shows a texture extracted image obtained by applying a halation removal method. Each image is shown.
(1: Average method)
平均法は、画素毎にN個のρの平均値をその画素における画素値とするものである。図16Bに示すように、全体の陰影は消えているものの、入力画像中でハレーションが生じている部分は、フォトメトリックステレオ法で消せないため、ハレーションの影響が残った画像となる。すなわち図16Aの4つの入力画像(部分照明画像)の内、白くなっている箇所がハレーションを起こしている箇所であり、平均法によって平均化すると、図16Bに示すように、ある程度凸凹が取れて、読み易くはなるものの、若干下地に凸凹が残ってしまう。
(2:ハレーション除去法)
In the averaging method, the average value of N ρ for each pixel is used as the pixel value in that pixel. As shown in FIG. 16B, although the entire shadow has disappeared, the portion where halation has occurred in the input image cannot be erased by the photometric stereo method, and thus the image remains affected by halation. That is, among the four input images (partial illumination images) in FIG. 16A, the whitened portions are the locations where halation occurs, and when averaged by the averaging method, unevenness is removed to some extent as shown in FIG. 16B. Although it is easy to read, some unevenness remains on the ground.
(2: Halation removal method)
撮像手段であるカメラのダイナミックレンジの制限やワーク表面の反射性の多様性のため、上記ρ=|I|/|LSn|の式そのものがその適応範囲を超えているため、ρに誤差が含まれる。この誤差を補正するために、ハレーション除去法が利用できる。 Because of the limitation of the dynamic range of the camera that is the imaging means and the variety of reflectivity of the work surface, the above equation of ρ = | I | / | LSn | It is. A halation removal method can be used to correct this error.
ハレーションが起きる箇所は照明の位置で決まるため、基本的には、4つの部分照明画像において、同じ箇所ではハレーションは起きないと考えられる。厳密にいえば、2つの方向の間ではハレーションが2カ所に跨がってしまうことがあるものの、基本的には、2つの照明でしか同じ箇所ではハレーションは生じないと言える。 Since the location where halation occurs is determined by the position of illumination, basically, it is considered that no halation occurs at the same location in the four partial illumination images. Strictly speaking, although halation may straddle two places between two directions, it can basically be said that halation does not occur at the same place with only two illuminations.
ハレーション除去法では、N枚の部分照明画像から計算した照明方向別テクスチャ抽出画像を合成する際に、各画素において一番画素値が高い部分照明画像、又は一番目〜N番目に画素値が高い部分照明画像はハレーションが多いと考えて、それらを除去した上で合成を行う。 In the halation removal method, when a texture-extracted image for each illumination direction calculated from N pieces of partial illumination images is synthesized, the partial illumination image having the highest pixel value or the first to Nth highest pixel values in each pixel. The partial illumination image is considered to have a lot of halation, and is synthesized after removing them.
具体的には、本実施形態において4つの照明方向別テクスチャ抽出画像の各画素について、3番目に大きい画素値(例えばアルベドの値や輝度)を採用して合成すると、図16Cの画像のようになり、ハレーションの影響を除去することができる。なお4番目に大きい画素値を採用すると、影の影響が生じるため若干暗い画像となる。逆に2番目に大きい画素値を採用すると、ハレーションの影響が若干残ってしまう。 Specifically, in the present embodiment, when each pixel of the four illumination direction-specific texture extracted images is synthesized by adopting the third largest pixel value (for example, albedo value or luminance), an image shown in FIG. 16C is obtained. Thus, the influence of halation can be removed. If the fourth largest pixel value is adopted, the image is slightly dark because of the influence of shadows. Conversely, when the second largest pixel value is adopted, the influence of halation remains slightly.
また照明手段が8方向の場合は、5番目以降の画素値にはハレーションの影響は発生しないと仮定して、上から5番目の画素値を採用している。実際、発明者が行った試験によれば、5番目の画素値を採用すると、画像が最も良くなることが確認された。また6番目以降の画素値を採用すると影の影響が出てくることも判明した。 When the illumination means is in eight directions, the fifth pixel value from the top is adopted on the assumption that the influence of halation does not occur on the fifth and subsequent pixel values. In fact, according to tests conducted by the inventors, it was confirmed that the image was best when the fifth pixel value was adopted. It has also been found that the influence of shadows comes out when the sixth and subsequent pixel values are adopted.
なお、合成の方法や平均の取り方は、これらに限定されず、種々の方法が利用できる。例えば、上述したハレーション除去法と平均法とを組み合わせて、アルベドの値をソートして、上から特定の順番の値を採用し、例えば3番目と4番目とを平均化してもよい。
(特徴サイズ)
Note that the synthesis method and averaging are not limited to these, and various methods can be used. For example, the above-described halation removal method and averaging method may be combined to sort the albedo values, adopt values in a specific order from the top, and average the third and fourth, for example.
(Feature size)
次に、設定の詳細について説明する。上述の通り、輪郭抽出画像を作成する際に、特徴サイズを設定できる。輪郭抽出画像は、特徴サイズを所定値以上にすることで、OCRに適した画像とできる。
(3−2.ゲイン)
Next, details of the setting will be described. As described above, the feature size can be set when the contour extraction image is created. The contour extraction image can be an image suitable for OCR by setting the feature size to a predetermined value or more.
(3-2. Gain)
輪郭抽出画像やテクスチャ抽出画像を作成する際には、これらの画像の生成過程において元の画像の画素値に対してゲインを乗算することができる。 When creating a contour extraction image or a texture extraction image, the pixel values of the original image can be multiplied by a gain in the process of generating these images.
輪郭抽出画像を作成するときのゲインは、計算処理で算出された画素値を、0〜255の濃淡に分散させるときの定数をいう。例えば、傷や輪郭等が浅すぎて、傷や輪郭等を把握し難いときにこのゲインの値を上げることによって、画素値の濃淡変化が大きくなるため、傷や輪郭等が把握し易くなる。 The gain at the time of creating the contour extraction image refers to a constant when the pixel values calculated by the calculation process are distributed in shades of 0 to 255. For example, when the value of this gain is increased when the scratches, contours, etc. are too shallow and it is difficult to grasp the scratches, contours, etc., the shading, contours, etc. are easily grasped because the change in the pixel value becomes large.
また、計算処理で算出された画素値が、0〜255の範囲を超えていれば、その間に収まるようにし、小さければ、0〜255の範囲に広げるように調節することで、傷や輪郭等が把握し易くなる。 Further, if the pixel value calculated by the calculation process exceeds the range of 0 to 255, the pixel value is adjusted to fall within the range, and if the pixel value is small, the adjustment is performed so that the pixel value is expanded to the range of 0 to 255. Will be easier to grasp.
上述したハレーション除去法では、アルベドの値をソートして上から例えば3番目を採用するため、生成した画像の明るさが予測できない。このため、正反射が取り除かれた結果、予測に反して暗くなることがある。そこで、明るさを調節するために、テクスチャ抽出画像を作成する際には所定のゲインを、画素値に掛ける。 In the halation removal method described above, since the albedo values are sorted and, for example, the third one from the top is adopted, the brightness of the generated image cannot be predicted. For this reason, as a result of removing regular reflection, it may become darker than expected. Therefore, in order to adjust the brightness, a predetermined gain is multiplied by the pixel value when creating the texture extracted image.
なお、傾き画像の計算に際しても、画素値が0〜255の範囲に収まるように、同様にゲインで調節することもできる。
(3−3.ノイズ除去フィルタ)
Note that when calculating the tilt image, the gain can be similarly adjusted so that the pixel value falls within the range of 0 to 255.
(3-3. Noise removal filter)
傾き画像の作成等に際しては、複数枚の画像を使って連立方程式で計算するところ、実際には差分的な計算をすることになる。この際、撮像手段で撮像した画像データは、生データの時点でノイズが存在しているため、傾き画像を作成する際に、ノイズ成分が強調され、輪郭がざらざらすることがある。このようなノイズを軽減するために、ガイデットフィルタ(Guided Filter)等のノイズ除去フィルタを利用する。一般的なローパスフィルタでは、ノイズのみならず傷の情報もなまったり消えたりしてしまうことがあるが、ガイデットフィルタであれば、傾き画像を求める際にガイデッドフィルタを適用することで、エッジを維持したままノイズを除去でき、好適である。
(3−4.アングルノイズ低減)
When creating an inclination image, etc., calculation is performed using simultaneous equations using a plurality of images, but in reality, a differential calculation is performed. At this time, since the image data captured by the image capturing means includes noise at the time of raw data, the noise component may be emphasized and the outline may be rough when creating the tilt image. In order to reduce such noise, a noise removal filter such as a guided filter is used. With a general low-pass filter, not only noise but also information on scratches may be lost or lost, but with a guided filter, the edge can be removed by applying a guided filter when obtaining a tilt image. Noise can be removed while maintaining it, which is preferable.
(3-4. Angle noise reduction)
次に、アングルノイズ低減の原理を、図17の模式図に基づいて説明する。この図に示すように、入射角がα,βという2つ照明があり、ワークWKが拡散反射面からなると仮定して、ワークWKの基準面に対する傾きをγ、基準面に垂直な向きからの角度をθ、照明αからの反射光の明るさをIα、照明βからの反射光の明るさをIβとしたとき、γは次式で与えられる。 Next, the principle of angle noise reduction will be described based on the schematic diagram of FIG. As shown in this figure, assuming that there are two illuminations with incident angles α and β, and the workpiece WK is formed of a diffuse reflection surface, the inclination of the workpiece WK with respect to the reference plane is γ, and the direction perpendicular to the reference plane is When the angle is θ, the brightness of the reflected light from the illumination α is I α , and the brightness of the reflected light from the illumination β is I β , γ is given by the following equation.
γ=arctan(A・|Iβ−Iα|/|Iβ+Iα|)、A=cotθ γ = arctan (A · | I β -I α | / | I β + I α |), A = cotθ
アングルノイズ低減は、|Iβ+Iα|がある程度小さいときに、強制的に傾きγを0とするものである。 The angle noise reduction is forcibly setting the slope γ to 0 when | I β + I α | is small to some extent.
仮に、IβもIαも極めて暗く、例えば、Iβ=2、Iα=1だとすると、|Iβ−Iα|/|Iβ+Iα|=1/3という大きな値となる。一方、IβもIαも明るく、例えば、Iβ=300、Iα=200だとすると、|Iβ−Iα|/|Iβ+Iα|=1/5という小さな値となる。Iβ=2、Iα=1というのは、単にノイズという可能性があるにも拘わらず、傾きに大きく反映されてしまうため、そのノイズの影響を軽減するために、アングルノイズ低減があり、強制的に傾きを0とする|Iβ+Iα|の閾値を設定できるようになっている。
(照明手段と撮像手段との分離型構造)
Even if I beta I alpha is extremely dark, for example, I β = 2, I α = 1 Datosuruto, | I β -I α | / | I β + I α | = a large value of 1/3. On the other hand, bright nor I beta I alpha, for example, I β = 300, I α = 200 Datosuruto, | I β -I α | / | I β + I α | = a small value of 1/5. I β = 2 and I α = 1 are largely reflected in the inclination despite the possibility of simply noise, so there is angle noise reduction to reduce the influence of the noise, A threshold value of | I β + I α | forcibly setting the inclination to 0 can be set.
(Separate structure of illumination means and imaging means)
フォトメトリックステレオ法を利用した画像検査においては、照明手段と撮像手段との対応位置を予め厳格に規定しておく必要がある。このため、従来の画像検査装置では、照明手段と撮像手段を一体に構成していた。いいかえると、フォトメトリックステレオ法では、撮像手段と照明手段の相対位置を厳密に位置決めした上で正確な三次元計測を行う計測手法であることから、元来、照明手段と撮像手段の設置に際して設置位置の自由度を与えるということは従来行われていなかった。しかしながら、照明手段と撮像手段とを予め固定する構成では、これらの部材が一体化された撮像照明ユニットが必然的に大型化するため、取り回しが悪くなる。 In the image inspection using the photometric stereo method, it is necessary to strictly define the corresponding positions of the illumination unit and the imaging unit in advance. For this reason, in the conventional image inspection apparatus, the illumination unit and the imaging unit are configured integrally. In other words, the photometric stereo method is a measurement method that performs accurate three-dimensional measurement after strictly positioning the relative position of the imaging means and the illumination means, so it was originally installed when the illumination means and the imaging means were installed. Giving position freedom has never been done before. However, in the configuration in which the illumination unit and the imaging unit are fixed in advance, the imaging illumination unit in which these members are integrated inevitably increases in size, so that handling becomes worse.
例えば検査位置に障害物が存在すると、撮像照明ユニットと干渉して、設置できない事態が生じ得る。特に、撮像手段の一形態であるカメラに装着するレンズには、例えばラインカメラやズームレンズ、大型のマクロレンズのように、大きなサイズのものがある。このような大型のレンズを撮像手段に装着する等、撮像手段が長大化するほど、図18において矢印で示すように、ワークWKの周囲に存在する障害物OSとカメラe1又はその周囲に配置された照明用の光源e21〜e24と干渉するリスクが高くなる。さらに撮像手段であるカメラe1が長大化すると、図19に示すようにカメラe1やレンズの一部で照明光が部分的に遮られて、ワークWKに影を落とす等、照明に支障を来すことも考えられる。このような事態を回避するために、撮像照明ユニットを障害物と干渉しない位置まで遠ざけて配置しようとすれば、照明手段とワークとの距離(ライトワーキングディスタンス(Light Working Distance:LWD))が遠くなることから、照明光の光量が減少して、検査精度の低下に繋がる。 For example, if there is an obstacle at the inspection position, it may interfere with the imaging illumination unit and may not be installed. In particular, there are lenses of a large size, such as a line camera, a zoom lens, and a large macro lens, which are attached to a camera that is a form of the imaging means. As the imaging means becomes longer, such as mounting such a large lens on the imaging means, as shown by the arrows in FIG. 18, the obstacle OS and the camera e1 that are present around the work WK are arranged around the surroundings. The risk of interference with the illumination light sources e21 to e24 increases. Further, when the camera e1 which is an imaging means becomes longer, as shown in FIG. 19, the illumination light is partially blocked by the camera e1 or a part of the lens, and a shadow is cast on the work WK. It is also possible. In order to avoid such a situation, if the imaging illumination unit is arranged away from a position where it does not interfere with an obstacle, the distance between the illumination means and the work (Light Working Distance (LWD)) is too long. As a result, the amount of illumination light decreases, leading to a decrease in inspection accuracy.
これに対して、撮像手段と照明手段を分離することができれば、障害物と干渉しない位置に配置しやすくなる。例えば上述した図18に示す障害物OSが存在する場合でも、照明手段21〜24を撮像手段11から離間させることで、図20に示すように、干渉しない位置に照明手段21〜24を設置することが可能となる。同様に、撮像手段に大型のレンズを装着する場合でも、レンズ12と照明手段21〜24との物理的干渉を回避するように調整可能である。このように、照明手段21〜24と撮像手段11とを分離型とすることで、障害物と干渉しない位置に調整する等、設置の自由度を高め、様々な環境でワークWKを検査することが可能となる。 On the other hand, if the imaging means and the illumination means can be separated, it will be easy to arrange them at positions that do not interfere with the obstacles. For example, even when the obstacle OS shown in FIG. 18 described above is present, the illuminating units 21 to 24 are installed at positions that do not interfere with each other as shown in FIG. 20 by separating the illuminating units 21 to 24 from the imaging unit 11. It becomes possible. Similarly, even when a large lens is attached to the image pickup means, adjustment can be made so as to avoid physical interference between the lens 12 and the illumination means 21 to 24. In this way, the illumination means 21 to 24 and the image pickup means 11 are separated, thereby increasing the degree of freedom of installation such as adjusting the position so as not to interfere with obstacles, and inspecting the work WK in various environments. Is possible.
また撮像手段が照明光を遮らないように、照明手段の取り付け位置等を調整することも可能となる。同様に、ハレーションや影の影響を抑制するように照明手段の配置位置を調整することも可能となる。特にフォトメトリックステレオ法では、ワークの表面が拡散反射面であることを前提にしているため、一般に、実際のワークの面とフォトメトリックステレオ法によって得られた傾き画像における面の法線ベクトルはズレてしまう。そこで、二階微分処理を行う等の対策が取られているが、このような方策に加え、照明手段を設置する際に、ハレーションを回避できる姿勢に調整することで、このようなズレを少なくすることができる。また、鏡面と同様に、明るさが変化してしまうような大きな凸凹では、ハレーションが悪影響を及ぼすようになる。例えば、ワークが円筒型の場合は、照明光を照射すると鏡面反射が生じるが、ここで凸凹が存在すると、鏡面反射の影響を少なからず受けるようになる。よって、照明光の設置位置や角度に自由度を与えることは、このような鏡面反射を低減するように予め調整することを可能にし、ひいては検査精度の向上に繋がる利点が得られる。 It is also possible to adjust the mounting position of the illumination means so that the imaging means does not block the illumination light. Similarly, it is possible to adjust the arrangement position of the illumination means so as to suppress the influence of halation and shadows. In particular, since the photometric stereo method assumes that the surface of the work is a diffuse reflection surface, the normal vector of the surface in the tilt image obtained by the photometric stereo method is generally different from the actual work surface. End up. Therefore, measures such as performing second-order differential processing have been taken, but in addition to such measures, when installing the illumination means, such deviation is reduced by adjusting the posture to avoid halation. be able to. In addition, as in the case of the mirror surface, halation has an adverse effect on large unevenness where the brightness changes. For example, when the workpiece is cylindrical, specular reflection occurs when illumination light is applied, but if there is unevenness, the influence of the specular reflection is received to some extent. Therefore, giving a degree of freedom to the installation position and angle of the illumination light makes it possible to make adjustments in advance so as to reduce such specular reflection, and as a result, has the advantage of improving inspection accuracy.
さらにフォトメトリックステレオ法では、影の影響を考慮する必要がある。フォトメトリックステレオ法は、照明の反射光から法線ベクトルを算出するため、反射光の検出が必須となる。しかし、例えばワークが複雑な形状で陰影が着き易いような場合に、このワークの近傍に照明手段を設置すると、光が届かない箇所からは適切な反射光が得られず、法線ベクトルの算出に支障を来すことがある。このような場合であっても、照明手段21〜24と撮像手段11との分離させたことで、照明手段21〜24を最適な位置や角度に設置して、このような影響を抑えることができる。 Furthermore, in the photometric stereo method, it is necessary to consider the influence of shadows. In the photometric stereo method, since a normal vector is calculated from reflected light of illumination, detection of reflected light is essential. However, for example, when the workpiece is complex and it is easy to get a shadow, if a lighting means is installed in the vicinity of this workpiece, appropriate reflected light cannot be obtained from a place where light does not reach, and normal vector calculation is performed. May cause problems. Even in such a case, the illumination means 21 to 24 and the imaging means 11 are separated from each other, so that the illumination means 21 to 24 can be installed at optimum positions and angles to suppress such influence. it can.
加えて、照明手段を撮像手段から分離したことで、照明光の高さを変更可能となる。この結果、ワークWKと照明との距離LWD(Light Working Distance)を小さくしたり、逆に大きくしたりする検査が可能となり、検査用途に応じた適切な配置を選択できるようになる。
(1:LWDを小さく取った場合)
In addition, by separating the illumination unit from the imaging unit, the height of the illumination light can be changed. As a result, it is possible to perform an inspection in which a distance LWD (Light Working Distance) between the work WK and the illumination is reduced or increased, and an appropriate arrangement according to the inspection application can be selected.
(1: When LWD is reduced)
LWDを小さく取ると、図21Aに示すように、照明手段21〜24からの光が横方向から多く当たることになる。一般にハレーションが発生するのは、入射角と反射角が同じ場合であるから、照明手段21〜24とワークWKとを接近させてLWDを小さくすることで、ハレーションの発生する位置を、ワークWKの外側近傍とすることができる。言い換えると、ワークWKの外側で意図的にハレーションを発生し易くして、ワークWKの表面近傍でのハレーションを抑制できる。これにより、ワークWKの有効視野を増加させることができる。 When the LWD is reduced, as shown in FIG. 21A, a large amount of light from the illumination units 21 to 24 is applied from the lateral direction. In general, halation occurs when the incident angle and the reflection angle are the same. Therefore, by reducing the LWD by bringing the illumination means 21 to 24 and the work WK closer to each other, the position where the halation occurs is determined. It can be near the outside. In other words, it is possible to intentionally generate halation on the outside of the work WK and suppress halation near the surface of the work WK. Thereby, the effective visual field of the workpiece | work WK can be increased.
また、LWDが小さい場合は、ローアングルでの照明となる。例えば上方からの直接照明では光が拡散して認識が困難なワーク表面上の凹凸でも、斜め側面から照射することで、小さい傾きの変化でもコントラストを大きく変化させて、浅い凸凹の変化を捉え易くできる。このようにローアングルでコントラストを強調することにより、フォトメトリックステレオ法において傾き画像や輪郭抽出画像をより鮮明にできる利点が得られる。 In addition, when the LWD is small, illumination is performed at a low angle. For example, even if unevenness on the workpiece surface is difficult to recognize due to light diffusing by direct illumination from above, illuminating from an oblique side makes it possible to capture changes in shallow irregularities by changing the contrast greatly even with small changes in tilt. it can. Thus, by emphasizing the contrast at a low angle, there is an advantage that the tilt image and the contour extraction image can be made clearer in the photometric stereo method.
一方で、LWDを小さく取った場合のデメリットとしては、浅い角度で照明光を照射することにより、影が生じ易くなるため、有効視野が減少し、フォトメトリックステレオ処理が困難となることがある。また、照明手段21〜24とワークWKが干渉し易くなるため、高さの大きいワークWKに対しては利用が制限されることがある。
(2:LWDを大きく取った場合)
On the other hand, as a demerit when the LWD is made small, shadows are easily generated by irradiating illumination light at a shallow angle, so that the effective visual field is reduced and photometric stereo processing may be difficult. Moreover, since the illumination means 21-24 and the workpiece | work WK become easy to interfere, utilization may be restrict | limited with respect to the workpiece | work WK with large height.
(2: Large LWD)
逆にLWDを大きく取ると、図21Bに示すように、照明手段21〜24からの照明光が上方向から多く照射されることになる。これによって影が生じ難くなるので、見えない領域が減少し、フォトメトリックステレオ処理の精度が向上する。また、照明手段21〜24とワークWKが干渉し難くなるため、高さの大きいワークWKに対しても好適に利用できる。 Conversely, if the LWD is increased, a large amount of illumination light from the illumination units 21 to 24 is irradiated from above as shown in FIG. 21B. This makes it difficult for shadows to occur, reducing the invisible areas and improving the accuracy of photometric stereo processing. Moreover, since it becomes difficult for the illumination means 21-24 and the workpiece | work WK to interfere, it can utilize suitably also to the workpiece | work WK with large height.
一方で、ハレーションの発生する位置がワークWKの内側となるので、有効視野が減少してしまうことがある。またLWDを大きい場合は、マルチアングル方式の照明においてLWDが遠い場合に相当し、コントラストが出難いため、ワーク表面の浅い凸凹の変化を捉え難いこともある。一方で、マルチアングル方式の照明により、LWDが遠い場合には、照明手段21〜24の写り込みや照度ムラの少ない均一な撮像状態を作り出し、ワークWKそのものの表面状態を明確に捉えた画像を得ることができる。 On the other hand, since the position where halation occurs is inside the work WK, the effective visual field may be reduced. In addition, when the LWD is large, it corresponds to the case where the LWD is far in multi-angle illumination, and it is difficult to capture the change in shallow unevenness on the workpiece surface because it is difficult to obtain contrast. On the other hand, when the LWD is far away due to multi-angle illumination, an image that clearly captures the surface state of the workpiece WK itself is created by creating a uniform imaging state with less reflection of illumination means 21 to 24 and uneven illumination. Can be obtained.
このように、撮像手段と照明手段を分離したことで、様々な目的や用途の検査に対応でき、また配置の自由度を高められるといった利点が得られる。特に法線ベクトル算出手段で算出される法線ベクトルは、撮像手段の光軸方向における、撮像手段と照明手段との相対距離の変化に応じて、その法線ベクトルの強度が変化する依存性を有している。すなわち、照明手段の光量が等しい場合、相対距離が近いほど法線ベクトルの強度が強くなり、距離が遠いほど、法線ベクトルの強度が弱くなる傾向がある。法線ベクトルの強度が強いほど、ワーク表面の傾き(凹凸形状)がより明確に現れるため、得られる検査画像の精度も向上する。このため従来のフォトメトリックステレオ法においては、精度向上のため、法線ベクトルの強度が強く得られるよう、予め撮像手段と照明手段の相対位置を厳格に規定していた。すなわち、撮像手段と照明手段を予め固定しておくことで、得られる法線ベクトルの強度を高めることが行われていた。 As described above, by separating the imaging unit and the illumination unit, there can be obtained an advantage that it is possible to cope with inspections for various purposes and applications and to increase the degree of freedom of arrangement. In particular, the normal vector calculated by the normal vector calculation means has a dependency that the intensity of the normal vector changes according to a change in the relative distance between the imaging means and the illumination means in the optical axis direction of the imaging means. Have. That is, when the amount of light of the illumination means is equal, the strength of the normal vector tends to increase as the relative distance decreases, and the strength of the normal vector tends to decrease as the distance increases. The stronger the normal vector, the more clearly the inclination (uneven shape) of the workpiece surface appears, and the accuracy of the obtained inspection image is improved. For this reason, in the conventional photometric stereo method, in order to improve accuracy, the relative positions of the imaging unit and the illumination unit are strictly defined in advance so that the intensity of the normal vector is strong. That is, the intensity of the normal vector obtained has been increased by fixing the imaging means and the illumination means in advance.
一方、ワーク表面の傷やOCRといった外観検査においては、必ずしも高い精度が求められておらず、例えば傷の有無が判別できる程度、あるいは数字や文字がOCRできる程度に検出できれば足りることが多い。このような用途においては寧ろ、精度よりもカメラやライトの設置の自由度を高めることの方がユーザ側にとってメリットが大きい。そこで本実施の形態においては、法線ベクトルの強度を高めることを主眼とするのでなく、寧ろ法線ベクトルの強度を低下させることを許容し、必要な外観検査の精度が十分得られるレベルを維持しつつ、その代償として、照明手段と撮像手段の固定という制約から開放された、より自由度の高いライトやカメラの設置を可能とすることで、ユーザの利便性を向上させることに成功したものである。 On the other hand, in appearance inspections such as scratches on the workpiece surface and OCR, high accuracy is not always required. For example, it is often sufficient to be able to detect the presence or absence of scratches, or to detect numbers and characters to OCR. In such applications, it is more advantageous for the user to increase the degree of freedom of camera and light installation than accuracy. Therefore, the present embodiment does not focus on increasing the strength of the normal vector, but rather allows the strength of the normal vector to be lowered and maintains a level at which sufficient accuracy of the required visual inspection can be obtained. However, as a compensation, it has succeeded in improving the convenience of users by enabling the installation of light and cameras with a higher degree of freedom, which is freed from the restriction of fixing illumination means and imaging means. It is.
その一方で、照明手段と撮像手段とを別体に構成してフォトメトリックステレオ法で画像検査を行う場合は、照明手段と撮像手段との相対的な位置関係を明確に設定する必要がある。もし、設定された照明方向と、実際の照明方向とが大きく異なる場合は、検査精度が低下したり、誤った結果が出力されてしまう虞がある。例えば撮像手段と照明手段の設置時に、ユーザが、多数ある照明手段の接続を間違えたり、方位角を全体的にずらして設置してしまうと、正確な検査ができなくなることが考えられる。 On the other hand, when the illumination unit and the imaging unit are configured separately and image inspection is performed by the photometric stereo method, it is necessary to clearly set the relative positional relationship between the illumination unit and the imaging unit. If the set illumination direction and the actual illumination direction are greatly different, there is a possibility that the inspection accuracy is lowered or an erroneous result is output. For example, when the imaging unit and the illumination unit are installed, if the user mistakes the connection of a large number of illumination units or installs the azimuth angle as a whole, it is possible that accurate inspection cannot be performed.
例えば、図22に示すように、ワークの上方において、ワークを配置した鉛直線上に撮像手段を配置し、さらにワークの周囲を囲むように、東西南北に照明手段を各々配置する場合を考える。このような配置において、フォトメトリックステレオ法を用いてワークの高さ形状を取得する場合、各照明手段や照明ケーブルの形状が共通の場合は、接続や配置の取り違えが生じうる。具体的には、照明分岐ユニットに設けられた照明接続コネクタに、所定の照明ケーブルを接続するよう構成されているところ、各照明ケーブルは形状を共通にすることが一般的であり、また照明接続コネクタも同様に形状が共通であることから、照明ケーブルを誤った照明接続コネクタに接続することが起こり得る。特に、照明ケーブルを長く引き回すと、取り違えが起こりやすい。また照明手段をワークの周囲上方に設置する際にも、同じ形状の照明手段を取り違えて固定することが考えられる。 For example, as shown in FIG. 22, a case is considered in which imaging means are arranged above the workpiece on the vertical line on which the workpiece is arranged, and lighting means are arranged in the east, west, south, and north sides so as to surround the workpiece. In such an arrangement, when the height shape of the workpiece is acquired using the photometric stereo method, if the shapes of the illumination means and the illumination cable are common, a connection or arrangement may be mistaken. Specifically, when a predetermined lighting cable is connected to the lighting connection connector provided in the lighting branching unit, each lighting cable generally has a common shape, and the lighting connection Similarly, since the connectors have the same shape, it is possible to connect the illumination cable to the wrong illumination connector. In particular, when the lighting cable is routed for a long time, it is easy to make a mistake. In addition, when installing the illumination means above the periphery of the work, it is conceivable to mistake and fix the illumination means having the same shape.
あるいは図23に示すように、リング状の照明手段を配置する例においても、照明光の方向と撮像手段の回転角度を一致させる必要がある。この場合において、撮像手段や照明手段が円筒状や円環状のように点対称の形状である場合は、その回転角度が判り難く、位置合わせが容易でない。この結果、回転位置が所期の位置からずれることがある。特に、ワークの表面の形状といった特徴量は、回転角度や配置位置等の設定が多少誤っていても、ある程度検出されることから、ユーザが照明手段の設置ミスに気付き難いという特有の事情もあった。さらに、完全に照明手段を取り違えていたような場合ならば比較的設定ミスに気付きやすいものの、少し回転角度がずれていた程度の設定ミスであれば、ユーザが気付くことは困難であり、精度の低下に繋がるという問題があった。 Or in the example which arrange | positions a ring-shaped illumination means as shown in FIG. 23, it is necessary to make the direction of illumination light and the rotation angle of an imaging means correspond. In this case, when the image pickup means and the illumination means have a point-symmetric shape such as a cylindrical shape or an annular shape, the rotation angle is difficult to understand and alignment is not easy. As a result, the rotational position may deviate from the intended position. In particular, the feature quantity such as the shape of the workpiece surface is detected to some extent even if the setting of the rotation angle, the arrangement position, etc. is slightly wrong. It was. Furthermore, although it is relatively easy to notice a setting error if the lighting means is completely mistaken, it is difficult for the user to notice if the setting error is such that the rotation angle is slightly shifted. There was a problem that led to a decline.
そこで本実施の形態においては、フォトメトリックステレオ法で複数の異なる照明方向から照明した部分照明画像を取得する際に、照明手段の照明方向や点灯順が意図した設定通りとなるように、設置時に正しい設定となるよう補助するための設置補助手段を設けている。具体的には、図1において、各照明手段を照明制御手段と接続する際、照明方向と点灯順が合致するように、所定の設置設定に沿って適切な接続先をユーザに示す。あるいは、照明手段の円周方向の姿勢(回転位置又は回転角度)が一致するように、照明手段の設置時に正しい姿勢ユーザに指示する。これによって、設置時のミスを防ぎ、フォトメトリックステレオ法を用いたワークの外観検査を精度よく行うことができる。
(設置設定)
Therefore, in the present embodiment, when acquiring partial illumination images illuminated from a plurality of different illumination directions by the photometric stereo method, the illumination direction and lighting order of the illumination means are as set as intended. Installation assisting means for assisting the correct setting is provided. Specifically, in FIG. 1, when connecting each lighting unit to the lighting control unit, an appropriate connection destination is shown to the user along a predetermined installation setting so that the lighting direction matches the lighting order. Alternatively, a correct posture user is instructed when the lighting unit is installed so that the circumferential postures (rotational position or rotation angle) of the lighting unit coincide. Accordingly, mistakes during installation can be prevented, and the appearance inspection of the workpiece using the photometric stereo method can be performed with high accuracy.
(Installation setting)
ここで設置設定とは、フォトメトリックステレオ法に従い法線ベクトルが正しく算出されるよう、各照明手段の数に応じて、ワークに対して所定の照明方向から照明光を照射できるように設置する設置位置を規定した設定である。例えば図2の平面図に示すように、4つの照明手段を使用する例では、第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24の4つを、ワークを中心とした周囲(東西南北)に配置すべく、設置設定は、第一照明手段21を北、第二照明手段22を東、第三照明手段23を南、第四照明手段24を西にそれぞれ配置するという、照明の設置位置情報となる。また設置設定に、照明制御手段による照明手段の点灯順や撮像手段の撮像タイミングを含めてもよい。
(設置補助手段)
Here, the installation setting refers to an installation in which illumination light can be emitted from a predetermined illumination direction on the workpiece according to the number of illumination means so that the normal vector is correctly calculated according to the photometric stereo method. This is a setting that defines the position. For example, as shown in the plan view of FIG. 2, in the example using four illumination means, four of the first illumination means 21, the second illumination means 22, the third illumination means 23, and the fourth illumination means 24 are used as workpieces. The first lighting means 21 is north, the second lighting means 22 is east, the third lighting means 23 is south, and the fourth lighting means 24 is west. It becomes the installation position information of the lighting that each is arranged. The installation setting may include the lighting order of the illumination means by the illumination control means and the imaging timing of the imaging means.
(Installation assistance means)
以下、設置補助手段の具体例を説明する。図1に示す例では、撮像手段11や照明手段21〜24、照明分岐ユニット75を、フォトメトリックステレオ処理を適切に行える所期の接続形態となるように、言い換えると誤った接続や配置とならないように、設置補助手段でもって接続先を表示する。例えば、接続部分に、特定の方向や照明の配置の回転角を示す設置表記を表記したり、あるいは接続すべきコネクタや端子同士に、設置表記の文字、記号やその他のマーク、形状や色等、共通性や対応性を持たせることによって、視覚的に配置位置や方向、回転角度や接続先等を示す。このように、設置補助手段で相互の接続作業を補助することで、ユーザは設置表記を参照して、相互の接続先の対応関係を視覚的に把握できる。以下、図24〜図34に、設置補助手段の具体例を示す。
(第一実施例)
Hereinafter, a specific example of the installation assistance means will be described. In the example illustrated in FIG. 1, the imaging unit 11, the illumination units 21 to 24, and the illumination branching unit 75 are configured to have an intended connection form in which photometric stereo processing can be appropriately performed. As described above, the connection destination is displayed by the installation auxiliary means. For example, installation notation indicating the specific direction and rotation angle of the lighting arrangement is indicated on the connection part, or characters, symbols and other marks, shapes, colors, etc. of the installation notation are provided between the connectors and terminals to be connected. By providing commonality and responsiveness, the arrangement position, direction, rotation angle, connection destination, etc. are visually indicated. Thus, by assisting the mutual connection work with the installation assisting means, the user can visually grasp the correspondence relationship between the mutual connection destinations with reference to the installation notation. Hereinafter, specific examples of the installation assisting means are shown in FIGS.
(First Example)
図24は、図2に示した第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24からそれぞれ延長された第一照明ケーブル71、第二照明ケーブル72、第三照明ケーブル73、第四照明ケーブル74を、照明分岐ユニットにそれぞれ接続する様子を示している。照明分岐ユニットは、各照明ケーブルをそれぞれ接続するための照明接続コネクタを設けている。各照明接続コネクタに照明ケーブルを接続することで、照明制御手段31から所定の点灯タイミングで給電され、照明手段を点灯させることができる。この場合に、誤って照明ケーブルを本来と異なる照明接続コネクタに接続すると、照明タイミングや方向が異なって部分照明画像が撮像される結果、正確な検査が行えなくなるおそれがある。そこで、設置補助手段として照明接続コネクタに、接続先の照明コネクタを示す第一設置表記を設けることで、ユーザに接続先の照明コネクタを示し、誤接続を回避できる。ここでは、第一照明ケーブル71の接続先である照明接続コネクタには「1」と表記することで、ユーザは視覚的に第一照明手段の接続先を確認できる。また好ましくは、各照明手段から延長された照明ケーブルの接続端にも、接続先に関する情報を示す第二設置表記を設ける。図24の例では、第一照明手段から延長された第一照明ケーブルの接続端に、第二設置表記として「1」を表記している。これによってユーザは、照明接続コネクタの「1」と第一照明ケーブルの「1」とを対応させて接続することにより、接続の正確性を一層確実にできる。このように照明接続コネクタ側に設けた第一設置表記と、接続ケーブル側に設けた第二設置表記とを一致させることで、接続作業のミスを更に低減して、検査の信頼性を向上できる。同様に、第二照明ケーブル72、第三照明ケーブル73、第四照明ケーブル74や、その接続先の照明接続コネクタにも、このような第二設置表記、第一設置表記をそれぞれ設けることができる。なお、照明分岐ユニットと照明制御手段を一体化してもよいことは上述の通りである。 24 shows a first illumination cable 71, a second illumination cable 72, a second illumination cable 24 extended from the first illumination means 21, the second illumination means 22, the third illumination means 23, and the fourth illumination means 24 shown in FIG. A state in which the three illumination cables 73 and the fourth illumination cable 74 are respectively connected to the illumination branching unit is shown. The illumination branching unit is provided with an illumination connection connector for connecting each illumination cable. By connecting an illumination cable to each illumination connector, power is supplied from the illumination control means 31 at a predetermined lighting timing, and the illumination means can be turned on. In this case, if the illumination cable is mistakenly connected to a different illumination connector, the partial illumination image may be captured at different illumination timings and directions, resulting in an inaccurate inspection. Therefore, by providing the lighting connection connector with the first installation notation indicating the connection destination illumination connector as the installation auxiliary means, the connection destination illumination connector is shown to the user, and erroneous connection can be avoided. Here, the user can visually confirm the connection destination of the first illumination means by writing “1” on the illumination connection connector to which the first illumination cable 71 is connected. Preferably, a second installation notation indicating information on the connection destination is also provided at the connection end of the illumination cable extended from each illumination means. In the example of FIG. 24, “1” is described as the second installation notation at the connection end of the first illumination cable extended from the first illumination means. Accordingly, the user can further ensure the accuracy of the connection by connecting “1” of the lighting connection connector and “1” of the first lighting cable in association with each other. Thus, by matching the first installation notation provided on the lighting connection connector side with the second installation notation provided on the connection cable side, errors in connection work can be further reduced, and the reliability of inspection can be improved. . Similarly, such second installation notation and first installation notation can also be provided in the second illumination cable 72, the third illumination cable 73, the fourth illumination cable 74, and the illumination connection connector of the connection destination. . As described above, the illumination branching unit and the illumination control means may be integrated.
さらに、設置補助手段は、照明ケーブルと照明手段との接続にも適用できる。すなわち、図25に示すように、第一照明手段に第一照明ケーブル71を接続するインターフェース部分においても、同様に設置補助手段として、配線の対応関係を示す設置表記を付してもよい。ここでは、第一照明手段の、第一照明ケーブルを接続するコネクタ部分に、第三設置表記として「1」を表記させている。また第一照明ケーブルの端縁にも、「1」を表記させている。これによって、第一照明手段と第一照明ケーブルとの配線作業に際しても、配線の取り違えを回避できる。特に、複数の照明手段が同じ形状であったり、照明ケーブルが長いような場合、いいかえると配線ミスが起こりやすいような環境でも、確実に配線して検査精度の信頼性が高められる。なお、図25の例では図示を簡素化するため第一照明手段と第一照明ケーブルの接続のみを示しているが、第二照明手段〜第四照明手段についても同様であることはいうまでもない。また以上の例では、各照明ケーブルは照明手段及び照明分岐ユニットと挿抜式としているが、照明ケーブルを照明手段又は照明分岐ユニットと直付けにした構成においても、本実施形態を適用できる。さらに設置表記として、以上の例では数字を用いたが、文字や記号、マーク、色等、目視可能な表記を適宜採用できる。また複数の表記を組み合わせてもよい。例えば赤色の1、青色の2、緑色の3、紫色の4のように、色と数字を組み合わせて設置表記を構成すれば、配線関係が一層明確になる。さらには目視のみに限らず、これに加えてあるいはこれに代えて、点字等、触覚で認識可能な設置表記を適用してもよい。特に、接続部分が微細であったり、印字や刻印が物理的に困難な場合、あるいは狭い場所や暗い場所の設置等、目視による確認が困難な場合に好適に利用できる。
(第二実施例)
Further, the installation auxiliary means can be applied to the connection between the illumination cable and the illumination means. That is, as shown in FIG. 25, in the interface portion where the first illumination cable 71 is connected to the first illumination means, the installation notation indicating the correspondence of the wirings may be similarly attached as the installation auxiliary means. Here, “1” is indicated as the third installation notation on the connector portion of the first illumination means that connects the first illumination cable. Also, “1” is indicated on the edge of the first illumination cable. Accordingly, it is possible to avoid a mistake in wiring even when wiring the first lighting unit and the first lighting cable. In particular, when a plurality of illumination means have the same shape or the illumination cable is long, in other words, even in an environment where a wiring error is likely to occur, reliable wiring can be achieved and reliability of inspection accuracy can be improved. In the example of FIG. 25, only the connection of the first illumination means and the first illumination cable is shown for the sake of simplicity of illustration, but it goes without saying that the same applies to the second illumination means to the fourth illumination means. Absent. Moreover, in the above example, each illumination cable is made to be detachable from the illumination means and the illumination branch unit. However, the present embodiment can also be applied to a configuration in which the illumination cable is directly attached to the illumination means or the illumination branch unit. Further, as the installation notation, numbers are used in the above example, but visually observable notations such as characters, symbols, marks, colors, etc. can be appropriately adopted. A plurality of notations may be combined. For example, if the installation notation is configured by combining colors and numbers such as red 1, blue 2, green 3, purple 4, etc., the wiring relationship becomes clearer. Furthermore, it is not limited to visual observation, and in addition to or instead of this, installation notation that can be recognized by tactile sensation such as Braille may be applied. In particular, it can be suitably used when the connecting portion is fine, printing or stamping is physically difficult, or when visual confirmation is difficult such as in a narrow place or a dark place.
(Second embodiment)
以上の例では、設置補助手段でもって、各照明手段を照明制御手段に配線する作業を補助する例について説明した。この場合は、設置補助手段を照明手段や照明ケーブルに設けている。ただ設置補助手段は、これに限らず、照明手段を正しい位置に設置する作業の補助にも適用できる。この場合は、設置補助手段を、撮像手段や照明手段に設けることができる。このような例を図26の模式平面図に示す。この例では、円弧状に形成された第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24を、平面視において撮像手段の周囲(ここでは東西南北)に配置している。上述の通り、各照明手段の形状が同じ場合は、照明手段の設置に際して取り違えが生じ得る。そこで、設置補助手段として照明手段の配置を撮像手段に表記することで、この表記に従って配置し、取り違えを回避できる。ここでは、各照明手段の上面に異なる色を着色すると共に、撮像手段の上面にも、第四設置表記として各照明手段と対応する部位に同じ色を着色している。この例では、第一照明手段21を赤色、第二照明手段22を青色、第三照明手段23を緑色、第四照明手段24を紫色に、それぞれ着色している。これによってユーザは照明手段の設置作業に際して、撮像手段に設けられた第四設置表記に従って、照明手段を区別でき、さらに設置後においても正しく照明手段が設置されたかどうかを視覚的に容易に確認できるので、照明手段の取り違えミスを防止できる利点が得られる。 In the above example, the example which assists the operation | work which wires each illumination means to an illumination control means with the installation assistance means was demonstrated. In this case, the installation assistance means is provided in the illumination means or the illumination cable. However, the installation assisting means is not limited to this, and can be applied to assisting the work of installing the illumination means at the correct position. In this case, the installation auxiliary means can be provided in the imaging means or the illumination means. Such an example is shown in the schematic plan view of FIG. In this example, the first illuminating means 21, the second illuminating means 22, the third illuminating means 23, and the fourth illuminating means 24 formed in an arc shape are arranged around the imaging means (here, east, west, north and south) in plan view. doing. As described above, when the shapes of the illumination means are the same, a mistake may occur when the illumination means is installed. Therefore, by describing the arrangement of the illumination means as the image pickup means as the installation assistance means, the arrangement can be made in accordance with this notation, and the confusion can be avoided. Here, different colors are colored on the upper surface of each illumination means, and the same color is also colored on the upper surface of the imaging means on the part corresponding to each illumination means as a fourth installation notation. In this example, the first illumination means 21 is colored red, the second illumination means 22 is blue, the third illumination means 23 is green, and the fourth illumination means 24 is purple. As a result, the user can distinguish the illumination means according to the fourth installation notation provided in the imaging means during the installation work of the illumination means, and can easily visually confirm whether the illumination means is correctly installed even after installation. Therefore, there is an advantage that mistakes in the illumination means can be prevented.
またこの例は一例であって、各照明手段を着色する色は任意に変更できる。また色に限らず、パターンや模様、記号、数字や文字等の表記でもって区別することも可能である。さらにこのような表記を設ける位置も、照明手段や撮像手段の上面の他、側面や底面とすることもできる。さらにまた設置補助手段を撮像手段に設ける構成に限らず、例えばワークを載置するステージや画像検査装置の筐体等、他の部位に設置補助手段を設けてもよい。 This example is only an example, and the color for coloring each illumination means can be arbitrarily changed. Further, not only colors but also patterns, patterns, symbols, numbers, letters and the like can be distinguished. Further, the position where such a notation is provided may be the side surface or the bottom surface in addition to the top surface of the illumination unit or the imaging unit. Furthermore, the configuration is not limited to the configuration in which the installation assistance means is provided in the imaging means, but the installation assistance means may be provided in other parts such as a stage on which a workpiece is placed or a housing of an image inspection apparatus.
なお、各照明手段から引き出された照明ケーブルと照明分岐ユニットとの配線作業においても、上記と同様に設置補助手段でもって配線先の正しい組み合わせを表示して、配線作業のミスを防止し、また配線後の確認作業を容易に行うことができる。
(第三実施例)
In the wiring work between the lighting cable drawn out from each lighting means and the lighting branching unit, the correct combination of wiring destinations is displayed by the installation auxiliary means in the same manner as described above to prevent mistakes in the wiring work. Confirmation work after wiring can be easily performed.
(Third embodiment)
以上の第二実施例では、三以上の照明手段をワークの周囲に環状に配置する際の、相対的な設置位置を設置補助手段でもって確認する例を説明した。一方で照明手段は、上述の通り予め環状の照明ユニットとして一体的に構成することも可能である。このような場合においても、図23に示すように、環状に構成された環状照明ユニット20を撮像手段に対する相対的な回転位置すなわち回転角度を調整して固定しなければ、正確なフォトメトリックステレオ処理結果を得ることができない。特に円環状の環状照明ユニット20が点対称な形状の場合は、回転位置が決まらないため、その調整作業も困難であった。このような場合においても、設置補助手段でもって環状照明ユニットと撮像手段の相対的な回転位置を位置決めすることができる。例えば、図27に示すように、設置補助手段として、環状照明ユニット20を構成する第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24の境界部分にラインや継ぎ目を表示する。これによって、各照明手段が占める領域が明確になる。また撮像手段にもこれに対応させて、上面にラインを表示させる。このような設置補助手段を設けることで、撮像手段と環状照明ユニット20の回転位置を規定し、さらにこれらを位置決めさせることが容易となる。 In the second embodiment described above, an example has been described in which the relative installation position is confirmed by the installation auxiliary unit when three or more illumination units are annularly arranged around the workpiece. On the other hand, as described above, the illumination means can be integrally configured in advance as an annular illumination unit. Even in such a case, as shown in FIG. 23, if the annular illumination unit 20 configured in an annular shape is not fixed by adjusting the relative rotation position, that is, the rotation angle with respect to the imaging means, accurate photometric stereo processing is performed. I can't get results. In particular, when the annular annular illumination unit 20 has a point-symmetric shape, the rotational position is not determined, and the adjustment work is difficult. Even in such a case, the relative rotation position of the annular illumination unit and the imaging means can be positioned by the installation assisting means. For example, as shown in FIG. 27, as installation auxiliary means, a line or a line is formed at the boundary of the first illumination means 21, the second illumination means 22, the third illumination means 23, and the fourth illumination means 24 constituting the annular illumination unit 20. Display seams. As a result, the area occupied by each illumination means becomes clear. In addition, the imaging unit also displays a line on the upper surface correspondingly. By providing such an installation assisting means, it becomes easy to define the rotational positions of the imaging means and the annular illumination unit 20 and to position them.
さらに、このままでは環状照明ユニット20が45°単位で回転しても判別できないので、基準となる位置を明確にする。例えば第一照明手段に着色することで、環状照明ユニット20の姿勢が明確となり、45°単位でずれる事態を回避できる。またこれに対応させて、撮像手段の上面にも同様に、着色された第一照明手段と対応する部位に、同様の着色を付すことが好ましい。これによって、着色された領域同士を合致させるようにして、環状照明ユニットの回転角度を容易に確定できる。 Further, since the annular illumination unit 20 cannot be discriminated even if it is rotated in units of 45 ° as it is, the reference position is clarified. For example, by coloring the first illumination means, the posture of the annular illumination unit 20 becomes clear, and a situation in which it shifts by 45 ° can be avoided. Correspondingly, similarly, it is preferable that the upper surface of the imaging unit is similarly colored in the portion corresponding to the colored first illumination unit. This makes it possible to easily determine the rotation angle of the annular illumination unit by matching the colored areas.
また上記は一例であり、設置補助手段は環状照明ユニットの回転位置を規定できる他の表記を適宜採用できる。例えば図28に示す変形例のように、環状照明ユニット20の基準となる位置にラインを表示させ、このラインを天頂に位置させるように規定しておくことで、点対称な環状照明ユニット20でも正確に位置決めできるようになる。また、基準位置を示す表記は、ラインに限らず、他のマークや文字、模様等任意のパターンが利用できる。例えば図29の例では、矢印でもって天頂となる位置を表示させている。 Moreover, the above is an example, and the installation assisting unit can appropriately adopt another notation that can define the rotational position of the annular illumination unit. For example, as in the modification shown in FIG. 28, by displaying a line at a reference position of the annular illumination unit 20 and defining the line to be located at the zenith, even the point-symmetric annular illumination unit 20 can be used. It becomes possible to position accurately. The notation indicating the reference position is not limited to a line, and any other pattern such as another mark, character, or pattern can be used. For example, in the example of FIG. 29, the position at the zenith is displayed with an arrow.
また基準位置は一箇所だけとする例に限らず、複数設けてもよい。例えば図30に示すように、各照明手段と対応する領域に異なるマークをそれぞれ表示させてもよい。また各マークと対応させて、照明分岐ユニットの照明接続コネクタにも、これらのマークと対応させて同様のマークを表示させることで、各照明手段から引き出された照明ケーブルの配線の区別としても利用できる。 Further, the reference position is not limited to one example, and a plurality of reference positions may be provided. For example, as shown in FIG. 30, different marks may be displayed in areas corresponding to the respective illumination means. In addition, the same mark is displayed in correspondence with each mark on the lighting connection connector of the lighting branch unit in correspondence with each mark, so that it can also be used for distinguishing the wiring of the lighting cable drawn from each lighting means. it can.
また、表記はマークに限らず、文字や色、模様等、任意のパターンが利用できる。例えば図31の平面図に示す例では、方位を示す文字N、E、S、Wを表示させている。また撮像手段11や照明分岐ユニット75にも、同様に方位を示す文字を付加している。これによって、フォトメトリックステレオ処理の設定に従った位置決めや配線を容易に行うことができる。 The notation is not limited to marks, and any pattern such as characters, colors, patterns, etc. can be used. For example, in the example shown in the plan view of FIG. 31, characters N, E, S, and W indicating the azimuth are displayed. Similarly, letters indicating the direction are added to the image pickup means 11 and the illumination branching unit 75 as well. Thereby, positioning and wiring according to the setting of the photometric stereo processing can be easily performed.
また図32の平面図に示す例では、各照明手段と対応する部位に、着色したマークを表示させている。この例では第一照明手段21に赤色のマーク、第二照明手段22に青色のマーク、第三照明手段23に緑色のマーク、第四照明手段24に紫色のマークを、それぞれ付している。また撮像手段11や照明分岐ユニット75にも、同様のマークを付すことで、位置決めや配線の作業や確認を容易に行うことができる。 In the example shown in the plan view of FIG. 32, a colored mark is displayed on a portion corresponding to each illumination means. In this example, the first illumination means 21 is marked with a red mark, the second illumination means 22 is marked with a blue mark, the third illumination means 23 is marked with a green mark, and the fourth illumination means 24 is marked with a purple mark. Further, by attaching the same mark to the imaging means 11 and the illumination branching unit 75, positioning and wiring work and confirmation can be easily performed.
さらに、基準位置を確定する方法として、基準を示す表記を設ける構成の他、物理的な形状を点対称で無くすことにより、外形から姿勢を明確にする方法も採用できる。例えば図33に示す例では、環状照明ユニット20の一部に三角形状の突起部を設け、この突起部を基準として天頂の位置に合わせるよう構成することで、位置決めを行うことができる。また撮像手段11や分岐ユニット75にも、同様の突起部を形成することにより、これらの姿勢や配線も合致させることができる。また照明手段21〜24や照明分岐ユニット75の形状は、平面視円形に限られず、矩形状や多角形状等、任意の形状が利用できる。例えば図34に示す例では、矩形状としている。また突起部も、基準となる位置や方向を示す目印の役割を果たすことができれば足り、凹部等、任意の形態が適用できる。 Furthermore, as a method for determining the reference position, in addition to a configuration in which a notation indicating the reference is provided, a method of clarifying the posture from the outer shape by eliminating the physical shape in a point symmetry can be employed. For example, in the example shown in FIG. 33, positioning can be performed by providing a triangular protrusion on a part of the annular illumination unit 20 and adjusting the protrusion to the zenith position with reference to the protrusion. In addition, by forming similar projections on the imaging unit 11 and the branch unit 75, these postures and wirings can be matched. The shapes of the illumination means 21 to 24 and the illumination branch unit 75 are not limited to a circular shape in plan view, and any shape such as a rectangular shape or a polygonal shape can be used. For example, in the example shown in FIG. In addition, it is sufficient that the projecting portion can serve as a mark indicating the reference position and direction, and an arbitrary form such as a concave portion can be applied.
なお、上述した図27の例では、第一照明手段21、第二照明手段22、第三照明手段23、第四照明手段24を一体化した環状照明ユニット20から、照明ケーブルを各照明手段と対応させて引き出しているが、一体化した環状照明ユニット20においては、照明ケーブルを纏めてもよい。これによって配線作業を省力化して取り違えを回避し、また配線自体を簡素化できる。図28、図29は、このような配線の例を示している。
(画像検査方法)
In the example of FIG. 27 described above, an illumination cable is connected to each illumination means from the annular illumination unit 20 in which the first illumination means 21, the second illumination means 22, the third illumination means 23, and the fourth illumination means 24 are integrated. In the integrated annular illumination unit 20, the illumination cables may be bundled. This saves wiring work, avoids mistakes, and simplifies the wiring itself. 28 and 29 show examples of such wiring.
(Image inspection method)
ここで、画像検査装置1を用いてワークの外観検査を行う画像検査方法の手順を、図35のフローチャートに基づいて説明する。 Here, the procedure of the image inspection method for inspecting the appearance of the workpiece using the image inspection apparatus 1 will be described based on the flowchart of FIG.
ステップST1では、画像処理部41は、照明制御手段31を介して、照明手段21、22、23、24に対してトリガ信号を発し、照明手段21、22、23、24は、トリガ信号に応じて順に1つずつ点灯する。 In step ST1, the image processing unit 41 issues a trigger signal to the illumination units 21, 22, 23, and 24 via the illumination control unit 31, and the illumination units 21, 22, 23, and 24 respond to the trigger signal. Turn on one by one.
ステップST2では、撮像手段11は、各照明手段21、22、23、24が点灯する都度作動して、ワークWKを撮影する。 In step ST2, the imaging unit 11 operates each time the lighting units 21, 22, 23, and 24 are turned on, and images the workpiece WK.
ステップST3では、撮像手段11は、ワークWKが撮影された4つの画像信号Q1〜Q4を画像処理部41に転送する。 In step ST <b> 3, the imaging unit 11 transfers the four image signals Q <b> 1 to Q <b> 4 obtained by photographing the workpiece WK to the image processing unit 41.
ステップST4では、画像処理部41は、撮像手段11から入力された4つの画像信号Q1〜Q4を用いて、画像信号Q1〜Q4毎に、各画素における面の法線ベクトルを計算する。 In step ST4, the image processing unit 41 uses the four image signals Q1 to Q4 input from the imaging unit 11 to calculate the normal vector of the surface in each pixel for each of the image signals Q1 to Q4.
ステップST5では、画像処理部41は、画像信号Q1〜Q4毎に、後段の処理で必要となる、1/1、1/2、1/4、1/8、1/16、1/32にそれぞれ縮小した縮小傾き画像を作成する。また、画像処理部41は、画像信号Q1〜Q4毎に、後段の処理で必要となる、テクスチャ抽出画像を作成しておく。 In step ST5, the image processing unit 41 reduces the image signals Q1 to Q4 to 1/1, 1/2, 1/4, 1/8, 1/16, and 1/32, which are necessary for subsequent processing. Create a reduced tilt image with each reduced size. In addition, the image processing unit 41 creates a texture extraction image that is necessary for subsequent processing for each of the image signals Q1 to Q4.
ステップST6では、必要に応じて特徴サイズの調整を行う。特徴サイズを変化させることで、凹凸抽出画像において抽出される凹凸の大きさが変わる。具体的には特徴サイズを大きくすると、大きなサイズの凹凸が抽出された凹凸抽出画像が得られる。逆に特徴サイズを小さくすると、小さなサイズの凹凸が抽出される。したがってユーザは、抽出したい傷の大きさに応じて特徴サイズを調整する。あるいは、OCR用途の場合は、特徴サイズを大きくすることで、OCRに適した凹凸抽出画像を得ることができる。 In step ST6, the feature size is adjusted as necessary. By changing the feature size, the size of the unevenness extracted in the unevenness extraction image changes. Specifically, when the feature size is increased, a concavo-convex extracted image from which large-sized concavo-convex has been extracted is obtained. On the other hand, when the feature size is reduced, small-sized irregularities are extracted. Therefore, the user adjusts the feature size according to the size of the wound to be extracted. Alternatively, in the case of OCR use, an unevenness extraction image suitable for OCR can be obtained by increasing the feature size.
ステップST7では、凹凸抽出画像計算を行う。この例では画像処理部41が、ステップST6で設定された特徴サイズに従って凹凸を抽出した凹凸抽出画像を生成し、これを表示手段51に表示させる。 In step ST7, unevenness extraction image calculation is performed. In this example, the image processing unit 41 generates a concavo-convex extracted image obtained by extracting the concavo-convex according to the feature size set in step ST <b> 6, and causes the display unit 51 to display it.
ステップST10〜12では、画像処理部41又はPLC81が、輪郭抽出画像に対して、傷検査ツールを利用して傷を検出するための傷検出処理をして、傷かどうかを判定する傷判定処理をする。 In Steps ST10 to ST12, the image processing unit 41 or the PLC 81 performs a scratch detection process for detecting a scratch on the contour extracted image using a scratch inspection tool, and determines whether or not the scratch is a scratch. do.
まず、ステップST10では、画像処理部41又はPLC81は、生成された輪郭画像に対して検査対象となる検査領域の位置を特定する。検査領域を設定する際には、例えば、エッジを抽出する等して、ワークWKの画像を抽出する。ワークWKが大きく位置ずれしない場合には、検査領域の設定位置を予め登録しておいてもよい。 First, in step ST10, the image processing unit 41 or the PLC 81 specifies the position of the inspection region to be inspected with respect to the generated contour image. When setting the inspection area, for example, an image of the work WK is extracted by extracting an edge or the like. When the work WK does not greatly deviate, the set position of the inspection area may be registered in advance.
ステップST11では、画像処理部41又はPLC81は、特定された検査領域内の傷を検出するための画像処理を施す。画像処理部41又はPLC81は、記憶されている算出方法により基準濃度値を算出し、画素毎に検査領域の各画素の濃度値と基準濃度値との差分を算出する。そして、画像処理部41又はPLC81は、設定して記憶されている閾値(傷量という閾値を決めておく。)によるラベリング処理(2値画像の白画素の固まりに、「0、1、2・・・」という札(ラベル)を貼っていく処理。)を実行し、特定された傷毎に特徴量を算出する。算出する特徴量は、例えば差分の正負に関する正負情報、差分の総和、差分の最大値、差分の平均値、又は差分の標準偏差である。 In step ST11, the image processing unit 41 or the PLC 81 performs image processing for detecting a flaw in the specified inspection area. The image processing unit 41 or the PLC 81 calculates a reference density value by a stored calculation method, and calculates a difference between the density value of each pixel in the inspection area and the reference density value for each pixel. Then, the image processing unit 41 or the PLC 81 performs labeling processing based on a threshold value that is set and stored (a threshold value that is a scratch amount is determined) (“0, 1, 2,. .. ”is executed, and a feature amount is calculated for each specified flaw. The feature quantity to be calculated is, for example, positive / negative information regarding the positive / negative of the difference, the sum of the differences, the maximum value of the differences, the average value of the differences, or the standard deviation of the differences.
ステップST12では、画像処理部41又はPLC81は、ステップST11で特定された傷に対して、傷判定に用いる判定基準に基づいて傷判定処理を実行する。傷と判定された場合、表示手段51上で、傷の箇所にマーキングをし、処理を終了する。
(変形例)
In step ST12, the image processing unit 41 or the PLC 81 performs a scratch determination process on the scratch identified in step ST11 based on a determination criterion used for scratch determination. If it is determined as a scratch, marking is made on the scratched area on the display means 51, and the process is terminated.
(Modification)
以上の例では、特徴サイズをユーザが調整可能とすることで、特徴サイズのパラメータでもってユーザが望むサイズの凹凸を抽出した凹凸抽出画像を生成する例を説明した。ただ本発明はこの構成に限らず、ユーザの観察用途や目的に応じた複数の観察モードを予め用意しておき、ユーザに観察モードを選択させることで、所望の画像を生成するように構成することもできる。このような例を図36のフローチャートに基づいて説明する。ステップST”1〜ST”5は、上述した図35と同様であるため、詳細説明を省略する。 In the above example, the example in which the feature size can be adjusted by the user to generate the unevenness extraction image in which the unevenness of the size desired by the user is extracted using the feature size parameter has been described. However, the present invention is not limited to this configuration, and a plurality of observation modes corresponding to the user's observation application and purpose are prepared in advance, and a desired image is generated by allowing the user to select an observation mode. You can also. Such an example will be described based on the flowchart of FIG. Steps ST ″ 1 to ST ″ 5 are the same as those in FIG. 35 described above, and thus detailed description thereof is omitted.
ステップST”6では、観察モードをユーザに選択させる。この例では、輪郭抽出モード、テクスチャ抽出モード、凹凸モードの何れかを選択可能としている。各観察モードは、各観察用途に適した特徴サイズを予めプリセットしておく。なお、観察モードの選択後に、ユーザが手動で特徴サイズを微調整可能に構成してもよい。選択された観察モードに従って、次に移行するステップが異なる。すなわち輪郭抽出モードが選択された場合はステップST”7へ、テクスチャ抽出モードが選択された場合はステップST”8へ、凹凸モードが選択された場合はステップST”9へ、それぞれ移行する。各ステップの処理後は、ステップST”10に移行する。このように、凹凸抽出画像生成手段と輪郭画像生成手段41bとテクスチャ抽出画像生成手段41cとは、切り替え可能としている。 In step ST ″ 6, the user is made to select an observation mode. In this example, any one of a contour extraction mode, a texture extraction mode, and an uneven mode can be selected. Each observation mode has a feature size suitable for each observation application. It should be noted that the feature size can be manually adjusted by the user after selection of the observation mode, and the next transition step differs according to the selected observation mode, ie, contour extraction. If the mode is selected, the process proceeds to step ST ″ 7, if the texture extraction mode is selected, the process proceeds to step ST ″ 8, and if the uneven mode is selected, the process proceeds to step ST ″ 9. After the processing of each step, the process proceeds to step ST ″ 10. Thus, the unevenness extraction image generation unit, the contour image generation unit 41b, and the texture extraction image generation unit 41c can be switched.
ステップST”7では、画像処理部41は、凹凸抽出画像計算を行う。すなわち、画像処理部41は、凹凸抽出画像が表示される特徴サイズの輪郭抽出画像を表示手段51に表示する。 In step ST ″ 7, the image processing unit 41 performs the unevenness extraction image calculation. That is, the image processing unit 41 displays on the display means 51 a contour extraction image having a feature size on which the unevenness extraction image is displayed.
ステップST”8では、画像処理部41は、ユーザによって輪郭抽出モードが選択された場合の処理を実行する。すなわち、画像処理部41は、ステップST”5において作成された縮小傾き画像に基づいて、輪郭抽出画像計算を行い、輪郭抽出画像を表示手段51に表示する。 In step ST ″ 8, the image processing unit 41 executes a process when the contour extraction mode is selected by the user. That is, the image processing unit 41 is based on the reduced tilt image created in step ST ″ 5. The contour extraction image is calculated, and the contour extraction image is displayed on the display means 51.
ステップST”9では、画像処理部41は、ユーザによってテクスチャ抽出モードが選択された場合の処理を実行する。すなわち、画像処理部41は、ステップST”5において作成されたテクスチャ抽出画像に基づいて、テクスチャ抽出画像計算を行い、テクスチャ抽出画像を表示手段51に表示する。 In step ST ″ 9, the image processing unit 41 executes processing in the case where the texture extraction mode is selected by the user. That is, the image processing unit 41 is based on the texture extracted image created in step ST ″ 5. Then, the texture extraction image calculation is performed, and the texture extraction image is displayed on the display means 51.
以降のステップST”10〜12は、上述した図35と同様の手順が利用でき、詳細説明を省略する。 Subsequent steps ST ″ 10 to 12 can use the same procedure as in FIG. 35 described above, and will not be described in detail.
以上の画像検査装置によれば、フォトメトリックステレオ法を利用して第1次の傾き画像を生成することを出発点としながらも、得られた第1次の傾き画像をX方向及びY方向に微分処理して第2次の傾き画像、すなわち、輪郭抽出画像を作成するようにしている。この処理によって、照明やワーク設置面の僅かな傾きや、元々入力している照明の位置等の入力情報の過誤に対して、得られる検査画像が大きく変化してしまい、例えば、実際には凸凹していないのに凸凹の画像になる現象、照明に対して、通常、近くが明るくなる傾向を受けて、ワークWKの中央が盛り上がったような画像になるといった現象等の、実物に即した検査画像が得られない、という従来のようなフォトメトリックステレオ法の欠点を少なくする事ができる。面の凹方向に傾き変化の大きいところが暗くなる階調とする一方、面の凸方向に変化の小さいところが明るくなる階調と設定することで、ワーク表面の傾きが大きく変化する傷や輪郭等を抽出するのに好適な画像となる。 According to the image inspection apparatus described above, the first-order tilt image obtained in the X direction and the Y-direction is generated while generating the first-order tilt image using the photometric stereo method. A second-order tilt image, that is, a contour extraction image is generated by performing differentiation. This process greatly changes the inspection image to be obtained due to errors in the input information such as the slight inclination of the illumination or workpiece installation surface or the position of the illumination that was originally input. Inspection that matches the real thing, such as the phenomenon that the image becomes uneven although it has not been done, and the phenomenon that the center of the workpiece WK is raised due to the tendency to become brighter near the illumination. The disadvantage of the conventional photometric stereo method that an image cannot be obtained can be reduced. By setting the gradation where the slope change is large in the concave direction of the surface to darken, while setting the gradation where the small change in the convex direction of the surface is brighter, scratches and contours that greatly change the workpiece surface inclination are set. The image is suitable for extraction.
また輪郭画像生成手段が、算出された各画素の法線ベクトルから異なる縮小率の複数の縮小傾き画像を作成し、それぞれの縮小傾き画像において、X方向及びY方向に微分処理を施し、得られた縮小輪郭画像に対して、所定の縮小率の縮小輪郭画像が大きく反映されるように重み付けをして、元のサイズへ拡大してから、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像とすることができる。この構成によれば、如何なる大きさを傷として判断するかは、ユーザの用途によって異なるところ、所定の縮小率の縮小輪郭画像が輪郭抽出画像に大きく反映されるように重み付けができるようにしたので、ユーザの用途に応じて、ユーザが所望する縮小率の縮小輪郭画像が強調された輪郭抽出画像が得られる。ユーザのニーズとしては、例えば、10ピクセルに跨がったものを傷として判断したい場合もあれば、100ピクセルに跨がっている凹んだものを傷として判断したい場合もある。また、急峻なエッジだけをエッジとして抽出したい場合もある。 Further, the contour image generation means creates a plurality of reduced inclination images with different reduction ratios from the calculated normal vectors of the respective pixels, and performs a differentiation process in each of the reduced inclination images in the X direction and the Y direction. The reduced outline image is weighted so that the reduced outline image with a predetermined reduction ratio is largely reflected, enlarged to the original size, and then added to all the enlarged reduced outline images. A contour extracted image can be obtained. According to this configuration, what size is determined as a flaw depends on the user's application, and weighting can be performed so that a reduced contour image with a predetermined reduction ratio is largely reflected in the contour extracted image. According to the user's application, a contour extraction image in which a reduced contour image having a reduction ratio desired by the user is emphasized is obtained. As user needs, for example, there is a case where it is desired to determine a scratch extending over 10 pixels as a scratch, and a case where a concave portion extending over 100 pixels is determined as a scratch. In some cases, only sharp edges may be extracted as edges.
また傷は、通常、複数の周波数に跨がって検出されるところ、拡大された縮小輪郭画像をすべて足し合わせたものを輪郭抽出画像としているので、一つの周波数の縮小輪郭画像に限定した場合に比べて、傷や輪郭等が、全体的にぼやけることなく、クリアに検出できる。 Also, scratches are usually detected across multiple frequencies, but the sum of all the enlarged reduced contour images is used as the contour extraction image, so it is limited to a reduced contour image of one frequency. Compared to the above, scratches, contours, and the like can be clearly detected without blurring.
さらに重み付けは、予め決められた重みのセットを用意しておき、縮小輪郭画像に対して、重みのセットを掛けることによって、それぞれの縮小率の縮小輪郭画像の採用比を按分することによって行うことができる。これによれば、輪郭抽出画像に合成するときに予め決められた重みのセット(特徴サイズ)がプリセットされているので、ユーザは、所望する輪郭抽出画像に瞬時に簡単に切り替えることができる。 Furthermore, weighting is performed by preparing a set of predetermined weights, and by multiplying the reduced contour image by the weight set, and by dividing the adoption ratio of the reduced contour image of each reduction ratio. Can do. According to this, since a set of weights (feature size) determined in advance when combining with the contour extraction image is preset, the user can easily and instantly switch to the desired contour extraction image.
さらにまた重みのセットは、ワークの表面の凸凹が明瞭な輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことができる。この使い方を例えば凹凸モードとすることで、輪郭抽出モードと使い分けることができる。 Furthermore, the set of weights can include a set in which the adoption ratio of the reduced contour image from which a contour extraction image with clear irregularities on the surface of the workpiece is obtained is increased. For example, by using the uneven mode for this usage, it can be used separately from the contour extraction mode.
さらにまた、重みのセットは、OCRに適した輪郭抽出画像が得られる縮小輪郭画像の採用比が大きくなるセットを含むことができるので、例えば鋳物の刻印のようなものに対して、OCRをするのに好適な画像を作成することができる。 Furthermore, the set of weights can include a set in which the adopted ratio of the reduced contour image from which a contour extraction image suitable for OCR is obtained is increased, so that OCR is performed on a casting mark, for example. Therefore, it is possible to create a suitable image.
さらにまた、照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、入力画像と同数個の各画素のアルベドを算出し、アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するようにして、輪郭画像生成手段とテクスチャ抽出画像生成手段とを切り替え可能に構成したので、本来の傷と元々ある輪郭と区別するのは通常困難であるため、傷があってはいけない箇所をサーチして検査領域とすることが求められているが、テクスチャ抽出画像でサーチをして、検査領域を決めてから傷検査を行うことができる。また、OCRを行う際にも、テクスチャ抽出画像でサーチをして、OCRを行う対象領域を決めてからOCRを行うことができる。 Furthermore, the albedo of the same number of pixels as the input image is calculated from the calculated normal vector of each pixel that is illuminated by the illumination means, and the tilt state of the workpiece surface is removed from the albedo. Since the contour image generation means and the texture extraction image generation means are configured to be switchable so as to generate a texture extraction image indicating the above, it is usually difficult to distinguish the original scratch from the original contour. Although it is required to search for an area where there should not be an inspection area, it is possible to perform a scratch inspection after searching the texture extracted image and determining the inspection area. Also, when performing OCR, it is possible to perform OCR after performing a search on a texture extracted image and determining a target area for performing OCR.
テクスチャ抽出画像生成手段は、入力画像と同数個の各画素のアルベドの値をソートして上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることができる。これにより、ハレーションを起こしている輝度が高い画素値は採用されず、ハレーションの影響が取り除かれたテクスチャ抽出画像が得られる。 The texture extracted image generation means can sort the albedo values of the same number of pixels as the input image and adopt the pixel values in a specific order from the top as the texture extracted image. As a result, a pixel value having high luminance causing halation is not adopted, and a texture extracted image from which the influence of halation is removed is obtained.
また輪郭抽出画像生成後の傷検査に必要な傷検査ツールを備えることで、フォトメトリックステレオ技術は三次元計測の一つの手法であるというのが一般的な共通認識であるところ、フォトメトリックステレオ技術を傷検査に応用した実用品として位置づけられる画像検査装置を提供できる。 In addition, it is common knowledge that photometric stereo technology is a method of three-dimensional measurement by providing a flaw inspection tool necessary for flaw inspection after generating contour extraction images. Photometric stereo technology It is possible to provide an image inspection apparatus that is positioned as a practical product that is applied to scratch inspection.
さらに画像検査装置は、ワークを一定の方向から撮像する撮像手段と、ワークを異なる方向から少なくとも3回照明する照明手段と、照明手段を1つずつ順に点灯させる照明制御手段と、各照明タイミングにて撮像手段を駆動させることにより、複数の画像を生成する画像生成手段と、複数の画像で対応関係にある画素毎の画素値を用いて、各画素のワークの表面に対する法線ベクトルを算出する法線ベクトル算出手段と、照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、法線ベクトルと同数個の各画素のアルベドを算出し、アルベドから、ワークの表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するテクスチャ抽出画像生成手段とを備え、テクスチャ抽出画像生成手段は、法線ベクトルと同数個の各画素のアルベドの値をソートして上から特定の順番の画素値を採用したものをテクスチャ抽出画像とすることができる。これによれば、テクスチャ抽出画像生成手段は、法線ベクトルと同数個の各画素のアルベドの値をソートして上から特定の順番の画素値を採用したものをテクスチャ抽出画像とするようにしたので、ハレーションを起こしている輝度が高い画素値は採用されず、ハレーションの影響が取り除かれたテクスチャ抽出画像が得られる。 Further, the image inspection apparatus includes an imaging unit that images the workpiece from a certain direction, an illumination unit that illuminates the workpiece at least three times from different directions, an illumination control unit that sequentially turns on the illumination unit one by one, and each illumination timing. By driving the image pickup means, a normal vector with respect to the surface of the work of each pixel is calculated using the image generation means for generating a plurality of images and the pixel values for each pixel in a corresponding relationship in the plurality of images. Calculate the albedo of each pixel as many as the normal vector from the normal vector calculation means and the normal vector of each pixel that has been illuminated by the illumination means, and the inclination of the surface of the workpiece from the albedo Texture extraction image generation means for generating a texture extraction image showing the pattern from which the state has been removed, and the texture extraction image generation means has the same number as the normal vector. It can be a material obtained by employing the pixel values of a specific order from the top to sort the values of albedo of each pixel of the texture extracted image. According to this, the texture extraction image generation means sorts the albedo values of the same number of pixels as the normal vector and adopts a pixel value in a specific order from the top as the texture extraction image. Therefore, pixel values with high luminance causing halation are not adopted, and a texture extracted image from which the influence of halation is removed is obtained.
このように、実施の形態に係る画像検査装置によれば、フォトメトリックステレオ法を利用して、より簡単、かつ、ロバストにワークの傷や印字を検査することができる。 As described above, according to the image inspection apparatus according to the embodiment, it is possible to more easily and robustly inspect the scratches and prints of the work by using the photometric stereo method.
本発明の画像検査装置は、フォトメトリックステレオを用いた検査装置やデジタイザに好適に利用できる。 The image inspection apparatus of the present invention can be suitably used for inspection apparatuses and digitizers using photometric stereo.
1…画像検査装置
11…撮像手段
12、32、52、62、82…ケーブル
71、72、73、74、76…ケーブル
20、20’、20”…環状照明ユニット
21、22、23、24、25…照明手段
31…照明制御手段
41…画像処理部;41a…法線ベクトル算出手段;41b…輪郭画像生成手段
41c…テクスチャ抽出画像生成手段;41d…検査領域特定手段
41e…画像処理手段;41f…判定手段
42…信号処理系
43…CPU
44…メモリ
45…ROM
46…バス
51…表示手段
61…操作手段
75…照明分岐ユニット
75a、b、c、d…照明接続コネクタ
81…PLC
e1…カメラ
e21〜e24…照明用の光源
WK…ワーク
SG…ステージ
L1…第一照明手段;L2…第二照明手段
n…法線ベクトル
S…拡散反射面
OS…障害物
DESCRIPTION OF SYMBOLS 1 ... Image inspection apparatus 11 ... Imaging means 12, 32, 52, 62, 82 ... Cable 71, 72, 73, 74, 76 ... Cable 20, 20 ', 20 "... Annular illumination unit 21, 22, 23, 24, 25 ... illumination means 31 ... illumination control means 41 ... image processing unit; 41a ... normal vector calculation means; 41b ... contour image generation means 41c ... texture extraction image generation means; 41d ... inspection region specification means 41e ... image processing means; ... Determination means 42 ... Signal processing system 43 ... CPU
44 ... Memory 45 ... ROM
46 ... Bus 51 ... Display means 61 ... Operating means 75 ... Lighting branch units 75a, b, c, d ... Lighting connector 81 ... PLC
e1 ... cameras e21 to e24 ... light source WK for illumination ... work SG ... stage L1 ... first illumination means; L2 ... second illumination means n ... normal vector S ... diffuse reflection surface OS ... obstacle
Claims (13)
ワークを互いに異なる照明方向から照明するための三以上の照明手段と、
前記三以上の照明手段と各々接続され、各照明手段を所定の点灯順で点灯させるための照明制御手段と、
前記三以上の照明手段と別体に設けられ、前記照明制御手段により各照明手段を点灯させる照明タイミングにて、ワークを一定の方向から撮像することにより、照明方向の異なる複数の部分照明画像を撮像するための撮像手段と、
前記撮像手段によって撮像された複数の部分照明画像同士で、対応関係にある画素毎の画素値を用いて、フォトメトリックステレオ法に基づき、各画素のワークの表面に対する法線ベクトルを算出するための法線ベクトル算出手段と、
前記法線ベクトル算出手段で法線ベクトルが正しく算出されるよう、所定の照明光をワークに照射するため予め設定された設置設定に従って前記照明手段又は撮像手段を設置する作業を補助するための設置補助手段と
を備え、
前記三以上の照明手段が、環状に一体的に配置された環状照明ユニットで構成されており、
前記設置設定が、前記法線ベクトルを正しく算出するための前記環状照明ユニットを設置する際の前記撮像手段に対する前記環状照明ユニットの環状方向における角度情報を含んでおり、
前記設置補助手段は、前記角度情報を含む設置設定に従って前記環状照明ユニットの環状方向における設置位置を表示させてなることを特徴とする画像検査装置。 An image inspection apparatus for inspecting the appearance of a workpiece,
Three or more illumination means for illuminating the workpiece from different illumination directions;
Lighting control means connected to each of the three or more lighting means, and lighting each lighting means in a predetermined lighting order;
A plurality of partial illumination images with different illumination directions can be obtained by imaging the workpiece from a certain direction at an illumination timing that is provided separately from the three or more illumination units and is turned on by the illumination control unit. Imaging means for imaging;
For calculating a normal vector with respect to the surface of the workpiece of each pixel based on the photometric stereo method using pixel values for each pixel having a correspondence relationship among a plurality of partial illumination images captured by the imaging unit Normal vector calculation means;
Installation for assisting the work of installing the illumination means or the imaging means in accordance with a preset installation setting for irradiating the workpiece with predetermined illumination light so that the normal vector is correctly calculated by the normal vector calculation means Auxiliary means ,
The three or more illumination means are constituted by an annular illumination unit arranged integrally in an annular shape,
The installation setting includes angle information in an annular direction of the annular illumination unit with respect to the imaging means when installing the annular illumination unit for correctly calculating the normal vector;
The installation auxiliary means, the image inspection apparatus according to claim Rukoto such to display the installation position in the annular direction of the annular illumination unit according to the installation configuration, including the angle information.
前記角度情報が、前記環状照明ユニットの環状方向における回転位置又は回転角度であることを特徴とする画像検査装置。 The image inspection apparatus, wherein the angle information is a rotation position or a rotation angle in the annular direction of the annular illumination unit.
前記法線ベクトル算出手段で算出される法線ベクトルは、前記撮像手段の光軸方向における該撮像手段と照明手段との相対距離の変化に応じて、その法線ベクトルの強度が変化する依存性を有してなることを特徴とする画像検査装置。 The image inspection apparatus according to claim 1 or 2 ,
The normal vector calculated by the normal vector calculating means depends on the intensity of the normal vector changing according to the change in the relative distance between the imaging means and the illumination means in the optical axis direction of the imaging means. An image inspection apparatus comprising:
設置設定が、前記三以上の照明手段の各々が発する照明光の方向を含むことを特徴とする画像検査装置。 The image inspection apparatus according to any one of claims 1 to 3 ,
The image inspection apparatus, wherein the installation setting includes a direction of illumination light emitted from each of the three or more illumination means.
設置設定が、前記三以上の照明手段を設置する位置を含むことを特徴とする画像検査装置。 The image inspection apparatus according to any one of claims 1 to 4 ,
The image inspection apparatus, wherein the installation setting includes a position where the three or more illumination means are installed.
設置設定が、前記照明手段と照明制御手段の配線情報を含むことを特徴とする画像検査装置。 An image inspection apparatus according to any one of claims 1 to 5 ,
An image inspection apparatus, wherein the installation setting includes wiring information of the illumination means and the illumination control means.
前記三以上の照明手段の各々から延長された照明ケーブルと、
前記照明手段と前記照明制御手段とを中継し、前記照明ケーブルを接続するための照明分岐ユニットと
を備え、
前記照明分岐ユニットは、各照明ケーブルをそれぞれ接続するための複数の照明接続コネクタを備え、
前記設置補助手段が、各照明接続コネクタに設けられた、前記設置設定に従い接続先の照明手段が複数の照明手段の内いずれであるかを示す第一設置表記を含むことを特徴とする画像検査装置。 The image inspection apparatus according to any one of claims 1 to 6 , further comprising an illumination cable extended from each of the three or more illumination means,
Relaying the lighting means and the lighting control means, and comprising a lighting branch unit for connecting the lighting cable,
The lighting branch unit includes a plurality of lighting connection connectors for connecting each lighting cable,
An image inspection characterized in that the installation auxiliary means includes a first installation notation provided on each of the illumination connection connectors and indicating which of the plurality of illumination means is connected to the illumination means according to the installation setting. apparatus.
前記設置補助手段が、前記照明ケーブルに設けられた、前記設置設定に従い接続先の照明接続コネクタが複数の照明接続コネクタの内いずれであるかを示す第二設置表記を含み、
前記第二設置表記を、前記第一設置表記と対応させて接続可能に構成してなることを特徴とする画像検査装置。 The image inspection apparatus according to claim 7 ,
The installation auxiliary means includes a second installation notation that is provided on the illumination cable and indicates which of the plurality of illumination connection connectors is connected to the illumination connection connector according to the installation setting,
The image inspection apparatus, wherein the second installation notation is configured to be connectable in correspondence with the first installation notation.
前記設置補助手段が、前記照明手段と前記照明制御手段との対応する配線先を示す表記を含むことを特徴とする画像検査装置。 An image inspection apparatus according to any one of claims 1-8, further the installation auxiliary means, characterized in that it comprises a notation indicating the corresponding wiring destination and the lighting control means and said illuminating means Image inspection device.
前記法線ベクトル算出手段で算出された各画素の法線ベクトルに対して、X方向及びY方向に微分処理を施し、ワークの表面の傾きの輪郭を示す輪郭画像を生成するための輪郭画像生成手段を備えることを特徴とする画像検査装置。 The image inspection apparatus according to any one of claims 1 to 9, wherein the normal vector of each pixel calculated by the normal vector calculation unit is further subjected to differentiation processing in the X direction and the Y direction. An image inspection apparatus comprising: a contour image generating means for generating a contour image indicating a contour of the tilt of the workpiece surface.
前記照明手段による照明する回数個ある、算出された各画素の法線ベクトルから、前記法線ベクトルと同数個の前記各画素のアルベドを算出し、前記アルベドから、前記対象物の表面の傾き状態を除去した模様を示すテクスチャ抽出画像を生成するテクスチャ抽出画像生成手段を備え、
前記輪郭画像生成手段と前記テクスチャ抽出画像生成手段とが切り替え可能であることを特徴とする画像検査装置。 The image inspection apparatus according to claim 10, further comprising: calculating an albedo of each of the same number of pixels as the normal vector from the calculated normal vectors of each pixel, which is the number of times of illumination by the illumination unit. And texture extraction image generation means for generating a texture extraction image indicating a pattern obtained by removing the tilt state of the surface of the object from the albedo,
An image inspection apparatus, wherein the contour image generation means and the texture extraction image generation means can be switched.
生成された輪郭画像に対して検査対象となる検査領域の位置を特定する検査領域特定手段と、
特定された検査領域内の傷を検出するための画像処理を施す画像処理手段と、
処理結果に基づいて、前記対象物表面の傷の有無を判定する判定手段と
を備えることを特徴とする画像検査装置。 The image inspection apparatus according to claim 11, further comprising: inspection region specifying means for specifying a position of an inspection region to be inspected with respect to the generated contour image;
Image processing means for performing image processing for detecting flaws in the specified inspection region;
An image inspection apparatus comprising: determination means for determining presence or absence of a scratch on the surface of the object based on a processing result.
前記照明手段を、4個備えることを特徴とする画像検査装置。 An image inspection apparatus according to any one of claims 1 to 12,
An image inspection apparatus comprising four illumination means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119138A JP6308880B2 (en) | 2014-06-09 | 2014-06-09 | Image inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119138A JP6308880B2 (en) | 2014-06-09 | 2014-06-09 | Image inspection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015232486A JP2015232486A (en) | 2015-12-24 |
JP6308880B2 true JP6308880B2 (en) | 2018-04-11 |
Family
ID=54934015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014119138A Active JP6308880B2 (en) | 2014-06-09 | 2014-06-09 | Image inspection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6308880B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6786225B2 (en) * | 2016-02-23 | 2020-11-18 | キヤノン株式会社 | Image processing equipment, imaging equipment and image processing programs |
JP6869652B2 (en) * | 2016-07-01 | 2021-05-12 | キヤノン株式会社 | Image processing device, imaging device, image processing method, image processing program, and storage medium |
JP6818291B2 (en) * | 2016-07-06 | 2021-01-20 | 島根県 | Parts supply equipment and method |
JP7141445B2 (en) * | 2018-03-26 | 2022-09-22 | 富士フイルム富山化学株式会社 | Drug determination device and method for detecting boundary concave portion |
CN109932367A (en) * | 2019-03-14 | 2019-06-25 | 佛山缔乐视觉科技有限公司 | A kind of curved surface carved image acquisition device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61213753A (en) * | 1985-03-20 | 1986-09-22 | Agency Of Ind Science & Technol | System for detecting flaw on surface of object having regular reflection characteristic |
SE515711C2 (en) * | 2000-02-09 | 2001-10-01 | Volvo Personvagnar Ab | Apparatus and method for measuring surface roughness of a measuring object |
JP2007206797A (en) * | 2006-01-31 | 2007-08-16 | Omron Corp | Image processing method and image processor |
JP5533081B2 (en) * | 2010-03-16 | 2014-06-25 | 日本電気株式会社 | Cable plugging device |
-
2014
- 2014-06-09 JP JP2014119138A patent/JP6308880B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015232486A (en) | 2015-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6424020B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
JP6650986B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device | |
JP6408259B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
JP6395456B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
JP6403446B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
US10169857B2 (en) | Image inspection apparatus, image inspection method, image inspection program, and computer-readable recording medium and recording device | |
JP6308880B2 (en) | Image inspection device | |
TW583389B (en) | A surface conduction examination method and a substrate examination device | |
JP2018205005A (en) | Image inspection device | |
JP6791631B2 (en) | Image generation method and inspection equipment | |
JP2018204994A (en) | Image inspection device | |
JP2018205002A (en) | Image inspection device | |
JP2020169958A (en) | Image inspection system and image inspection method | |
JP6568991B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
KR101892099B1 (en) | Method of inspecting terminal of component formed on board and board inspection device | |
JP6045429B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
JP2018205004A (en) | Image inspection device | |
JP2007033126A (en) | Substrate inspection device, parameter adjusting method thereof and parameter adjusting device | |
US20210209740A1 (en) | Inspection system, information processing apparatus, and non-transitory computer-readable medium | |
JP2018205001A (en) | Image inspection device | |
JP2018205000A (en) | Image inspection device | |
JP2018204995A (en) | Image inspection device | |
JP2013171026A (en) | Inspection region display device and inspection region display method | |
JP2019161526A (en) | Image processing system, image processing apparatus, and image processing program | |
JP2018204999A (en) | Image inspection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6308880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |