JP6917780B2 - Image inspection equipment - Google Patents
Image inspection equipment Download PDFInfo
- Publication number
- JP6917780B2 JP6917780B2 JP2017107443A JP2017107443A JP6917780B2 JP 6917780 B2 JP6917780 B2 JP 6917780B2 JP 2017107443 A JP2017107443 A JP 2017107443A JP 2017107443 A JP2017107443 A JP 2017107443A JP 6917780 B2 JP6917780 B2 JP 6917780B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- inspection
- pattern light
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、検査対象物を撮像した画像を用いて検査対象物の欠陥を検査する画像検査装置に関する。 The present invention relates to an image inspection apparatus that inspects a defect of an inspection object by using an image obtained by capturing an image of the inspection object.
従来より、検査対象物の表面に対し、照明部から光を照射して、反射光を撮像部で受光し、受光した光の輝度分布を解析して、検査対象物に存在する傷等の欠陥を検査する画像検査装置が知られている(たとえば、特許文献1〜3参照)。
Conventionally, the surface of the inspection object is irradiated with light from the illumination unit, the reflected light is received by the imaging unit, the brightness distribution of the received light is analyzed, and defects such as scratches existing on the inspection object are present. An image inspection device for inspecting light is known (see, for example,
この種の画像検査装置としては、特許文献1に開示されている、いわゆるデフレクトメトリの原理を応用した画像検査装置が知られている。この画像検査装置は、照度が周期的に変化するパターン光を検査対象物に照射する照明部と、パターン光が照射されている検査対象物を撮像する撮像部とを備えている。照度分布の位相をシフトさせた複数のパターン光を照明部によって順次照明し、パターン光を照射する都度、撮像部によって検査対象物を撮像し、得られた複数の輝度画像に基づいて検査対象物の形状を示す位相データを生成する。得られた位相データに基づいて検査用画像を生成し、この検査用画像を用いることにより、検査対象物の形状に係る欠陥検査を行うことができるようになっている。
As an image inspection apparatus of this type, an image inspection apparatus to which the so-called deflation metric principle disclosed in
また、特許文献2は位相シフト法を利用して三次元形状を測定するようにしている。
Further,
また、位相をシフトさせた複数のパターン光の他に、波長を変化させた複数のパターン光を順次照射して検査対象物を撮像して検査用画像を生成する場合もある。 Further, in addition to the plurality of pattern lights whose phases are shifted, a plurality of pattern lights having different wavelengths may be sequentially irradiated to image an inspection object to generate an inspection image.
また、他の画像検査装置として、特許文献3に開示されている、いわゆるフォトメトリックステレオ法を用いた画像検査装置も知られている。この画像検査装置は、検査対象物対して互いに異なる方向から照明するための3つ以上の照明部と、各照明部を順次点灯させる照明制御部と、各照明部が光を照射したタイミングにおいて検査対象物を一定方向から撮像する撮像部とを備えている。そして、撮像された複数の画像毎の画素値から、フォトメトリックステレオ法を用いて法線ベクトルを算出し、法線ベクトルに基づいて検査用画像を生成することができるようになっている。
Further, as another image inspection device, an image inspection device using the so-called photometric stereo method disclosed in
さらに、明るさの異なる複数の画像を撮像した後に合成することによって幅広いダイナミックレンジを実現する、ハイダイナミック合成(HDR)が知られており、このHDRを利用して検査用画像を生成することも行われている。 Furthermore, high dynamic composition (HDR), which realizes a wide dynamic range by capturing multiple images with different brightness and then synthesizing them, is known, and it is also possible to generate an inspection image using this HDR. It is done.
上述したように、検査用画像を得る方法としては、位相をシフトした複数のパターン光を照射してその都度撮像する方法、波長を変化させた複数のパターン光を照射してその都度撮像する方法、異なる方向から3回以上光を照射してその都度撮像する方法、明るさの異なる画像を複数撮像して合成する方法等があるが、いずれの方法も照明回数及び撮像回数が複数回になる点で共通している。 As described above, as a method of obtaining an inspection image, a method of irradiating a plurality of phase-shifted pattern lights and taking an image each time, and a method of irradiating a plurality of pattern lights having different wavelengths and taking an image each time. , There are a method of irradiating light from different directions three times or more and taking an image each time, a method of taking a plurality of images having different brightness and synthesizing them, and the like. It is common in that.
このように照明回数及び撮像回数が複数回になる方法では、次に述べるような問題が生じる可能性がある。たとえばラインカメラを用いて検査用画像を得る場合、上記特許文献1のデフレクトメトリ処理を実行するためには、ラインカメラの1回当たりの撮像範囲となる1ラインでX方向に位相を変えた複数のパターン光とY方向に位相を変えた複数のパターン光とを照射することになるのであるが、近年の高解像度化の要求に応えるために8Kの画面サイズ(8192列×1024行)にしようとすると、1024回×パターン光の照明回数が、検査用画像を得るために必要な照明回数となり、少なくとも数千回の照明回数になる。
In such a method in which the number of illuminations and the number of imagings are a plurality of times, the following problems may occur. For example, when an inspection image is obtained using a line camera, the phase is changed in the X direction in one line, which is the imaging range of the line camera, in order to execute the deflection methylation processing of
ここで、照明部の照明動作と撮像部の撮像動作とを、たとえば特許文献2のようにエンコーダパルスを利用して検査用画像の撮像開始時のみ同期させて、以後、照明部及び撮像部が各々独立して発光及び撮像を実行する場合を想定すると、照明タイミングと撮像タイミングとのずれが撮像回数に比例して蓄積していくことになる。すなわち、回路を作る上では、1回の照明及び撮像当たり、タイミングのずれが10ns程度生じてしまうことは避けられず、たとえば検査用画像を得るために数千回の発光及び撮像を繰り返すと、最終的には数十μs程度のタイミングのずれが生じることになる。このことは、検査の更なる高速化を進める上で障害になることがある。
Here, the illumination operation of the illumination unit and the imaging operation of the imaging unit are synchronized only at the start of imaging of the inspection image by using an encoder pulse as in
このことに対して、照明部を連続点灯させておくことが考えられる。照明部を連続点灯させておけば、照明タイミングと撮像タイミングとのずれが生じるという問題は根本的に解決されるのであるが、照明が暗くなってしまうという問題がある。従って、照明部は連続点灯させるのではなく、撮像の瞬間にのみフラッシュ点灯させて明るさを稼ぐ必要がある。また、連続点灯という手段では、発光パターンを切り替えることができないので、デフレクトメトリ処理やマルチスペクトル合成の処理を実現することはできない。 On the other hand, it is conceivable to keep the lighting unit continuously lit. If the illumination unit is continuously lit, the problem that the illumination timing and the imaging timing deviate from each other is fundamentally solved, but there is a problem that the illumination becomes dark. Therefore, it is necessary to increase the brightness by lighting the flash only at the moment of imaging, instead of continuously lighting the lighting unit. Further, since the light emission pattern cannot be switched by the means of continuous lighting, it is not possible to realize the deflation metrics processing or the multispectral synthesis processing.
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、検査用画像を得るための照明回数及び撮像回数が多くなる場合であっても照明タイミングと撮像タイミングとのずれを極めて小さくできるようにして検査の更なる高速化を実現することにある。 The present invention has been made in view of this point, and an object of the present invention is a deviation between the illumination timing and the imaging timing even when the number of illuminations and the number of imagings for obtaining an inspection image are large. The purpose is to realize a further speedup of inspection by making it extremely small.
上記目的を達成するために、本発明では、一方向に移動する検査対象物を撮像した画像を用いて検査対象物の欠陥を検査する画像検査装置において、周期的な照度分布を有するパターン光を検査対象物に照射するためのパターン光照明部と、ライン状に配列された複数の受光素子を有するとともに該受光素子の配列方向が検査対象物の移動方向と直交する方向となるように設置可能なラインカメラを有する撮像部と、照度分布の位相を上記受光素子の配列方向及び検査対象物の移動方向の少なくともいずれか一方にシフトさせた複数のパターン光を生成して検査対象物に順次照射し、当該パターン光が照射されるタイミングで検査対象物を撮像して複数の輝度画像を得るように上記パターン光照明部及び上記撮像部を制御する撮像制御部と、デフレクトメトリの原理に基づいて上記撮像部が撮像した上記複数の輝度画像から検査対象物の表面の位相データを生成し、当該位相データに基づいて検査対象物の形状を示す検査用画像を生成する画像生成部と、上記画像生成部により生成された検査用画像に基づいて検査対象物の欠陥検査を実行する検査部とを備え、上記撮像制御部は、外部からの一のエンコーダパルス信号を受け付け可能に構成されるとともに、当該エンコーダパルス信号を受け付けると、上記パターン光照明部の照明条件及び上記撮像部の撮像条件の少なくとも一方を変化させて上記複数の輝度画像が生成されるように、上記撮像部に対して複数の撮像トリガ信号を順次送信するように構成することができる。 In order to achieve the above object, in the present invention, in an image inspection device that inspects a defect of an inspection object by using an image of an inspection object moving in one direction, a pattern light having a periodic illuminance distribution is used. It has a pattern light illuminance unit for irradiating the inspection object and a plurality of light receiving elements arranged in a line, and can be installed so that the arrangement direction of the light receiving elements is orthogonal to the moving direction of the inspection object. Generates a plurality of pattern lights in which the phase of the illuminance distribution is shifted to at least one of the arrangement direction of the light receiving elements and the movement direction of the inspection target, and sequentially irradiates the inspection target. Then, based on the pattern light illumination unit, the image control unit that controls the image pickup unit, and the principle of deflection metric so that the inspection object is imaged at the timing when the pattern light is irradiated to obtain a plurality of illuminance images. An image generation unit that generates phase data on the surface of the inspection object from the plurality of illuminance images captured by the imaging unit, and generates an inspection image showing the shape of the inspection object based on the phase data, and the above. It is provided with an inspection unit that executes defect inspection of the inspection object based on the inspection image generated by the image generation unit, and the imaging control unit is configured to be able to receive one encoder pulse signal from the outside. When the encoder pulse signal is received, at least one of the illumination condition of the pattern light illumination unit and the imaging condition of the imaging unit is changed to generate a plurality of brightness images with respect to the imaging unit. It can be configured to sequentially transmit the imaging trigger signals of.
この構成によれば、撮像制御部がエンコーダパルス信号を受け付けると、撮像部に複数の撮像トリガ信号を順次送信する。撮像部は、撮像トリガ信号を受信すると撮像を開始し、また、照明部は撮像制御部により制御され、これにより、複数の輝度画像が生成される。撮像部には、複数の撮像トリガ信号が順次送信されるので、撮像トリガ信号を受信する都度、撮像タイミングのずれが解消される。したがって、複数の輝度画像を生成する際に照明回数及び撮像回数が多くなったとしても、撮像タイミングと照明タイミングとのずれを極めて小さな状態で維持することができる。 According to this configuration, when the imaging control unit receives the encoder pulse signal, a plurality of imaging trigger signals are sequentially transmitted to the imaging unit. When the image pickup unit receives the image pickup trigger signal, the image pickup unit starts image pickup, and the illumination unit is controlled by the image pickup control unit, whereby a plurality of luminance images are generated. Since a plurality of imaging trigger signals are sequentially transmitted to the imaging unit, the deviation of the imaging timing is eliminated each time the imaging trigger signal is received. Therefore, even if the number of illuminations and the number of imagings increase when a plurality of luminance images are generated, the deviation between the imaging timing and the illumination timing can be maintained in an extremely small state.
また、上記撮像制御部は、外部からの一のエンコーダパルス信号を受け付けると、上記パターン光照明部に対して複数の照明トリガ信号を上記撮像トリガ信号と同期させて順次送信するように構成することができる。 Further, when the image pickup control unit receives one encoder pulse signal from the outside, the image pickup control unit is configured to sequentially transmit a plurality of illumination trigger signals to the pattern light illumination unit in synchronization with the image pickup trigger signal. Can be done.
また、上記撮像制御部は、外部からの一のエンコーダパルス信号を受け付けると、上記撮像部に対して複数の撮像トリガ信号を照明トリガ信号と同期させて順次送信するように構成することができる。 Further, the image pickup control unit can be configured to receive a single encoder pulse signal from the outside and sequentially transmit a plurality of image pickup trigger signals to the image pickup unit in synchronization with the illumination trigger signal.
また、上記パターン光照明部は、周期的な照度分布を有するパターン光を検査対象物に照射するように構成され、上記撮像制御部は、照度分布の位相を上記受光素子の配列方向及び検査対象物の移動方向の少なくとも一方向にシフトさせた複数のパターン光を生成して検査対象物に順次照射し、当該パターン光が照射されるタイミングで検査対象物を撮像して複数の輝度画像を得るように上記パターン光照明部及び上記撮像部を制御するように構成することができる。 Further, the pattern light illumination unit is configured to irradiate the inspection object with pattern light having a periodic illuminance distribution, and the imaging control unit sets the phase of the illuminance distribution to the arrangement direction of the light receiving elements and the inspection target. A plurality of pattern lights shifted in at least one direction of the moving direction of the object are generated and sequentially irradiated to the inspection object, and the inspection object is imaged at the timing when the pattern light is irradiated to obtain a plurality of luminance images. As described above, the pattern light illumination unit and the image pickup unit can be configured to be controlled.
また、上記パターン光照明部は、検査対象物に対して互いに異なる方向から光を照射するように構成され、上記撮像制御部は、検査対象物に対して互いに異なる方向から光を順次照射させ、当該光が照射されるタイミングで検査対象物を撮像して複数の輝度画像を得るように上記パターン光照明部及び上記撮像部を制御するように構成することができる。 Further, the pattern light illumination unit is configured to irradiate the inspection object with light from different directions, and the imaging control unit sequentially irradiates the inspection object with light from different directions. The pattern light illumination unit and the image pickup unit can be configured to control the pattern light illumination unit and the image pickup unit so as to image an inspection object at the timing of irradiation of the light and obtain a plurality of luminance images.
また、上記パターン光照明部は、波長が異なる光を検査対象物に照射するように構成され、上記撮像制御部は、波長が異なる光を検査対象物に照射させ、当該光が照射されるタイミングで検査対象物を撮像して複数の輝度画像を得るように上記パターン光照明部及び上記撮像部を制御するように構成することができる。 Further, the pattern light illumination unit is configured to irradiate the inspection object with light having a different wavelength, and the imaging control unit irradiates the inspection object with light having a different wavelength, and the timing at which the light is irradiated. The pattern light illumination unit and the image pickup unit can be controlled so as to obtain a plurality of luminance images by imaging the inspection target object.
また、上記撮像制御部は、明るさが異なる複数の輝度画像を得るように上記パターン光照明部及び上記撮像部を制御するように構成され、上記画像生成部は、明るさが異なる複数の輝度画像を合成して各輝度画像のダイナミックレンジよりも広いダイナミックレンジを有する検査用画像を生成するように構成することができる。 Further, the image pickup control unit is configured to control the pattern light illumination unit and the image pickup unit so as to obtain a plurality of luminance images having different brightness, and the image generation unit has a plurality of luminances having different brightness. The images can be combined to generate an inspection image having a dynamic range wider than the dynamic range of each luminance image.
また、上記パターン光照明部の照明条件を記憶する照明条件記憶部が上記パターン光照明部に組み込まれており、上記パターン光照明部は、上記照明トリガ信号を受信すると、上記照明条件記憶部に記憶された照明条件に従って検査対象物を照明することができる。 Further, a lighting condition storage unit for storing the lighting conditions of the pattern light illumination unit is incorporated in the pattern light illumination unit, and when the pattern light illumination unit receives the illumination trigger signal, the illumination condition storage unit stores the illumination conditions. The inspection object can be illuminated according to the stored illumination conditions.
本発明によれば、撮像部に複数の撮像トリガ信号を順次送信するようにしたので、検査用画像を得るための照明回数及び撮像回数が多くなる場合であっても照明タイミングと撮像タイミングとのずれを極めて小さくすることができ、これにより、検査の更なる高速化を実現できる。 According to the present invention, since a plurality of imaging trigger signals are sequentially transmitted to the imaging unit, the illumination timing and the imaging timing can be determined even when the number of illuminations and the number of imagings for obtaining an inspection image are large. The deviation can be made extremely small, which can further speed up the inspection.
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. It should be noted that the following description of the preferred embodiment is essentially merely an example and is not intended to limit the present invention, its application or its use.
(実施形態1)
(画像検査装置1の全体構成)
図1は、本発明の実施形態に係る画像検査装置1の運用状態を模式的に示すものである。画像検査装置1は、一方向に移動するワークW(検査対象物)を撮像した画像を用いてワークWの欠陥を検査するように構成されており、具体的には、複数のパターン光をワークWに対して照射するパターン光照明を実行するパターン光照明部2と、撮像部3と、制御ユニット4と、表示部5と、キーボード6及びマウス7とを少なくとも備えているが、これら以外の機器を備えることもできる。たとえば、制御ユニット4には、プログラマブル・ロジック・コントローラ(PLC)等からなる外部制御機器8が接続されている。この外部制御機器8は、画像検査装置1の一部を構成するものとしてもよい。また、外部制御機器8は、画像検査装置1の構成要素としなくてもよい。
(Embodiment 1)
(Overall configuration of image inspection device 1)
FIG. 1 schematically shows an operating state of the
図1では、複数のワークWが搬送用ベルトコンベアBの上面に載置された状態で図1における白抜き矢印で示す方向へ搬送されている場合を示している。ワークWは検査対象物である。外部制御機器8は、搬送用ベルトコンベアB及び画像検査装置1をシーケンス制御するための機器であり、汎用のPLCを利用することができる。
FIG. 1 shows a case where a plurality of works W are transported in the direction indicated by the white arrow in FIG. 1 in a state of being placed on the upper surface of the transport belt conveyor B. Work W is an object to be inspected. The
尚、この実施形態の説明では、搬送用ベルトコンベアBによるワークWの搬送方向(ワークWの移動方向)をY方向とし、搬送用ベルトコンベアBの平面視でY方向に直交する方向をX方向とし、X方向及びY方向に直交する方向(搬送用ベルトコンベアBの上面に直交する方向)をZ方向と定義するが、これは説明の便宜を図るために定義するだけである。 In the description of this embodiment, the transport direction of the work W by the transport belt conveyor B (moving direction of the work W) is the Y direction, and the direction orthogonal to the Y direction in the plan view of the transport belt conveyor B is the X direction. The direction orthogonal to the X direction and the Y direction (the direction orthogonal to the upper surface of the transport belt conveyor B) is defined as the Z direction, but this is defined only for convenience of explanation.
画像検査装置1は、ワークWの外観検査、即ちワークWの表面の傷、汚れ、打痕等の欠陥の有無を検査する場合に使用することができるものである。画像検査装置1は、その運用時において、外部制御機器8から信号線を介して、欠陥検査の開始タイミングを規定する検査開始トリガ信号を受信する。画像検査装置1は、この検査開始トリガ信号に基づいてワークWの撮像及び照明等を行って所定の処理後、検査用画像を得る。その後、検査結果は、信号線を介して外部制御機器8へ送信される。このように、画像検査装置1の運用時には、画像検査装置1と外部制御機器8との間で、信号線を介して検査開始トリガ信号の入力と検査結果の出力が繰り返し行われる。なお、検査開始トリガ信号の入力や検査結果の出力は、上述したように、画像検査装置1と外部制御機器8との間の信号線を介して行ってもよいし、それ以外の図示しない信号線を介して行ってもよい。例えば、ワークWの到着を検知するためのセンサと画像検査装置1とを直接的に接続し、そのセンサから画像検査装置1へ検査開始トリガ信号を入力するようにしてもよい。
The
また、画像検査装置1は、専用のハードウェアで構成する他、汎用の機器にソフトウェアをインストールしたもの、たとえば汎用もしくは専用のコンピュータに画像検査プログラムをインストールした構成としてもよい。以下の例では、グラフィックボードなどのハードウェアを画像検査処理に特化させた専用のコンピュータに、画像検査プログラムをインストールした構成とした場合について説明する。
In addition to being configured with dedicated hardware, the
(パターン光照明部2の構成)
パターン光照明部2は、周期的な照度分布を有するパターン光をワークWに照射するためのものであり、たとえば複数の発光ダイオード、液晶パネル、有機ELパネル、デジタルマイクロミラーデバイス(DMD)等で構成することができ、単に照明部と呼ぶこともできる。液晶パネル、有機ELパネル、DMDについては図示しないが、従来から周知の構造のものを用いることができる。パターン光照明部2は、制御ユニット4に対して信号線100aを介して接続されており、撮像部3及び制御ユニット4から離して設置することができるようになっている。
(Structure of pattern light illumination unit 2)
The pattern
パターン光照明部2に複数の発光ダイオードを用いる場合には、複数の発光ダイオードをドットマトリクス状に配置して電流値制御によって周期的な照度分布を有するパターン光を生成することができる。液晶パネル及び有機ELパネルの場合は、各パネルを制御することで各パネルから照射される光が周期的な照度分布を有するパターン光となるようにすることができる。デジタルマイクロミラーデバイスの場合は、内蔵された微小鏡面を制御することで周期的な照度分布を有するパターン光を生成して照射することができる。尚、パターン光照明部2の構成は上述したものに限られるものではなく、周期的な照度分布を有するパターン光を生成することができる機器や装置等であれば使用することができる。
When a plurality of light emitting diodes are used for the pattern
以下、パターン光照明部2に複数の発光ダイオードを用いる場合について詳細に説明する。この場合、パターン光照明部2は、2次元状に配置された複数の発光ダイオード20、21を基板23aに実装してなる発光部23(図3に示す)と、発光ダイオード20、21から照射された光を拡散させる拡散部材24(図1、図5A、図5Bに示す)とを備えている。発光部23は全体として略矩形状をなしている。発光部23の発光面は、該発光部23のX方向の中央部を通ってY方向に延びる仮想区画線J1と、発光部23のY方向の中央部を通ってX方向に延びる仮想区画線J2とによって仮想的に第1〜第4領域S1〜S4に分けることができるようになっている。第1〜第4領域S1〜S4は全て同じ大きさの略矩形状である。各領域S1〜S4をブロックと呼ぶこともでき、1ブロックは、LEDが12個×12列×2方向からなる。
Hereinafter, a case where a plurality of light emitting diodes are used for the pattern
第1領域S1には、図4Aに示すようにY方向に等間隔に並ぶように配置されて直列接続された複数の発光ダイオード20からなる12列の第1発光ダイオード列A1〜A12と、図4Bに示すようにX方向に等間隔に並ぶように配置されて直列接続された複数の発光ダイオード21からなる12列の第2発光ダイオード列B1〜B12とが形成されている。図3に示すように、第1領域S1における第1発光ダイオード列A1〜A12の並び方向はX方向であり、互いに平行に配置されている。各第1発光ダイオード列A1〜A12には、個別に電力が供給されるようになっている。
In the first region S1, as shown in FIG. 4A, there are 12 rows of first light emitting diode rows A1 to A12 composed of a plurality of
図3に示すように、第1領域S1における第2発光ダイオード列B1〜B12の並び方向はY方向であり、互いに平行に配置されている。各第2発光ダイオード列B1〜B12には、個別に電力が供給されるようになっている。 As shown in FIG. 3, the second light emitting diode rows B1 to B12 in the first region S1 are arranged in the Y direction and are arranged parallel to each other. Electric power is individually supplied to the second light emitting diode rows B1 to B12.
第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12は、第1領域S1内で互いに交差するように配置されることになる。第1発光ダイオード列A1〜A12を構成する発光ダイオード20と、第2発光ダイオード列B1〜B12を構成する発光ダイオード21とが、光の照射方向には重ならないように配置されている。これにより、第1領域S1内で複数の発光ダイオード20、21がドットマトリクス状に配置されることになる。
The first light emitting diode rows A1 to A12 and the second light emitting diode rows B1 to B12 are arranged so as to intersect each other in the first region S1. The
12個の発光ダイオード20、21を直列に接続して各列A1〜A12、B1〜B12を構成しているので、発光ダイオード20、21毎に制御線を設けることなく、制御線は各列に1組で済む。また、第2領域S2、第3領域S3及び第4領域S4の各領域も第1領域S1と同様に、第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12が互いに交差するように配置されている。つまり、この実施形態では、発光ダイオード20、21の数を増やして発光部23の光源を緻密に配置しながら、制御対象となる発光ダイオード列は、第1領域S1の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12と、第2領域S2の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12と、第3領域S3の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12と、第4領域S4の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12の合計96列分(12列×2×4領域)の制御で済む。
Since 12
第1領域S1の第2発光ダイオード列B1〜B12と、第2領域S2の第2発光ダイオード列B1〜B12とは、それぞれ、X方向に延びる同一直線上に並ぶように配置されている。第3領域S3の第2発光ダイオード列B1〜B12と、第4領域S4の第2発光ダイオード列B1〜B12とは、それぞれ、X方向に延びる同一直線上に並ぶように配置されている。 The second light emitting diode rows B1 to B12 in the first region S1 and the second light emitting diode rows B1 to B12 in the second region S2 are arranged so as to be aligned on the same straight line extending in the X direction, respectively. The second light emitting diode rows B1 to B12 in the third region S3 and the second light emitting diode rows B1 to B12 in the fourth region S4 are arranged so as to be aligned on the same straight line extending in the X direction, respectively.
また、第1領域S1の第1発光ダイオード列A1〜A12と、第3領域S2の第1発光ダイオード列A1〜A12とは、それぞれ、Y方向に延びる同一直線上に並ぶように配置されている。第2領域S2の第1発光ダイオード列A1〜A12と、第4領域S4の第1発光ダイオード列A1〜A12とは、それぞれ、Y方向に延びる同一直線上に並ぶように配置されている。 Further, the first light emitting diode rows A1 to A12 in the first region S1 and the first light emitting diode rows A1 to A12 in the third region S2 are arranged so as to be aligned on the same straight line extending in the Y direction, respectively. .. The first light emitting diode rows A1 to A12 in the second region S2 and the first light emitting diode rows A1 to A12 in the fourth region S4 are arranged so as to be aligned on the same straight line extending in the Y direction, respectively.
図5A、図5B等に示す拡散部材24は、第1〜第4領域S1〜S4の発光ダイオード20、21の全てを覆うことができるように配置された透光性板材で構成されている。拡散部材24を構成する板材は周知のものを用いることができ、入射した光を拡散させて出射させることができる。
The
第1〜第4領域S1〜S4の第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12に流す電流値を個別に制御することで、図5Aに示すようにY方向に照度が変化してX方向には照度が均一なY方向パターン光と、図5Bに示すようにX方向に照度が変化してY方向には照度が均一なX方向パターン光とを生成することができる。発光ダイオード20、21が上述のようにドットマトリクス状に配置されているので、発光部23においては、光源が点状に配置されることになるが、拡散部材24を設けることで、各発光ダイオード20、21の光が拡散して外部に照射されることになり、各図に示すように外部から見ると照度が徐々に変化したパターン光にすることができる。
By individually controlling the current values flowing through the first light emitting diode rows A1 to A12 and the second light emitting diode rows B1 to B12 in the first to fourth regions S1 to S4, the illuminance can be increased in the Y direction as shown in FIG. 5A. It is possible to generate a Y-direction pattern light that changes and has a uniform illuminance in the X direction, and an X-direction pattern light that changes in the X direction and has a uniform illuminance in the Y direction as shown in FIG. 5B. .. Since the
また、各発光ダイオード20、21の制御としては、たとえばPWM制御や電流値による制御(電流値制御)があるが、電流値制御とするのが特に好ましい。電流値制御とすることで、発光ダイオード20、21が持っている応答速度の速さを十分に活かした素早い照度変化を実現でき、たとえば、あるパターン光を別のパターン光に切り替える時間間隔を2μ秒程度の短い間隔にすることができる。
Further, as the control of the
尚、全ての発光ダイオード20、21に同じ電流値の電流を流すことで照度分布が面内で均一な光を照射することもできる。全ての発光ダイオード20、21に流す電流値を同じにして変化させていくと、暗い面発光状態から明るい面発光状態まで発光状態を変化させることができる。
By passing a current having the same current value through all the
図5Aに示すY方向パターン光の場合、明暗がY方向に変化しているので、縞模様がY方向に繰り返されるパターン光という表現とすることもできる。Y方向パターン光を生成する場合に、照度分布の位相をY方向にシフトさせることにより、照度分布の位相が異なった複数のY方向パターン光を生成することができる。Y方向パターン光の照度分布をsin波形に近似した波形で表すこともでき、この場合、たとえば位相を90゜ずつ変化させて、0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光を生成することができる。 In the case of the Y-direction pattern light shown in FIG. 5A, since the light and darkness changes in the Y direction, it can be expressed as a pattern light in which the striped pattern is repeated in the Y direction. When generating the Y-direction pattern light, by shifting the phase of the illuminance distribution in the Y direction, it is possible to generate a plurality of Y-direction pattern lights having different phases of the illuminance distribution. The illuminance distribution of the Y-direction pattern light can also be represented by a waveform similar to the sin waveform. In this case, for example, the phase is changed by 90 °, and the Y-direction pattern light in the case of 0 ° and the Y-direction in the case of 90 °. It is possible to generate a pattern light, a Y-direction pattern light in the case of 180 °, and a Y-direction pattern light in the case of 270 °.
また、図5Bに示すX方向パターン光の場合、明暗がX方向に変化しているので、縞模様がX方向に繰り返されるパターン光という表現とすることもできる。X方向パターン光を生成する場合に、照度分布の位相をX方向にシフトさせることにより、照度分布の位相が異なった複数のX方向パターン光を生成することができる。X方向パターン光の照度分布をsin波形に近似した波形で表すこともでき、この場合、たとえば位相を90゜ずつ変化させて、0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光を生成することができる。つまり、パターン光照明部2は、異なる照明態様でワークWを照明することができる。
Further, in the case of the X-direction pattern light shown in FIG. 5B, since the light and darkness changes in the X direction, it can be expressed as a pattern light in which the striped pattern is repeated in the X direction. When generating the X-direction pattern light, by shifting the phase of the illuminance distribution in the X direction, it is possible to generate a plurality of X-direction pattern lights having different phases of the illuminance distribution. The illuminance distribution of the X-direction pattern light can also be represented by a waveform similar to the sin waveform. In this case, for example, the phase is changed by 90 °, and the X-direction pattern light in the case of 0 ° and the X-direction in the case of 90 °. It is possible to generate a pattern light, an X-direction pattern light in the case of 180 °, and an X-direction pattern light in the case of 270 °. That is, the pattern
後述するデフレクトメトリ処理を行う場合、ワークWに照射するパターン光はsin波形だけでなく、三角波等のパターン光でも可能である。 When performing the deflection metering process described later, the pattern light to irradiate the work W can be not only a sine waveform but also a pattern light such as a triangular wave.
また、発光部23の一辺の長さは、たとえば100mmに設定することができる。100mm四方の内側に発光ダイオード20、21が縦24個、横24個配置されることになる。発光ダイオード20、21を電流値制御することで、高速にかつ高階調のパターン光を生成することができる。尚、発光部23の一辺の長さ、発光ダイオード20、21の数、列の数、発光部23の領域の数は一例であり、特に限定されるものではない。パターン光の照度分布をsin波形に近似した波形で表すことができる場合、発光部23の一辺の長さをsin波形の一波長分とすることができる。
Further, the length of one side of the
(撮像部3の構成)
図2に示すように、撮像部3は、ライン状に配列された複数の受光素子3aを有するとともに該受光素子3aの配列方向がワークWの移動方向(Y方向)と直交する方向(X方向)となるように設置可能なラインカメラ31と、集光系光学系32とを有している。受光素子3aは、集光系光学系32を通して得られた光の強度を電気信号に変換するCCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子からなるイメージセンサである。集光系光学系32は、外部から入射する光を集光するための光学系であり、典型的には一以上の光学レンズを有している。
(Structure of Imaging Unit 3)
As shown in FIG. 2, the
撮像部3は、制御ユニット4に対して、パターン光照明部2の信号線100aとは別の信号線100bを介して接続されており、パターン光照明部2及び制御ユニット4から離して設置することができるようになっている。つまり、撮像部3は、パターン光照明部2とは独立して設置可能に構成されている。パターン光照明部2の信号線100aから撮像部3の信号線100bを分岐させてもよい。
The
撮像部3には、制御ユニット4の制御部41から送信される撮像トリガ信号が信号線100bを介して入力されるようになっている。撮像部3は、撮像トリガ信号を受信したら、その都度、撮像を実行するように構成されている。撮像トリガ信号については後述する。
An imaging trigger signal transmitted from the
図1に示すように、平面形のワークWの場合、パターン光照明部2からワークWの表面に向けて照射されたパターン光が該ワークWの表面で反射して撮像部3の集光系光学系32に入射するように、撮像部3とパターン光照明部2との位置関係を設定することができる。
As shown in FIG. 1, in the case of a flat work W, the pattern light emitted from the pattern
また、図6Aに示すように、ワークWが円柱状の部材である場合にも、パターン光照明部2からワークWの表面に向けて照射されたパターン光が該ワークWの表面で反射して撮像部3の集光系光学系32に入射するように、撮像部3とパターン光照明部2との位置関係を設定することができる。
Further, as shown in FIG. 6A, even when the work W is a columnar member, the pattern light emitted from the pattern
また、図6Bに示すように、ワークWが透明フィルムやシートのように透光性を有する部材である場合、パターン光照明部2からワークWの表面に向けて照射されたパターン光が該ワークWを透過して撮像部3の集光系光学系32に入射するように、撮像部3とパターン光照明部2との位置関係を設定することができる。
Further, as shown in FIG. 6B, when the work W is a transparent member such as a transparent film or a sheet, the pattern light emitted from the pattern
上記したいずれの場合も、ワークWの表面で反射した正反射成分が撮像部3の集光系光学系32に入射するように、パターン光照明部2と撮像部3とを配置する。
In any of the above cases, the pattern
図1に示す撮像部3とパターン光照明部2との位置関係及び図6Aに示す撮像部3とパターン光照明部2との位置関係は、それぞれ、パターン光照明部2から照射されてワークWで反射されたパターン光をラインカメラ31の受光素子3aが受光する反射光受光の位置関係である。
The positional relationship between the
一方、図6Bに示す撮像部3とパターン光照明部2との位置関係は、パターン光照明部2から照射されて検査対象物を透過したパターン光をラインカメラ31の受光素子3aが受光する透過光受光の位置関係である。この場合、パターン光の反射回数は0回になる。
On the other hand, the positional relationship between the
反射光受光の位置関係ではパターン光の反射回数は1回になり、透過光受光の位置関係ではパターン光の反射回数は0回になる。また、撮像部3にラインカメラ31ではなく、エリアカメラ(受光素子がX方向とY方向に並ぶように配置されたカメラ)を用いることもでき、このエリアカメラの場合は、同軸照明という形態も可能である。この場合、反射光設置とするのにハーフミラーでの反射が加わるため、反射回数は2回となる。パターン光の反射回数を使用者に入力させることによって、反射光受光の位置関係にあるか否か、透過光受光の位置関係にあるか否かを判定することもできる。
In the positional relationship of receiving reflected light, the number of times of reflection of the pattern light is 1, and in the positional relationship of receiving transmitted light, the number of times of reflection of the pattern light is 0. Further, instead of the
図2に示すように、撮像部3には、LEDポインタ34が設けられている。LEDポインタ34は、集光系光学系32の軸方向にポインタ光を照射するためのものであり、制御ユニット4からの制御信号によって照射状態と非照射状態とに切り替えることもできるように構成されている。ポインタ光の照射形態の例としては、たとえば図8に示すように、ラインカメラ31の上下方向を確認するための形態にすることができる。図8では、ラインカメラ31の上側と下側とにポインタ光をそれぞれ照射し、上側を連続点灯、下側を点滅させている。ポインタ光はどのような形態であってよく、たとえば文字等をポインタ光とすることもできる。ラインカメラ31を受光側から見て受光素子3aの配列方向と直交する方向をラインカメラ31の上下方向とすることができる。
As shown in FIG. 2, the
また、図2に示すように、撮像部3には、重力加速度を検出する重力加速度センサ35が設けられている。重力加速度センサ35は、撮像部3の姿勢(集光系光学系32の軸方向と水平面とのなす角度、集光系光学系32の軸方向と鉛直面とのなす角度等)を把握するためのものであり、重力加速度センサ35の出力値を利用して従来から周知の手法に従って撮像部3の姿勢をほぼリアルタイムで得ることができる。
Further, as shown in FIG. 2, the
(表示部5の構成)
表示部5は、たとえば有機ELディスプレイや液晶ディスプレイ等からなるものである。表示部5は、制御ユニット4に接続され、たとえば、撮像部3で撮像された画像、撮像部3で撮像した画像に基づいて生成された各種画像、ワークWの欠陥検査結果、操作用のインターフェース、各種設定用のインターフェース、設定値等を表示させることができるように構成されている。表示部5には、一度に複数の検査用画像等を表示させることもできるようになっている。
(Structure of display unit 5)
The
表示部5をタッチパネルとすることで、表示部5に各種情報の入力機能を持たせることができる。
By using the
(キーボード6及びマウス7の構成)
キーボード6及びマウス7は、従来から周知のコンピュータ操作用の機器であり、制御ユニット4が有する入力情報受付部44(図2に示す)に接続されている。キーボード6またはマウス7の操作により、各種情報を制御ユニット4に入力することができるとともに、表示部5に表示されている画像等を選択することができる。
(Structure of
The
具体的には、キーボード6またはマウス7の操作により、ラインカメラ31の受光素子3aの配列方向に対するワークWの移動方向に関する移動方向情報と、ラインカメラ31の受光素子3aとパターン光照明部2との位置関係に関する位置関係情報とを入力情報受付部44に入力すると、入力情報受付部44が入力された移動方向情報及び位置関係情報を受け付けることができるようになっている。キーボード6、マウス7及び入力情報受付部44は、本発明の情報取得部9である。
Specifically, by operating the
移動方向情報は、図1に例示しているワークWの移動方向であり、白抜きの矢印の方向か、白抜きの矢印とは反対方向かのいずれかとすることができる。この移動方向情報には、ラインカメラ31を受光側から見て受光素子3aの配列方向と直交する方向をラインカメラ31の上下方向としたとき、ラインカメラ31の上下方向と、ワークWの移動方向とを含むことができる。また、位置関係情報は、上述した反射光受光の位置関係と、透過光受光の位置関係とを含んでいる。
The movement direction information is the movement direction of the work W illustrated in FIG. 1, and can be either the direction of the white arrow or the direction opposite to the white arrow. The movement direction information includes the vertical direction of the
尚、キーボード6及びマウス7の代わり、またはキーボード6及びマウス7に加えて、たとえば、音声入力機器、タッチ操作パネル等のコンピュータ操作用の機器を使用することもできる。
Instead of the
(制御ユニット4の構成)
制御ユニット4は、画像検査装置1の各部を制御するためのユニットであり、CPUやMPU、システムLSI、DSPや専用ハードウェア等で構成することができる。制御ユニット4は、後述するように様々な機能を搭載しているが、これらは論理回路によって実現されていてもよいし、ソフトウェアを実行することによって実現されていてもよい。
(Configuration of control unit 4)
The
図2に示すように、制御ユニット4は、フィルタ処理部40と、制御部41と、画像生成部42と、UI生成部43と、入力情報受付部44と、画像解析部45と、操作受付部46と、表示制御部47と、位置指定受付部48と、設定部49とを有している。制御ユニット4には、記憶装置10が接続されている。記憶装置10は、画像検査装置1の構成要素の一部とすることもできるし、画像検査装置1とは別の装置とすることもできる。記憶装置10は、半導体メモリやハードディスク等で構成することができる。また、記憶装置10には、CD−ROMやDVD−ROM等の各種記憶媒体に記憶されている情報を読み取り可能な読み取り装置を設けることもできる。
As shown in FIG. 2, the
(UI生成部43の構成)
UI生成部43は、表示部5に表示させる各種インターフェースを生成するための部分であり、このUI生成部43で生成された各種インターフェースは、制御ユニット4から表示部5に出力されて表示部5に表示される。
(Structure of UI generation unit 43)
The
UI生成部43で生成されるインターフェースは、たとえば図7に示す照明設置方法選択用インターフェース50、図8に示すカメラ上下確認用インターフェース51、図9に示すカメラ姿勢確認用インターフェース52、図10に示すワーク移動方向選択用インターフェース53、図11に示す照明方向選択用インターフェース54がある。インターフェース50〜54は、画像検査装置1を運用する前に行われる該画像検査装置1の設定時に表示部5に表示される。
The interfaces generated by the
図7に示す照明設置方法選択用インターフェース50は、ラインカメラ31の受光素子3aとパターン光照明部2との位置関係情報を入力するためのインターフェースであり、受光素子3aとパターン光照明部2との位置関係が、反射光受光の位置関係と、透過光受光の位置関係とのいずれであるかを入力可能に構成されている。照明設置方法選択用インターフェース50には、反射光受光の位置関係を模式的に示すための反射光設置イラスト50aと、透過光受光の位置関係を模式的に示すための透過光設置イラスト50bが表示されている。使用者は、表示部5に表示されている反射光設置イラスト50a及び透過光設置イラスト50bを見て、実際の現場に設置されている受光素子3aとパターン光照明部2との位置関係と同じ位置関係になっているイラストをマウス7等で選択すればよいので、入力間違いが起こりにくくなる。使用者の入力操作は、入力内容が入力情報受付部44によって受け付けられる。これにより、位置関係情報を容易にかつ誤ることなく入力することができる。
The illumination installation
図8に示すカメラ上下確認用インターフェース51は、ラインカメラ31の上下方向を確認するためのインターフェースである。撮像部3のLEDポインタ34からポインタ光を照射したときに、点滅する側がラインカメラ31の下側であることが使用者に分かるように、ポインタ光を含むイラスト50aが表示されるようになっている。また、どちら側がラインカメラ31の下側であるか文章で記載されている。
The camera
図9に示すカメラ姿勢確認用インターフェース52もラインカメラ31の上下方向を確認するためのインターフェースである。カメラ姿勢確認用インターフェース52には、撮像部3の重力加速度センサ35により得られた撮像部3の現在の姿勢を模式的に表示する姿勢表示領域52aが組み込まれている。姿勢表示領域52aには、撮像部3を背面から見たときの水平面に対する傾きを示す背面図52bと、撮像部3を側面から見たときの鉛直面に対する傾きを示す側面図52cと、撮像部3を上面から見たときの姿勢を示す上面図52dとが表示される。使用者は、姿勢表示領域52aに表示されている各図52b、52c、52dを見ることでラインカメラ31の上下方向を確認することができる。
The camera
図10に示すワーク移動方向選択用インターフェース53は、ワークWの移動方向を選択して入力するためのインターフェースである。ワーク移動方向選択用インターフェース53には、図8に示すカメラ上下確認用インターフェース51を組み込むことができる。ワーク移動方向選択用インターフェース53には、ラインカメラ31の下側(底面側)から上側に向かってワークWが移動する様子を示す上方向移動イラスト53aと、ラインカメラ31の上側から下側に向かってワークWが移動する様子を示す下方向移動イラスト53bとが表示されている。使用者は、表示部5に表示されているカメラ上下確認用インターフェース51を見てラインカメラ31の上下方向を把握した上で、上方向移動イラスト53aと、下方向移動イラスト53bとを見てワークWのラインカメラ31に対する移動方向を選択して入力することができる。
The work moving
図11に示す照明方向選択用インターフェース54は、ラインカメラ31とパターン光照明部2との位置関係を選択して入力するためのインターフェースである。照明方向選択用インターフェース54は、使用者がラインカメラ31の向き(上側または下側がどちらであるか)を知っていることを前提として表示することができるものであり、ラインカメラ31に対するパターン光照明部2の向きを複数のイラストの中から選択することができるように構成されている。
The illumination
すなわち、照明方向選択用インターフェース54には、パターン光照明部2をラインカメラ31に対して信号線100aが左側へ出るように配置した状態を示す第1のイラスト54aと、パターン光照明部2をラインカメラ31に対して信号線100aが上側へ出るように配置した状態を示す第2のイラスト54bと、パターン光照明部2をラインカメラ31に対して信号線100aが下側へ出るように配置した状態を示す第3のイラスト54cと、パターン光照明部2をラインカメラ31に対して信号線100aが右側へ出るように配置した状態を示す第4のイラスト54dとが表示されている。使用者は、表示部5に表示されている第1〜第4のイラスト54a〜54dを見て、実際の現場に設置されているラインカメラ31とパターン光照明部2との位置関係を選択して入力することができる。
That is, the illumination
UI生成部43で生成されるインターフェースは、図12に示すケーブル引き出し方向選択用インターフェース55を含むことができる。「ケーブル」とは、パターン光照明部2に接続されている信号線100aのことである。ケーブル引き出し方向選択用インターフェース55は、いわゆるプルダウンメニューボタンを含む形態として構成することができる。このケーブル引き出し方向選択用インターフェース55は、使用者がラインカメラ31の向き(上側または下側がどちらであるか)を知っていることを前提として表示することができるものであり、ラインカメラ31に対するパターン光照明部2の向きを複数の選択肢の中から選択することができるように構成されている。
The interface generated by the
すなわち、ケーブル引き出し方向選択用インターフェース55のプルダウンメニュー55aには、「基準方向」、「時計回りに90゜」、「時計回りに180゜」及び「時計回りに270゜」の4つの選択肢が含まれている(図12では「基準方向」のみ表示した状態となっている)。ここで、「基準方向」とは、図11に示す照明方向選択用インターフェース54の第1のイラスト54aで示す方向(左方向)に信号線100aが出るようにパターン光照明部2を配置した状態のときに選択する選択肢である。「時計回りに90゜」とは、上方向に信号線100aが出るようにパターン光照明部2を配置した状態のときに選択する選択肢である。「時計回りに180゜」とは、右方向に信号線100aが出るようにパターン光照明部2を配置した状態のときに選択する選択肢である。「時計回りに270゜」とは、下方向に信号線100aが出るようにパターン光照明部2を配置した状態のときに選択する選択肢である。各選択肢の表現は一例であり、上記した表現に限られるものではない。
That is, the pull-
(画像解析部45の構成)
図2に示す画像解析部45は、撮像部3で撮像された複数の画像を解析することにより、ラインカメラ31の受光素子3aとパターン光照明部2との位置関係に関する位置関係情報を取得するための部分であり、情報取得部9の一部とすることができる。
(Structure of image analysis unit 45)
The
具体的には、画像解析部45は、画像検査装置1を運用する前に行われる該画像検査装置1の設定時に、初めのステップとして、一方向に周期的な照度分布を有する第1のパターン光を照射した照射面を撮像した第1画像と、上記一方向に直交する方向に周期的な照度分布を有する第2のパターン光を照射した照射面を撮像した第2画像とを生成するように、パターン光照明部2及び撮像部3を制御する。照射面はワークWであってもよいし、他の部材であってもよい。
Specifically, the
初めのステップにおける第1のパターン光は、図13の左側に示すようにX方向に照度が変化するX方向パターン光とすることができ、図13の右側へ行くほど暗くなるパターン光としておく。第2のパターン光は、図13の右側に示すようにY方向に照度が変化するY方向パターン光とすることができ、図13の下側へ行くほど暗くなるパターン光としておく。 The first pattern light in the first step can be an X-direction pattern light whose illuminance changes in the X direction as shown on the left side of FIG. 13, and is set as a pattern light which becomes darker toward the right side of FIG. The second pattern light can be a Y-direction pattern light whose illuminance changes in the Y direction as shown on the right side of FIG. 13, and is set as a pattern light which becomes darker toward the lower side of FIG.
まず、図13の左側のX方向パターン光を任意の照射面に照射してX方向パターン光が照射されている照射面を撮像部3で撮像して第1画像を得る。第1画像は図14に示すように右側へ行くほど暗くなるグラデーションありの画像になったとする。その後、図13の右側のY方向パターン光を任意の照射面に照射してY方向パターン光が照射されている照射面を撮像部3で撮像して第2画像を得る。第2画像は図14に示すようにグラデーションなしの画像になったとする。受光素子3aの配列方向がX方向であるので、図14に示す第1画像及び第2画像が得られた場合には、図14の下側に示すように信号線100aが左方向に出るようにパターン光照明部2が配置されていると推定できる。尚、この関係は事前に定義しておけばよい。
First, the X-direction pattern light on the left side of FIG. 13 is irradiated to an arbitrary irradiation surface, and the irradiation surface irradiated with the X-direction pattern light is imaged by the
図15に示すように第1画像がグラデーションなしの画像で、第2画像が右側へ行くほど暗くなるグラデーションありの画像になった場合には、図15の下側に示すように信号線100aが上方向に出るようにパターン光照明部2が配置されていると推定できる。
When the first image is an image without gradation as shown in FIG. 15 and the second image is an image with gradation that becomes darker toward the right side, the
図16に示すように第1画像がグラデーションなしの画像で、第2画像が左側へ行くほど暗くなるグラデーションありの画像になった場合には、図16の下側に示すように信号線100aが下方向に出るようにパターン光照明部2が配置されていると推定できる。
When the first image is an image without gradation as shown in FIG. 16 and the second image is an image with gradation that becomes darker toward the left side, the
図17に示すように第1画像が左側へ行くほど暗くなるグラデーションありの画像で、第2画像がグラデーションなしの画像になった場合には、図17の下側に示すように信号線100aが右方向に出るようにパターン光照明部2が配置されていると推定できる。
As shown in FIG. 17, when the first image is an image with gradation that becomes darker toward the left side and the second image is an image without gradation, the
つまり、画像解析部45は撮像部3で撮像された第1画像及び第2画像を解析するステップを実行し、その結果、第1画像及び第2画像がグラデーションありの画像であるかグラデーションなしの画像であるかを得て、グラデーションありの画像の場合、どちら側に向かって暗くなっている(または明るくなっている)かを得ることによって受光素子3aとパターン光照明部2との位置関係情報を取得することができる。
That is, the
また、撮像部3にラインカメラ31ではなく、エリアカメラ(受光素子がX方向とY方向に並ぶように配置されたカメラ)を用いることもできる。このエリアカメラの場合、画像解析部45は、撮像部3で撮像された1枚の画像を解析することにより、エリアカメラとパターン光照明部2との位置関係情報を取得することができる。
Further, instead of the
具体的には、図18Aに示すように、パターン光照明部2からアルファベットの「R」を表示可能なパターン光を任意の照射面に照射してパターン光が照射されている照射面を撮像部3で撮像する。その結果、図18の最も上に記載されている「R」の画像が得られた場合には、信号線100aが左方向に出るようにパターン光照明部2が配置されていると推定できる。図18の上から2番目に記載されている「R」の画像が得られた場合には、信号線100aが上方向に出るようにパターン光照明部2が配置されていると推定できる。図18の上から3番目に記載されている「R」の画像が得られた場合には、信号線100aが右方向に出るようにパターン光照明部2が配置されていると推定できる。図18の最も下に記載されている「R」の画像が得られた場合には、信号線100aが下方向に出るようにパターン光照明部2が配置されていると推定できる。パターン光は「R」以外を示すものであってもよく、たとえば文字、記号、図形、それらの組み合わせ等であってもよい。
Specifically, as shown in FIG. 18A, the pattern
(情報取得部の他の形態)
図19に示すように、撮像部3に所定のマーク3cを設けておき、パターン光照明部2には4つの方向をそれぞれ示す左側記号A、下側記号B、右側記号C及び上側記号Dを設けておく。UI生成部43は図20に示す方向選択用インターフェース56を生成する。生成された方向選択用インターフェース56は表示部5に表示される。方向選択用インターフェース56には、左側記号A、下側記号B、右側記号C及び上側記号Dを選択できるプルダウンメニュー56aを設けておく。
(Other forms of information acquisition unit)
As shown in FIG. 19, a predetermined mark 3c is provided in the
使用者は、撮像部3のマーク3cがパターン光照明部2のどちら側に位置しているかを目視で確認した後、方向選択用インターフェース56のプルダウンメニュー56aにより、撮像部3のマーク3cが指す方向にある記号A〜Dを選択する。これにより、ラインカメラ31の受光素子3aとパターン光照明部2との位置関係情報を入力することができる。
After visually confirming to which side the pattern
(注意喚起機能)
図11の照明方向選択用インターフェース、図12のケーブル引き出し方向選択用インターフェース及び図20の方向選択用インターフェースを利用することで、使用者が受光素子3aとパターン光照明部2との位置関係情報を入力することができる。しかし、使用者が入力操作を誤ってしまうことや、そもそもラインカメラ31の上下方向を誤って認識している場合があり、使用者の入力結果が実際の設置状況と異なる場合が考えられる。
(Caution function)
By using the illumination direction selection interface of FIG. 11, the cable lead-out direction selection interface of FIG. 12, and the direction selection interface of FIG. 20, the user can obtain the positional relationship information between the
このことに対して、画像検査装置1に注意喚起機能を設けることができる。注意喚起機能は、図11の照明方向選択用インターフェース、図12のケーブル引き出し方向選択用インターフェース及び図20の方向選択用インターフェースを利用して使用者が受光素子3aとパターン光照明部2との位置関係情報を入力した後、図13〜図17に示す解析を行うか、エリアカメラの場合には図18に示す解析を行うことで、入力された位置関係情報が実際の設置状況と一致しているか否かを判定し、判定の結果、入力された位置関係情報が実際の設置状況と一致していない場合には、表示部5にたとえばメッセージを表示して使用者に再度確認及び入力を促す機能である。
In response to this, the
(制御部41の構成)
図2に示す制御部41は、パターン光照明部2及び撮像部3の制御を行うための撮像制御部である。具体的には、照度分布の位相を受光素子3aの配列方向及びワークWの移動方向の少なくとも一方向にシフトさせた複数のパターン光を生成してワークWに順次照射し、当該パターン光が照射されるタイミングでワークWにおけるパターン光の照射面を少なくとも含んだ領域を撮像して複数の輝度画像を得るように、パターン光照明部2及び撮像部3を制御する。複数の輝度画像を得る際、パターン光照明部2の照明条件及び撮像部3の撮像条件の両方を変化させてもよいし、一方のみ変化させてもよい。
(Structure of control unit 41)
The
パターン光照明部2の照明条件は、たとえば生成するパターン光の種類、複数のパターン光を生成する場合にパターン光の生成の順番、パターン光の明るさ(光の強度)等を含むことができる。生成するパターン光の種類としては、たとえば図5Aに示す4つのY方向パターン光及び図5Bに示す4つのX方向パターン光を少なくとも含むことができるが、これら以外にも、波長が異なるパターン光等を含むことができる。パターン光の生成の順番としては、図5Aに示す0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光の順番とし、その後、図5Bに示す0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光とすることができる。
The illumination conditions of the pattern
パターン光照明部2の照明条件は、記憶装置10に設けられている照明条件記憶部10aに記憶させておくことができる。また、パターン光照明部2に、パターン光照明部2の照明条件を記憶することが可能な照明条件記憶部2bを有する演算装置(field programmable gate array : FPGA)2aを組み込むことができる。FPGAに限定されるものではなく、FPGA以外の演算部と照明条件記憶部2bを組み込むことができる。
The illumination conditions of the pattern
撮像部3の撮像条件は、たとえば、撮像時のゲイン及び露光時間(シャッタースピード)の少なくとも一方を含んでいる。制御部41は撮像部3のゲイン及び露光時間を任意に変化させることができ、撮像部3は制御部41により設定されたゲイン及び露光時間で撮像を実行する。
The imaging condition of the
(トリガ信号の送信)
制御部41は、エンコーダパルス信号が外部から入力されたときに、エンコーダパルス信号を受け付けることが可能に構成されている。エンコーダパルス信号は、たとえば、搬送用ベルトコンベアBの回転軸に設けられたロータリエンコーダから出力されるパルス信号、外部制御機器8から出力されるパルス信号等、制御部41外で生成されたパルス信号である。
(Transmission of trigger signal)
The
制御ユニット4はトリガ信号送信部4bを有している。トリガ信号送信部4bは、制御部41の一部を構成するものとしてもよいし、制御部41とは別に構成してもよい。制御部41が外部からの一のエンコーダパルス信号を受け付けると、パターン光照明部2の照明条件及び撮像部3の撮像条件の少なくとも一方を変化させて複数の輝度画像が生成されるように、トリガ信号送信部4bが撮像部3に対して複数の撮像トリガ信号を順次送信するとともに、パターン光照明部2に対して複数の照明トリガ信号を送信するように構成されている。撮像部3に対してのみ複数の撮像トリガ信号を順次送信するように構成することもできる。
The
この実施形態では、上述したように、パターン光照明部2が8種類のパターン光を順次照射するので、図35に示すように、トリガ信号送信部4bは、外部からの一のエンコーダパルス信号EP1を受け付けると、撮像トリガ信号を8回(C1〜C8)送信する。その後、エンコーダパルス信号EP2を受け付けると、同じように撮像トリガ信号を8回送信する。
In this embodiment, as described above, the pattern
また、トリガ信号送信部4bは、外部からの一のエンコーダパルス信号を受け付けると、パターン光照明部2に対して複数の照明トリガ信号を撮像トリガ信号と同期させて順次送信するように構成されている。パターン光照明部2には、8種類のパターン光を順次照射させる必要があるので、トリガ信号送信部4bは、外部からの一のエンコーダパルス信号EP1を受け付けると、照明トリガ信号を8回(L1〜L8)送信する。その後、エンコーダパルス信号EP2を受け付けると、同じように照明トリガ信号を8回送信する。
Further, when the trigger
また、制御部41は、外部からの一のエンコーダパルス信号を受け付けると、撮像部3に対して複数の撮像トリガ信号を照明トリガ信号と同期させて順次送信するように構成することもできる。
Further, the
(パターン光照明部によるパターン光の生成)
パターン光照明部2は、発光ダイオード20、21に流す電流値をトリガ信号送信部4bから送信された照明トリガ信号に基づいて制御することにより、複数のパターン光を生成する。パターン光は周期的な照度分布を有しているので、その照度分布が得られるように、各発光ダイオード20、21に流す電流値は、生成するパターン光に応じてそれぞれ設定されている。各発光ダイオード20、21に流す電流値は、照明条件に相当しており、記憶装置10の照明条件記憶部10aに記憶させておくことができる。
(Generation of pattern light by pattern light illumination unit)
The pattern
照明条件は、パターン光照明部2の発光ダイオード20、21の照明タイミング情報(点灯時間、点灯間隔)、照明強度情報、照明パターン情報を含む照明設定データとすることができる。この照明設定データはいずれも、照明設定用のユーザインタフェースを表示部5に表示させ、使用者による調整を受け付けることができる。
The illumination condition can be illumination setting data including illumination timing information (lighting time, lighting interval), illumination intensity information, and illumination pattern information of the
点灯タイミング情報とは、照明トリガ信号を受けてから発光ダイオード20、21を点灯させておく点灯時間と、点灯させる発光ダイオード20、21を切り替える際に、先に点灯している発光ダイオード20、21を消灯させてから次の発光ダイオード20、21を点灯させるまでの点灯間隔(インターバル)とからなる。また、照明強度情報とは、発光ダイオード20、21の照明強度(明るさ)を示す情報であり、具体的には電流値を挙げることができる。また、照明パターン情報とは、sin波状パターンを規定する情報であり、例えば周期、位相シフト量(1回の位相シフトでどの程度シフトさせるか)を含む。照明パターンはsin波でなくてもよく、例えば矩形波等であってもよい。
The lighting timing information is the lighting time in which the
上記照明設定データの作成は、照明条件記憶部10aに対してキーボード6及びマウス7等の入力手段によって可能にしてもよい。
The lighting setting data may be created by input means such as a
照明条件記憶部10aはパターン光照明部2に設けられていてもよいし、撮像部3に設けられていてもよく、画像検査装置1のどの構成要素に設けられていてもよい。
The illumination
記憶装置10の照明条件記憶部10aに記憶していた照明条件を制御部41が一旦読み込み、その照明条件記憶部10aに記憶していた照明条件をパターン光照明部2の演算装置2aに出力し、演算装置2aが有する照明条件記憶部2bに記憶させておくことができる。これにより、パターン光照明部2が外部から照明トリガ信号を受信すると、照明条件記憶部2bに記憶された照明条件に従ってワークWを照明することができるので、照明条件を記憶装置10の照明条件記憶部10aから読み込む場合に比べてパターン光照明部2のパターン光の生成速度を速くすることができる。
The
図36にも示すように、パターン光照明部2には、発光ダイオード20、21に流す電流値を制御する電流制御部2cが組み込まれている。電流制御部2cは、照明トリガ信号を受信可能に構成されており、照明トリガ信号を受信すると、照明条件記憶部2bに記憶された照明条件に従って発光ダイオード20、21に流す電流値を制御する。
As shown in FIG. 36, the pattern
第1発光ダイオード列A1〜A12を制御する電流制御部2cと、第2発光ダイオード列B1〜B12を制御する電流制御部2cとが設けられており、いずれの電流制御部2cも同じ構成である。図36に示す電流制御部2cは、第1発光ダイオード列A1を制御するものであり、電流制御部2cは、1つのD/Aコンバータ2dと、複数のサンプルホールド回路2eと、複数の電圧/電流変換回路2fとを備えている。サンプルホールド回路2e及び電圧/電流変換回路2fは、第1発光ダイオード列A1を構成する発光ダイオード20の数(12個)と同じ数だけ設けられている。12個のサンプルホールド回路2eがD/Aコンバータ2dに接続されている。また、各サンプルホールド回路2eの出力側には、電圧/電流変換回路2fが接続されている。電圧/電流変換回路2fの出力側には、各発光ダイオード20が接続されている。
A
パターンを切り替える際、D/Aコンバータ2dは、図37に示すようにA1〜A12用の制御電圧を順次出力するように構成されている。12個のサンプルホールド回路2eは、外部から入力されるサンプリング信号に基づいて各々が所定のサンプルタイミングでD/Aコンバータ2dから出力される波形信号の電圧をサンプリングする。図37における第1サンプルホールド回路がサンプリングした後に、第2サンプルホールド回路がサンプリングし、このようにして電圧を順次サンプリングしていく。
When switching the pattern, the D /
第1サンプルホールド回路でサンプリングされた電圧値は、電圧/電流変換回路2fによって電圧値に応じた電流値に変換され、その電流値の電流が発光ダイオードA1に流れる。この例では、第1サンプルホールド回路でサンプリングされた電圧値が最も低く、第2、第3サンプルホールド回路の順にサンプリングされた電圧値が高くなっていく。つまり、第1電流値が最も低く、第2、第3電流値の順に電流値が高くなっていくので、発光ダイオードA1〜A12の明るさが電流値に応じて変わることになり、これにより、周期的な照度分布を有するパターン光が生成される。D/Aコンバータ2dから出力される波形信号を変化させることで、パターン光の照度分布が変化することになり、パターン光の照度分布を、上述したsin波形に近似した波形で表すことや、三角波に近似した波形、矩形波に近似した波形で表すこともできる。また、全ての発光ダイオード20の明るさが同じになるように電流値を設定することで、全面が一様な照度の照明とすることもできる。
The voltage value sampled by the first sample hold circuit is converted into a current value corresponding to the voltage value by the voltage /
この実施形態では、D/Aコンバータ2dの出力電圧を各発光ダイオード20の制御電圧とし、各発光ダイオード20用のサンプルホールド回路2eでタイミングを規定してサンプリングすることで、1つのD/Aコンバータ2dで複数の発光ダイオード20の光量を制御することができる。これにより、一般的にサイズの大きな高速・高階調のD/Aコンバータ2dの数を減らし、サイズの小さなサンプルホールド回路2eでパターン光を生成することができるので、基板面積を小さくできるとともにコストを低減することができる。
In this embodiment, the output voltage of the D /
第2発光ダイオード列B1〜B12の各列の発光ダイオード21はY方向に並んでいるので、第2発光ダイオード列B1〜B12の電流値制御によってX方向パターン光を生成することができる。また、第1発光ダイオード列A1〜A12の各列の発光ダイオード20はX方向に並んでいるので、第1発光ダイオード列A1〜A12の電流値制御によってY方向パターン光を生成することができる。
Since the
また、図5Aに示す4つのY方向パターン光の波長と、図5Bに示す4つのX方向パターン光の波長とが異なっていてもよい。たとえば、第1発光ダイオード列A1〜A12の発光ダイオード20から赤色のパターン光を照射し、第2発光ダイオード列B1〜B12の発光ダイオード21から青色のパターン光を照射することで、Y方向パターン光の波長とX方向パターン光の波長とを変えることができる。この場合、Y方向パターン光とX方向パターン光とを同時にワークWに照射し、カラーカメラを備えた撮像部3で撮像すれば、Y方向パターン光の照射による生画像と、X方向パターン光の照射による生画像とを同時に得ることができ、撮像に要する時間を短縮できる。
Further, the wavelengths of the four Y-direction pattern lights shown in FIG. 5A and the wavelengths of the four X-direction pattern lights shown in FIG. 5B may be different. For example, by irradiating red pattern light from the
(パターン光の照度分布の周期)
パターン光の照度分布をsin波形に近似した波形で表すことができる場合、そのsin波形の周期がたとえば100mmになるようにすることができる。周期を100mm程度にしておくことで、正反射性の少ない(完全拡散反射体ではない)ワークWの表面を撮像しても、後述する形状の積み上げ処理を行うことができ、ワークWへの対応範囲を広くすることができる。また、sin波形の周期を100mm程度にしておくことで、撮像部3の集光系光学系32のレンズのMTFによる減衰が抑制される。ただし、コーティング面等を検査する場合には、周期を短くする方が好ましい場合があるので、周期は100mmに限られるものではない。周期を短くすることで、コーティング面を検査する際に下地の影響を少なくすることができ、また、表面勾配の微妙な違いを検出し易くなる。
(Period of illuminance distribution of pattern light)
When the illuminance distribution of the pattern light can be represented by a waveform similar to a sine waveform, the period of the sine waveform can be set to, for example, 100 mm. By setting the period to about 100 mm, even if the surface of the work W having low specular reflectance (not a perfect diffuse reflector) is imaged, the stacking process of the shape described later can be performed, and the work W can be supported. The range can be widened. Further, by setting the period of the sine waveform to about 100 mm, the attenuation of the lens of the condensing
(デフレクトメトリによる検査用画像の生成)
この実施形態では、パターン光照明部2によって照明されたタイミングで撮像部3がワークWを撮像して複数の輝度画像を得て、撮像部3が撮像した複数の輝度画像に基づいて位相変位測定法(Phase Measuring Deflectometry : PMD、以下、「デフレクトメトリ」と呼ぶ。)の原理を利用して算出した位相マップを加工し、異なる種別の欠陥の検出が可能な複数の検査用画像を生成し、検査用画像を用いてワークWの検査を行うことができるように構成されている。複数の輝度画像を得る工程は、上述したように制御部41が照明トリガ信号及び撮像トリガ信号を出力してパターン光照明部2及び撮像部3を制御することで実行できる。検査用画像を生成する工程は図2に示す画像生成部42で行うことができる。
(Generation of inspection image by deflection metric)
In this embodiment, the
画像生成部42では、撮像部3が撮像した複数の輝度画像に基づいて、ワークWの表面の反射状態を示す検査用画像と、ワークWの形状を示す検査用画像とを少なくとも生成する。ワークWの表面の反射状態を示す検査用画像としては、例えば、正反射成分画像、拡散反射成分画像等を挙げることができる。ワークWの形状を示す検査用画像としては、例えば、形状画像、深さ輪郭画像、光沢比画像等を挙げることができる。
The
以下、図21に示すフローチャート及び図22に示す模式図に従って検査用画像の生成について詳細に説明する。フローチャートのステップSA1では、制御部41がパターン光照明部2及び撮像部3を制御して複数の輝度画像(生画像)を得る。ステップSA1で得られた輝度画像は中間画像であり、記憶装置10等に一旦記憶されるが、表示部5には表示されない画像である。輝度画像は、異なる照明態様(複数のパターン光による照明)で照明されたワークWを撮像して得られた画像である。
Hereinafter, the generation of the inspection image will be described in detail according to the flowchart shown in FIG. 21 and the schematic diagram shown in FIG. 22. In step SA1 of the flowchart, the
ステップSA1では、制御部41がパターン光照明部2に照明トリガ信号を出力する。パターン光照明部2が照明トリガ信号を受信すると、照明条件記憶部2aに記憶された照明条件に従ってパターン光を生成し、ワークWを照明する。このときの照明条件は、図5Aに示す0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光、図5Bに示す0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光を順番に生成する照明条件となっている。従って、パターン光照明部2は、照度分布の位相を受光素子3aの配列方向及びワークWの移動方向の両方向にシフトさせた合計8種類のパターン光(X方向で4種類、Y方向で4種類)を生成してワークWに順次照射する。
In step SA1, the
同時に、制御部41は撮像部3に撮像トリガ信号を出力する。撮像部3は撮像トリガ信号を受信すると、上記パターン光が照射される都度、ワークWを撮像する。8Kの画面サイズ(8192列×1024行)にする場合、1024回(行数)×パターン光の照明回数(8回)が、1つの輝度画像を得るために必要な照明回数となり、同じ数が撮像回数となる。
At the same time, the
この実施形態では、1つの輝度画像を得るために複数の撮像トリガ信号(具体的には、1つ輝度画像の画素の行数と同じ数の撮像トリガ信号)を順次送信しているので、撮像トリガ信号を受信する都度、撮像タイミングのずれを解消できる。パターン光照明部2に対しても同様に照明トリガ信号を送信しており、しかも、照明トリガ信号と撮像トリガ信号とを同期させているので、照明タイミングのズレも解消できる。したがって、複数の輝度画像を生成する際に照明回数及び撮像回数が多くなったとしても、撮像タイミングと照明タイミングとのずれを極めて小さな状態で維持することができる。
In this embodiment, a plurality of imaging trigger signals (specifically, the same number of imaging trigger signals as the number of rows of pixels of one luminance image) are sequentially transmitted in order to obtain one luminance image, so that imaging is performed. It is possible to eliminate the deviation of the imaging timing each time the trigger signal is received. Since the illumination trigger signal is similarly transmitted to the pattern
撮像時、パターン光の照射回数が8回であることから、8つの輝度画像が得られる。図22に示すように、4種類のX方向パターン光の照射時に撮像された4枚の輝度画像(X)と、4種類のY方向パターン光の照射時に撮像された4枚の輝度画像(Y)とが得られる。 Since the number of times the pattern light is irradiated at the time of imaging is eight, eight luminance images can be obtained. As shown in FIG. 22, four luminance images (X) captured when irradiating four types of X-direction pattern light and four luminance images (Y) captured when irradiating four types of Y-direction pattern light. ) And is obtained.
実際に金属製ワークWを撮像して得た8つの輝度画像を図23に示す。図23の左側の画像は、上から順に、0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光をそれぞれ照射して得られた輝度画像である。図23の右側の画像は、上から順に、0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光をそれぞれ照射して得られた輝度画像である。尚、X方向パターン光のみ、またはY方向パターン光のみ照射するようにしてもよい。 FIG. 23 shows eight luminance images obtained by actually imaging the metal work W. The images on the left side of FIG. 23 are, in order from the top, an X-direction pattern light at 0 °, an X-direction pattern light at 90 °, an X-direction pattern light at 180 °, and an X-direction pattern at 270 °. It is a luminance image obtained by irradiating each with light. The images on the right side of FIG. 23 are, in order from the top, a Y-direction pattern light at 0 °, a Y-direction pattern light at 90 °, a Y-direction pattern light at 180 °, and a Y-direction pattern at 270 °. It is a luminance image obtained by irradiating each with light. It should be noted that only the X-direction pattern light or only the Y-direction pattern light may be irradiated.
その後、図21に示すフローチャートのステップSA2に進み、ステップSA1で得られた8つの輝度画像に対してデフレクトメトリ処理を行う。これは画像生成部42で行うことができる。パターン光が照射されたワークWを撮像することで、得られた輝度画像の各画素値には、正反射成分と、拡散反射成分(+環境成分)とが含まれることになる。パターン光の照度分布の位相をX方向に90゜(π/2)ずつシフトさせて4回撮像しているので、各画素値はX方向パターン光の照射によって4種類得られる。1回目に撮像された輝度画像の画素値をI1とし、2回目に撮像された輝度画像の画素値をI2とし、3回目に撮像された輝度画像の画素値をI3とし、4回目に撮像された輝度画像の画素値をI4とすると、画素値I1〜I4は次式1で与えられる。
After that, the process proceeds to step SA2 of the flowchart shown in FIG. 21, and the eight luminance images obtained in step SA1 are subjected to deflation metrics processing. This can be done by the
式1におけるRdは拡散反射成分であり、Rsは正反射成分であり、φsは正反射角度(位相)である。拡散反射成分、正反射成分、正反射角度は位相データであり、撮像部3が撮像した複数のライン画像に基づいて1ライン分の位相データを得ることができる。
In
同様に、パターン光の照度分布の位相をY方向に90゜(π/2)ずつシフトさせて4回撮像しているので、各画素値はY方向パターン光の照射によって4種類得られる。Y方向についても画素値I1〜I4は上記式1で表すことができる。
Similarly, since the phase of the illuminance distribution of the pattern light is shifted by 90 ° (π / 2) in the Y direction and the image is taken four times, four types of pixel values can be obtained by irradiating the pattern light in the Y direction. Pixel values I 1 to I 4 can be expressed by the
(正反射成分画像)
正反射成分画像は次式2で与えられる。式2では、逆相同士の差分により、拡散成分を排除している。図22に示すように、X方向とY方向でそれぞれ得られ、それらを合成することで正反射成分画像となる。図29に正反射成分画像の例を示す。尚、図29におけるノーマル画像とは、正反射成分及び拡散反射成分を含んだ画像である。
(Specular reflection component image)
The specular reflection component image is given by the
(正反射角度)
正反射角度は次式3で与えられる。π/2ずれの正反射成分により、tanθ=sinθ/cosθとして角度を算出する。
(Specular reflection angle)
The specular reflection angle is given by the
(平均画像)
平均画像は拡散成分と環境成分とを含んでおり、次式4で与えられる。逆相同士の加算により、正反射成分を排除している。
(Average image)
The average image contains a diffusion component and an environmental component, and is given by the
(拡散反射成分画像)
拡散反射成分画像は次式5で与えられる。拡散反射成分画像の例を図29に示す。
(Diffuse reflection component image)
The diffuse reflection component image is given by the
図21のフローチャートにおけるステップSA3では拡散反射成分画像に対してコントラスト補正を行う。また、ステップSA4では正反射成分画像に対してコントラスト補正を行う。各コントラスト補正は、線形補正とすることができる。たとえば、ROIの平均が中央値になるように補正する。8ビットの場合は128レベルを中央値とすればよい。これによって、補正後の拡散成分、補正後の正反射成分が得られる。 In step SA3 in the flowchart of FIG. 21, contrast correction is performed on the diffuse reflection component image. Further, in step SA4, contrast correction is performed on the specular reflection component image. Each contrast correction can be a linear correction. For example, the ROI is corrected so that the average is the median. In the case of 8 bits, the median value may be 128 levels. As a result, the corrected diffusion component and the corrected specular reflection component can be obtained.
また、ステップSA5では位相成分について参照位相との差分を取る。このステップSA5では、参照平面の位相に対して差分を取得する。たとえば、使用者が、参照平面として球面状、円筒状、平面状等を指定し、これらとの差分を取得するようにする。あるいは、自由曲面で抽出させてもよい。X方向について補正後の位相(差分)が得られ、Y方向についても補正後の位相が得られる。図22に示す位相画像に相当する。補正後の位相画像の例を図29に示す。 Further, in step SA5, the difference between the phase component and the reference phase is taken. In this step SA5, the difference is acquired with respect to the phase of the reference plane. For example, the user specifies a spherical shape, a cylindrical shape, a flat shape, or the like as the reference plane, and obtains the difference from these. Alternatively, it may be extracted with a free curved surface. The corrected phase (difference) is obtained in the X direction, and the corrected phase is also obtained in the Y direction. Corresponds to the phase image shown in FIG. An example of the corrected phase image is shown in FIG.
拡散反射成分画像、正反射成分画像、参照位相差分画像は出力画像となる。 The diffuse reflection component image, specular reflection component image, and reference phase difference image are output images.
ステップSA6では、ステップSA5で得られた参照位相差分画像に基づいて階層化画像と深さ輪郭画像を得る。階層化画像は、1/2縮小を繰り返した画像である。これにより、階層化された位相の画像がX方向とY方向でそれぞれ得られる。 In step SA6, a layered image and a depth contour image are obtained based on the reference phase difference image obtained in step SA5. The layered image is an image in which 1/2 reduction is repeated. As a result, images of layered phases are obtained in the X direction and the Y direction, respectively.
一方、深さ輪郭画像とは、位相差分が大きい部分を強調した中間画像であり、曲率とは異なる概念である。深さ輪郭画像は、形状積み上げによって得られる形状画像に比べて高速に得られ、ワークWの線キズが極めて見やすく、しかも、輪郭の抽出がし易い等の利点がある。深さ輪郭画像の例を図29に示す。 On the other hand, the depth contour image is an intermediate image in which a portion having a large phase difference is emphasized, and is a concept different from curvature. The depth contour image can be obtained at a higher speed than the shape image obtained by stacking the shapes, and has advantages such that line scratches on the work W are extremely easy to see and the contour can be easily extracted. An example of a depth contour image is shown in FIG.
次に、ステップSA7では、階層化された位相の画像に対して形状積み上げを行って形状画像を生成する。X方向とY方向の正反射角度に対し、Gauss−Jacobi法などによる積み上げ計算を行うことで、形状画像を得ることができる。形状画像は出力画像となる。形状画像の例を図29に示す。 Next, in step SA7, the shapes are stacked on the layered phase images to generate the shape images. A shape image can be obtained by performing a stacking calculation using the Gustav-Jacobi method or the like for the specular reflection angles in the X and Y directions. The shape image is an output image. An example of the shape image is shown in FIG.
一般的には、unwrappingをしてから、三角測距などによって形状を復元する例が多いところ、本実施形態においては、unwappingを回避し、局所的な微分値をGauss−Jacobi法で積み上げ計算することで、三角測距によらずに形状を復元している。形状復元方法は、既知の方法が適宜利用できる。好ましくは、三角測距を用いない方法である。また、縮小画像を多段に持つ、階層型方法とすることもできる。また、縮小画像と通常画像との差分を持つ方法とすることもできる。 In general, there are many cases where the shape is restored by unwrapping and then triangular distance measurement, but in this embodiment, unwapping is avoided and the local differential values are accumulated and calculated by the Gustav-Jacobi method. As a result, the shape is restored without relying on triangular distance measurement. As a shape restoration method, a known method can be appropriately used. A method that does not use triangular ranging is preferable. It is also possible to use a hierarchical method in which reduced images are held in multiple stages. It is also possible to use a method having a difference between the reduced image and the normal image.
さらに、パラメータとして特徴サイズを設定することもできる。特徴サイズとは、検査の目的や種別に応じた検出対象の傷のサイズを設定するためのパラメータである。例えば、特徴サイズのパラメータ値が1のときに一番細かい傷が検出でき、この値を上げていくと大きな傷が検出できるようにする。これにより、特徴サイズを大きくすると、より大きな傷が検出し易い状態となり、ワークW表面の凸凹が明瞭となる。 Furthermore, the feature size can be set as a parameter. The feature size is a parameter for setting the size of the scratch to be detected according to the purpose and type of inspection. For example, when the parameter value of the feature size is 1, the finest scratches can be detected, and when this value is increased, large scratches can be detected. As a result, when the feature size is increased, a larger scratch is easily detected, and the unevenness of the work W surface becomes clear.
ステップSA8では簡易欠陥抽出を行う。簡易欠陥抽出の詳細については後述する。ステップSA8で簡易欠陥抽出を行った後に抽出された欠陥が表示された欠陥抽出画像を出力する。 In step SA8, simple defect extraction is performed. Details of simple defect extraction will be described later. After performing simple defect extraction in step SA8, a defect extraction image displaying the extracted defects is output.
また、画像生成部42では、光沢比画像を生成することもできる。光沢比画像は、正反射成分と拡散反射成分の比を表す画像である。光沢比画像では、正反射成分と拡散反射成分の割合が異なる画素が強調される。光沢比画像の例を図29に示す。
In addition, the
(フィルタ処理部40の構成)
図2に示すフィルタ処理部40は、画像生成部42で生成された各検査用画像に対して、フィルタ処理適用及びフィルタ処理非適用を個別に設定可能なフィルタ処理設定部40aと、フィルタ処理設定部40aによりフィルタ処理適用と設定された検査用画像にフィルタ処理を実行するフィルタ処理実行部40bとを有している。適用するフィルタの種類は特に限定されるものではないが、たとえば、検査用画像の種類に応じて選択することができ、シェーディング補正フィルタや平滑化フィルタ等を挙げることができる。
(Structure of filter processing unit 40)
The
図30に示すように、シェーディング補正フィルタは、形状画像、光沢比画像、深さ輪郭画像及び位相画像には適していない。その理由について述べると、形状画像は明るさの画像ではなく凹凸を示す画像であることからシェーディング補正フィルタの効果が得られないからである。また、光沢比画像は比を求めた画像であるのでそもそもシェーディングが消えた画像となっているからである。また、深さ輪郭画像及び位相画像は位相を考慮した補正が施されていてシェーディング補正フィルタを適用することの意味が無いからである。一方、正反射成分画像、拡散反射成分画像及びノーマル画像にはシェーディング補正フィルタが適している。 As shown in FIG. 30, the shading correction filter is not suitable for shape images, gloss ratio images, depth contour images and phase images. The reason is that the shape image is not an image of brightness but an image showing unevenness, so that the effect of the shading correction filter cannot be obtained. Further, since the gloss ratio image is an image obtained by obtaining the ratio, it is an image in which shading has disappeared in the first place. Further, the depth contour image and the phase image are corrected in consideration of the phase, and there is no point in applying the shading correction filter. On the other hand, a shading correction filter is suitable for a specular reflection component image, a diffuse reflection component image, and a normal image.
図30におけるメディアンフィルタは平滑化フィルタであり、形状画像には適していないが、光沢比画像、深さ輪郭画像、位相画像、正反射成分画像、拡散反射成分画像及びノーマル画像には適している。 The median filter in FIG. 30 is a smoothing filter and is not suitable for a shape image, but is suitable for a gloss ratio image, a depth contour image, a phase image, a specular reflection component image, a diffuse reflection component image, and a normal image. ..
フィルタ処理設定部40aは、検査用画像の種類に関する情報を得て、検査用画像に応じてフィルタ処理適用及びフィルタ処理非適用を自動的に設定するように構成されている。検査用画像の種類に関する情報は、画像生成部42から得ることができる。フィルタ処理設定部40aは、図30に示すように、シェーディング補正フィルタを、正反射成分画像、拡散反射成分画像及びノーマル画像には自動的に適用し、形状画像、光沢比画像、深さ輪郭画像及び位相画像には自動的に適用しない。また、フィルタ処理設定部40aは、メディアンフィルタを形状画像には自動的に適用しないが、光沢比画像、深さ輪郭画像、位相画像、正反射成分画像、拡散反射成分画像及びノーマル画像には自動的に適用する。
The filter processing setting unit 40a is configured to obtain information on the type of the inspection image and automatically set the application of the filter processing and the non-application of the filter processing according to the inspection image. Information on the type of inspection image can be obtained from the
つまり、フィルタ処理の有効度を事前に調査しておき、フィルタ処理を適用する検査用画像を画像検査装置1にプリセットしておくことで、フィルタ処理設定部40aが検査用画像の種類に応じてシェーディング補正フィルタ及び平滑化フィルタの少なくとも一方の適用及び非適用を自動的に設定することができる。尚、プリセット内容を使用者が変更可能にしてもよい。
That is, by investigating the effectiveness of the filter processing in advance and presetting the inspection image to which the filter processing is applied in the
フィルタ処理実行部40bは、プリセット内容に応じてフィルタ処理を実行することができるので、使用者は検査用画像毎にフィルタ処理の適用及び非適用や、適用する場合のフィルタ処理の種類を選択しなくてもよくなり、操作性が向上する。また、フィルタ処理設定部40aは、検査に用いる検査用画像にのみフィルタ処理を設定するように構成されているので、検査に用いられない検査用画像にはフィルタ処理が実行されないようになっている。 Since the filter processing execution unit 40b can execute the filter processing according to the preset contents, the user selects the application / non-application of the filter processing for each inspection image and the type of the filter processing when the filter processing is applied. It is not necessary and the operability is improved. Further, since the filter processing setting unit 40a is configured to set the filter processing only for the inspection image used for the inspection, the filter processing is not executed for the inspection image not used for the inspection. ..
プリセットしておくフィルタ処理の種類は、有効度を事前に調査することができるフィルタであって、かつ、検査用画像によって効果の有無が現れるフィルタであればよい。 The type of filter processing to be preset may be a filter that can investigate the effectiveness in advance and a filter that shows the presence or absence of the effect by the inspection image.
図25に示す欠陥抽出用インターフェース58の表示画像選択用プルダウンメニュー58eにより検査用画像を選択することができる。表示画像選択用プルダウンメニュー58eにより検査用画像として選択され、かつ、フィルタ処理実行部40bによるフィルタ処理実行後の検査用画像(正反射成分画像、拡散反射成分画像等)と、検査用画像として選択され、かつ、フィルタ処理実行部40bによるフィルタ処理が実行されていない検査用画像(形状画像等)とを同時に表示部5に表示させることができる。フィルタ処理に適した検査用画像であっても、検査用画像として選択されていない検査用画像(表示部5に表示されない検査用画像)に対してはフィルタ処理実行部40bがフィルタ処理を行わないようにすることができる。この時点でフィルタ処理が行われていなかったとしても、後に、検査用画像として選択された段階でフィルタ処理実行部40bがフィルタ処理を行えばよい。
An inspection image can be selected from the display image selection pull-
尚、検査用画像の種類に応じてフィルタ処理適用及びフィルタ処理非適用を自動的に設定することを前提として、自動的に設定されたフィルタ処理を使用者が非適用にしたり、自動的に設定されたフィルタ処理の種類を使用者が変更することができるようにしてもよい。たとえば、使用者が、フィルタ処理が不要であると判断する検査用画像に対してフィルタ処理を非適用とする操作を受け付けるように、フィルタ処理設定部40aを構成することができる。操作の具体例としては、表示部5にインターフェースを表示させ、当該インターフェースに組み込まれている各種ボタンやプルダウンメニュー等の操作を挙げることができる。
It should be noted that, on the premise that the filter processing application and the filter processing non-application are automatically set according to the type of the inspection image, the user disables the automatically set filter processing or automatically sets the filter processing. The user may be able to change the type of filtering performed. For example, the filter processing setting unit 40a can be configured so that the user accepts an operation of not applying the filter processing to the inspection image determined that the filter processing is unnecessary. Specific examples of the operation include operations such as displaying an interface on the
フィルタ処理実行部40bは、複数の検査用画像に対してフィルタ処理を実行している場合に、フィルタ処理を実行した複数の検査用画像に対して該検査用画像に実行しているフィルタ処理を一括して非実行にすることが可能に構成されていてもよい。使用者が、検査用画像に対してフィルタ処理を非適用とする操作をした場合に、各検査用画像に対して自動的にフィルタ処理を非実行にすることができる。フィルタ処理を一括して非実行にした後、元に戻す操作、即ち、複数の検査用画像に対してフィルタ処理を実行する操作を受け付けるように構成することもできる。 When the filter processing execution unit 40b executes the filter processing on a plurality of inspection images, the filter processing execution unit 40b performs the filter processing that is executed on the inspection images for the plurality of inspection images that have been filtered. It may be configured so that it can be non-executed all at once. When the user performs an operation of not applying the filtering process to the inspection image, the filtering process can be automatically disabled for each inspection image. It is also possible to configure to accept an operation of undoing the filtering process after collectively disabling the filtering process, that is, an operation of executing the filtering process on a plurality of inspection images.
各フィルタ処理を行う際には、図31に示すように、フィルタ処理の強さ等の各種パラメータを設定することができる。フィルタ処理実行部40bは、フィルタ処理設定部40aによりフィルタ処理適用と設定された検査用画像に対して、フィルタ処理のパラメータを一括に設定及び変更することが可能に構成されている。図31に示すパラメータ設定用インターフェースでパラメータを設定又は変更すると、その操作が、フィルタ処理適用と設定された他の検査用画像に対してフィルタ処理実行部40bによって反映される。 When performing each filter processing, as shown in FIG. 31, various parameters such as the strength of the filter processing can be set. The filter processing execution unit 40b is configured so that the parameters of the filter processing can be collectively set and changed for the inspection image set to be filtered by the filter processing setting unit 40a. When a parameter is set or changed in the parameter setting interface shown in FIG. 31, the operation is reflected by the filter processing execution unit 40b on another inspection image set to be filtered.
また、フィルタ処理を適用する検査用画像を画像検査装置1にプリセットしておかなくてもよい。この場合、使用者が、インターフェースに組み込まれている各種ボタンやプルダウンメニュー等を操作して、各検査用画像に対して個別にまたは一括してフィルタ処理の適用及び非適用を設定することになる。インターフェースに組み込まれている各種ボタンやプルダウンメニュー等が、フィルタ処理設定部になる。
Further, it is not necessary to preset the inspection image to which the filtering process is applied in the
図32は、フィルタ処理前の検査用画像と、フィルタ処理後の検査用画像とを示す図である。フィルタ処理は、第1画像表示領域58aに表示されている元画像1(正反射成分画像)と、第2画像表示領域58bに表示されている元画像2(拡散反射成分画像)とに適用している。図32に示すように、正反射成分画像及び拡散反射成分画像のシェーディングが補正されて欠陥部が見えやすくなる。一方、第3画像表示領域58cに表示されている元画像3(形状画像)にはフィルタ処理が適用されていないので、形状に係る欠陥部は見えやすいままとなっている。
FIG. 32 is a diagram showing an inspection image before filtering and an inspection image after filtering. The filtering process is applied to the original image 1 (specular reflection component image) displayed in the first
(簡易欠陥抽出)
簡易欠陥抽出は、図24に簡易欠陥抽出の概念を示すように、ワークWの線キズ(欠陥)を検査し易い画像1、ワークWの汚れ(欠陥)を検査し易い画像2、ワークWの打痕(欠陥)を検査し易い画像3をそれぞれ生成した後、画像1〜3に現れている欠陥を欠陥抽出画像に表示させる工程である。欠陥抽出画像は、画像1〜3に現れている欠陥を抽出して表示することができる画像であり、抽出した欠陥を1つの画像に合成して表示させることができるので合成欠陥画像と呼ぶこともできる。
(Simple defect extraction)
In the simple defect extraction, as shown in FIG. 24, the concept of simple defect extraction is shown in an
たとえば、正反射成分画像は、正反射を鈍らせる汚れや、形状変化はないものの正反射の鈍いキズ、あるいは形状変化によって正反射が返ってこないキズ等の確認をし易い画像である。拡散反射画像は、ワークWの表面のテクスチャの状態(具体的には印刷物の文字や黒ずんだ汚れ等)を確認し易い画像である。形状画像は、特徴サイズに応じて周囲画素を見ながら位相の変化を積み上げた画像である。ここで、形状画像の特徴サイズを大きく設定すると、形状変化のなかでも比較的浅くて面積の広い凹凸を捉えることができる。一方、形状画像の特徴サイズを小さく設定すると、線キズや面積の小さなキズを捉えることができる。また、形状画像に現れにくい欠陥(たとえば細いキズや深い傷)は、正反射成分画像に現れやすい傾向がある。また、深さ輪郭画像は、基準となる平面を算出し、この基準平面からのずれを画像化している。深さ輪郭画像からは、線キズや面積の小さなキズを捉えることができる。つまり、画像生成部42は、撮像部3が撮像した複数の輝度画像に基づいて、異なる種別の欠陥の検出が可能な複数の検査用画像を生成することができる。また、画像生成部42が生成する画像は上述した画像に限られるものではない。
For example, the specular reflection component image is an image in which it is easy to confirm stains that dull the specular reflection, scratches that have no shape change but dull specular reflection, or scratches that do not return specular reflection due to the shape change. The diffuse reflection image is an image in which it is easy to confirm the state of the texture on the surface of the work W (specifically, characters on the printed matter, dark stains, etc.). The shape image is an image in which phase changes are accumulated while looking at surrounding pixels according to the feature size. Here, if the feature size of the shape image is set large, it is possible to capture unevenness that is relatively shallow and has a large area even in the shape change. On the other hand, if the feature size of the shape image is set small, line scratches and scratches with a small area can be captured. In addition, defects that are difficult to appear in the shape image (for example, fine scratches and deep scratches) tend to appear easily in the specular reflection component image. Further, in the depth contour image, a reference plane is calculated and the deviation from the reference plane is imaged. From the depth contour image, line scratches and scratches with a small area can be captured. That is, the
画像生成部42で生成された正反射成分画像、拡散反射画像、形状画像、深さ輪郭画像、光沢比画像、欠陥抽出画像等は、検査用画像であり、表示部5に表示させることができる。表示部5には、画像生成部42で生成された画像のうち、1つのみを表示させてもよいし、任意の複数の画像を表示させてもよい。表示部5に表示させる画像は、使用者が選択できるようにするのが好ましい。
The specular reflection component image, diffuse reflection image, shape image, depth contour image, gloss ratio image, defect extraction image, etc. generated by the
たとえば、図25に示す欠陥抽出用インターフェース58をUI生成部43が生成し、欠陥抽出用インターフェース58を表示部5に表示させることができる。欠陥抽出用インターフェース58には、元画像1を表示させる第1画像表示領域58aと、元画像2を表示させる第2画像表示領域58bと、元画像3を表示させる第3画像表示領域58cと、欠陥抽出画像を表示させる第4画像表示領域58dとが組み込まれている。画像表示領域の数は4つに限られるものではなく、3つ以下であってもよいし、5つ以上であってもよい。図25では、元画像1として正反射成分画像が選択され、元画像2として拡散反射成分画像が選択され、元画像3として形状画像が選択されているが、画像生成部42で生成された画像であれば、どの画像をどの領域に表示してもよい。
For example, the
第1〜第3画像表示領域58a〜58cに表示されている画像を使用者が他の画像に切り替えることもできる。表示されている画像を切り替える場合には、たとえば表示領域をマウス7の操作等によって選択してアクティブ化しておき、欠陥抽出用インターフェース58に組み込まれている表示画像選択用プルダウンメニュー58eにより、画像の選択を行うことができる。この表示画像選択用プルダウンメニュー58eは、画像生成部42で生成された複数の検査用画像の中から、検査に用いる少なくとも一つの検査用画像を選択する画像選択部である。
The user can also switch the images displayed in the first to third
表示画像選択用プルダウンメニュー58eには、正反射成分画像、拡散反射画像、形状画像、深さ輪郭画像、光沢比画像等が選択肢として表示されるようになっている。選択された検査用画像を使用して画像生成部42が欠陥抽出画像を生成する。表示画像選択用プルダウンメニュー58eは、画像生成部42により生成された複数の検査用画像のなかから、欠陥抽出画像を生成するための検査用画像の選択を受け付けることができる画像選択受付部である。
In the pull-
画像検査装置1は、表示部5に表示された検査用画像のうち、一の検査用画像の一部の領域を指定して拡大することができるように構成されている。たとえば、使用者が、図25の第1画像表示領域58aに表示されている画像上で破線にて示す領域B1を拡大したい場合には、マウス7のポインタを始点PAに置き、そのまま終点PBまでマウス7でドラッグ操作を行うと、始点PAと終点PBとを結ぶ直線を対角線とする矩形領域が指定され、この領域が領域B1となる。この操作は、一の検査用画像の一部の領域を指定して拡大する拡大操作に相当する操作であり、この拡大操作は、制御ユニット4の操作受付部46で受け付けられる。拡大操作によって指定する領域の形状は、たとえば円形、自由曲線で囲まれた形状等であってもよい。また、拡大操作は、マウス7やキーボード6のいずれの操作で行うようにしてもよい。
The
使用者による拡大操作を受け付けると、制御ユニット4の表示制御部47は、第1画像表示領域58aに表示されている画像の領域B1を拡大して、図26に示すように第1画像表示領域58aに表示する。さらに、表示制御部47は、図25に示す表示部5に表示された他の検査用画像(第2〜第4画像表示領域58b〜58dに表示されている画像)において、第1画像表示領域58aに表示されている画像で指定された領域B1に対応する各領域B2を、上記拡大操作に連動して同倍率で拡大して表示部5に表示させる(図26参照)。領域B1の拡大と領域B2の拡大とを同時に行うことができるが、多少の時間的遅れを伴っていてもよい。拡大操作は、第1〜第4画像表示領域58a〜58dに表示されているどの検査用画像に対して行ってもよく、どの検査用画像に対して拡大操作を行っても他の検査用画像を拡大操作に連動して同倍率で拡大して表示部5に表示させることができる。
Upon receiving the enlargement operation by the user, the
また、操作受付部46は、表示部5に表示された検査用画像のうち、一の検査用画像を縮小する縮小操作を受け付け可能に構成されていてもよい。縮小操作は、たとえばマウス7のクリック操作やキーボード6のキー操作等で行うことができる。表示制御部47は、表示部5に表示された他の検査用画像を、縮小操作に連動して同倍率で縮小して表示部5に表示させるように構成されていてもよい。
Further, the
また、操作受付部46は、表示部5に表示された検査用画像のうち、一の検査用画像をスクロールするスクロール操作を受け付け可能に構成されていてもよい。スクロール操作は、たとえばマウス7のクリック操作やキーボード7のキー操作等で行うことができる。表示制御部46は、表示部5に表示された他の検査用画像を、スクロール操作に連動してスクロールさせるように構成されていてもよい。スクロールの方向は、表示部5の上下方向及び左右方向、斜め方向の任意の方向とすることができる。
Further, the
図25に示す欠陥抽出用インターフェース58には詳細表示を行うか否かを選択する詳細表示ボタン58fが組み込まれている。詳細表示ボタン58fを操作して詳細表示を行うと、図26に示すように、しきい値設定用領域58iが表示される。しきい値設定用領域58iには、元画像1〜3の各しきい値を表示することができるようになっている。しきい値とは、非欠陥部とすべき画素値範囲を規定するための値である。たとえば、各画素の明るさレベルを0〜255の256段階とした場合に、非欠陥部とすべき画素値範囲を0〜255のうちの具体的な数値によって規定することができる。黒を非欠陥部としてもよいし、反対に白を非欠陥部としてもよい。
The
(背景選択法)
しきい値の設定方法は2通りある。1つ目は背景を選択する方法である。図25に示す欠陥抽出用インターフェース58には、背景選択ボタン58gが設けられており、この背景選択ボタン58gを押してから、各検査用画像(元画像1〜3)の背景を選択する。背景選択は、上記拡大操作後の拡大表示された元画像1〜3に対して行うことができる。背景とは、ワークWの欠陥部以外の部分、即ちワークWの非欠陥部のことである。
(Background selection method)
There are two ways to set the threshold. The first is the method of selecting the background. The
背景を選択する方法としては、たとえばマウス7のポインタを、元画像1〜3におけるワークWの非欠陥部に置いてクリックする方法やタッチパネル操作する方法がある。これによってワークWの非欠陥部の位置(X座標、Y座標)を指定できる。非欠陥部の位置の指定は、元画像1〜3のうち、任意の1つの画像に対して複数回行うことができる。また、元画像1〜3のうち、任意の1つの画像(第1検査用画像)に対して非欠陥部の位置の指定を行った後、別の画像に対しても非欠陥部の位置の指定を行うことができる。尚、背景選択を行うと、非欠陥部とすべき画素値範囲が広がる方向に変わる。
As a method of selecting the background, for example, there are a method of placing the pointer of the
図33に示すフローチャートに基づいて説明する。使用者がワークWの非欠陥部の位置の指定(1回目)を行うと(ステップSB1)、制御ユニット4の内部処理として、その1回目の非欠陥部の位置の指定は、制御ユニット4の位置指定受付部48によって受け付けられる。位置指定受付部48で受け付けた非欠陥部の位置情報(第1非欠陥部位置情報)は座標形式として記憶装置10の位置情報記憶部10bに記憶される。
This will be described based on the flowchart shown in FIG. 33. When the user specifies the position of the non-defective portion of the work W (first time) (step SB1), the first designation of the position of the non-defective portion of the
制御ユニット4の設定部49は、位置指定受付部48で受け付けた非欠陥部の位置情報を位置情報記憶部10bから読み出し、位置指定受付部48により受け付けた非欠陥部の位置の画素値を得る。具体的には、非欠陥部の位置の画素(クリックされた画素)だけではなく、その画素の周囲の3×3の領域の画素値(9つの画素値)を取得し、最大値と最小値とを求める。たとえば最大値が200であれば、背景選択の感度(たとえば5)の3倍をマージンとし、200+5×3=215を最大値とする。また、たとえば最小値が80であれば、80−5×3=65を最小値とする。この場合、非欠陥部とすべき画素値範囲は、215〜65となる。設定部49は、非欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を、表示部5に表示されている複数の検査用画像(上記第1検査用画像を含む)に対して自動的に設定する(ステップSC1)。上記感度やマージンは一例である。
The setting
その後、使用者がワークWの非欠陥部の位置の指定(2回目)を行うと(ステップSB2)、制御ユニット4の内部処理として、その2回目の非欠陥部の位置の指定は、制御ユニット4の位置指定受付部48によって受け付けられる。位置指定受付部48で受け付けた非欠陥部の位置情報(第2非欠陥部位置情報)は同様に記憶装置10の位置情報記憶部10bに記憶される。
After that, when the user specifies the position of the non-defective portion of the work W (second time) (step SB2), as the internal processing of the
制御ユニット4の設定部49は、位置指定受付部48で受け付けた2回目の非欠陥部の位置情報を位置情報記憶部10bから読み出し、位置指定受付部48により受け付けた2回目の非欠陥部の位置の画素値を得る。設定部49は、2回目の非欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を、表示部5に表示されている複数の検査用画像(上記第1検査用画像を含む)に対して自動的に設定する(ステップSC2)。
The setting
使用者がワークWの非欠陥部の位置の指定(3回目)を行うと(ステップSB3)、同様にして、3回目の非欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を、表示部5に表示されている複数の検査用画像(上記第1検査用画像を含む)に対して自動的に設定する(ステップSC3)。つまり、位置指定受付部48では、非欠陥部の位置の指定を複数回受け付けることができる。
When the user specifies the position of the non-defect portion of the work W (third time) (step SB3), the non-defect portion should be designated based on the pixel value of the position of the non-defect portion of the third time. The pixel value range is automatically set for a plurality of inspection images (including the first inspection image) displayed on the display unit 5 (step SC3). That is, the position
また、表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像(第2検査用画像)が、図25に示す欠陥抽出用インターフェース58の表示画像選択用プルダウンメニュー58eにより選択されると、表示部5に表示される画像の切り替えが行われる(ステップSB4)。表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像が選択された際、設定部49は、位置情報記憶部10bに記憶された非欠陥部の位置を示す複数の位置情報(ステップSB1〜3で記憶した位置情報)を読み出し、当該検査用画像における位置情報に対応する画素値を参照する。その後、非欠陥部とすべき画素値範囲を更新する(ステップSC4)。この検査用画像に対してフィルタ処理部40がフィルタ処理を行う。切り替え後の検査用画像に対しても背景選択を行うことができ(ステップSB5)、このときに指定された位置情報(第2非欠陥部位置情報)は位置情報記憶部10bに記憶される。
Further, the inspection image (second inspection image) that is not displayed on the
さらに、表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像が上記第2検査用画像として選択された後、更に別の画像が第3検査用画像として選択されることがある(ステップSB6)。第3検査用画像が選択された際に、設定部49は、位置情報記憶部10bに記憶された非欠陥部の位置を示す複数の位置情報(ステップSB1〜3、SB5で記憶した位置情報)を読み出し、第3検査用画像における位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新する。図示しないが、第3検査用画像に対しても背景選択を行うことができ、このときに指定された位置情報(第3非欠陥部位置情報)は位置情報記憶部10bに記憶される。フィルタ処理部40は第3検査用画像に対してフィルタ処理を行う。
Further, after the inspection image that is not displayed on the
すなわち、設定部49は、上記第3検査用画像が選択された際に、位置情報記憶部10bに記憶された上記第2検査用画像における非欠陥部の位置を示す位置情報(第2非欠陥部位置情報)を読み出し、第2検査用画像における位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新することができる。また、設定部49は、第3検査用画像が選択された際に、位置情報記憶部10bに記憶された第1検査用画像における非欠陥部の位置を示す位置情報(第1非欠陥部位置情報)と、第2検査用画像における非欠陥部の位置を示す位置情報(第2非欠陥部位置情報)とを読み出し、第3検査用画像における第1及び第2非欠陥部位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新するように構成されていてもよい。背景選択の履歴は、たとえば10回分だけ保存しておき、それ以降は古いものから削除することもできる。
That is, when the third inspection image is selected, the setting
ワークWの欠陥部ではなく背景を選択する理由は次のとおりである。すなわち、仮に、欠陥部を表示部5の画面上で1つずつクリックして指定していく方法だと、複数の欠陥条件設定を行わなければならず、操作が煩雑になる。また、使用者はそれぞれの欠陥部のサンプルを用意しなければならないのに加えて、未知の欠陥部には対応できないし、線キズなどの小さい欠陥部の指定作業に使用者がストレスを感じることも考えられる。従って、背景選択の方が好ましい場面が多いが、以下に説明する欠陥部を指定する方法も有効な場合があり、本実施形態では、背景選択する方法と、欠陥部を指定する方法とを使用者が選択できるようにしている。
The reason for selecting the background instead of the defective part of the work W is as follows. That is, if the method of designating the defective parts by clicking them one by one on the screen of the
(強制抽出法)
しきい値の設定方法の2つ目の方法は欠陥部を指定する方法(強制抽出法)である。たとえば、欠陥部と非欠陥部との違いがあまり大きくない場合には、欠陥部を選択することでしきい値の設定を行いたい場合があり、この場合に強制抽出法は有効である。
(Forced extraction method)
The second method of setting the threshold value is a method of designating a defective portion (forced extraction method). For example, when the difference between the defective portion and the non-defective portion is not so large, it may be desired to set the threshold value by selecting the defective portion, and in this case, the forced extraction method is effective.
図25に示す欠陥抽出用インターフェース58には、強制抽出ボタン58hが設けられており、この強制抽出ボタン58hを押してから、各検査用画像の欠陥部を選択する(図27に示す)。強制抽出とは、ワークWの欠陥部を抽出することである。強制抽出は、拡大表示された各検査用画像に対して行うことができる。強制抽出の流れは、図33に示す背景選択の場合とほぼ同様である。
The
強制抽出する方法としては、たとえばマウス7のポインタを、元画像1〜3におけるワークWの欠陥部に置いてクリックする方法やタッチパネル操作する方法がある。これによってワークWの欠陥部の位置(X座標、Y座標)を指定できる。欠陥部の位置の指定は、元画像1〜3のうち、任意の1つの画像に対して複数回行うことができる。また、元画像1〜3のうち、任意の1つの画像(第1検査用画像)に対して欠陥部の位置の指定を行った後、別の画像に対しても欠陥部の位置の指定を行うことができる。尚、強制抽出を行うと、非欠陥部とすべき画素値範囲が狭まる方向に変わる。また、強制抽出と背景選択とを、1つの元画像に対して行うこともできる。
As a method of forced extraction, for example, there are a method of placing the pointer of the
ワークWの欠陥部の位置の指定は、図2に示す制御ユニット4の位置指定受付部48によって受け付けられる。位置指定受付部48では、欠陥部の位置の指定を複数回受け付けることができる。位置指定受付部48で受け付けた欠陥部の位置情報(座標)は記憶装置10の位置情報記憶部10bに記憶される。
The designation of the position of the defective portion of the work W is accepted by the position
制御ユニット4の設定部49は、位置指定受付部48で受け付けた欠陥部の位置情報を位置情報記憶部10bから読み出し、位置指定受付部48により受け付けた欠陥部の位置の画素値を得る。強制抽出の場合は、背景選択の場合と異なり、欠陥部の位置の画素(クリックされた画素)の画素値を取得し、設定部49は、欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を、表示部5に表示されている複数の検査用画像(上記第1検査用画像を含む)に対して自動的に設定する。このとき、欠陥部の位置の画素値を含まないように、非欠陥部とすべき画素値範囲を設定する。ただし、変更後の画素値範囲が有効な範囲にならない場合には、上限値を0、下限値を255に設定する。
The setting
また、表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像(第2検査用画像)が選択された際、設定部49は、位置情報記憶部10bに記憶された欠陥部の位置を示す複数の位置情報を読み出し、第2検査用画像における位置情報に対応する画素値を参照する。第2検査用画像において非欠陥部とすべき画素値範囲を更新する。この第2検査用画像に対してフィルタ処理部40がフィルタ処理を行う。第2検査用画像に対しても強制抽出を行うことができ、このときに指定された位置情報は位置情報記憶部10bに記憶される。
Further, when an inspection image (second inspection image) that is not displayed on the
さらに、表示部5に表示されておらずかつフィルタ処理が行われていない検査用画像が上記第2検査用画像として選択された後、更に別の画像が第3検査用画像として選択された際に、設定部49は、位置情報記憶部10bに記憶された欠陥部の位置を示す複数の位置情報を読み出し、第3検査用画像における位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新する。フィルタ処理部40は第3検査用画像に対してフィルタ処理を行う。
Further, when an inspection image that is not displayed on the
また、設定部49は、上記第3検査用画像が選択された際に、位置情報記憶部10bに記憶された上記第2検査用画像における欠陥部の位置を示す位置情報(第2欠陥部位置情報)を読み出し、第2検査用画像における位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新することができる。
Further, the setting
また、設定部49は、第3検査用画像が選択された際に、位置情報記憶部10bに記憶された第1検査用画像における欠陥部の位置を示す位置情報(第1欠陥部位置情報)と、第2検査用画像における欠陥部の位置を示す位置情報(第2欠陥部位置情報)とを読み出し、第3検査用画像における第1及び第2欠陥部位置情報に対応する画素値を参照して非欠陥部とすべき画素値範囲を更新するように構成されていてもよい。
Further, the setting
画像生成部42は、設定部49により複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、いずれかの画素値範囲に含まれない領域を欠陥領域とした欠陥抽出画像を生成する。この欠陥抽出画像は、図26や図27の第4画像表示領域58dに表示することができる。また、背景選択または強制抽出が行われると非欠陥部とすべき画素値範囲が変更になるが、位置指定受付部48によって非欠陥部または欠陥部の位置の指定が受け付けられると、画像生成部42は欠陥抽出画像における非欠陥領域と欠陥領域とを自動的に更新することができる。
The
表示制御部47は、表示部5に表示された欠陥抽出画像において別の検査用画像で指定された領域に対応する領域を、その拡大操作に連動して同倍率で拡大して表示部5に表示させることができる。また、表示制御部47は、表示部5に表示された欠陥抽出画像において別の検査用画像で指定された領域に対応する領域を、その縮小操作に連動して同倍率で縮小して表示部5に表示させることができる。さらに、表示制御部47は、表示部5に表示された欠陥抽出画像を、上記スクロール操作に連動してスクロールさせることができる。
The
強制抽出を行った後に背景選択を行ったり、背景選択を行った後に強制抽出を行うこともできる。 It is also possible to perform background selection after performing forced extraction, or to perform forced extraction after performing background selection.
(ヒストグラム及びピン)
また、図28に示すように、しきい値設定時にヒストグラムとピンを表示させることもできる。たとえば、第1画像表示領域58aに表示されている元画像1の任意の位置をマウス7でクリックすると、「A」と付されたピンが表示される。すると、しきい値設定用領域58iにおいて、元画像1のクリックした点の画素値に対応するところに同じ「A」と付されたピンが表示され、元画像1のクリックした点の画素値を知ることができる。もう1点クリックすると、「B」と付されたピンが表示され、その位置の画素値を知ることができる。Aのピンと、Bのピンとのそれぞれ画素値を区別して知ることができる。ピンは3本以上表示させることもできる。元画像1でピンが表示されると、他の検査用画像の対応する位置に同じようにピンが表示される。検査用画像が切り替えられた場合には、切り替え後の検査用画像の対応する位置にピンを表示させることができる。
(Histogram and pins)
Further, as shown in FIG. 28, the histogram and the pin can be displayed when the threshold value is set. For example, when an arbitrary position of the
尚、「ピン」とは、使用者が検査用画像の任意の位置を指定したことを表すものの一例であり、表示形状はピン状でなくてもよく、たとえば矢印やフラッグのような形態であってもよい。 The "pin" is an example of indicating that the user has specified an arbitrary position of the inspection image, and the display shape does not have to be pin-shaped, for example, an arrow or a flag. You may.
また、しきい値設定用領域58iには、画素値の度数分布であるヒストグラムも表示できる。ヒストグラムは、図2に示す制御ユニット4のヒストグラム生成部42aで生成することができる。ヒストグラム生成部42aでは、位置指定受付部48によって受け付けた非欠陥部または欠陥部の位置を含む領域のヒストグラムを生成する。
Further, in the threshold
しきい値設定用領域58iには、非欠陥部とすべき画素値範囲の上限と下限をそれぞれ示す2本のしきい値表示線58jが表示されている。使用者が、たとえばしきい値設定用領域58iに表示されているヒストグラムを見ながら、マウス7によるしきい値表示線58jのドラッグ操作により、非欠陥部とすべき画素値範囲及び欠陥部とすべき画素値範囲の少なくとも一方を任意に変更することができる。このドラッグ操作は、操作受付部46によって受け付けることができる。つまり、ヒストグラム生成部42aで生成されたヒストグラム上で非欠陥部とすべき画素値範囲及び欠陥部とすべき画素値範囲の少なくとも一方の変更を受け付けることができる。設定部49は、操作受付部46により受け付けた変更後の画素値範囲に基づいて非欠陥部とすべき画素値範囲を複数の検査用画像に対して設定する。
In the threshold
しきい値の設定方法は上述した方法に限られるものではなく、様々な方法を用いることができる。たとえば単純な画素値範囲ではなく、元画像1と元画像2の明るさ比率でしきい値を設定することもできる。また、複数の条件を組み合わせてしきい値を設定することもでき、この場合、論理演算(ORやNOT)を使用者がカスタム化できるようにしてもよい。
The method of setting the threshold value is not limited to the above-mentioned method, and various methods can be used. For example, the threshold value can be set by the brightness ratio of the
また、マハラノビス距離などの統計学で使用される距離を使用して処理後画像の明るさを決め、しきい値からの外れ度合いに応じて、統計的に合理的な方法でグレー画像を生成することもできる。 It also uses the distances used in statistics, such as the Mahalanobis distance, to determine the brightness of the processed image and generates a gray image in a statistically rational way, depending on the degree of deviation from the threshold. You can also do it.
また、背景選択する操作及び強制抽出する操作は、所定領域内の最小値、最大値を用いる方法とすることができるが、その所定領域内の画素値であっても他の画素値から大きく外れた画素値は除去して演算するようにしてもよい。また、所定領域内の画素値の標準偏差を使用して、外れ値のような値があってもロバストに動作可能にすることができる。上記所定領域は矩形領域であってもよいし、領域セグメンテーションを使用してもよい。これにより、ある程度似ている画素を大量に取得することができるため、しきい値の自動設定などがし易くなる。 Further, the operation of selecting the background and the operation of forcibly extracting can be a method of using the minimum value and the maximum value in the predetermined area, but even the pixel value in the predetermined area greatly deviates from the other pixel values. The pixel value may be removed for calculation. Further, the standard deviation of the pixel values within a predetermined region can be used to enable robust operation even if there is a value such as an outlier. The predetermined area may be a rectangular area, or area segmentation may be used. As a result, it is possible to acquire a large number of pixels that are similar to some extent, so that it becomes easy to automatically set the threshold value.
また、クラスタリングを用いて非欠陥部の画素値範囲を自動的に判定するようにしてもよい。これにより、複数回のクリック操作は不要になる。また、欠陥部を含む領域と、欠陥部の無い領域とを指定し、それらから欠陥に相当する外れ値を見つけることによって適切なしきい値を設定できるようにしてもよい。 Further, clustering may be used to automatically determine the pixel value range of the non-defective portion. This eliminates the need for multiple clicks. Further, an appropriate threshold value may be set by designating an area including a defect portion and an area without a defect portion and finding an outlier corresponding to the defect from them.
また、背景選択と強制抽出の分布を比較して、欠陥部と非欠陥部との分離に適したしきい値を決めることもできる。背景選択と強制抽出の分布を比較して、2群が分離可能か否かを表示することもできる。背景選択と強制抽出の分布を比較して、2群を分離するにはどの画像種が最適か判定し、その画像種でしきい値の設定を行うこともできる。 It is also possible to compare the background selection and the distribution of forced extraction to determine a threshold value suitable for separating the defective portion and the non-defective portion. It is also possible to compare the distributions of background selection and forced extraction to indicate whether the two groups are separable. It is also possible to compare the distribution of background selection and forced extraction, determine which image type is most suitable for separating the two groups, and set the threshold value for that image type.
さらに、背景選択または強制抽出を行う際に、検査用画像の表示を2値化してもよいし、グレースケールで表示してもよい。2値化の場合は、全て検査用画像のしきい値の範囲内を非欠陥部とし、それ以外の欠陥部とすることができる。 Further, when the background is selected or the forced extraction is performed, the display of the inspection image may be binarized or displayed in gray scale. In the case of binarization, the non-defective part can be set within the threshold range of the inspection image, and the other defective part can be set.
(制御部41によるパターン光照明部の制御)
この実施形態では、図23に示すように8つの輝度画像を得てからデフレクトメトリ処理を行うのであるが、デフレクトメトリ処理のアルゴリズムは、パターン光照明部2から照射されるパターン光の照射順番を仮に特定した上で構成されている。この実施形態では、アルゴリズム上でのパターン光の照射順番が、図5Aに示す0゜の場合のY方向パターン光、90゜の場合のY方向パターン光、180゜の場合のY方向パターン光、270゜の場合のY方向パターン光、図5Bに示す0゜の場合のX方向パターン光、90゜の場合のX方向パターン光、180゜の場合のX方向パターン光、270゜の場合のX方向パターン光の順番となっているとしてアルゴリズムが構成されている。
(Control of the pattern light illumination unit by the control unit 41)
In this embodiment, as shown in FIG. 23, the deflection metric processing is performed after obtaining eight luminance images, but the algorithm of the deflation metric processing is the irradiation of the pattern light emitted from the pattern
ここで、画像検査装置1の運用時には移動するワークWを撮像部3で撮像するのであるが、この撮像時に、パターン光照明部2と撮像部3との位置関係が所定の状態になっていないことが考えられる。特に、この実施形態では、パターン光照明部2と撮像部3とが別体であることから、使用者がパターン光照明部2と撮像部3を自由に設置することができるので、パターン光の照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるように設置されてしまうことが起こり易いと想定される。
Here, when the
たとえば、アルゴリズム上では、パターン光の照度分布の位相のシフト方向を1回目の照射から4回目の照射までをX方向と特定しているのに、実際の設置状態では1回目の照射から4回目の照射までY方向に位相がシフトしてしまうようになっていると、照明及び撮像を繰り返して複数の輝度画像を得ることはできるが、不適切な条件で撮像された輝度画像に基づいて検査用画像が生成されることになる。このため、ワークWに存在している凹みが検査用画像に現れにくくなったり、凹みを黒く表示するべきところが反対に白く表示されたり、凹みなのに白と黒とが混ざったような状態で表示されることがある。 For example, in the algorithm, the phase shift direction of the illuminance distribution of the pattern light is specified as the X direction from the first irradiation to the fourth irradiation, but in the actual installation state, it is the fourth from the first irradiation. If the phase shifts in the Y direction until the irradiation of, it is possible to obtain a plurality of luminance images by repeating illumination and imaging, but the inspection is performed based on the luminance images captured under inappropriate conditions. Image will be generated. For this reason, the dents existing in the work W are less likely to appear in the inspection image, the dents that should be displayed in black are displayed in white on the contrary, or the dents are displayed in a state where white and black are mixed even though they are all dents. There are times.
具体的には、図34に示すように、パターン光の照度分布の位相のシフト方向がアルゴリズムで特定されている方向であった場合には、同図における左側に示すように、凹んだ欠陥部が黒くなるように検査用画像に表示される。しかし、同図における中央部に示すように、パターン光撮像部2と撮像部3との向きが、アルゴリズムで仮定されている方向に対して180゜異なっていた場合には、凹んだ欠陥部が白く表示されてしまう。このため、使用者は凸状の欠陥部であると誤って認識してしまう恐れがある。また、同図における右側に示すように、パターン光撮像部2と撮像部3との位置関係が実際には反射光受光であるのに透過光受光であると設定してしまった場合、白い部分と黒い部分とが混ざって表示されることになる。
Specifically, as shown in FIG. 34, when the phase shift direction of the illuminance distribution of the pattern light is the direction specified by the algorithm, the recessed defect portion is shown on the left side in the figure. Is displayed on the inspection image so that is black. However, as shown in the central portion in the figure, when the orientations of the pattern
このことに対し、この実施形態では、情報取得部9が、撮像部3のラインカメラ31の受光素子3aの配列方向に対するワークWの移動方向に関する移動方向情報と、受光素子3aとパターン光照明部2との位置関係に関する位置関係情報とを得て、制御部41が、情報取得部9により取得された移動方向情報及び位置関係情報にしたがい、パターン光照明部2により照射されるパターン光の位相シフト方向を決定することができる。
On the other hand, in this embodiment, the information acquisition unit 9 provides information on the moving direction of the work W with respect to the arrangement direction of the
すなわち、照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていたとしても、移動方向情報と位置関係情報とに基づいて、パターン光照明部2により照射されるパターン光の位相シフト方向を、アルゴリズムで特定している方向に設定し直すことができる。
That is, even if the pattern
したがって、パターン光照明部2や撮像部3を設置し直す必要はなくなる。また、設置場所の制約や配線の関係から照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるようにしかパターン光照明部2や撮像部3を設置できない場合であってもデフレクトメトリの原理を応用した画像検査を行うことができる。
Therefore, it is not necessary to re-install the pattern
つまり、照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていた場合には適切な検査用画像を得ることができないので、適切な検査用画像が得られるように第1発光ダイオード列A1〜A12及び第2発光ダイオード列B1〜B12を制御してパターン光の照射順番を変更することができる。
That is, when the pattern
(画像生成部42による検査用画像の生成)
画像生成部42は、情報取得部9により取得された移動方向情報及び位置関係情報にしたがい、ワークWの形状に係る検査用画像を生成することもできる。これにより、照度分布の位相のシフト方向がアルゴリズムで特定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていた場合に、パターン光照明部2のパターン光の照射順番を変更することなく、画像生成部42の生成方法によって適切な検査用画像を得ることができる。
(Generation of inspection image by image generation unit 42)
The
上記移動方向情報及び位置関係情報を得ておくことで、パターン光がワークWに対してどのように照射されるかを把握することができ、パターン光の位相のシフト方向がどのような方向であっても、画像生成部42は、アルゴリズムで特定されているパターン光の位相のシフト方向と一致するように、画像を取り扱ってワークWの形状に係る検査用画像を生成することができる。たとえば、アルゴリズム上では、パターン光の照度分布の位相のシフト方向を1回目の照射から4回目の照射までX方向と特定し、5回目の照射から8回目の照射までY方向と特定しているのに、実際の設置状態では1回目の照射から4回目の照射までY方向に位相がシフトし、5回目の照射から8回目の照射までX方向に位相がシフトしてしまうようになっていた場合、パターン光の照射順番は変更することなくそのまま撮像し、撮像後に、5回目の照射から8回目の照射で得られた輝度画像を、アルゴリズム上の1回目の照射から4回目の照射で得られた輝度画像として取り扱い、1回目の照射から4回目の照射で得られた輝度画像を、アルゴリズム上の5回目の照射から8回目の照射で得られた輝度画像として取り扱う。このように、実際に撮像した輝度画像を入れ替えて処理することで、パターン光照明部2及び撮像部3の設置状態を変更することなく、デフレクトメトリの原理を応用した画像検査を行うことができる。
By obtaining the movement direction information and the positional relationship information, it is possible to grasp how the pattern light is irradiated to the work W, and in what direction the phase shift direction of the pattern light is. Even so, the
(検査部の構成)
図2に示すように、制御ユニット4には検査部4aが設けられている。検査部4aは、画像生成部42により生成された検査用画像に基づいてワークWの欠陥検査を実行する。たとえば、ワークWに非欠陥部があるか否かを上記しきい値に基づいて判定し、非欠陥部があると判定される場合には報知することができる。
(Structure of inspection department)
As shown in FIG. 2, the
(HDR機能)
画像検査装置1には、ハイダイナミックレンジ合成(high dynamic range imaging : HDR)機能を組み込むことができる。HDR機能では、制御部41は、明るさが異なる複数の輝度画像を得るようにパターン光照明部2及び撮像部3を制御する。HDR機能で得る輝度画像としては、たとえば、露光時間の異なる複数の輝度画像、パターン光照明部2の発光強度が異なる複数の輝度画像、露光時間及び発光強度の両方が異なる複数の輝度画像がある。画像生成部42は、たとえば、明るさが異なる3枚の輝度画像を合成することで、各輝度画像のダイナミックレンジよりも広いダイナミックレンジを有する検査用画像を生成することができる。HDR合成の手法については従来から周知の手法を用いることができる。
(HDR function)
The
HDR機能では複数の輝度画像を得る必要があり、この場合も、上記トリガ信号の送信の欄で説明したように、外部からの一のエンコーダパルス信号を受け付けると、パターン光照明部2の照明条件及び撮像部3の撮像条件の少なくとも一方を変化させて複数の輝度画像が生成されるように、パターン光照明部2及び撮像部3に対して複数の撮像トリガ信号を順次送信するように構成することができる。
In the HDR function, it is necessary to obtain a plurality of luminance images, and in this case as well, as described in the section of transmitting the trigger signal, when one encoder pulse signal from the outside is received, the illumination condition of the pattern
(マルチスペクトル照明)
パターン光照明部2は、マルチスペクトル照明が可能に構成されていてもよい。マルチスペクトル照明とは、波長が異なる光を、タイミングをずらしてワークWに照射することであり、印刷物(検査対象物)の色むらや汚れ等を検査するのに適している。たとえば、黄色、青色、赤色を順番にワークWに照射可能となるように、パターン光照明部2を構成することができ、具体的には、多数色のLEDを有するパターン光照明部2としてもよいし、液晶パネルや有機ELパネル等でパターン光照明部2を構成してもよい。
(Multi-spectral lighting)
The pattern
撮像部3は、光が照射されるタイミングでワークWを撮像して複数の輝度画像を得る。画像生成部42は、複数の輝度画像を合成して検査用画像を得ることができる。ここで、光には紫外線や赤外線も含むことができる。
The
(実施形態の作用効果)
以上説明したように、この実施形態によれば、複数のパターン光をワークWに順次照射し、パターン光が照射される都度、ワークWを撮像して複数の輝度画像を生成し、複数の輝度画像に基づいて、ワークWの形状を示す位相データを生成し、ワークWの形状に係る検査用画像を生成するようにしたので、デフレクトメトリの原理を応用した画像検査を行うことができる。
(Action and effect of the embodiment)
As described above, according to this embodiment, a plurality of pattern lights are sequentially irradiated to the work W, and each time the pattern light is irradiated, the work W is imaged to generate a plurality of brightness images, and a plurality of brightness images are generated. Since phase data indicating the shape of the work W is generated based on the image and an inspection image related to the shape of the work W is generated, image inspection can be performed by applying the principle of reflectance.
仮に、照度分布の位相のシフト方向がアルゴリズムで想定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていたとしても、受光素子3aの配列方向に対するワークWの移動方向に関する移動方向情報と、受光素子3aとパターン光照明部2との位置関係に関する位置関係情報とにしたがい、パターン光照明部2により照射されるパターン光の位相シフト方向を適切な方向にすることができる。
Even if the pattern
また、照度分布の位相のシフト方向がアルゴリズムで想定されている方向とは異なる方向となるようにパターン光照明部2及び撮像部3が設置されていたとしても、上記移動方向情報及び位置関係情報とにしたがい、画像生成部42によってワークWの形状に係る検査用画像を生成することができる。
Further, even if the pattern
また、複数の検査用画像を表示部5に同時に表示することができる。複数の検査用画像を表示部5に同時に表示した状態で、使用者が、ある検査用画像を見て、ワークWの非欠陥部または欠陥部の位置を指定すると、その指定した結果を受け付け、非欠陥部または欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を複数の検査用画像に対して設定することができる。これにより、使用者が全ての検査用画像に対して非欠陥部または欠陥部の位置を指定しなくても、複数の検査用画像で欠陥の有無を判定することができる。
Further, a plurality of inspection images can be displayed on the
また、複数の検査用画像に対して設定された非欠陥部とすべき画素値範囲の全てに含まれる領域を非欠陥領域とし、いずれかの画素値範囲に含まれない領域を欠陥領域とした欠陥抽出画像を生成することができるので、使用者は、欠陥抽出画像を見るだけで異なる種別の欠陥の検出を行うことができる。 In addition, a region included in all of the pixel value ranges set for a plurality of inspection images to be non-defective parts is defined as a non-defect region, and a region not included in any of the pixel value ranges is defined as a defective region. Since the defect extraction image can be generated, the user can detect different types of defects simply by looking at the defect extraction image.
また、複数の検査用画像を表示部5に同時に表示した状態で、使用者が、一の検査用画像の一部の領域を指定して拡大する操作を行うと、他の検査用画像において対応する領域が同倍率で拡大されて表示部に表示される。これにより、簡単な操作でもって複数の検査用画像を同じように拡大して表示することができる。同領域が同倍率で拡大表示された各検査用画像を使用者が見て、ある検査用画像においてワークWの非欠陥部または欠陥部の位置を指定することができる。
Further, when a user performs an operation of designating a part area of one inspection image and enlarging it while displaying a plurality of inspection images on the
また、異なる種別の欠陥の検出が可能な複数の検査用画像を生成する場合に、フィルタ処理が実行された検査用画像と、フィルタ処理が実行されていない検査用画像とを使用者が同時に見ることができる。
(実施形態2)
上記実施形態1では、得られた輝度画像に対してデフレクトメトリ処理を行うことによって検査用画像を生成する機能について説明したが、本発明に係る画像検査装置1は、このデフレクトメトリ処理機能以外にも、たとえば、フォトメトリックステレオ法を利用して検査用画像を生成する機能を持たせることもできる。
Further, when generating a plurality of inspection images capable of detecting different types of defects, the user simultaneously views the filtered inspection image and the unfiltered inspection image. be able to.
(Embodiment 2)
In the first embodiment, the function of generating an inspection image by performing the deflection metric processing on the obtained luminance image has been described, but the
以下、フォトメトリックステレオ法を利用して検査用画像を生成する場合について、図38を参照しながら、実施形態1と同じ部分には同じ符合を付して説明を省略し、異なる部分について詳細に説明する。 Hereinafter, in the case of generating an inspection image by using the photometric stereo method, the same parts as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted with reference to FIG. 38, and the different parts will be described in detail. explain.
実施形態2に係る画像検査装置1は、たとえば特開2015−232486号公報に開示されている画像検査装置と同様に構成することができる。すなわち、画像検査装置1は、ワークWを一定の方向から撮像する撮像部3と、ワークWを異なる三以上の照明方向から照明するための照明部200と、制御ユニット400とを備えるとともに、実施形態1と同様な表示部5、キーボード6及びマウス7を少なくとも備えている。
The
照明部200は、ワークWに対して、互いに異なる方向から光を照射するように構成されており、第1〜第4発光部201〜204と、第1〜第4発光部201〜204を制御する照明制御部205とを有している。この照明部200は、ワークWに対して互いに異なる方向から光を照射する複数方向照明を実行する部分である。第1〜第4発光部201〜204は互いに間隔をあけてワークWを取り囲むように配置されている。第1〜第4発光部201〜204は、発光ダイオード、白熱球、蛍光灯等を利用することができる。また、第1〜第4発光部201〜204は別体であってもよいし、一体化されていてもよい。
The
制御ユニット400は、制御部401と、法線ベクトル算出部402と、輪郭画像生成部403と、テクスチャ描出画像生成部404と、トリガ信号送信部405とを備えている。制御部401は、エンコーダパルス信号が外部から入力されたときに、エンコーダパルス信号を受け付けることが可能に構成されている。制御部401が外部からの一のエンコーダパルス信号を受け付けると、照明部200の照明条件及び撮像部3の撮像条件の少なくとも一方を変化させて複数の輝度画像が生成されるように、トリガ信号送信部405が撮像部3に対して複数の撮像トリガ信号を順次送信するように構成されている。また、制御部401が外部からの一のエンコーダパルス信号を受け付けると、トリガ信号送信部405は、照明部200に対して複数の照明トリガ信号を順次送信するように構成されている。この実施形態では、第1〜第4発光部201〜204を順次点灯させるので、照明トリガ信号を4回送信する。この照明トリガ信号の送信に同期させて撮像トリガ信号を4回送信する。
The
たとえば、照明部200が1回目の照明トリガ信号を受信すると、照明制御部205が第1発光部201のみ点灯させる。このとき撮像部3は撮像トリガ信号を受信して光が照射されるタイミングでワークWを撮像する。照明部200が2回目の照明トリガ信号を受信すると、照明制御部205が第2発光部202のみ点灯させ、このとき撮像部3はワークWを撮像する。このようにして4枚の輝度画像を得ることができる。なお、照明の数は4つに限られるものではなく、3つ以上で、かつ、互いに異なる方向からワークWを照明することができれば任意の数にすることができる。
For example, when the
法線ベクトル算出部402は、撮像部3によって撮像された複数の輝度画像同士で対応関係にある画素毎の画素値を用いて、各画素のワークWの表面に対する法線ベクトルを算出する。輪郭画像生成部403は、算出された各画素の法線ベクトルに対してX方向及びY方向に微分処理を施し、ワークWの表面の傾きの輪郭を示す輪郭画像を生成する。テクスチャ描出画像生成部404は、算出された各画素の法線ベクトルから、法線ベクトルと同個数の各画素のアルベドを算出し、アルベドから、ワークWの表面の傾き状態を除去した模様を示すテクスチャ描出画像を生成する。
The normal vector calculation unit 402 calculates the normal vector for the surface of the work W of each pixel by using the pixel values for each pixel that are in a corresponding relationship between the plurality of luminance images captured by the
尚、図示しないが、実施形態2においても、実施形態1と同様に、表示部5に表示された各検査用画像に対して、当該検査用画像における検査対象物の非欠陥部または欠陥部の位置の指定を受け付け可能な受付部、受付部により受け付けた非欠陥部または欠陥部の位置の画素値に基づいて、非欠陥部とすべき画素値範囲を複数の検査用画像に対して設定する設定部を備えている。さらに、表示部5に表示された検査用画像のうち、一の検査用画像の一部の領域を指定して拡大する拡大操作を受け付け可能な操作受付部、表示部5に表示された他の検査用画像において上記一の検査用画像で指定された領域に対応する領域を、上記拡大操作に連動して同倍率で拡大して上記表示部に表示させる表示制御部も備えている。拡大操作の代わりに縮小操作やスクロール操作が可能であるのはもちろんである。さらにまた、図示しないフィルタ処理部も実施形態1と同様である。
Although not shown, also in the second embodiment, as in the first embodiment, for each inspection image displayed on the
(実施形態の作用効果)
この実施形態2によれば、フォトメトリックステレオ法を利用して、異なる種別の欠陥の検出が可能な複数の検査用画像を得ることができ、得られた検査用画像を用いて欠陥検査を行うことができる。
(実施形態3)
図39は、本発明の実施形態3に係る画像検査装置1のブロック図である。この実施形態3は、画像検査装置1がエッジ生成部500を備えている点で実施形態1と異なっているが、他の部分は実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符合を付して説明を省略し、異なる部分について詳細に説明する。
(Action and effect of the embodiment)
According to the second embodiment, a plurality of inspection images capable of detecting different types of defects can be obtained by using the photometric stereo method, and defect inspection is performed using the obtained inspection images. be able to.
(Embodiment 3)
FIG. 39 is a block diagram of the
ワークWの検査を行う際、たとえば複雑な形状の輪郭の欠陥検査をしたい場合や、複雑な形状を持った特定の領域内で欠陥検査をしたい場合等があり、このような場合には、検査用画像上で、輪郭を正確に抽出する必要がある。上記エッジ生成部500はワークWの輪郭を表示部5に表示されている画面上に生成するための部分であり、制御ユニット4の一部とすることもできる。
When inspecting the work W, for example, there are cases where it is desired to inspect a defect in the contour of a complicated shape, or when it is desired to inspect a defect in a specific area having a complicated shape. It is necessary to extract the contour accurately on the image. The
尚、ワークWの輪郭をエッジとも呼ぶが、エッジは、ワークWの外形線だけでなく、ワークWに形成された穴や凹みの周縁部、ワークWに形成された溝の縁、ワークWに設けられたビードの外形線、ワークWに設けられたシール部材の外形線、ワークWに塗布されたシール剤の縁部等の場合があり、本実施形態では基本的にどのようなエッジも画面上に生成して確認することが可能である。 The contour of the work W is also referred to as an edge, and the edge is not only the outer line of the work W, but also the peripheral edge of a hole or a recess formed in the work W, the edge of the groove formed in the work W, and the work W. In some cases, the outline of the bead provided, the outline of the seal member provided on the work W, the edge of the sealant applied to the work W, etc., and basically any edge is displayed on the screen in this embodiment. It can be generated and confirmed above.
エッジ生成部500は、表示部5に表示された検査用画像上で、ワークWのエッジ検出の初期位置となる任意の位置の指定を受け付ける位置受付部501と、位置受付部501で受け付けた初期位置または当該初期位置の近傍の初期エッジ位置を検出するとともに、当該エッジの勾配方向を特定するエッジ検出部502と、エッジ検出部502により検出されたエッジの勾配方向と略直交する方向をエッジ接線方向と仮定し、検出されたエッジからエッジ接線方向に所定距離離れた位置にエッジをサーチする領域であるサーチ領域を設定するサーチ領域設定部503と、サーチ領域設定部503により設定されたサーチ領域内の画素値に基づき、当該サーチ領域内で有効なエッジ位置検出用局所しきい値を設定するための局所しきい値設定部504と、エッジ連結部505とを備えている。
The
エッジ検出部502は、サーチ領域内の画素値とエッジ位置検出用局所しきい値とに基づいて、当該サーチ領域におけるエッジ位置を検出するとともに、当該エッジの勾配方向を特定するエッジ検出処理を実行し、当該エッジ検出処理をサーチ領域設定部503により順次設定されるサーチ領域に対して繰り返し実行するように構成されている。エッジ連結部505が、各サーチ領域にて順次検出されたエッジ位置を連結する連結処理を実行することにより、ワークWの輪郭を特定するように構成されている。 The edge detection unit 502 detects the edge position in the search area based on the pixel value in the search area and the local threshold value for edge position detection, and executes the edge detection process for specifying the gradient direction of the edge. Then, the edge detection process is configured to be repeatedly executed for the search area sequentially set by the search area setting unit 503. The edge connecting portion 505 is configured to specify the contour of the work W by executing a connecting process for connecting the edge positions sequentially detected in each search area.
尚、この実施形態では、エッジ検出部502がエッジ位置を検出してエッジの勾配方向を特定するようにしているが、こればエッジ接線方向を仮定するための処理であり、エッジの勾配方向を特定することなく、エッジ接線方向を仮定する場合には、エッジの勾配方向の特定は不要である。 In this embodiment, the edge detection unit 502 detects the edge position and specifies the slope direction of the edge. However, this is a process for assuming the edge tangential direction, and the slope direction of the edge is determined. When the edge tangential direction is assumed without specifying, it is not necessary to specify the slope direction of the edge.
以下、エッジ生成部500による具体的なエッジ生成方法について図40に示すフローチャートに基づいて説明する。このフローチャートのステップSD1では、i=1と置く。その後、ステップSD2に進み、このステップSD2では、使用者が、表示部5に表示された検査用画像上で、ワークWのエッジ検出の初期位置となる任意の位置をマウス7のクリック操作によって指定する。初期位置の指定方法はマウス7の操作に限られるものではなく、他の入力機器の操作であってもよい。
Hereinafter, a specific edge generation method by the
たとえば図41に示す検査用画像上で、使用者がエッジであると認識している線上にポインタ(白抜きの矢印で示す)を置き、マウス7をクリック操作する。使用者は検査用画像上でエッジが分かりやすい部分を指定すると考えられるので、使用者に初期位置の指摘を行わせることで、初期位置を正確に特定することができる。
For example, on the inspection image shown in FIG. 41, a pointer (indicated by a white arrow) is placed on a line recognized by the user as an edge, and the
クリック操作された位置は位置受付部501によって受け付けられる。クリックされた位置がエッジ上から多少外れている場合があるので、エッジ検出部502は、図42に示すようにクリックされた位置を含む所定範囲の領域S0内で最もエッジ強度の強い座標、即ち画素値の差が大きい部分の座標を求め、その位置に対応する座標を求めて初期座標P0とする(ステップSD3)。これにより、クリックされた位置がエッジ上から多少外れていても、位置を修正することができ、エッジ上に初期座標を置くことができる。また、ステップSD3ではエッジの勾配方向(画素値が変化する方向)も特定しておき、図43の左側に示すように、初期座標P0を通り、かつ、エッジの勾配方向を示す勾配ベクトルnを求める。これはエッジ検出部502が行う。尚、しきい値を超えるエッジが見つからなければ処理を終了する。
The click-operated position is accepted by the
ステップSD3に続くステップSD4では、勾配ベクトルnに略直交する接線ベクトルr(初期座標P0における接線ベクトル)を求め、この接線ベクトルrを進行ベクトル(単位ベクトル)とする。進行ベクトルの方向をエッジ接線方向と仮定することができる。 In step SD4 following step SD3, a tangent vector r (tangent vector at the initial coordinate P0) substantially orthogonal to the gradient vector n is obtained, and this tangent vector r is used as a traveling vector (unit vector). The direction of the travel vector can be assumed to be the edge tangential direction.
その後、ステップSD5に進み、図43の右側に示すように、進行ベクトルr×L(所定距離)だけ離れた位置の座標(点Si)を求める。ステップSD6では、点Siを中心としたセグメントS1を進行ベクトルrと平行に形成する。このセグメントS1は、エッジをサーチする領域であるサーチ領域に相当する。これはサーチ領域設定部503が行う。 After that, the process proceeds to step SD5, and as shown on the right side of FIG. 43, the coordinates (point Si) of the positions separated by the progress vector r × L (predetermined distance) are obtained. In step SD6, the segment S1 centered on the point Si is formed parallel to the traveling vector r. This segment S1 corresponds to a search area which is an area for searching for edges. This is done by the search area setting unit 503.
セグメントS1を形成した後、ステップSD7では、図44の左側に示すセグメントS1内の画素をエッジ勾配方向と直交する方向に投影(縮退)することにより、同図の中央に示すように一次元の画素値にし、この一次元の画素値をエッジ情報として得る。得られたエッジ情報からエッジ位置を求める。セグメントS1内での2値化であることから、狭い領域で2値化のしきい値を決めることができる。セグメントS1内で求めたしきい値が、エッジ位置検出用局所しきい値である。エッジ位置検出用局所しきい値は大津法(判別分析法)によって求めることができる。これは局所しきい値設定部504で行う。また、たとえば一次元の画素値の微分値に対してエッジ位置検出用局所しきい値を設定し、エッジ位置を求めてもよい。 After forming the segment S1, in step SD7, the pixels in the segment S1 shown on the left side of FIG. 44 are projected (degenerate) in the direction orthogonal to the edge gradient direction, so that the pixels are one-dimensional as shown in the center of the figure. The pixel value is set, and this one-dimensional pixel value is obtained as edge information. The edge position is obtained from the obtained edge information. Since it is binarization within the segment S1, the threshold value for binarization can be determined in a narrow area. The threshold value obtained in the segment S1 is the local threshold value for edge position detection. The local threshold value for edge position detection can be obtained by the Otsu method (discriminant analysis method). This is done by the local threshold setting unit 504. Further, for example, a local threshold value for detecting the edge position may be set with respect to the differential value of the one-dimensional pixel value, and the edge position may be obtained.
ステップSD8では、エッジ位置が求まったか否か判定する。ステップSD8でNOと判定された場合にはステップSD16、17を経てステップSD5に戻る。複数回試してもエッジ位置が求まらなかった場合には処理を終了する。 In step SD8, it is determined whether or not the edge position has been obtained. If NO is determined in step SD8, the process returns to step SD5 through steps SD16 and 17. If the edge position cannot be found even after trying multiple times, the process ends.
一方、ステップSD8でYESと判定されてエッジ位置が求まった場合には、ステップSD9に進み、図43の右側に示すように、求まったエッジ位置をPiと置く。ステップSD10では、進行ベクトルをPi−1からPiへの単位ベクトルに更新する。 On the other hand, if YES is determined in step SD8 and the edge position is obtained, the process proceeds to step SD9, and the obtained edge position is set as Pi as shown on the right side of FIG. 43. In step SD10, the progress vector is updated to the unit vector from Pi-1 to Pi.
その後、ステップSD11では、ステップSD9で求めた点Piを中心に、進行ベクトルと平行にセグメントを形成する。ステップSD12では、ステップSD11で形成したセグメントを縮退することによって2値化し、エッジ情報を得て、このエッジ情報からエッジ位置を求める。ステップSD13では、ステップSD12で求まったエッジ位置をPiと置く。ステップSD14では、進行ベクトルをPi−1からPiへの単位ベクトルに更新する。ステップSD15では、i=i+1とする。その後、ステップSD5に進む。 After that, in step SD11, a segment is formed in parallel with the progress vector centering on the point Pi obtained in step SD9. In step SD12, the segment formed in step SD11 is degenerate to binarize, edge information is obtained, and the edge position is obtained from this edge information. In step SD13, the edge position obtained in step SD12 is set as Pi. In step SD14, the progress vector is updated to the unit vector from Pi-1 to Pi. In step SD15, i = i + 1. Then, the process proceeds to step SD5.
つまり、順次設定されるサーチ領域に対してエッジ検出処理を繰り返し実行することで、図45Aに示すように、複数のエッジ位置(この例では点P0〜P10)を求めることができる。複数のエッジ位置を求めた後、エッジ連結部505が、エッジ位置を、求められた順(P0→P1→P2・・・P10→P0)に線で連結していくことにより、ワークWの輪郭を特定することができる。このとき、P0とP10の距離が所定距離以下であるか否かを判定し、所定距離以下ならP0とP10とを連結する方法と採用してもよい。 That is, as shown in FIG. 45A, a plurality of edge positions (points P0 to P10 in this example) can be obtained by repeatedly executing the edge detection process for the search areas that are sequentially set. After obtaining a plurality of edge positions, the edge connecting portion 505 connects the edge positions with a line in the obtained order (P0 → P1 → P2 ... P10 → P0), thereby contouring the work W. Can be identified. At this time, it may be determined whether or not the distance between P0 and P10 is equal to or less than a predetermined distance, and if it is equal to or less than a predetermined distance, a method of connecting P0 and P10 may be adopted.
P10からP0に連結したときに閉領域フラグを持たせて処理を終了させることができる。P0は輪郭の始点及び終点になる。閉領域にならない輪郭の場合もある。こうして特定されたワークWの輪郭は、白及び黒以外の任意の色で検査用画面に合成された状態で表示できる。 When connected from P10 to P0, the closed area flag can be given and the process can be terminated. P0 is the start point and the end point of the contour. In some cases, the contour is not a closed area. The outline of the work W identified in this way can be displayed in a state of being synthesized on the inspection screen in any color other than white and black.
図45Bでは、白い点(エッジ位置)によって既に輪郭が特定されていて、その後、エッジ位置としてP0〜P3を順に求めた場合を示している。P3を求めた後、既に特定されている輪郭と交差しないように処理を停止するのが好ましい。また、P3を求めた後、白い点ではなく、P0に連結して処理を終了させるようにしてもよく、これにより迷走を避けることができる。また、図45Bにおける白い点で示すエッジ位置のみで構成された閉領域としてもよい。尚、図面上の白い点は説明の便宜を図るために示しているだけであり、色や形態は任意に設定することができるが、既に求まったエッジ位置と、その後に求めたエッジ位置とは異なる色や形態で表示するのが好ましい。 FIG. 45B shows a case where the contour is already specified by the white dots (edge positions), and then P0 to P3 are sequentially obtained as the edge positions. After obtaining P3, it is preferable to stop the process so as not to intersect the contour already specified. Further, after obtaining P3, the process may be terminated by connecting to P0 instead of the white dot, whereby stray can be avoided. Further, it may be a closed region composed of only the edge positions indicated by the white dots in FIG. 45B. The white dots on the drawing are shown only for convenience of explanation, and the color and form can be set arbitrarily, but the already obtained edge position and the edge position obtained after that are It is preferable to display in different colors and forms.
図45Cでは、白い点(エッジ位置)によって既に輪郭が特定されていて、その後、エッジ位置としてP0、P1を求めた場合を示している。P1を求めた後に形成されたセグメントS1内に、既に特定されている輪郭が存在している場合には処理を停止することができる。尚、セグメントS1内に、仮にP0が存在していた場合には処理を停止させることなく、P0と連結するようにすればよい。 FIG. 45C shows a case where the contour is already specified by the white point (edge position) and then P0 and P1 are obtained as the edge positions. If the contour already specified exists in the segment S1 formed after obtaining P1, the process can be stopped. If P0 exists in the segment S1, it may be connected to P0 without stopping the processing.
図46は、輪郭の曲率が小さい場合の処理方法を示す図である。図46の上に示すように、エッジ位置P1を求めた後、次のエッジ位置を求めるために、進行ベクトル方向に所定距離Lだけ離れたところにセグメントS1を形成するのであるが、このとき、輪郭の曲率が小さいと、セグメントS1の外に輪郭が位置することになり、エッジ位置を検出できない場合がある。 FIG. 46 is a diagram showing a processing method when the curvature of the contour is small. As shown in the upper part of FIG. 46, after the edge position P1 is obtained, the segment S1 is formed at a distance L by a predetermined distance in the traveling vector direction in order to obtain the next edge position. If the curvature of the contour is small, the contour is located outside the segment S1, and the edge position may not be detected.
このように、セグメントS1内でエッジ位置を検出できなかったときには、サーチ領域設定部503は、所定距離Lを短くしてセグメントS1を再設定するように構成されている。図46の上から2番目の図に示すように、所定距離LをたとえばL/2とすることができる。エッジ検出部502は、所定距離Lを短くして再設定されたセグメントS1内でエッジ位置を検出するとともに、エッジの勾配方向を特定する。尚、所定距離をL/2にしてもセグメントS1内にエッジを検出できなかった場合には、所定距離を更に短くしてセグメントS1を形成する。 As described above, when the edge position cannot be detected in the segment S1, the search area setting unit 503 is configured to shorten the predetermined distance L and reset the segment S1. As shown in the second figure from the top of FIG. 46, the predetermined distance L can be set to, for example, L / 2. The edge detection unit 502 detects the edge position in the segment S1 reset by shortening the predetermined distance L, and specifies the gradient direction of the edge. If an edge cannot be detected in the segment S1 even if the predetermined distance is set to L / 2, the predetermined distance is further shortened to form the segment S1.
図46の上から2番目の図では、セグメントS1内の画素を投影すると、輪郭に対して斜めに投影することになるのでエッジがぼやけてしまい、正確なエッジが分かり難くなることがある。このことに対して、図46の下に示すように、エッジ検出部502は、サーチ領域設定部503で再設定されたセグメントS1内で検出されたエッジ位置を仮エッジ位置P2とし、サーチ領域設定部503は、仮エッジ位置P2と、該仮エッジ位置P2の直前に検出されたエッジ位置P1とを結ぶベクトルtと直交する方向に広がるセグメントS1’(再設定サーチ領域)を設定する。これにより、セグメントS1’内の画素を投影したときにエッジが明確になる。エッジ検出部502は、セグメントS1’内でエッジ位置を検出するとともに、当該エッジの勾配方向を特定し、検出されたエッジ位置を、上記仮エッジ位置P2と置き換えるように構成されている。 In the second figure from the top of FIG. 46, when the pixels in the segment S1 are projected, the edges are projected diagonally with respect to the contour, so that the edges may be blurred and the exact edges may be difficult to understand. On the other hand, as shown at the bottom of FIG. 46, the edge detection unit 502 sets the edge position detected in the segment S1 reset by the search area setting unit 503 as the temporary edge position P2 and sets the search area. The unit 503 sets a segment S1'(reset search area) extending in a direction orthogonal to the vector t connecting the temporary edge position P2 and the edge position P1 detected immediately before the temporary edge position P2. As a result, the edges become clear when the pixels in the segment S1'are projected. The edge detection unit 502 is configured to detect the edge position in the segment S1', specify the gradient direction of the edge, and replace the detected edge position with the temporary edge position P2.
また、図47に示すような検査対象物、たとえばビードやシール剤、Oリング等では、当該検査対象物が所定の幅Cを持っており、幅方向の両側に輪郭がそれぞれある。本実施形態では、上述した方法を応用して幅方向の両側の輪郭を特定することもできる。以下、図48のフローチャートに基づいて両側の輪郭特定方法について詳細に説明する。 Further, in an inspection object as shown in FIG. 47, for example, a bead, a sealant, an O-ring, etc., the inspection object has a predetermined width C and has contours on both sides in the width direction. In the present embodiment, the contours on both sides in the width direction can be specified by applying the method described above. Hereinafter, the contour identification method on both sides will be described in detail based on the flowchart of FIG. 48.
図48のフローチャートのステップSE1では、i=1と置く。その後、ステップSE2に進む。ステップSE2では、使用者が、表示部5に表示された検査用画像上で、検査対象物のエッジ検出の初期位置となる任意の位置をマウス7のクリック操作によって指定する。たとえば図47に示す検査用画像上(一部を示している)で、使用者が検査対象物の幅方向中心部であると認識している所にポインタ(白抜きの矢印で示す)を置き、マウス7をクリック操作する。クリックされた位置は位置受付部501によって受け付けられる。
In step SE1 of the flowchart of FIG. 48, i = 1 is set. Then, the process proceeds to step SE2. In step SE2, the user designates an arbitrary position as the initial position for edge detection of the inspection object on the inspection image displayed on the
ステップSE3では、クリックされた位置を含む所定範囲の領域S0内(図49に示す)でエッジ強度の強い座標を求め、最初のエッジ位置E0を設定する。ステップSE4では、勾配ベクトルnをたどり、対応するエッジ位置E0’を求める。エッジ位置E0’における勾配ベクトルn’の方向は勾配ベクトルnと反対になる。エッジ位置E0とエッジ位置E0’との中間位置を初期座標(制御点)P0とする。 In step SE3, the coordinates with strong edge strength are obtained within the region S0 (shown in FIG. 49) in the predetermined range including the clicked position, and the first edge position E0 is set. In step SE4, the gradient vector n is traced to obtain the corresponding edge position E0'. The direction of the gradient vector n'at the edge position E0'is opposite to that of the gradient vector n. The intermediate position between the edge position E0 and the edge position E0'is set as the initial coordinate (control point) P0.
ステップSE5では、エッジ位置E0における勾配ベクトルnと、エッジ位置E0’における勾配ベクトルn’を平均して、進行ベクトルrを算出する。ステップSE6では、図50に示すように、進行ベクトルr×L(所定距離)だけ離れた位置の座標(点Si)を求める。ステップSE7では、点Siを中心としたセグメントS1を進行ベクトルrと平行に形成する。 In step SE5, the progress vector r is calculated by averaging the gradient vector n at the edge position E0 and the gradient vector n'at the edge position E0'. In step SE6, as shown in FIG. 50, the coordinates (point Si) of the positions separated by the traveling vector r × L (predetermined distance) are obtained. In step SE7, the segment S1 centered on the point Si is formed parallel to the traveling vector r.
ステップSE8では、セグメントS1内の画素をエッジ勾配方向と直交する方向に投影(縮退)することによって一次元の画素値をエッジ情報として得て、このエッジ情報からエッジ位置Ei、Ei’を求める。ステップSE9では、エッジ位置が求まったか否か判定する。ステップSE9でNOと判定された場合にはステップSE17、18を経てステップSE6に戻る。複数回試してもエッジ位置が求まらなかった場合には処理を終了する。 In step SE8, one-dimensional pixel values are obtained as edge information by projecting (degenerating) the pixels in the segment S1 in a direction orthogonal to the edge gradient direction, and edge positions Ei and Ei'are obtained from this edge information. In step SE9, it is determined whether or not the edge position has been obtained. If NO is determined in step SE9, the process returns to step SE6 through steps SE17 and 18. If the edge position cannot be found even after trying multiple times, the process ends.
一方、ステップSE9でYESと判定されてエッジ位置Ei、Ei’が求まった場合には、ステップSE10に進み、エッジ位置Ei、Ei’の中間位置をPiと置く。ステップSE11では、進行ベクトルをPi−1からPiへの単位ベクトルに更新する。その後、ステップSE12では、ステップSE10で求めた点Piを中心に、進行ベクトルと平行にセグメントを形成する。ステップSE13では、ステップSE12で形成したセグメントを縮退することによって2値化し、エッジ情報を得て、このエッジ情報からエッジ位置を求める。ステップSE14では、ステップSE13で求まったエッジ位置をPiと置く。ステップSE15では、進行ベクトルをPi−1からPiへの単位ベクトルに更新する。ステップSE16では、i=i+1とする。その後、ステップSE6に進む。従って、順次設定されるサーチ領域に対してエッジ検出処理を検査対象物の幅方向両側で繰り返し実行することで、両側のエッジ位置をそれぞれ複数求めることができる。エッジ位置を求めた後、エッジ連結部505が、エッジ位置を線で連結していくことにより、両側の輪郭を特定することができる。 On the other hand, if YES is determined in step SE9 and the edge positions Ei and Ei'are obtained, the process proceeds to step SE10 and the intermediate position between the edge positions Ei and Ei'is set as Pi. In step SE11, the progress vector is updated to the unit vector from Pi-1 to Pi. After that, in step SE12, a segment is formed in parallel with the traveling vector centering on the point Pi obtained in step SE10. In step SE13, the segment formed in step SE12 is degenerate to binarize, edge information is obtained, and the edge position is obtained from this edge information. In step SE14, the edge position obtained in step SE13 is set as Pi. In step SE15, the progress vector is updated to the unit vector from Pi-1 to Pi. In step SE16, i = i + 1. Then, the process proceeds to step SE6. Therefore, by repeatedly executing the edge detection process on both sides in the width direction of the inspection target for the search areas that are sequentially set, it is possible to obtain a plurality of edge positions on both sides. After determining the edge position, the edge connecting portion 505 connects the edge positions with a line, so that the contours on both sides can be specified.
エッジの生成は、画像検査装置1の設定時に行うことができ、生成したエッジを基準モデル線として記憶装置10に記憶させておくことができる。画像検査装置1の設定後、画像検査装置1の運用時には、検査対象物を撮像して検査用画像を得て、検査用画像の検査対象物の位置補正等を行った後、検査用画像上の検査対象物のエッジを検出し、検出したエッジと上記基準モデル線とを比較して差が所定以上である場合に欠陥部であると特定することができる。これは検査部4aが実行できる。
The edge can be generated at the time of setting the
(実施形態の作用効果)
この実施形態3によれば、使用者が表示部5に表示された検査用画像上で、ワークWのエッジまたはその近傍位置を指定すると、サーチ領域の設定、サーチ領域内におけるしきい値の設定、サーチ領域内でのエッジ位置の検出が繰り返し行われてワークWの輪郭に沿って複数のエッジ位置を順次得ることができ、得られたエッジ位置を連結してワークWの輪郭を自動的に特定することができる。よって、簡単な操作であっても高精度に輪郭を特定することができ、検査精度を向上させることができる。
(実施形態4)
図51は、本発明の実施形態4に係る画像検査装置1のブロック図である。この実施形態4は、画像検査装置1がエッジ生成部300を備えている点で実施形態1と異なっているが、他の部分は実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符合を付して説明を省略し、異なる部分いついて詳細に説明する。
(Action and effect of the embodiment)
According to the third embodiment, when the user specifies the edge of the work W or the position in the vicinity thereof on the inspection image displayed on the
(Embodiment 4)
FIG. 51 is a block diagram of the
エッジ生成部300は、表示部5に表示された検査用画像上の異なる位置に複数のエッジ検出領域を設定するためのエッジ検出領域設定部301と、各エッジ検出領域内で複数のエッジ点を検出し、隣接するエッジ点同士を連結することにより、検査対象物の輪郭の一部を構成する輪郭セグメントをエッジ検出領域ごとに形成する輪郭セグメント形成部302と、輪郭セグメント形成部302で形成された一の輪郭セグメントの端部と、該端部と最も近い他の輪郭セグメントの端部とを連結する連結処理を実行し、当該連結処理を輪郭セグメントの開放端が無くなるまで繰り返して閉領域を形成する閉領域形成部303とを備えている。
The
すなわち、図52の上側はワークWを撮像した検査用画像を示しており、使用者は、検査用画像を見ながら図52の中央に示すように、検査用画像上の異なる位置にエッジ検出領域F1、F2を設定する。エッジ検出領域F1、F2は、たとえば使用者によるマウス7やキーボード6の入力操作によってワークWにおける所望部分を囲むことによって形成することができ、この操作によって囲まれた部分を、エッジ検出領域設定部301がエッジ検出領域F1、F2として設定する。
That is, the upper side of FIG. 52 shows an inspection image obtained by capturing the work W, and the user can see the inspection image and, as shown in the center of FIG. 52, the edge detection region at a different position on the inspection image. Set F1 and F2. The edge detection areas F1 and F2 can be formed by surrounding a desired portion of the work W by, for example, an input operation of the
エッジ検出領域F1内では、図52の中央の図の一部を拡大して示すように、エッジ点P1、P2、P3、…を検出する。エッジ点は従来から周知の方法で検出することもできるし、実施形態3のような方法で検出することもできる。隣接するエッジ点(たとえばP1とP2)同士を連結することにより、ワークWの輪郭の一部を構成する輪郭セグメントK1が形成される。エッジ検出領域F2内においても同様に輪郭セグメントK2が形成される。これは輪郭セグメント形成部302で行う。
In the edge detection region F1, edge points P1, P2, P3, ... Are detected as shown by enlarging a part of the central figure of FIG. The edge point can be detected by a conventionally known method, or can be detected by a method as in the third embodiment. By connecting adjacent edge points (for example, P1 and P2) to each other, a contour segment K1 forming a part of the contour of the work W is formed. Similarly, the contour segment K2 is formed in the edge detection region F2. This is done by the contour
尚、輪郭セグメントは使用者がマウス7等の入力装置を使用して指定することによって形成してもよい。この場合、使用者が表示部5に表示された検査用画像を見ながら、マウス7の操作によって輪郭セグメントの始点と終点とを少なくとも指定する。使用者による始点及び終点の指定を受けた輪郭セグメント形成部302は、始点と終点とを結ぶ直線を輪郭セグメントとする。この場合、使用者は始点と終点の間の中間点を追加で指定するようにしてもよい。また、輪郭セグメントは直線に限られるものではなく、マウス7等の操作によって曲線に形成することもできる。
The contour segment may be formed by the user specifying it using an input device such as a
閉領域形成部303は、図52の下側に示すように、輪郭セグメントK1の端部K1aと、該端部K1aに最も近い輪郭セグメントK2の端部K2aとを直線からなる連結線L1によって連結する。また、輪郭セグメントK1の端部K1bと、該端部K1bに最も近い輪郭セグメントK2の端部K2bとを直線からなる連結線L2によって連結する。これにより、輪郭セグメントK1、K2の開放端が無くなって閉領域Mが形成される。この閉領域Mが検査対象領域となり、検査部4aが欠陥検査を実行する領域になる。
As shown on the lower side of FIG. 52, the closed
連結処理を行う対象となっている輪郭セグメントK1の端部K1aと輪郭セグメントK2の端部K2aとの離間距離は、隣合うエッジ点同士(たとえばP1とP2)の間隔よりも長く設定されている。これにより、輪郭セグメントK1の端部K1aと、輪郭セグメントK2の端部K2aとがエッジ点であると誤って認識されにくくなる。 The separation distance between the end K1a of the contour segment K1 to be connected and the end K2a of the contour segment K2 is set longer than the distance between adjacent edge points (for example, P1 and P2). .. As a result, the end portion K1a of the contour segment K1 and the end portion K2a of the contour segment K2 are less likely to be erroneously recognized as edge points.
また、図53に示すようなワークWで当該ワークWの略全体を検査対象領域としたい場合には、同図の上側に示すように、ワークWの周縁部を囲むようにしてエッジ検出領域F1〜F6を形成する。エッジ検出領域F1〜F6には輪郭セグメントK1〜K6が形成される。 Further, when it is desired to set substantially the entire work W as the inspection target area in the work W as shown in FIG. 53, as shown in the upper side of the figure, the edge detection areas F1 to F6 surround the peripheral portion of the work W. To form. Contour segments K1 to K6 are formed in the edge detection regions F1 to F6.
輪郭セグメントK1〜K6の形成後、同図の下側に示すように、輪郭セグメントK1〜K6の端部が、連結線L1〜L6で連結されて閉領域Mが形成される。この例では、ワークWの角部を外すように閉領域Mを形成することができるので、たとえばワークWの角部の面取り加工部やR加工部を外した検査対象領域を形成できる。 After the contour segments K1 to K6 are formed, as shown in the lower part of the figure, the ends of the contour segments K1 to K6 are connected by connecting lines L1 to L6 to form a closed region M. In this example, since the closed region M can be formed so as to remove the corner portion of the work W, for example, an inspection target region can be formed by removing the chamfered portion and the R processed portion of the corner portion of the work W.
図52に示す場合及び図53に示す場合の両方で、輪郭セグメントを連結する際には、全てのエッジ検出領域が形成されてから連結するようにしてもよいし、エッジ検出領域が形成された順に連結するようにしてもよい。また、輪郭セグメントを連結する際には、既に連結されている端部に対しては、連結処理を行うことができないようにすることもできる。また、互いに交差する関係にある輪郭セグメント同士を連結できないようにすることもできる。さらに、連結線が最も短くなるような連結処理を行うこともできる。さらにまた、連結する端部を使用者が手動で選択可能にして変更できるように構成してもよい。 In both the case shown in FIG. 52 and the case shown in FIG. 53, when connecting the contour segments, it may be possible to connect after all the edge detection regions are formed, or the edge detection regions are formed. It may be connected in order. Further, when connecting the contour segments, it is possible to prevent the connection process from being performed on the already connected ends. It is also possible to prevent contour segments that intersect each other from being connected to each other. Further, it is also possible to perform a connection process so that the connection line is the shortest. Furthermore, the connecting ends may be configured to be manually selectable and changeable by the user.
輪郭セグメントを連結する際の連結線が所定長さ以上になると連結処理を行うことができないようにすることもできる。この場合、輪郭セグメントが閉領域を構成しないことになる。連結線の長さが所定長さ以上になるということは、2つの輪郭セグメント間が大きく離れているということであり、この場合に連結処理を行わないことで、誤った連結処理が行われてしまうのを回避できる。尚、連結する端部を使用者が手動で選択可能にした場合には、連結線の長さが所定長さを超えていても連結可能するのが好ましい。 It is also possible to prevent the connection process from being performed when the connection line for connecting the contour segments exceeds a predetermined length. In this case, the contour segment does not form a closed area. If the length of the connecting line is longer than the predetermined length, it means that the two contour segments are far apart from each other. In this case, by not performing the connecting process, an erroneous connecting process is performed. You can avoid it. When the user can manually select the end to be connected, it is preferable that the connecting line can be connected even if the length of the connecting line exceeds a predetermined length.
また、連結線は直線に限られるものではなく、たとえば二次曲線、三次曲線等、特にペジエ曲線、スプライン曲線等の曲線とすることもできる。これにより、輪郭セグメントの端部を滑らかに連結することができる。また、連結線は、曲線と直線との組み合わせであってもよい。また、一の輪郭セグメントと他の輪郭セグメントとを、一の輪郭セグメントの端部の接線ベクトルと共通の接線ベクトルを持つ曲線によって連結することもできる。 Further, the connecting line is not limited to a straight line, and may be, for example, a quadratic curve, a cubic curve, or the like, particularly a Pezier curve, a spline curve, or the like. As a result, the ends of the contour segments can be smoothly connected. Further, the connecting line may be a combination of a curved line and a straight line. It is also possible to connect one contour segment and another contour segment by a curve having a common tangent vector with the tangent vector at the end of the one contour segment.
図54は、1つのワークWを2回に分けて撮像した場合について説明するための図である。撮像部3が、ワークWの撮像境界線R1よりも上側の部分を撮像して上側部分検査用画像(第1部分検査用画像)を得るとともに、ワークWの撮像境界線R2よりも下側の部分を撮像して下側部分検査用画像(第2部分検査用画像)を得る。従って、ワークWにおける撮像境界線R1と撮像境界線R2との間の所定の範囲が、上側部分検査用画像及び下側部分検査用画像の両方の撮像範囲に含まれる重複部分になる。尚、ワークWの撮像範囲の設定は上記した例に限られるものではなく、左右方向に分割する撮像形態であってもよいし、3つ以上に分割する撮像形態であってもよい。
FIG. 54 is a diagram for explaining a case where one work W is imaged in two parts. The
この場合、図54の左側に示すように、上側部分検査用画像でエッジ検出領域F1〜F6を形成する。このとき、上側部分検査用画像では、撮像境界線R1に接するまでワークWが存在しているが、エッジ検出領域F1、F3、F4、F6の下端部を撮像境界線R1に接するぎりぎりまで延ばす操作を上側部分検査用画像上で行うのは難しいので、使用者がエッジ検出領域F1、F3、F4、F6の下端部を延ばす操作を行う際、撮像境界線R1に接する手前のところで止めてしまうことが考えられる。 In this case, as shown on the left side of FIG. 54, edge detection regions F1 to F6 are formed in the upper partial inspection image. At this time, in the upper partial inspection image, the work W exists until it touches the imaging boundary line R1, but the operation of extending the lower ends of the edge detection regions F1, F3, F4, and F6 to the limit where they touch the imaging boundary line R1. Since it is difficult to perform the above on the upper partial inspection image, when the user performs an operation of extending the lower end of the edge detection areas F1, F3, F4, and F6, the operation is to stop before touching the imaging boundary line R1. Can be considered.
このことに対して、本実施形態では、上側部分検査用画像における下側部分検査用画像との重複部分に、エッジ検出領域F1、F3、F4、F6の下端部が達していて、輪郭セグメントK1、K3、K4、K6の端部が上記重複部分に位置している場合には、輪郭セグメントK1の下端部と輪郭セグメントK4の下端部とを連結線L1で連結し、輪郭セグメントK3の下端部と輪郭セグメントK6の下端部とを連結線L2で連結する。これにより、閉領域Mを形成することができる。図54の右側に示すように、下側部分検査用画像においても同様に処理することができる。 On the other hand, in the present embodiment, the lower end portions of the edge detection regions F1, F3, F4, and F6 reach the overlapping portion of the upper partial inspection image with the lower partial inspection image, and the contour segment K1 , K3, K4, K6 are located in the overlapping portion, the lower end of the contour segment K1 and the lower end of the contour segment K4 are connected by the connecting line L1 and the lower end of the contour segment K3. And the lower end of the contour segment K6 are connected by a connecting line L2. Thereby, the closed region M can be formed. As shown on the right side of FIG. 54, the same processing can be performed on the lower partial inspection image.
つまり、一の部分検査用画像(上側部分検査用画像)における他の部分検査用画像(下側部分検査用画像)との重複部分に、複数の輪郭セグメント(K1、K3、K4、K6)の端部が位置していると、当該輪郭セグメントの端部にエッジ検出領域が無くても、輪郭セグメントの端部同士を連結線で連結する処理を自動で行うことができる。 That is, a plurality of contour segments (K1, K3, K4, K6) are formed in an overlapping portion of one partial inspection image (upper partial inspection image) with another partial inspection image (lower partial inspection image). When the end portion is located, even if there is no edge detection region at the end portion of the contour segment, the process of connecting the end portions of the contour segment with a connecting line can be automatically performed.
その後、閉領域M以外の部分を黒くして非検査対象領域とする一方、閉領域M(斜線領域)を白くして検査対象領域とする。下側部分検査用画像においても同様に非検査対象領域と検査対象領域を設定できる。これにより、ワークWを分けて撮像した場合であっても簡単な操作でもって検査したい範囲の全てを検査対象とすることができる。 After that, the portion other than the closed region M is blackened to be the non-inspection target region, while the closed region M (diagonal line region) is whitened to be the inspection target region. Similarly, the non-inspection target area and the inspection target area can be set in the lower partial inspection image. As a result, even when the work W is separately imaged, the entire range to be inspected can be inspected with a simple operation.
(実施形態の作用効果)
この実施形態4によれば、使用者が複数のエッジ検出領域を設定すると、各エッジ検出領域内で複数のエッジ点を検出してエッジ点同士を連結して複数の輪郭セグメントを形成することができ、これら輪郭セグメントの端部同士を連結して閉領域を形成し、この閉領域を検査対象領域としてワークWの欠陥検査を実行することができる。
(Action and effect of the embodiment)
According to the fourth embodiment, when a user sets a plurality of edge detection areas, a plurality of edge points can be detected in each edge detection area and the edge points can be connected to form a plurality of contour segments. It is possible to connect the ends of these contour segments to form a closed region, and to perform defect inspection of the work W using this closed region as an inspection target region.
(その他の実施形態)
本発明は上記実施形態1〜4の形態に限定されるものではない。例えば、図55に示す変形例1のように、画像検査装置1の構成としては、撮像部3に画像生成部42を組み込むことができる。これにより、デフレクトメトリ処理による検査用画像の作成までは撮像部3で行い、その他の処理を制御ユニット4で行う。つまり、撮像部3に画像処理機能を持たせたスマートカメラにすることもできる。
(Other embodiments)
The present invention is not limited to the
また、図56に示す変形例2のように、パターン光照明部2と撮像部3が一体で、制御ユニット4を別体にすることもできる。この場合、パターン光照明部2に撮像部3を内蔵させることもできるし、撮像部3にパターン光照明部2を内蔵することもできる。
Further, as in the
また、図57に示す変形例3のように、撮像部3及び制御ユニット4の全てを一体にして、撮像部3に制御ユニット4が組み込まれた構成とすることもできる。
Further, as in the
また、パターン光照明部2、撮像部3及び制御ユニット4の全てを一体にすることもできる。
Further, the pattern
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。 The above embodiments are merely exemplary in all respects and should not be construed in a limited way. Furthermore, all modifications and modifications that fall within the equivalent scope of the claims are within the scope of the present invention.
以上説明したように、本発明に係る画像検査装置は、各種検査対象物を撮像した画像を用いて検査対象物の欠陥を検査する場合に使用することができる。 As described above, the image inspection apparatus according to the present invention can be used when inspecting defects of inspection objects using images obtained by capturing images of various inspection objects.
1 画像検査装置
2 パターン光照明部
2b 照明条件記憶部
3 撮像部
3a 受光素子
4a 検査部
5 表示部
9 情報取得部
10 記憶装置
31 ラインカメラ
41 制御部
42 画像生成部
W 検査対象物(ワーク)
1
Claims (5)
周期的な照度分布を有するパターン光を上記検査対象物に照射するためのパターン光照明部と、
ライン状に配列された複数の受光素子を有するとともに該受光素子の配列方向が上記Y軸と直交するX軸方向となるように設置可能なラインカメラを有する撮像部と、
上記照度分布の位相を上記X軸方向にシフトさせた異なる位相を有するX方向パターン光を複数生成して上記検査対象物に順次照射するとともに上記照度分布の位相を上記Y軸方向にシフトさせた異なる位相を有するY方向パターン光を複数生成して上記検査対象物に順次照射し、該異なる位相を有する複数のX方向パターン光及び該異なる位相を有する複数のY方向パターン光がそれぞれ照射されるタイミングで該検査対象物を撮像して、該異なる位相を有する複数のX方向パターン光にそれぞれ対応する複数のX方向輝度画像を生成するとともに、該異なる位相を有する複数のY方向パターン光にそれぞれ対応する複数のY方向輝度画像を生成するように上記パターン光照明部及び上記撮像部を制御する撮像制御部と、
デフレクトメトリの原理に基づいて上記撮像部が撮像した上記複数のX方向輝度画像及び上記複数のY方向輝度画像からそれぞれ上記検査対象物の表面の位相データを生成し、該それぞれ生成した位相データに基づいて上記検査対象物の形状を示す検査用画像を生成する画像生成部と、
上記画像生成部により生成された検査用画像に基づいて上記検査対象物の欠陥検査を実行する検査部とを備え、
上記撮像制御部は、外部からの一のエンコーダパルス信号を受け付け可能に構成されるとともに、該一のエンコーダパルス信号を受け付けると、上記パターン光照明部が上記異なる位相を有する複数のX方向パターン光及び上記異なる位相を有する複数のY方向パターン光を順次照射するように、上記パターン光照明部に対して複数の照明トリガ信号を順次送信するとともに、上記複数の照明トリガ信号と同期させて上記撮像部に対して複数の撮像トリガ信号を順次送信するように構成されていることを特徴とする画像検査装置。 In the image inspecting apparatus for inspecting defects of the inspection object using an image obtained by capturing an image of a test object which moves in the Y-axis direction,
The pattern light having a periodic intensity distribution and pattern light illumination unit for irradiating the inspection object,
An imaging unit having a plurality of light receiving elements arranged in a line and having a line camera that can be installed so that the arrangement direction of the light receiving elements is the X-axis direction orthogonal to the Y-axis.
The phase of the illuminance distribution and the phase of the illuminance distribution is shifted to the Y-axis direction together with the sequentially irradiating the inspection object with a plurality generate X-direction pattern light having a different phase obtained by shifting to the X-axis direction A plurality of Y-direction pattern lights having different phases are generated and sequentially irradiated to the inspection object, and a plurality of X-direction pattern lights having different phases and a plurality of Y-direction pattern lights having different phases are irradiated, respectively. The inspection object is imaged at the timing to generate a plurality of X-direction luminance images corresponding to the plurality of X-direction pattern lights having different phases, and a plurality of Y-direction pattern lights having different phases are generated. an imaging control unit for controlling the pattern light illumination unit and the imaging unit so that to generate a corresponding plurality of Y-direction luminance image,
Based on the principle of deflection metrics, phase data on the surface of the inspection object is generated from each of the plurality of X-direction luminance images and the plurality of Y-direction luminance images imaged by the imaging unit, and the generated phase data respectively. an image generator for generating an inspection image indicating the shape of the inspection object on the basis of,
And a checking unit for performing a defect inspection of the inspection object on the basis of the inspection image generated by the image generating unit,
The imaging control unit, while being configured to accept one of the encoder pulse signal from the outside, when receiving the encoder pulse signal of the one, a plurality of X-direction pattern light the pattern light illumination unit has the above different phases A plurality of illumination trigger signals are sequentially transmitted to the pattern light illumination unit so as to sequentially irradiate a plurality of Y-direction pattern lights having different phases, and the imaging is performed in synchronization with the plurality of illumination trigger signals. An image inspection device characterized in that it is configured to sequentially transmit a plurality of imaging trigger signals to a unit.
上記画像検査装置は更に、表示部に表示される、上記検査用画像を表示するための表示画面を生成するUI生成部を備え、
上記画像生成部は、デフレクトメトリの原理に基づいて上記複数のX方向輝度画像及び上記複数のY方向輝度画像の各画素に含まれる正反射成分により、正反射成分画像を生成するとともに、該複数のX方向輝度画像及び該複数のY方向輝度画像の各画素に含まれる拡散反射成分により、拡散反射成分画像を生成し、
上記表示画面は、上記正反射成分画像及び上記拡散反射成分画像を上記検査用画像として表示可能に構成され、該表示画面上において、上記検査部で欠陥検査に用いるための検査用画像の選択を受け付けることを特徴とする画像検査装置。 In the image inspection apparatus according to claim 1,
The image inspection device further includes a UI generation unit that generates a display screen for displaying the inspection image displayed on the display unit.
The image generation unit generates a normal reflection component image from the normal reflection components included in each pixel of the plurality of X-direction luminance images and the plurality of Y-direction luminance images based on the principle of deflection methylation, and also generates the normal reflection component image. A diffuse reflection component image is generated from the diffuse reflection component contained in each pixel of the plurality of X-direction luminance images and the plurality of Y-direction luminance images.
The display screen is configured so that the specular reflection component image and the diffuse reflection component image can be displayed as the inspection image, and on the display screen, the inspection unit selects an inspection image to be used for defect inspection. An image inspection device characterized by accepting.
上記画像生成部は、上記複数のX方向輝度画像のうち、上記位相が逆である上記X方向パターン光の組にそれぞれ対応するX方向輝度画像の各画素の差分に基づいて上記正反射成分を算出するとともに、上記位相が逆である上記X方向パターン光の組にそれぞれ対応するX方向輝度画像の各画素の加算により平均値を算出し、該X方向輝度画像から算出した平均値及び該正反射成分に基づいて上記拡散反射成分を算出し、上記複数のY方向輝度画像のうち、上記位相が逆である上記Y方向パターン光の組にそれぞれ対応するY方向輝度画像の各画素の差分に基づいて上記正反射成分を算出するとともに、上記位相が逆である上記Y方向パターン光の組にそれぞれ対応するY方向輝度画像の各画素の加算により平均値を算出し、該Y方向輝度画像から算出した平均値及び該正反射成分に基づいて拡散反射成分を算出することを特徴とする画像検査装置。 In the image inspection apparatus according to claim 2,
The image generation unit generates the positive reflection component based on the difference of each pixel of the X-direction luminance image corresponding to each set of the X-direction pattern light having the opposite phases among the plurality of X-direction luminance images. In addition to the calculation, the average value is calculated by adding each pixel of the X-direction luminance image corresponding to each set of the X-direction pattern light having the opposite phases, and the average value calculated from the X-direction luminance image and the positive The diffuse reflection component is calculated based on the reflection component, and the difference between each pixel of the Y-direction luminance image corresponding to each set of the Y-direction pattern light having the opposite phases among the plurality of Y-direction luminance images. Based on this, the normal reflection component is calculated, and the average value is calculated by adding each pixel of the Y-direction luminance image corresponding to each of the Y-direction pattern light sets having opposite phases, and the average value is calculated from the Y-direction luminance image. An image inspection apparatus characterized in that a diffuse reflection component is calculated based on the calculated average value and the normal reflection component.
上記撮像制御部は、明るさが異なる複数の上記X方向輝度画像及び明るさが異なる複数の上記Y方向輝度画像を得るように上記パターン光照明部及び上記撮像部を制御するように構成され、
上記画像生成部は、明るさが異なる複数の上記X方向輝度画像を合成するとともに、明るさが異なる複数の上記Y方向輝度画像を合成して上記各輝度画像のダイナミックレンジよりも広いダイナミックレンジを有する上記検査用画像を生成するように構成されていることを特徴とする画像検査装置。 In the image inspection apparatus according to any one of claims 1 to 3.
The image pickup control unit is configured to control the pattern light illumination unit and the image pickup unit so as to obtain a plurality of X-direction luminance images having different brightness and a plurality of Y-direction luminance images having different brightness.
The image generation unit synthesizes a plurality of the X-direction luminance images having different brightness, and also synthesizes a plurality of the Y-luminance images having different brightness to obtain a dynamic range wider than the dynamic range of each of the luminance images. An image inspection apparatus characterized in that it is configured to generate the above-mentioned inspection image.
上記パターン光照明部の照明条件を記憶する照明条件記憶部が上記パターン光照明部に組み込まれており、
上記パターン光照明部は、上記照明トリガ信号を受信すると、上記照明条件記憶部に記憶された照明条件に従って上記検査対象物を照明することを特徴とする画像検査装置。 In the image inspection apparatus according to any one of claims 1 to 4.
A lighting condition storage unit that stores the lighting conditions of the pattern light illumination unit is incorporated in the pattern light illumination unit.
The pattern light illumination unit receives the illumination trigger signal, an image inspection apparatus characterized by illuminating the test object in accordance with the illumination condition stored in the illumination condition storage unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017107443A JP6917780B2 (en) | 2017-05-31 | 2017-05-31 | Image inspection equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017107443A JP6917780B2 (en) | 2017-05-31 | 2017-05-31 | Image inspection equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018205004A JP2018205004A (en) | 2018-12-27 |
JP6917780B2 true JP6917780B2 (en) | 2021-08-11 |
Family
ID=64956958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017107443A Active JP6917780B2 (en) | 2017-05-31 | 2017-05-31 | Image inspection equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6917780B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112014410A (en) * | 2019-05-31 | 2020-12-01 | 泰克元有限公司 | Inspection device for electronic component handling equipment |
KR102228081B1 (en) * | 2019-10-23 | 2021-03-16 | 휴멘 주식회사 | Printout inspection system and printout inspection method |
KR102320174B1 (en) * | 2021-03-18 | 2021-11-02 | 주식회사 하이브비젼 | Surface Inspecting System Using Fringe Metric Method |
WO2023038214A1 (en) * | 2021-09-10 | 2023-03-16 | 라온피플 주식회사 | Surface defect detection device and method |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002257528A (en) * | 2001-03-02 | 2002-09-11 | Ricoh Co Ltd | Three-dimensional shape measuring device by phase shift method |
JP2004361445A (en) * | 2003-06-02 | 2004-12-24 | Nikon Corp | Flashing device |
JP2008217303A (en) * | 2007-03-02 | 2008-09-18 | Topcon Corp | Image acquisition method, image acquisition device, and article testing device |
JP2011112639A (en) * | 2009-11-27 | 2011-06-09 | Nippon Kensaki Kk | Three-dimensional shape measuring system |
JP2012063190A (en) * | 2010-09-15 | 2012-03-29 | Ricoh Co Ltd | Surface unevenness detection apparatus and surface unevenness detection method |
JP2013148777A (en) * | 2012-01-20 | 2013-08-01 | Canon Inc | Imaging apparatus and control method thereof, and program |
JP6116121B2 (en) * | 2012-02-01 | 2017-04-19 | キヤノン株式会社 | LIGHT EMITTING CONTROL DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, IMAGING DEVICE, AND IMAGING DEVICE SYSTEM |
FR2993662B1 (en) * | 2012-07-23 | 2015-05-15 | Msc & Sgcc | METHOD AND INSTALLATION FOR THE DETECTION IN PARTICULAR OF REFRACTANT DEFECTS |
US9185392B2 (en) * | 2012-11-12 | 2015-11-10 | Spatial Integrated Systems, Inc. | System and method for 3-D object rendering of a moving object using structured light patterns and moving window imagery |
JP2014122847A (en) * | 2012-12-21 | 2014-07-03 | Olympus Corp | Image correction device, image correction program and image correction method |
JP6506914B2 (en) * | 2013-07-16 | 2019-04-24 | 株式会社キーエンス | Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer readable recording medium, and recorded apparatus |
WO2015086285A1 (en) * | 2013-12-13 | 2015-06-18 | Asml Netherlands B.V. | Inspection apparatus and methods, lithographic system and device manufacturing method |
JP2016008941A (en) * | 2014-06-26 | 2016-01-18 | 株式会社日立ハイテクノロジーズ | Defect observation method and defect observation device, as well as detect detection device |
WO2016194698A1 (en) * | 2015-05-29 | 2016-12-08 | 新日鐵住金株式会社 | Metal body shape inspection device and metal body shape inspection method |
JP6279048B2 (en) * | 2016-10-14 | 2018-02-14 | 株式会社キーエンス | Shape measuring device |
-
2017
- 2017-05-31 JP JP2017107443A patent/JP6917780B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018205004A (en) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6917781B2 (en) | Image inspection equipment | |
JP6967373B2 (en) | Image inspection equipment | |
JP7188870B2 (en) | Image inspection equipment | |
JP6917780B2 (en) | Image inspection equipment | |
JP6745173B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device | |
JP6013181B2 (en) | Multimode imaging | |
JP6506914B2 (en) | Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer readable recording medium, and recorded apparatus | |
JP6650986B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device | |
JP2020169958A (en) | Image inspection system and image inspection method | |
JP2017122614A (en) | Image generation method and inspection device | |
JP2018205001A (en) | Image inspection device | |
JP2018205000A (en) | Image inspection device | |
JP6571831B2 (en) | Appearance inspection device | |
JP2018204995A (en) | Image inspection device | |
TW201428278A (en) | Appearance inspection device, and appearance inspection method | |
CN114324344A (en) | Non-lambert surface inspection system for line scanning | |
JP2020016471A (en) | Image inspection device | |
JP4858242B2 (en) | Surface condition inspection method, substrate inspection method, and inspection apparatus using these methods | |
CN110274911B (en) | Image processing system, image processing apparatus, and storage medium | |
JP2018204996A (en) | Image inspection device | |
JP2018204999A (en) | Image inspection device | |
JP2020169961A (en) | Image inspection system and image inspection method | |
JP7342616B2 (en) | Image processing system, setting method and program | |
JP2018112568A (en) | Appearance inspection device | |
CN110278384B (en) | Image processing system, image processing apparatus, image processing method, and computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6917780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |