JP2018112478A - Image inspection device and image inspection method - Google Patents
Image inspection device and image inspection method Download PDFInfo
- Publication number
- JP2018112478A JP2018112478A JP2017003107A JP2017003107A JP2018112478A JP 2018112478 A JP2018112478 A JP 2018112478A JP 2017003107 A JP2017003107 A JP 2017003107A JP 2017003107 A JP2017003107 A JP 2017003107A JP 2018112478 A JP2018112478 A JP 2018112478A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- phase
- inspection
- complex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、画像検査装置および画像検査方法に関する。 The present invention relates to an image inspection apparatus and an image inspection method.
従来、検査対象物に光を照射し、当該検査対象物の表面からの反射光を撮影して画像データとして取得し、当該画像データの輝度値の変化等に基づいて検査対象物の表面を検査する技術が、提案されている。 Conventionally, the inspection object is irradiated with light, reflected light from the surface of the inspection object is photographed and acquired as image data, and the surface of the inspection object is inspected based on a change in luminance value of the image data Techniques to do this have been proposed.
この種の技術では、検査対象物の表面をより高精度に検査することができれば有意義である。 In this type of technology, it is meaningful if the surface of the inspection object can be inspected with higher accuracy.
実施形態の画像検査装置は、円周方向に所定周期で空間的に光の強度が変化するように照明部を制御する照明制御部と、前記照明部から出射された光の検査対象物での反射光を撮影して画像を取得するように撮像部を制御する撮影制御部と、空間的な光の強度の変化に応じた前記画像の輝度値と空間的な光の強度の変化に応じて前記所定周期で変化する複素参照信号との乗算値の、光の強度変化の円周方向一周分の積分値に基づく複素画像を算出する複素画像算出部と、前記複素画像から各画素の前記輝度値の位相を算出する位相算出部と、前記位相に基づいて前記検査対象物の表面を検査する検査部と、を備える。 The image inspection apparatus according to the embodiment includes an illumination control unit that controls the illumination unit so that the intensity of light spatially changes at a predetermined cycle in the circumferential direction, and an inspection target of light emitted from the illumination unit. An imaging control unit that controls the imaging unit to capture the reflected light to acquire an image, and according to the luminance value of the image and the spatial light intensity change according to the spatial light intensity change A complex image calculation unit that calculates a complex image based on an integrated value of one round of a light intensity change in a circumferential direction of a multiplication value of the complex reference signal that changes at the predetermined period; and the luminance of each pixel from the complex image A phase calculation unit that calculates a phase of the value; and an inspection unit that inspects the surface of the inspection object based on the phase.
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成や制御、ならびに当該構成や制御によってもたらされる作用および結果（効果）は、一例である。本発明は、以下の実施形態に開示される構成や制御以外によっても実現可能であるとともに、基本的な構成や制御によって得られる種々の効果（派生的な効果も含む）を得ることが可能である。 Hereinafter, exemplary embodiments of the present invention are disclosed. The configuration and control of the embodiment shown below, and the operation and result (effect) brought about by the configuration and control are examples. The present invention can be realized by means other than the configuration and control disclosed in the following embodiments, and various effects (including derivative effects) obtained by the basic configuration and control can be obtained. is there.
まず、実施形態の画像検査システムの構成について説明する。図１は、実施形態の画像検査システムＳの模式的な構成図である。画像検査システムＳは、台５に載せられた検査対象物４（例えば金属製品）の被検査面４ａを検査する。画像検査システムＳは、被検査面４ａを撮影した画像（データ）に対する演算処理により、被検査面４ａにおける凹凸等の異常の有無を判定する。なお、以下において、画像とは、画像データを指し、具体的には、離散化された二次元の各点（各座標、各画素）での輝度値等のデータ群である。 First, the configuration of the image inspection system of the embodiment will be described. FIG. 1 is a schematic configuration diagram of an image inspection system S of the embodiment. The image inspection system S inspects the inspection surface 4a of the inspection object 4 (for example, a metal product) placed on the table 5. The image inspection system S determines the presence / absence of an abnormality such as unevenness on the surface 4a to be inspected by arithmetic processing on an image (data) obtained by photographing the surface 4a to be inspected. In the following, an image refers to image data, and specifically, is a data group such as luminance values at discrete two-dimensional points (each coordinate and each pixel).
ここで、本実施形態で例にとる検査対象物４について説明する。図３（ａ）は、実施形態の検査対象物４の撮像画像である。図３（ｂ）は、図３（ａ）の撮像画像の一部を拡大した図である。図３（ａ）に示すように、検査対象物４は、上面視で円形の被検査面４ａを有している。被検査面４ａの中央の黒い部分は、検査対象外の領域である。以下、被検査面４ａとは、その検査対象外の領域以外を指すものとする。 Here, the inspection object 4 taken as an example in the present embodiment will be described. FIG. 3A is a captured image of the inspection object 4 of the embodiment. FIG. 3B is an enlarged view of a part of the captured image of FIG. As shown in FIG. 3A, the inspection object 4 has a circular inspection surface 4a in a top view. The black portion at the center of the surface to be inspected 4a is a region outside the inspection target. Hereinafter, the surface to be inspected 4a refers to a region other than the region not to be inspected.
被検査面４ａには、同心円状の多数のツールマーク（例えば旋盤等の加工機による切削痕）、および、ツールマークと異なる方向のキズ（図３（ｂ）の領域１００１内の右上がりの白い部分）がある。本実施形態では、当該キズを検出する場合を例にとる。なお、キズの方向がツールマークの方向と同じでないことを前提とする。また、キズは、引っ掻いたことにより生じたものでもよいし、あるいは、打痕でもよい。 On the surface to be inspected 4a, a large number of concentric tool marks (for example, cutting traces by a processing machine such as a lathe) and scratches in a direction different from the tool marks (white ascending in the area 1001 in FIG. 3B) Part). In this embodiment, a case where the scratch is detected is taken as an example. It is assumed that the direction of the scratch is not the same as the direction of the tool mark. The scratch may be caused by scratching or may be a dent.
図１に戻って、画像検査システムＳは、画像検査装置１と、撮像部２と、照明装置３と、を備える。照明装置３について、図２も合わせて参照して説明する。図２（図１のＡ−Ａ矢視方向で見た図）は、実施形態の画像検査システムＳにおける照明装置３の構成を示した模式的な例示図である。照明装置３は、全体が円環状に構成されており、１２個の発光部Ｌ１〜Ｌ１２（以下、区別しないときは「発光部Ｌ」という。）を有する。照明装置３は、中心周りに開口部が設けられた円環状に構成されている。 Returning to FIG. 1, the image inspection system S includes an image inspection device 1, an imaging unit 2, and an illumination device 3. The illumination device 3 will be described with reference to FIG. FIG. 2 (a diagram viewed in the direction of arrows AA in FIG. 1) is a schematic illustration showing a configuration of the illumination device 3 in the image inspection system S of the embodiment. The illuminating device 3 is configured in an annular shape as a whole, and has twelve light emitting portions L1 to L12 (hereinafter referred to as “light emitting portion L” when not distinguished). The illuminating device 3 is configured in an annular shape in which an opening is provided around the center.
図２に示すように、照明装置３は、１２個の発光部（照明領域）が円環状に配置されることで構成されている。各発光部Ｌ１〜Ｌ１２は、照明装置３における検査対象物４に面した部分が、円環の中心に対して等角度間隔（３０度間隔）で１２等分された領域に対応する。発光部Ｌ１〜Ｌ１２の各々につき、同じ数（１つまたは複数）の光源が設けられている。これにより、実施形態では、各発光部Ｌ１〜Ｌ１２が、それぞれ同一の光量の光を照射することが可能なように構成されている。これにより、発光部Ｌは、検査対象物４の方向に光を出射できる。 As shown in FIG. 2, the illuminating device 3 is configured by arranging twelve light emitting units (illumination regions) in an annular shape. Each light emission part L1-L12 respond | corresponds to the area | region where the part which faced the test object 4 in the illuminating device 3 was equally divided into 12 at equal angular intervals (30 degree intervals) with respect to the center of the ring. The same number (one or more) of light sources is provided for each of the light emitting portions L1 to L12. Thereby, in embodiment, each light emission part L1-L12 is comprised so that the light of the respectively same light quantity can be irradiated. Thereby, the light emitting part L can emit light in the direction of the inspection object 4.
また、各発光部Ｌは、画像検査装置１の制御部１４の制御にしたがって、個別に点灯消灯できるようになっている。 Each light emitting unit L can be individually turned on / off under the control of the control unit 14 of the image inspection apparatus 1.
各発光部Ｌが光を出射すると、検査対象物４における対応する部分に光が照射される。例えば、発光部Ｌ２、Ｌ３、Ｌ４、Ｌ８、Ｌ９、Ｌ１０が光を出射すると、図５に示すように、検査対象物４におけるそれらに対応する部分に光が照射される。各発光部Ｌは、例えば、複数のＬＥＤ（Light Emitting Diode）により構成される。なお、各発光部Ｌは、ＯＥＬＤ（Organic Electro Luminescent Display）のシートによって構成されてもよい。 When each light emitting portion L emits light, the corresponding portion of the inspection object 4 is irradiated with light. For example, when the light emitting units L2, L3, L4, L8, L9, and L10 emit light, light corresponding to those in the inspection object 4 is irradiated as shown in FIG. Each light emitting unit L is configured by, for example, a plurality of LEDs (Light Emitting Diodes). In addition, each light emission part L may be comprised by the sheet | seat of OELD (Organic Electro Luminescent Display).
図１に戻って、撮像部２は、照明装置３の中央の開口部を通して検査対象物４に臨み、照明装置３から出射され被検査面４ａで反射した光を撮影する。撮像部２は、例えば、ディジタルカメラ（ディジタルスチルカメラ）であり、ディジタル画像、すなわち２次元の画素毎の輝度値（データ）を取得する。撮像部２は、例えば、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサ等の撮像素子を有する。 Returning to FIG. 1, the imaging unit 2 faces the inspection object 4 through the central opening of the illuminating device 3, and images the light emitted from the illuminating device 3 and reflected by the surface 4 a to be inspected. The imaging unit 2 is, for example, a digital camera (digital still camera), and acquires a digital image, that is, a luminance value (data) for each two-dimensional pixel. The imaging unit 2 includes an imaging element such as a complementary metal-oxide-semiconductor (CMOS) image sensor or a charge-coupled device (CCD) image sensor.
次に、画像検査装置１について説明する。画像検査装置１は、コンピュータ装置であり、記憶部１１、入力部１２、表示部１３、制御部１４を有する。画像検査装置１は、外部装置（撮像部２、照明装置３等）との通信インタフェースも備えるが、図１での図示や説明を省略する。 Next, the image inspection apparatus 1 will be described. The image inspection device 1 is a computer device and includes a storage unit 11, an input unit 12, a display unit 13, and a control unit 14. The image inspection apparatus 1 also includes a communication interface with external devices (such as the imaging unit 2 and the illumination device 3), but the illustration and description in FIG. 1 are omitted.
記憶部１１は、情報を記憶する手段であり、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。入力部１２は、ユーザが情報を入力する手段であり、例えば、キーボードやマウスである。表示部１３は、情報を表示する手段であり、例えば、ＬＣＤ（Liquid Crystal Display）である。 The storage unit 11 is a means for storing information, and is, for example, a random access memory (RAM), a read only memory (ROM), a hard disk drive (HDD), or a solid state drive (SSD). The input unit 12 is a means for a user to input information, and is, for example, a keyboard or a mouse. The display unit 13 is a means for displaying information, and is, for example, an LCD (Liquid Crystal Display).
制御部１４は、例えばＣＰＵ（Central Processing Unit）や制御コントローラ等として構成される。制御部１４は、照明制御部１４１、撮影制御部１４２、撮像画像取得部１４３、強度算出部１４４、複素復調演算部１４５、位相算出部１４６、振幅算出部１４７、異常判定部１４８、表示制御部１４９を備える。 The control unit 14 is configured as a CPU (Central Processing Unit), a control controller, or the like, for example. The control unit 14 includes an illumination control unit 141, an imaging control unit 142, a captured image acquisition unit 143, an intensity calculation unit 144, a complex demodulation calculation unit 145, a phase calculation unit 146, an amplitude calculation unit 147, an abnormality determination unit 148, and a display control unit. 149.
照明制御部１４１は、円周方向に所定周期で空間的に光の強度が変化するように照明装置３（照明部）を制御する。照明制御部１４１は、例えば、照明装置３における１２個の発光部Ｌ（図２）のうち６個ずつを次の点灯順１〜６で点灯させる。
（点灯順１）発光部Ｌ１２、Ｌ１、Ｌ２、Ｌ６、Ｌ７、Ｌ８
（点灯順２）発光部Ｌ１、Ｌ２、Ｌ３、Ｌ７、Ｌ８、Ｌ９
（点灯順３）発光部Ｌ２、Ｌ３、Ｌ４、Ｌ８、Ｌ９、Ｌ１０（図５）
（点灯順４）発光部Ｌ３、Ｌ４、Ｌ５、Ｌ９、Ｌ１０、Ｌ１１
（点灯順５）発光部Ｌ４、Ｌ５、Ｌ６、Ｌ１０、Ｌ１１、Ｌ１２
（点灯順６）発光部Ｌ５、Ｌ６、Ｌ７、Ｌ１１、Ｌ１２、Ｌ１
The illumination control unit 141 controls the illumination device 3 (illumination unit) so that the intensity of light spatially changes at a predetermined cycle in the circumferential direction. For example, the illumination control unit 141 lights six of the twelve light emitting units L (FIG. 2) in the lighting device 3 in the following lighting order 1 to 6.
(Lighting order 1) Light emitting portions L12, L1, L2, L6, L7, L8
(Lighting order 2) Light-emitting parts L1, L2, L3, L7, L8, L9
(Lighting order 3) Light emitting portions L2, L3, L4, L8, L9, L10 (FIG. 5)
(Lighting order 4) Light emitting parts L3, L4, L5, L9, L10, L11
(Lighting order 5) Light emitting portions L4, L5, L6, L10, L11, L12
(Lighting order 6) Light emitting parts L5, L6, L7, L11, L12, L1
撮影制御部１４２は、照明装置３から出射された光の検査対象物４での反射光を撮影して画像を取得するように撮像部２を制御する。具体的には、撮影制御部１４２は、照明制御部１４１が、上述の点灯順で発光部Ｌを点灯させた場合ごとに撮影を行うように撮像部２を制御する。なお、本実施形態の照明制御部１４１は、時間の遷移にしたがって、円周方向で、明暗が変化するように、点灯制御を行うこととした。 The imaging control unit 142 controls the imaging unit 2 so as to acquire an image by imaging the reflected light from the inspection object 4 of the light emitted from the illumination device 3. Specifically, the imaging control unit 142 controls the imaging unit 2 so as to perform imaging whenever the illumination control unit 141 turns on the light emitting unit L in the lighting order described above. In addition, the illumination control part 141 of this embodiment decided to perform lighting control so that lightness and darkness may change in the circumferential direction according to transition of time.
ここで、実施形態で用いる座標系について説明する。図４は、実施形態で用いる円座標の説明図である。本実施形態では、座標系として、動径方向をＹとし、角度方向をＸとする円座標を用いる。 Here, the coordinate system used in the embodiment will be described. FIG. 4 is an explanatory diagram of circular coordinates used in the embodiment. In the present embodiment, as the coordinate system, circular coordinates in which the radial direction is Y and the angular direction is X are used.
次に、検査対象物４の撮像画像における各点（位置。座標）における輝度値の変化について説明する。図５は、実施形態の検査対象物４の一部に光を照射した様子を示す図である。図６は、図５の点ａ、ｂ、ｃにおける輝度値の変化の様子を示す模式図である。 Next, a change in luminance value at each point (position, coordinate) in the captured image of the inspection object 4 will be described. Drawing 5 is a figure showing signs that a part of inspection subject 4 of an embodiment was irradiated with light. FIG. 6 is a schematic diagram showing how the luminance values change at points a, b, and c in FIG.
図５に示すように点ａ、ｂ、ｃをとったものとする。その場合、照明装置３における発光部Ｌを点灯順１〜６で点灯させると、点ａ、ｂ、ｃそれぞれの輝度値は、図６に示すように変化する。例えば、点ａの輝度値の変化は、点灯順２で最高となり点灯順５で最低となるような正弦曲線（サインカーブ。余弦曲線と同様）として近似できる。また、点ｂの輝度値の変化は、点灯順３で最高となり点灯順６で最低となるような正弦曲線として近似できる。また、点ｃの輝度値の変化は、点灯順４で最高となり点灯順１で最低となるような正弦曲線として近似できる。 It is assumed that points a, b, and c are taken as shown in FIG. In that case, when the light emitting unit L in the lighting device 3 is turned on in the lighting order 1 to 6, the luminance values of the points a, b, and c change as shown in FIG. For example, the change in luminance value at point a can be approximated as a sine curve (sine curve, similar to a cosine curve) that is highest in lighting order 2 and lowest in lighting order 5. The change in the luminance value at the point b can be approximated as a sine curve that is highest in the lighting order 3 and lowest in the lighting order 6. Further, the change in luminance value at the point c can be approximated as a sine curve that is highest in the lighting order 4 and lowest in the lighting order 1.
なお、ツールマークとキズはいずれも被検査面４ａにおける溝（凹凸）という点で共通するが、ツールマークの方向は緩やかにしか変化しないのに対して、キズの方向はツールマークの方向と異なっている。したがって、画素単位で見た場合、キズがある部分の輝度値の変化の正弦曲線は、キズがない部分の輝度値の変化の正弦曲線に比べて、位相と、振幅の点で差が生じる。 Both the tool mark and the scratch are common in terms of grooves (unevenness) on the surface to be inspected 4a, but the direction of the tool mark changes only slowly, whereas the direction of the scratch is different from the direction of the tool mark. ing. Accordingly, when viewed in units of pixels, the sine curve of the change in the luminance value in the part with the scratch has a difference in phase and amplitude compared to the sine curve of the change in the luminance value in the part without the scratch.
また、ツールマークの深さ（凹凸の大きさ）は、加工機ごとに異なり、さらに、同じ加工機であっても刃先状態（刃先の鋭利さ）によって異なる。そして、ツールマークの深さは、輝度値の変化の正弦曲線の振幅に影響するが、位相には影響しない。 In addition, the depth of the tool mark (the size of the unevenness) varies from one processing machine to another, and further varies depending on the cutting edge state (sharpness of the cutting edge) even in the same processing machine. The depth of the tool mark affects the amplitude of the sine curve of the change in luminance value, but does not affect the phase.
したがって、画素単位で輝度値の変化の正弦曲線の位相が局所的に変化している部分を特定することで、ツールマークの深さに関係なく（ツールマークがない場合も含む。）、キズを検出することができる。以下、そのための処理について詳述する。なお、キズを検出する場合、強度、位相、振幅のいずれか、あるいはそれらの２つ以上の組み合わせによって検出処理を構築することで、検出性能向上や過検出低減を図ることができる。本実施形態では、一例として、位相を使用する場合について説明する。撮像画像取得部１４３〜表示制御部１４９の説明は、後述する。 Therefore, by specifying a portion where the phase of the sine curve of the luminance value change locally in pixel units is specified, regardless of the depth of the tool mark (including the case where there is no tool mark), there is a scratch. Can be detected. Hereinafter, the process for that is explained in full detail. In the case of detecting a flaw, it is possible to improve detection performance and reduce overdetection by constructing a detection process based on one of intensity, phase, amplitude, or a combination of two or more thereof. In the present embodiment, as an example, a case where a phase is used will be described. The description of the captured image acquisition unit 143 to the display control unit 149 will be described later.
まず、照明装置３を点灯順１〜６で点灯させながら撮影された画像データに基づく画像処理について説明する。上述のように、照明装置３を点灯順１〜６で点灯させると、撮像画像における各点における輝度値の変化は、正弦曲線として近似できる。 First, image processing based on image data shot while lighting the lighting device 3 in the lighting order 1 to 6 will be described. As described above, when the lighting device 3 is turned on in the lighting order 1 to 6, the change in the luminance value at each point in the captured image can be approximated as a sine curve.
上述したように、本実施形態では、照明装置３の光の強度（輝度値）は、円周方向に所定周期で空間的に変化している。このように空間的に光の周期的な強度変化が与えられた環境において、本実施形態では、点灯順ごとに撮像部２による撮影が実行される。 As described above, in the present embodiment, the light intensity (luminance value) of the illuminating device 3 spatially changes at a predetermined period in the circumferential direction. In this way, in the environment where the periodic intensity change of light is given spatially, in this embodiment, imaging by the imaging unit 2 is executed for each lighting order.
また、座標（ｍ，ｎ）の各画素における強度Ｉ（ｍ，ｎ）は、以下の式（１）で定義される。
ここで、「ｍ」および「ｎ」は、それぞれ、２次元の画像中に配置された画素の位置座標を示すパラメータである。Ａ＋Ｂｃｏｓ（ωｘ＋φ）は、各画素の輝度値（関数）である。φは、位相の遅れである。強度Ｉ（ｍ，ｎ）による画像を強度画像と呼ぶ。図７は、実施形態の画像検査装置１によって得られた強度画像である。図７に示す強度画像では、図３と同様、同心円状の多数のツールマーク、および、ツールマークと異なる方向のキズ（領域１００２内の右上がりの白い部分）がある。 Here, “m” and “n” are parameters indicating the position coordinates of the pixels arranged in the two-dimensional image, respectively. A + B cos (ωx + φ) is a luminance value (function) of each pixel. φ is the phase delay. An image with the intensity I (m, n) is called an intensity image. FIG. 7 is an intensity image obtained by the image inspection apparatus 1 of the embodiment. In the intensity image shown in FIG. 7, as in FIG. 3, there are a large number of concentric tool marks and scratches in a direction different from the tool marks (a white portion rising to the right in the region 1002).
また、各画素における複素画像Ｆ（ｍ，ｎ）は、以下の式（２）で定義される。
ここで、「ｊ」は、虚数単位（√（−１））である。「ｅ−ｊωｘ」は、複素参照信号（複素指数関数）である。「ωｘ」は、複素参照信号の位相である。αは、任意に設定される分割数で、本実施形態では発光部Ｌによる点灯順１〜６の数に対応して「６」である。Ｔは、分割数αに応じて定まる増分である。なお、Ｔは、露光時間に比例する。 Here, “j” is an imaginary unit (√ (−1)). “E −jωx ” is a complex reference signal (complex exponential function). “Ωx” is the phase of the complex reference signal. α is an arbitrarily set number of divisions, and is “6” corresponding to the number of lighting orders 1 to 6 by the light emitting unit L in the present embodiment. T is an increment determined according to the division number α. Note that T is proportional to the exposure time.
オイラーの公式により、複素参照信号「ｅ−ｊωｘ」の実部はｃｏｓωｘで、虚部は−ｓｉｎωｘである。複素画像Ｆ（ｍ，ｎ）は、各画素の輝度値（Ａ＋Ｂｃｏｓ（ωｘ＋φ））と複素参照信号ｅ−ｊωｘとの乗算値の、複素参照信号の一周期分の積分値に相当し、輝度値（Ａ＋Ｂｃｏｓ（ωｘ＋φ））の複素直交復調信号や、複素直交検波信号等とも称されうる。 According to Euler's formula, the real part of the complex reference signal “e −jωx ” is cos ωx and the imaginary part is −sin ωx. The complex image F (m, n) corresponds to an integral value for one period of the complex reference signal, which is a product of the luminance value (A + Bcos (ωx + φ)) of each pixel and the complex reference signal e− jωx. It may also be referred to as a complex quadrature demodulated signal (A + Bcos (ωx + φ)), a complex quadrature detection signal, or the like.
式（２）において、各画素における複素画像Ｆ（ｍ，ｎ）の実部Ｆｒ（ｍ，ｎ）は、式（３）となり、虚部Ｆｉ（ｍ，ｎ）は、式（４）となる。
以下、各画素における複素画像Ｆ（ｍ，ｎ）に関して、虚部と実部の２乗和の平方根を「振幅」と称する。各画素における複素画像Ｆ（ｍ，ｎ）の振幅Ｓ（ｍ，ｎ）は、式（５）と定義され、位相Ｐ（ｍ，ｎ）は、式（６）と定義される。なお、振幅Ｓ（ｍ，ｎ）は、複素振幅画像とも称され、位相Ｐ（ｍ，ｎ）は、複素位相画像とも称されうる。
ここで、式（３），（４）から、以下の式（７），（８）が得られる。
よって、式（５），（６）から、以下の式（９），（１０）が得られる。
式（１０）から、複素画像Ｆ（ｍ，ｎ）の位相Ｐ（ｍ，ｎ）が輝度値Ｌ（ｍ，ｎ）の位相ωｘの遅れφに対応していることがわかる。つまり、複素画像Ｆ（ｍ，ｎ）を算出し、さらにその位相Ｐ（ｍ，ｎ）を得ることにより、輝度値Ｌ（ｍ，ｎ）の位相ωｘの遅れφを把握することができる。以下、位相Ｐ（ｍ，ｎ）を位相画像データともいう。 From Expression (10), it can be seen that the phase P (m, n) of the complex image F (m, n) corresponds to the delay φ of the phase ωx of the luminance value L (m, n). That is, by calculating the complex image F (m, n) and obtaining the phase P (m, n), the delay φ of the phase ωx of the luminance value L (m, n) can be grasped. Hereinafter, the phase P (m, n) is also referred to as phase image data.
また、本実施形態では直接使わないが、式（９）から、複素画像Ｆ（ｍ，ｎ）の振幅Ｓ（ｍ，ｎ）が輝度値Ｌ（ｍ，ｎ）の振幅Ｂに対応していることがわかる。つまり、複素画像Ｆ（ｍ，ｎ）を算出し、さらにその振幅Ｓ（ｍ，ｎ）を得ることにより、輝度値Ｌ（ｍ，ｎ）の振幅Ｂを把握することができる。 Although not used directly in the present embodiment, from equation (9), the amplitude S (m, n) of the complex image F (m, n) corresponds to the amplitude B of the luminance value L (m, n). I understand that. That is, by calculating the complex image F (m, n) and obtaining the amplitude S (m, n), the amplitude B of the luminance value L (m, n) can be grasped.
次に、位相限定ラプラシアンを用いて、位相の分布の勾配に関する特徴を算出することで異常を検出する方法について説明する。 Next, a method for detecting anomalies by calculating characteristics related to the gradient of the phase distribution using the phase-only Laplacian will be described.
上記の式（１０）からわかるように、位相画像データの各画素値（Ｐ（ｍ，ｎ））は、−π〜πの範囲に折りたたまれる。したがって、位相画像データの各画素値は、−πからπに、またはπから−πに不連続に変化しうる（位相ジャンプ）。このような位相ジャンプは、被検査面４ａが、凹凸などの局所的な異常部分（キズ）を含まない平坦になっている場合でも、位相画像データ上にエッジとして現れる。 As can be seen from the above equation (10), each pixel value (P (m, n)) of the phase image data is folded in a range of −π to π. Therefore, each pixel value of the phase image data can change discontinuously from −π to π or from π to −π (phase jump). Such a phase jump appears as an edge on the phase image data even when the surface to be inspected 4a is flat and does not include local abnormal portions (scratches) such as irregularities.
キズ等の異常部分における画素値の変化は、エッジにおける画素値の変化よりも小さい。したがって、位相画像データに対して閾値などを用いた通常の検出処理を行うだけでは、エッジがノイズとなって、異常部分を検出することが容易でない。 The change in the pixel value in the abnormal part such as a scratch is smaller than the change in the pixel value in the edge. Therefore, the edge becomes noise and it is not easy to detect an abnormal portion only by performing normal detection processing using a threshold value or the like on the phase image data.
上述したように、ツールマークの方向は緩やかにしか変化しないので、ツールマークしかない部分では、隣接する画素ごとの位相の変化は一次関数的に緩やかにしか変化しない。ここで、図８は、座標にしたがって変位する位相を示す図である。ツールマークと異なる方向のキズがある部分では、図８の領域１１００で示すように、位相が急峻に変化する。したがって、定常的な位相の変化を無視することができれば、位相が急峻に変化する異常部分（キズ）のみを容易に検出することができる。 As described above, since the direction of the tool mark changes only slowly, the change of the phase for each adjacent pixel changes only slowly in a linear function in the portion having only the tool mark. Here, FIG. 8 is a diagram showing a phase displaced according to coordinates. In a portion having a flaw in a direction different from the tool mark, the phase changes sharply as indicated by a region 1100 in FIG. Accordingly, if a steady phase change can be ignored, only an abnormal portion (scratch) in which the phase changes sharply can be easily detected.
そこで、本実施形態においては、位相限定ラプラシアンを用いた処理を行うことにより、上記の位相ジャンプと緩やかな変化の影響を無視した位相の分布の勾配に関する特徴を算出する。ここで、位相限定ラプラシアンとは、振幅および位相を含む複素数で表現される画像データ（以下、単に「画像データ」という。）のうち、振幅部分を無視した位相部分にのみ２階微分を施すための演算式であり、位相の定常的な変化を無視し、位相の急峻な変化を検出するための演算式である。 Therefore, in the present embodiment, by performing processing using a phase-only Laplacian, characteristics regarding the gradient of the phase distribution ignoring the effects of the phase jump and the gradual change are calculated. Here, the phase-only Laplacian is used to perform second-order differentiation only on the phase portion of the image data expressed by complex numbers including amplitude and phase (hereinafter simply referred to as “image data”) ignoring the amplitude portion. This is an arithmetic expression for ignoring a steady change in phase and detecting a steep change in phase.
一例として、以下に示すラプラシアンフィルタ（Ａ）に対応する位相限定ラプラシアンについて説明する。
このラプラシアンフィルタ（Ａ）は、通常の実数の画素値を有する画像データにおいて、処理対象の画素の画素値と、処理対象の画素の周囲に隣接する８個の画素の画素値との差分をとるための、いわゆる８近傍ラプラシアンフィルタである。より具体的には、このラプラシアンフィルタ（Ａ）は、通常の実数の画素値を有する画像データにおいて、処理対象の画素の画素値を８倍した値から、処理対象の画素の周囲に隣接する８個の画素の画素値の総和を引いた値を、処理対象の画素の新たな画素値とするためのフィルタである。 This Laplacian filter (A) takes the difference between the pixel value of a pixel to be processed and the pixel values of eight pixels adjacent to the periphery of the pixel to be processed in image data having a normal real pixel value. This is a so-called 8-neighbor Laplacian filter. More specifically, the Laplacian filter (A) is an image data having a normal real pixel value, and is 8 adjacent to the periphery of the pixel to be processed from a value obtained by multiplying the pixel value of the pixel to be processed by eight. This is a filter for setting a value obtained by subtracting the sum of pixel values of individual pixels as a new pixel value of the pixel to be processed.
撮像部２によって得られる画像データの各画素値は、振幅および位相を含む複素指数関数で表現される。したがって、画像データの位相部分にこのラプラシアンフィルタ（Ａ）に対応する処理を施したい場合、まず、処理対象の画素の画素値（ｇω（ｉ，ｊ）とする）の位相を８倍するために、処理対象の画素の画素値を８乗する必要がある。 Each pixel value of the image data obtained by the imaging unit 2 is expressed by a complex exponential function including amplitude and phase. Therefore, when it is desired to perform processing corresponding to the Laplacian filter (A) on the phase portion of the image data, first, the phase of the pixel value (g ω (i, j)) of the pixel to be processed is multiplied by eight. In addition, the pixel value of the pixel to be processed needs to be raised to the eighth power.
そして、処理対象の画素の周囲に隣接する８個の画素の画素値ｇω（ｉ−１，ｊ−１），ｇω（ｉ−１，ｊ），ｇω（ｉ−１，ｊ＋１），ｇω（ｉ，ｊ−１），ｇω（ｉ，ｊ＋１），ｇω（ｉ＋１，ｊ−１），ｇω（ｉ＋１，ｊ），ｇω（ｉ＋１，ｊ＋１）の位相の総和を求めるために、これら８個の画素の画素値を全て掛け合わせる必要がある。 Then, pixel values g ω (i−1, j−1), g ω (i−1, j), g ω (i−1, j + 1), adjacent to the periphery of the pixel to be processed, To obtain the sum of the phases of g ω (i, j−1), g ω (i, j + 1), g ω (i + 1, j−1), g ω (i + 1, j), g ω (i + 1, j + 1) In addition, it is necessary to multiply all the pixel values of these eight pixels.
そして、処理対象の画素の画素値の位相を８倍にしたものと、処理対象の画素の周囲に隣接する８個の画素の位相の総和と、の差を求めるために、処理対象の画素の画素値を８乗したものを、処理対象の画素の周囲に隣接する８個の画素の画素値を掛け合わせたもので割る必要がある。 Then, in order to obtain the difference between the phase of the pixel value of the pixel to be processed that has been multiplied by eight and the sum of the phases of the eight pixels adjacent to the periphery of the pixel to be processed, It is necessary to divide the pixel value raised to the eighth power by the product of the pixel values of the eight adjacent pixels around the pixel to be processed.
上記の３つの演算を式で表すと、下記の式（１１）〜（１３）のようになる。 When the above three operations are expressed by equations, the following equations (11) to (13) are obtained.
ここで、式（１１）においてｇω（ｉ，ｊ）を８乗ではなく９乗している理由は、式（１３）における乗算にｇω（ｉ，ｊ）が含まれているからである。これにより、式（１１）の値を式（１２）の値で割った値の指数部分が、処理対象の画素の画素値ｇω（ｉ，ｊ）の位相を８倍にしたものと、処理対象の画素の周囲に隣接する８個の画素の位相の総和と、の差に対応する。なお、式（１３）では、式（１１）の値を式（１２）の値で割った後、位相のみ（ａｒｇ）を取り出している。 The reason why g omega (i, j) are 9 square instead of 8 squares in equation (11) is because g omega (i, j) is included in the multiplication in equation (13) . Thereby, the exponent part of the value obtained by dividing the value of Expression (11) by the value of Expression (12) is obtained by multiplying the phase of the pixel value g ω (i, j) of the pixel to be processed by eight times, This corresponds to the difference between the phase sum of eight pixels adjacent to the periphery of the target pixel. In Expression (13), only the phase (arg) is extracted after dividing the value of Expression (11) by the value of Expression (12).
以上の式（１１）〜（１３）で示した位相限定ラプラシアンを用いた処理を、画像データの全画素について実行することにより、画像データから、２階微分が施された位相画像データを算出することができる。 By executing the processing using the phase-only Laplacian shown in the above equations (11) to (13) for all the pixels of the image data, the phase image data subjected to the second order differentiation is calculated from the image data. be able to.
なお、ラプラシアンフィルタは、ほかに、処理対象の画素と、処理対象の画素の上下および左右に隣接する４個の画素との差分をとるための、いわゆる４近傍ラプラシアンフィルタであってもよい。また、３×３のラプラシアンフィルタとは異なる、５×５のラプラシアンフィルタであってもよい。一般的なラプラシアンフィルタに対応する位相限定ラプラシアンは、下記の式（１４）〜（１６）で表される。 In addition, the Laplacian filter may be a so-called 4-neighbor Laplacian filter for taking the difference between the pixel to be processed and the four pixels adjacent to the pixel to be processed vertically and horizontally. Further, a 5 × 5 Laplacian filter different from the 3 × 3 Laplacian filter may be used. The phase-only Laplacian corresponding to a general Laplacian filter is expressed by the following equations (14) to (16).
式（１４）は、フィルタ係数が正となる画素の集合Ｐのそれぞれの画素値をフィルタ係数で重み付けしたものを掛け合わせる、すなわちフィルタ係数で重み付けした位相の総和をとるための式である。この式（１４）において、Ｍ（ｋ，ｌ）は、処理対象の画素の位置を（ｉ，ｊ）とした場合における、位置（ｉ＋ｋ，ｊ＋ｌ）の画素に対応するフィルタ係数（正の値）である。 Expression (14) is an expression for multiplying each pixel value of the set P of pixels having a positive filter coefficient by weighting with the filter coefficient, that is, taking the sum of phases weighted with the filter coefficient. In this equation (14), M (k, l) is a filter coefficient (positive value) corresponding to the pixel at position (i + k, j + l) when the position of the pixel to be processed is (i, j). It is.
また、式（１５）は、フィルタ係数が負となる画素の集合Ｎのそれぞれの画素値をフィルタ係数で重み付けしたものを掛け合わせる、すなわちフィルタ係数で重み付けした位相の総和をとるための式である。この式（１５）において、Ｎ（ｋ，ｌ）は、処理対象の画素の位置を（ｉ，ｊ）とした場合における、位置（ｉ＋ｋ，ｊ＋ｌ）の画素に対応するフィルタ係数（負の値）の符号を反転させたものである。 Expression (15) is an expression for multiplying each pixel value of the set N of pixels having a negative filter coefficient by weighting with the filter coefficient, that is, taking the sum of phases weighted with the filter coefficient. . In this equation (15), N (k, l) is a filter coefficient (negative value) corresponding to the pixel at position (i + k, j + l) when the position of the pixel to be processed is (i, j). Is reversed.
そして、式（１６）は、式（１４）の値を式（１５）の値で割ることにより、フィルタ係数が正となる画素の集合Ｐのフィルタ係数で重み付けした位相の総和と、フィルタ係数が負となる画素の集合Ｎのフィルタ係数で重み付けした位相の総和との差分をとり、その差分を取り出すための式である。 Then, the equation (16) is obtained by dividing the value of the equation (14) by the value of the equation (15), so that the sum of phases weighted by the filter coefficient of the pixel set P in which the filter coefficient is positive and the filter coefficient are This is an equation for taking a difference from the sum of phases weighted by a filter coefficient of a negative pixel set N and extracting the difference.
このようにして、位相画像データに対して位相限定ラプラシアンを用いることで、位相が急峻に変化する異常部分（キズ）のみを容易に検出することができる。 In this way, by using the phase-only Laplacian for the phase image data, it is possible to easily detect only abnormal portions (scratches) in which the phase changes sharply.
なお、位相限定ラプラシアンを用いた処理によって得たデータに対して、ソーベルフィルタを用いることで、異常部分をより強調することができる。ソーベルフィルタとは、１次微分を計算し、輪郭を検出するフィルタである。例えば、上方向のソーベルフィルタは、次の通りである。
同様にして、下方向、右方向、左方向、右下方向、右上方向、左下方向、左上方向のソーベルフィルタを用いることができる。また、上下左右の４方向同時のソーベルフィルタや、８方向同時のソーベルフィルタを用いてもよい。 Similarly, Sobel filters in the downward direction, the right direction, the left direction, the lower right direction, the upper right direction, the lower left direction, and the upper left direction can be used. Also, a Sobel filter with four directions in the upper, lower, left, and right directions, or a Sobel filter with eight directions at the same time may be used.
位相画像データに対して位相限定ラプラシアンとソーベルフィルタによる処理を行うことで、図９のような画像を得ることができる。図９は、実施形態の画像検査装置１によって得られた処理結果画像である。図９の処理結果画像では、図３や図７と比較してわかるように、同心円状の多数のツールマークは現れず、ツールマークと異なる方向のキズ（領域１００３内の右上がりの白い部分）だけが現れている。 An image as shown in FIG. 9 can be obtained by processing the phase image data using the phase-only Laplacian and the Sobel filter. FIG. 9 is a processing result image obtained by the image inspection apparatus 1 according to the embodiment. In the processing result image of FIG. 9, as can be seen in comparison with FIG. 3 and FIG. 7, a large number of concentric tool marks do not appear, and scratches in a direction different from the tool marks (a white portion rising to the right in the region 1003) Only appears.
図１に戻って、画像検査装置１の制御部１４において、撮像画像取得部１４３は、撮像部２で撮影した画像から、各位置における輝度値Ｌ（ｍ，ｎ）を取得し、記憶部１１に記憶する。 Returning to FIG. 1, in the control unit 14 of the image inspection apparatus 1, the captured image acquisition unit 143 acquires the luminance value L (m, n) at each position from the image captured by the imaging unit 2, and the storage unit 11. To remember.
強度算出部１４４は、輝度値Ｌ（ｍ，ｎ）から強度Ｉ（ｍ，ｎ）を算出（設定）する。また、複素復調演算部１４５（複素画像算出部）は、輝度値Ｌ（ｍ，ｎ）および複素参照信号に基づいて、複素画像Ｆ（ｍ，ｎ）を算出する。より詳細には、複素復調演算部１４５は、空間的な光の強度の変化に応じた画像の輝度値と空間的な光の強度の変化に応じて所定周期で変化する複素参照信号との乗算値の、光の強度変化の円周方向一周分の積分値に基づく複素画像を算出する。複素参照信号は、記憶部１１に記憶されているか、あるいは記憶部１１に記憶されたデータに基づいて算出される。位相算出部１４６は、複素画像Ｆ（ｍ，ｎ）から位相Ｐ（ｍ，ｎ）を算出する。振幅算出部１４７は、複素画像Ｆ（ｍ，ｎ）から振幅Ｓ（ｍ，ｎ）を算出する。 The intensity calculation unit 144 calculates (sets) the intensity I (m, n) from the luminance value L (m, n). The complex demodulation calculation unit 145 (complex image calculation unit) calculates a complex image F (m, n) based on the luminance value L (m, n) and the complex reference signal. More specifically, the complex demodulation arithmetic unit 145 multiplies the luminance value of the image according to the change in spatial light intensity and the complex reference signal that changes at a predetermined period according to the change in spatial light intensity. A complex image is calculated based on the integrated value of one round of the light intensity change in the circumferential direction. The complex reference signal is stored in the storage unit 11 or is calculated based on data stored in the storage unit 11. The phase calculation unit 146 calculates the phase P (m, n) from the complex image F (m, n). The amplitude calculation unit 147 calculates the amplitude S (m, n) from the complex image F (m, n).
異常判定部１４８（検査部）は、位相Ｐ（ｍ，ｎ）に基づいて検査対象物４の表面を検査する。例えば、異常判定部１４８（検査部）は、位相Ｐ（ｍ，ｎ）に基づいて検査対象物４の表面の異常の有無を判定する。その際、例えば、異常判定部１４８（検査部）は、は、位相Ｐ（ｍ，ｎ）に基づいて、位相限定ラプラシアンを用いた処理を行うことによって、検査対象物４の表面の異常の有無を判定する。また、異常判定部１４８（検査部）は、位相限定ラプラシアンを用いて得たデータに対して、ソーベルフィルタを用いた処理を行うことによって、検査対象物４の表面の異常の有無を判定する。表示制御部１４９は、異常判定部１４８による異常の判定の結果を示す画像を表示するよう、表示部１３を制御する。 The abnormality determination unit 148 (inspection unit) inspects the surface of the inspection object 4 based on the phase P (m, n). For example, the abnormality determination unit 148 (inspection unit) determines whether there is an abnormality in the surface of the inspection object 4 based on the phase P (m, n). At that time, for example, the abnormality determination unit 148 (inspection unit) performs processing using the phase-only Laplacian based on the phase P (m, n), thereby determining whether there is an abnormality in the surface of the inspection object 4. Determine. In addition, the abnormality determination unit 148 (inspection unit) determines whether there is an abnormality in the surface of the inspection object 4 by performing processing using a Sobel filter on the data obtained using the phase-only Laplacian. . The display control unit 149 controls the display unit 13 to display an image indicating the result of abnormality determination by the abnormality determination unit 148.
なお、制御部１４による上述した演算処理や制御は、ソフトウエアによって実行されてもよいし、ハードウエアによって実行されてもよいし、それらの併用により実行されてもよい。ソフトウエアによる処理の場合にあっては、制御部１４は、ＲＯＭ、ＨＤＤ、ＳＳＤ等に記憶されたプログラムを読み出して実行する。この場合、プログラムには、制御部１４に含まれる各部に対応するモジュールが含まれる。制御部１４の全部あるいは一部がハードウエアによって構成される場合、制御部１４には、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等が含まれる。 Note that the arithmetic processing and control described above by the control unit 14 may be executed by software, may be executed by hardware, or may be executed by a combination thereof. In the case of processing by software, the control unit 14 reads and executes a program stored in a ROM, HDD, SSD or the like. In this case, the program includes modules corresponding to the respective units included in the control unit 14. When all or part of the control unit 14 is configured by hardware, the control unit 14 includes an FPGA (Field Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), and the like.
図１０は、実施形態の画像検査装置１による処理を示すフローチャートである。画像検査装置１による検査は、図１０に示されるような手順で実行される。まず、照明制御部１４１は、照明装置３における所定の発光部Ｌ（例えば、点灯順１に対応する各発光部Ｌ）が点灯するように、照明装置３を制御する（ステップＳ１）。これを受けて、照明装置３における所定の発光部Ｌが光を出射する。 FIG. 10 is a flowchart illustrating processing performed by the image inspection apparatus 1 according to the embodiment. The inspection by the image inspection apparatus 1 is executed in the procedure as shown in FIG. First, the illumination control unit 141 controls the illumination device 3 so that a predetermined light emitting unit L (for example, each light emitting unit L corresponding to the lighting order 1) in the illumination device 3 is lit (step S1). In response to this, the predetermined light emitting portion L in the illumination device 3 emits light.
撮影制御部１４２は、撮影を行うように撮像部２を制御する（ステップＳ２）。これを受けて、撮像部２は、照明装置３から出射され被検査面４ａで反射した光を撮影する。次に、撮像画像取得部１４３は、撮像部２で撮影した画像から、各点における輝度値Ｌ（ｍ，ｎ）（画像データ）を取得し、記憶部１１に記憶する（ステップＳ３）。 The imaging control unit 142 controls the imaging unit 2 to perform imaging (step S2). In response to this, the imaging unit 2 images the light emitted from the illumination device 3 and reflected by the surface to be inspected 4a. Next, the captured image acquisition unit 143 acquires the luminance value L (m, n) (image data) at each point from the image captured by the imaging unit 2, and stores it in the storage unit 11 (step S3).
１周期分の処理が終了していない場合（ステップＳ４でＮｏ）、照明制御部１４１は、照明装置３における次の発光部Ｌ（例えば、点灯順２に対応する各発光部Ｌ）が点灯するように、照明装置３を制御する（ステップＳ５）。これを受けて、照明装置３における次の発光部Ｌが光を出射する。ステップＳ５の後、ステップＳ２に戻る。 When the processing for one cycle is not completed (No in step S4), the illumination control unit 141 turns on the next light emitting unit L (for example, each light emitting unit L corresponding to the lighting order 2) in the lighting device 3. Thus, the illuminating device 3 is controlled (step S5). In response to this, the next light emitting portion L in the illumination device 3 emits light. After step S5, the process returns to step S2.
１周期分の処理が終了した場合（ステップＳ４でＹｅｓ）、ステップＳ６に進む。１周期分の処理が終了した場合とは、例えば、点灯順１〜６における撮影が終了した場合である。 When the process for one cycle is completed (Yes in step S4), the process proceeds to step S6. The case where the processing for one cycle is completed is, for example, the case where photographing in the lighting order 1 to 6 is completed.
次に、強度算出部１４４は、輝度値Ｌ（ｍ，ｎ）から強度Ｉ（ｍ，ｎ）を算出（設定）する（ステップＳ６）。次に、複素復調演算部１４５は、輝度値Ｌ（ｍ，ｎ）および複素参照信号に基づいて、複素画像Ｆ（ｍ，ｎ）を算出する（ステップＳ７）。次に、位相算出部１４６は、複素画像Ｆ（ｍ，ｎ）から位相Ｐ（ｍ，ｎ）を算出する（ステップＳ８）。 Next, the intensity calculation unit 144 calculates (sets) the intensity I (m, n) from the luminance value L (m, n) (step S6). Next, the complex demodulation calculation unit 145 calculates a complex image F (m, n) based on the luminance value L (m, n) and the complex reference signal (step S7). Next, the phase calculation unit 146 calculates the phase P (m, n) from the complex image F (m, n) (step S8).
次に、振幅算出部１４７は、複素画像Ｆ（ｍ，ｎ）から振幅Ｓ（ｍ，ｎ）を算出する（ステップＳ９）。次に、異常判定部１４８は、位相Ｐ（ｍ，ｎ）に基づいて、被検査面４ａにおける異常の有無を判定する（ステップＳ１０）。異常判定部１４８は、例えば、上述した位相限定ラプラシアンとソーベルフィルタによる処理を用いて異常を判定する。次に、表示制御部１４９は、異常判定部１４８による異常の判定結果を示す画像を表示するよう、表示部１３を制御する（ステップＳ１１）。 Next, the amplitude calculation unit 147 calculates the amplitude S (m, n) from the complex image F (m, n) (step S9). Next, the abnormality determination unit 148 determines the presence / absence of an abnormality in the surface 4a to be inspected based on the phase P (m, n) (step S10). The abnormality determination unit 148 determines abnormality using, for example, the above-described processing by the phase-limited Laplacian and the Sobel filter. Next, the display control unit 149 controls the display unit 13 so as to display an image indicating an abnormality determination result by the abnormality determination unit 148 (step S11).
このように、本実施形態の画像検査装置１によれば、照明装置３から出射する光の強度を円周方向に所定周期で空間的に変化させ、空間的に光の強度が変化するたびに撮像部２で取得した画像の輝度値と複素参照信号との乗算値の積分値に基づく複素画像を算出し、複素画像から各画素の輝度値の位相を算出し、その位相に基づいて検査対象物４の表面をより高精度に検査することができる。 As described above, according to the image inspection apparatus 1 of the present embodiment, the intensity of light emitted from the illumination apparatus 3 is spatially changed in the circumferential direction at a predetermined cycle, and the light intensity changes spatially every time. A complex image is calculated based on the integral value of the product of the luminance value of the image acquired by the imaging unit 2 and the complex reference signal, and the phase of the luminance value of each pixel is calculated from the complex image. The surface of the object 4 can be inspected with higher accuracy.
例えば、上述したように、複素画像に含まれる複素位相画像（Ｐ（ｍ，ｎ））を得ることにより、輝度値Ｌ（ｍ，ｎ）の位相ωｘの遅れφを把握することができ、それによって検査対象物４の表面をより高精度に検査することができる。 For example, as described above, by obtaining the complex phase image (P (m, n)) included in the complex image, the delay φ of the phase ωx of the luminance value L (m, n) can be grasped. Thus, the surface of the inspection object 4 can be inspected with higher accuracy.
また、異常判定部１４８（検査部）は、輝度値の位相に基づいて、位相限定ラプラシアンを用いた処理を行うことによって、位相の定常的な変化を無視し、位相の急峻な変化を異常として検出することができる。 In addition, the abnormality determination unit 148 (inspection unit) performs processing using the phase-only Laplacian based on the phase of the luminance value, thereby ignoring the steady change of the phase and setting the steep change of the phase as abnormal. Can be detected.
また、異常判定部１４８（検査部）は、位相限定ラプラシアンを用いた処理によって得たデータに対して、ソーベルフィルタを用いた処理を行うことによって、異常部分（キズ）をより強調することができる。 In addition, the abnormality determination unit 148 (inspection unit) can emphasize the abnormal portion (scratches) more by performing processing using a Sobel filter on data obtained by processing using phase-limited Laplacian. it can.
また、異常判定部１４８（検査部）による検査の結果を示す画像を表示部１３に表示することで、ユーザは、キズ等を視認することができる。 Further, by displaying an image indicating the result of the inspection by the abnormality determination unit 148 (inspection unit) on the display unit 13, the user can visually recognize a scratch or the like.
また、全体が円環状で１２個の発光部Ｌを有し、その１２個の発光部Ｌの点灯消灯を個別に制御できる照明装置３を用いて、向かい合う発光部Ｌ同士を円周方向に順番（例えば点灯順１〜６の順番）に点灯させることで、検査対象物４の被検査面４ａにおける各点に対し、光の入射角や入射方向、光源からの距離等の点でバランスよく光を照射することができ、良好な撮像画像を得ることができる。 Further, the lighting device 3 that is generally annular and has twelve light-emitting portions L and can individually control the lighting and extinguishing of the twelve light-emitting portions L is used to sequentially turn the light-emitting portions L facing each other in the circumferential direction. By lighting in the order (for example, the order of lighting 1 to 6), the light in a well-balanced manner with respect to each point on the surface 4a to be inspected 4a in terms of light incident angle, incident direction, distance from the light source, etc. Can be irradiated, and a good captured image can be obtained.
従来技術では、検査対象物にツールマークとキズの両方がある場合、例えば、両者の輝度差によってキズのみを検出しようとするが、その方法では、両者にある程度以上の輝度差がないとキズを高精度で検出できない。一方、本実施形態の画像検査装置１では、両者の輝度差がなくても、ツールマークの方向は緩やかにしか変化しないことを利用して、ツールマークと異なる方向のキズを高精度で検出できる。 In the prior art, when there are both tool marks and scratches on the inspection object, for example, only the scratches are detected based on the luminance difference between the two. It cannot be detected with high accuracy. On the other hand, the image inspection apparatus 1 of the present embodiment can detect a scratch in a direction different from the tool mark with high accuracy by utilizing the fact that the direction of the tool mark changes only slowly even if there is no luminance difference between the two. .
なお、画像検査装置１を用いて、ツールマークの方向を表すツールマーク方向画像を作成し、表示することもできる。図１１は、実施形態の画像検査装置１によって得られたツールマーク方向画像である。光の照射方向の水平方向成分（例えば、図２の発光部Ｌ１の場合、真下よりやや左の方向）と平行な方向のツールマークは明暗の差が小さく、光の照射方向の水平方向成分と垂直な方向のツールマークは明暗の差が大きいので、ツールマークの方向は、位相の遅れφに９０度を足したものとして定義できる。図１１のツールマーク方向画像では、ツールマーク（およびキズ）の方向が同じものには同じ色を与えるようにして表示している。そして、図１１の領域１００４には、ツールマークと異なる方向のキズ（右上がりの白い部分）が現れている。 Note that a tool mark direction image representing the direction of the tool mark can be created and displayed using the image inspection apparatus 1. FIG. 11 is a tool mark direction image obtained by the image inspection apparatus 1 of the embodiment. The tool mark in the direction parallel to the horizontal direction component of the light irradiation direction (for example, in the case of the light emitting portion L1 in FIG. 2, slightly to the left from below) has a small difference in brightness, and the horizontal direction component of the light irradiation direction Since the tool mark in the vertical direction has a large difference in brightness, the direction of the tool mark can be defined as a phase delay φ plus 90 degrees. In the tool mark direction image of FIG. 11, the same color is given to those having the same tool mark (and scratch) direction. In the area 1004 in FIG. 11, scratches (a white portion rising to the right) in a direction different from the tool mark appear.
なお、上述した実施形態の画像検査装置１で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供可能である。 The inspection program executed by the image inspection apparatus 1 according to the embodiment described above is a file in an installable format or an executable format, and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk). And the like can be provided by being recorded on a computer-readable recording medium.
また、上述した実施形態の画像検査装置１で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態の画像検査装置１で実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 The inspection program executed by the image inspection apparatus 1 according to the above-described embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Moreover, you may comprise so that the test | inspection program performed with the image inspection apparatus 1 of embodiment mentioned above may be provided or distributed via networks, such as the internet.
本発明のいくつかの実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments and modifications of the present invention have been described, these embodiments and modifications are presented as examples and are not intended to limit the scope of the invention. These novel embodiments and modifications can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and equivalents thereof.
例えば、上述の実施形態では、ツールマークがある場合のキズの検出について説明したが、ツールマークがなくても、同様の処理でキズを検出することができる。 For example, in the above-described embodiment, the detection of a flaw when there is a tool mark has been described, but a flaw can be detected by the same processing even if there is no tool mark.
また、ツールマークの形状は、同心円状に限定されず、線状、うろこ状などであってもよい。ただし、ツールマーク同士が交差していないことが好ましい。 The shape of the tool mark is not limited to a concentric shape, and may be a linear shape, a scale shape, or the like. However, it is preferable that the tool marks do not intersect.
また、上述したように、ツールマークの深さ（凹凸の大きさ）は輝度値の変化の正弦曲線の振幅に影響する。したがって、画像検査装置１は、振幅を用いて、キズなどの異常判定ではなく、検査対象物４を加工した加工機の刃先状態（刃先の鋭利さ）を評価することもできる。 In addition, as described above, the depth of the tool mark (the size of the unevenness) affects the amplitude of the sine curve of the change in luminance value. Therefore, the image inspection apparatus 1 can also evaluate the blade edge state (sharpness of the blade edge) of the processing machine that has processed the inspection object 4, not the abnormality determination such as scratches, using the amplitude.
また、上述の実施形態では、画像検査装置１において、制御部１４と撮像部２を別々に設けたが、制御部１４と撮像部２を別々に設ける必要は無く、制御部１４の少なくとも一部が撮像部２と一体に設けられたカメラを有する構成としてもよい。 In the above-described embodiment, the control unit 14 and the imaging unit 2 are provided separately in the image inspection apparatus 1, but it is not necessary to provide the control unit 14 and the imaging unit 2 separately, and at least a part of the control unit 14 is provided. It is good also as a structure which has a camera provided integrally with the imaging part 2. FIG.
また、照明装置３の１２個の発光部Ｌのうち６個（向かい合う３個×２）ずつを所定の点灯順で点灯させるようにしたが、これに限定されず、４個（向かい合う２個×２）ずつや、８個（向かい合う４個×２）ずつを、所定の点灯順で点灯させるようにしてもよい。 Further, six of the twelve light emitting portions L of the lighting device 3 (facing 3 × 2) are lit in a predetermined lighting order, but the present invention is not limited to this, and 4 (2 facing × 2) or 8 (4 × 2 facing each other) may be lit in a predetermined lighting order.
また、照明装置３が有する発光部Ｌの数は、１２個に限定されず、１８個、２４個等、別の個数であってもよい。 Moreover, the number of the light emission parts L which the illuminating device 3 has is not limited to 12, It may be another number, such as 18 pieces and 24 pieces.
また、検査対象物４は、金属製品に限定されず、樹脂製品や、塗装を施した製品等、光をある程度反射するものであれば、何でもよい。 The inspection object 4 is not limited to a metal product, and may be anything such as a resin product or a painted product that reflects light to some extent.
また、検査対象物４の表面に段差がある場合でも、段差の影響を受けずにキズを検出できることが、実験で判明している。 Further, it has been experimentally found that even when there is a step on the surface of the inspection object 4, a scratch can be detected without being affected by the step.
１…画像検査装置、２…撮像部、３…照明装置、４…検査対象物、４ａ…被検査面、５…台、１１…記憶部、１２…入力部、１３…表示部、１４…制御部、１４１…照明制御部、１４２…撮影制御部、１４３…撮像画像取得部、１４４…強度算出部、１４５…複素復調演算部（複素画像算出部）、１４６…位相算出部、１４７…振幅算出部、１４８…異常判定部（検査部）、１４９…表示制御部、Ｓ…画像検査システム。 DESCRIPTION OF SYMBOLS 1 ... Image inspection apparatus, 2 ... Imaging part, 3 ... Illumination device, 4 ... Inspection object, 4a ... Inspection surface, 5 ... Stand, 11 ... Memory | storage part, 12 ... Input part, 13 ... Display part, 14 ... Control 141: Illumination control unit, 142 ... Shooting control unit, 143 ... Captured image acquisition unit, 144 ... Intensity calculation unit, 145 ... Complex demodulation calculation unit (complex image calculation unit), 146 ... Phase calculation unit, 147 ... Amplitude calculation 148: Abnormality determination unit (inspection unit), 149: Display control unit, S: Image inspection system.
Claims (8)
前記照明部から出射された光の検査対象物での反射光を撮影して画像を取得するように撮像部を制御する撮影制御部と、
空間的な光の強度の変化に応じた前記画像の輝度値と空間的な光の強度の変化に応じて前記所定周期で変化する複素参照信号との乗算値の、光の強度変化の円周方向一周分の積分値に基づく複素画像を算出する複素画像算出部と、
前記複素画像から各画素の前記輝度値の位相を算出する位相算出部と、
前記位相に基づいて前記検査対象物の表面を検査する検査部と、
を備える画像検査装置。 An illumination control unit that controls the illumination unit so that the intensity of light spatially changes in a predetermined cycle in the circumferential direction;
An imaging control unit that controls the imaging unit so as to acquire an image by imaging the reflected light of the light emitted from the illumination unit on the inspection target;
The circumference of the light intensity change of the product of the brightness value of the image according to the change in spatial light intensity and the complex reference signal that changes at the predetermined period according to the change in spatial light intensity A complex image calculation unit for calculating a complex image based on an integral value for one round of direction;
A phase calculator that calculates the phase of the luminance value of each pixel from the complex image;
An inspection unit that inspects the surface of the inspection object based on the phase;
An image inspection apparatus comprising:
前記照明制御部は、前記複数の発光部のうち向かい合う発光部同士を円周方向に順番に点灯させるように前記照明部を制御し、
前記撮影制御部は、点灯する前記発光部が変わるたびに画像を取得するように前記撮像部を制御する、請求項１〜６のいずれか一項に記載の画像検査装置。 The illuminating unit is configured in an annular shape as a whole, and a plurality of light emitting units are arranged in the circumferential direction,
The illumination control unit controls the illumination unit to sequentially turn on the light emitting units facing each other in the circumferential direction among the plurality of light emitting units,
The image inspection apparatus according to claim 1, wherein the imaging control unit controls the imaging unit to acquire an image every time the light-emitting unit that is turned on is changed.
前記照明部から出射された光の検査対象物での反射光を撮影して画像を取得するように撮像部を制御する撮影制御ステップと、
空間的な光の強度の変化に応じた前記画像の輝度値と空間的な光の強度の変化に応じて前記所定周期で変化する複素参照信号との乗算値の、光の強度変化の円周方向一周分の積分値に基づく複素画像を算出する複素画像算出ステップと、
前記複素画像から各画素の前記輝度値の位相を算出する位相算出ステップと、
前記位相に基づいて前記検査対象物の表面を検査する検査ステップと、
を含む画像検査方法。 An illumination control step for controlling the illumination unit so that the intensity of light spatially changes in a predetermined cycle in the circumferential direction;
An imaging control step of controlling the imaging unit so as to acquire an image by imaging the reflected light from the inspection object of the light emitted from the illumination unit;
The circumference of the light intensity change of the product of the brightness value of the image according to the change in spatial light intensity and the complex reference signal that changes at the predetermined period according to the change in spatial light intensity A complex image calculation step for calculating a complex image based on an integral value for one round of direction;
A phase calculating step of calculating the phase of the luminance value of each pixel from the complex image;
An inspection step of inspecting the surface of the inspection object based on the phase;
An image inspection method including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017003107A JP2018112478A (en) | 2017-01-12 | 2017-01-12 | Image inspection device and image inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017003107A JP2018112478A (en) | 2017-01-12 | 2017-01-12 | Image inspection device and image inspection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018112478A true JP2018112478A (en) | 2018-07-19 |
Family
ID=62911215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017003107A Ceased JP2018112478A (en) | 2017-01-12 | 2017-01-12 | Image inspection device and image inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018112478A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112763493A (en) * | 2019-11-05 | 2021-05-07 | 华硕电脑股份有限公司 | Appearance image capturing device and appearance detection device comprising same |
| WO2021090827A1 (en) * | 2019-11-05 | 2021-05-14 | 株式会社小糸製作所 | Inspection device |
| JP2021076569A (en) * | 2019-11-05 | 2021-05-20 | 華碩電腦股▲ふん▼有限公司 | Appearance image capturing device and appearance inspection device having the same |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0868967A (en) * | 1994-05-17 | 1996-03-12 | Olympus Optical Co Ltd | Image processing method and image processor |
| JPH1027212A (en) * | 1996-07-08 | 1998-01-27 | Sumitomo Electric Ind Ltd | Character recognizing device |
| JP2002202264A (en) * | 2000-12-27 | 2002-07-19 | Toshiba Corp | Method and device for appearance inspection |
| JP2012021914A (en) * | 2010-07-15 | 2012-02-02 | Keyence Corp | Image processing system and visual inspection method |
| JP2015040796A (en) * | 2013-08-22 | 2015-03-02 | シャープ株式会社 | Defect detection device |
| JP2015078960A (en) * | 2013-10-18 | 2015-04-23 | リコーエレメックス株式会社 | Appearance inspection device and appearance inspection method |
| JP2015200632A (en) * | 2014-03-31 | 2015-11-12 | 国立大学法人 東京大学 | inspection system and inspection method |
| US20160334340A1 (en) * | 2014-01-22 | 2016-11-17 | Tiama | Method and device for the detection in particular of refracting defects |
-
2017
- 2017-01-12 JP JP2017003107A patent/JP2018112478A/en not_active Ceased
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0868967A (en) * | 1994-05-17 | 1996-03-12 | Olympus Optical Co Ltd | Image processing method and image processor |
| JPH1027212A (en) * | 1996-07-08 | 1998-01-27 | Sumitomo Electric Ind Ltd | Character recognizing device |
| JP2002202264A (en) * | 2000-12-27 | 2002-07-19 | Toshiba Corp | Method and device for appearance inspection |
| JP2012021914A (en) * | 2010-07-15 | 2012-02-02 | Keyence Corp | Image processing system and visual inspection method |
| JP2015040796A (en) * | 2013-08-22 | 2015-03-02 | シャープ株式会社 | Defect detection device |
| JP2015078960A (en) * | 2013-10-18 | 2015-04-23 | リコーエレメックス株式会社 | Appearance inspection device and appearance inspection method |
| US20160334340A1 (en) * | 2014-01-22 | 2016-11-17 | Tiama | Method and device for the detection in particular of refracting defects |
| JP2015200632A (en) * | 2014-03-31 | 2015-11-12 | 国立大学法人 東京大学 | inspection system and inspection method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112763493A (en) * | 2019-11-05 | 2021-05-07 | 华硕电脑股份有限公司 | Appearance image capturing device and appearance detection device comprising same |
| WO2021090827A1 (en) * | 2019-11-05 | 2021-05-14 | 株式会社小糸製作所 | Inspection device |
| JP2021076569A (en) * | 2019-11-05 | 2021-05-20 | 華碩電腦股▲ふん▼有限公司 | Appearance image capturing device and appearance inspection device having the same |
| US11575814B2 (en) * | 2019-11-05 | 2023-02-07 | Asustek Computer Inc. | Image capturing device and appearance inspecting device including the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10739272B2 (en) | Inspection system and inspection method | |
| US10724960B2 (en) | Inspection system and inspection method | |
| JP6745173B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded device | |
| JP6408259B2 (en) | Image inspection apparatus, image inspection method, image inspection program, computer-readable recording medium, and recorded apparatus | |
| JP2015232487A (en) | Image inspection device, image inspection method, image inspection program and computer readable recording medium, and apparatus having image inspection program recorded therein | |
| JP2018112478A (en) | Image inspection device and image inspection method | |
| CN107271445B (en) | Defect detection method and device | |
| JP2018152081A (en) | System and method for determining clutter in an acquired image | |
| JP2012047673A (en) | Inspection device and inspection method | |
| JP6278842B2 (en) | Inspection device, inspection method, and program | |
| JP6045429B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
| JP2021056182A (en) | Apparatus and method for detecting surface defect of workpiece, surface inspection system for workpiece, and program | |
| JP6425406B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
| JP2010197201A (en) | Chart, device and program for measuring mtf | |
| JP6368593B2 (en) | Image processing program, information processing system, and image processing method | |
| JP6381262B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6927294B2 (en) | Measuring device, measuring method and measuring program | |
| JP2013509641A (en) | Method and system for processing data using nonlinear gradient compensation | |
| JP2008015714A (en) | Image processing method, image processor, and optical device | |
| JP2019091308A (en) | Object detector, image analysis device, object analytical method, image analysis method, program, and learning data | |
| JP2008275392A (en) | Three-dimensional shape measurement method and system | |
| JP6703415B2 (en) | Inspection device and inspection method | |
| JP2007285753A (en) | Flaw detection method and flaw detector | |
| US10891782B2 (en) | Determining illumination direction with three-dimensional illumination charts | |
| JP6826813B2 (en) | Inspection equipment and inspection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20211221 |