JPH10143653A - Image processing system - Google Patents

Abstract

PROBLEM TO BE SOLVED: To perform area division of an image that includes a stain and noise with high reliability without being influenced by the stain and noise by dividing the image into noise and pixels except it, successively selecting it as an attentional pixel, making the pixel value adjoin the attentional pixel and also replacing pixels except noise with the pixel value of one pixel in identified pixels. SOLUTION: A noise eliminating means 107 eliminates noise of one image of two kinds of images. Histogram operation of the image whose noise is eliminated is performed, noise is separated from pixels except noise, and each pixel is successively selected as the attentional pixel. In an image about which noise elimination is not performed, it is specified as a pixel which belongs to an area where is the same as the attentional pixel that the difference between the pixel value of an adjacent pixel and the pixel value of a pixel that corresponds to the attentional pixel among pixels that correspond to the attentional pixel and adjacent pixels is small. Noise is eliminated by replacing the pixel value of the attentional pixel with the pixel value of one pixel in the specified pixels.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、たとえば工業製品
の仕上がり状態の外観検査装置などのように画像を認識
し、画像の特徴量を算出する装置に関し、特に前記画像
がノイズや汚れ等により同一の領域内にあっても画素の
値が大きな分散をもつような場合にも正確な領域分割を
行い、信頼性高く画像の特徴量を抽出する画像処理シス
テムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for recognizing an image and calculating a characteristic amount of the image, for example, an appearance inspection apparatus for a finished state of an industrial product, and more particularly, to an apparatus in which the images are identical due to noise or dirt. The present invention relates to an image processing system that performs accurate region division even when the pixel values have a large variance even within the region (1) and extracts the feature amount of the image with high reliability.

【０００２】[0002]

【従来の技術】画像の特徴量を抽出する画像処理システ
ムの技術に関しては、たとえば文献、田村秀行監修、日
本工業技術センター編：“コンピュータ画像処理入
門”、総研出版にあるように一般に抽出される画像特徴
としてエッジと領域がある。エッジの検出手法としては
同文献にあるように勾配を求める方法やラプラシアンを
求める方法がある。また、あらかじめ検出する領域の濃
淡値が他の部分とは異なることがわかっている場合には
画像を２値化し、領域を特定する方法がある。また、画
像中にノイズや汚れがある場合にも正確なエッジを検出
できるように、エッジ検出の前にノイズや汚れ等をメデ
ィアンフィルタや平滑化フィルタを用いることで消し去
る手法がある。2. Description of the Related Art The technique of an image processing system for extracting feature values of an image is generally extracted as described in, for example, literature, supervised by Hideyuki Tamura, edited by Japan Industrial Technology Center: "Introduction to Computer Image Processing", published by Soken Publishing. Image features include edges and regions. As a method of detecting an edge, there is a method of obtaining a gradient or a method of obtaining a Laplacian as described in the literature. Further, when it is known that the gray value of the area to be detected is different from the other parts, there is a method of binarizing the image and specifying the area. In addition, there is a method of eliminating noise, dirt, and the like by using a median filter or a smoothing filter before edge detection so that an accurate edge can be detected even when the image has noise or dirt.

【０００３】[0003]

【発明が解決しようとする課題】しかし、上記従来のエ
ッジの検出手法は画像中にノイズがある場合には正確に
エッジ位置を検出することは困難であった。このノイズ
に対応するために注目する画素の近傍領域内の画素値の
平均値や和をもとにエッジを求めていた。However, it is difficult for the above-described conventional edge detection method to accurately detect an edge position when there is noise in an image. In order to cope with this noise, an edge is obtained based on an average value or a sum of pixel values in a region near a pixel of interest.

【０００４】しかし、広範囲にノイズや汚れが分布して
いた場合には対応が困難であった。上記２値化を行う方
法では、ノイズの影響を受けにくくするため手法として
画像の膨張、収縮フィルタがあるが、この手法も広範囲
の汚れには対応できず、また２値化を行った後の手法で
あるため、２値化前の画像の濃淡値を考慮した領域の決
定を行うことはできなかった。また、上記ノイズを消し
去る方法は特に光切断方式で検出した高さ画像で発生す
る２次反射によるノイズのように画像の局所的な領域に
高い頻度でノイズや汚れが発生していた場合には対応す
ることができなかった。[0004] However, it has been difficult to cope with a case where noise and dirt are distributed over a wide range. In the above-described binarization method, there is an image expansion / contraction filter as a method for making the image less affected by noise. However, this method cannot cope with a wide range of dirt, and the method after binarization is performed. Because of this method, it was not possible to determine a region in consideration of the grayscale value of the image before binarization. In addition, the method for eliminating the noise is particularly effective when noise or dirt occurs frequently in a local area of the image such as noise due to secondary reflection generated in a height image detected by the light section method. Could not respond.

【０００５】[0005]

【課題を解決するための手段】上記の課題は画像のヒス
トグラム演算を行い、ノイズの画素を特定したのち、そ
のノイズの近傍にあるノイズと識別されなかった画素の
画素値によりノイズの画素の画素値を置き換えたのち、
あるしきい値に対して画素値が大なる部分と小なる部分
との境界位置を２つの領域の境界位置の候補とし、それ
ぞれの候補で分割した領域内の画素値の和を求め、しき
い値より画素値が大なる領域の画素値の和からしきい値
より画素値が小なる領域の和を差し引いた値を求め、こ
の値が最大となる境界位置の候補を領域の境界位置と定
めることを特徴とする画像処理システムにより解決され
る。The above problem is solved by performing a histogram operation on an image to specify a noise pixel, and then determining a noise pixel based on a pixel value of a pixel in the vicinity of the noise that has not been identified as noise. After replacing the value,
A boundary position between a part where the pixel value is large and a part where the pixel value is small with respect to a certain threshold value is determined as a candidate for the boundary position between the two regions, and the sum of the pixel values in the region divided by each candidate is calculated. The value obtained by subtracting the sum of the pixel values smaller than the threshold value from the sum of the pixel values of the pixel values larger than the value is determined, and the boundary position candidate having the maximum value is determined as the boundary position of the region. The problem is solved by an image processing system characterized in that:

【０００６】即ち、本発明は、上記課題を解決するため
に、画像の特徴量を抽出する画像処理システムを、被検
査対象の画像を検出する画像検出手段と、この画像検出
手段で検出された画像を格納する画像格納手段と、この
画像格納手段に格納された画像のノイズを除去するノイ
ズ除去手段と、画像格納手段に格納された画像の明るさ
の分布をもとに画像を複数の領域に分割する領域分割手
段とを備えて構成し、ノイズ除去手段が、画像をノイズ
とそれ以外の画素に分類し、画像の各画素を順次注目画
素として選び、注目画素の画素値を注目画素と隣接し、
かつ、ノイズ以外の画素と識別された画素の内の１つの
画素の画素値により置き換えることにより前記画像のノ
イズを除去するようにした。That is, in order to solve the above-mentioned problems, the present invention provides an image processing system for extracting a feature amount of an image, comprising: an image detecting means for detecting an image of an object to be inspected; Image storage means for storing an image, noise removal means for removing noise from the image stored in the image storage means, and a plurality of regions based on the brightness distribution of the image stored in the image storage means. And a noise removing unit that classifies the image into noise and other pixels, sequentially selects each pixel of the image as a target pixel, and determines a pixel value of the target pixel as a target pixel. Adjacent,
In addition, the noise of the image is removed by replacing with a pixel value of one of the pixels identified as pixels other than noise.

【０００７】また、上記構成において、画像格納手段は
２種類の同一視野の画像を格納し、ノイズ除去手段は２
種類の画像のうちの１つの画像のノイズを除去し、この
ノイズ除去を行う画像のヒストグラム演算を行い、ノイ
ズ除去を行う画像をノイズとそれ以外の画素に分類し、
ノイズ除去を行う画像の各画素を順次注目画素として選
び、２種類の同一視野の画像のうちノイズ除去を行わな
い画像において注目画素に対応する画素と隣接する画素
のうち、隣接する画素の画素値と注目画素に対応する画
素の画素値の差が小さいものを注目画素と同一の領域に
属する画素として特定し、注目画素と隣接し、かつ同一
の領域に属し、かつノイズ以外の画素と特定された画素
の内の１つの画素の画素値により注目画素の画素値を置
き換えることによりノイズを除去するようにした。In the above arrangement, the image storing means stores two kinds of images having the same visual field, and the noise removing means stores the two kinds of images.
Removing noise from one of the types of images, performing a histogram operation on the image from which the noise is to be removed, classifying the image from which the noise is to be removed into noise and other pixels,
Each pixel of the image from which noise is to be removed is sequentially selected as a target pixel, and the pixel value of an adjacent pixel among pixels adjacent to the pixel corresponding to the target pixel in an image from which noise is not removed among two types of images having the same field of view. The pixel having a small difference in pixel value between the pixel corresponding to the target pixel and the target pixel is identified as a pixel belonging to the same region as the target pixel, and is identified as a pixel adjacent to the target pixel, belonging to the same region, and excluding noise. The noise is removed by replacing the pixel value of the target pixel with the pixel value of one of the pixels.

【０００８】更に、画像格納手段は同一視野における対
象物の高さを表す画像と明るさを表す画像を格納し、ノ
イズ除去手段は高さ画像のノイズを除去し、高さ画像の
ヒストグラム演算を行い、高さ画像をノイズとそれ以外
の画素に分類し、高さ画像の各画素を順次注目画素とし
て選び、明るさ画像において注目画素に対応する画素と
隣接する画素のうち、この隣接する画素の画素値と注目
画素に対応する画素の画素値の差が小さいものを注目画
素と同一の領域に属する画素として特定し、注目画素と
隣接して同一の領域に属するノイズ以外の画素と特定さ
れた画素の内の１つ画素の画素値により注目画素の画素
値を置き換えることによりノイズを除去するようにし
た。Further, the image storage means stores an image representing the height and brightness of the object in the same field of view, and the noise removing means removes noise from the height image and performs a histogram operation on the height image. Then, the height image is classified into noise and other pixels, and each pixel of the height image is sequentially selected as a target pixel. Of the pixels adjacent to the pixel corresponding to the target pixel in the brightness image, the adjacent pixels are selected. A pixel having a small difference between the pixel value of the pixel of interest and the pixel value of the pixel corresponding to the pixel of interest is identified as a pixel belonging to the same region as the pixel of interest, and a pixel other than noise belonging to the same region adjacent to the pixel of interest is identified. The noise is removed by replacing the pixel value of the target pixel with the pixel value of one of the pixels.

【０００９】更に、領域分割手段は２つの領域を含む画
素値演算区間を設定し、画素値演算区間において２つの
領域の境界の候補位置を設定し、この候補位置を順次移
動させながら境界の候補位置において分割された画素値
演算区間のいずれか１つの区間において、この区間に属
する画素数にあらかじめ定めた値を乗じた値からこの区
間に属する画素の画素値の総和を引いた値の絶対値を評
価値として求め、評価値が最大となる境界の候補位置を
２つの領域の境界として特定するようにした。Further, the area dividing means sets a pixel value calculation section including the two areas, sets a candidate position of a boundary between the two areas in the pixel value calculation section, and sequentially moves the candidate positions to select a boundary candidate. In any one of the pixel value calculation sections divided at the position, the absolute value of the value obtained by multiplying the number of pixels belonging to this section by a predetermined value and subtracting the sum of the pixel values of the pixels belonging to this section Is determined as the evaluation value, and the candidate position of the boundary where the evaluation value is maximum is specified as the boundary between the two regions.

【００１０】更に、領域分割手段は、画像を予め設けた
しきい値より画素値が大なる部分と小なる部分とに分離
し、この分離された複数の部分における境界位置を求め
る境界位置の候補として定め、この複数求めた境界位置
の候補それぞれにおいて、候補位置の近傍に画素値演算
区間を設定し、この画素値演算区間を境界の候補位置で
分割し、それぞれの分割領域における画素値の総和を求
め、それぞれの分割領域における画素値の総和の差を求
め、この総和の差が最大となる領域における境界の候補
を、求める２つの領域の境界位置とするようにした。Further, the area dividing means separates the image into a portion having a pixel value larger than a predetermined threshold value and a portion having a pixel value smaller than a predetermined threshold value, and a candidate for a boundary position for obtaining a boundary position in the plurality of separated portions. In each of the plurality of candidates for the boundary position, a pixel value calculation section is set in the vicinity of the candidate position, and this pixel value calculation section is divided at the boundary candidate position, and the sum of the pixel values in each of the divided regions is determined. , And the difference between the sums of the pixel values in each of the divided regions is obtained, and the boundary candidate in the region where the difference in the sum is the maximum is set as the boundary position between the two regions to be obtained.

【００１１】[0011]

【発明の実施の形態】以下、本発明を図１から図１０に
より説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described below with reference to FIGS.

【００１２】図１は、本発明の全体構成の一例を示した
ものである。図１はプリント基板上に実装された電子部
品のはんだ付け部を検査するはんだ付け検査装置の全体
構成図である。101は画像検出センサーであり、検査対
象プリント基板102の高さ画像と明るさ画像の両方を同
時に検出することができる。検出された画像は画像処理
システム103に転送される。転送された画像は画像格納
メモリ104に格納される。FIG. 1 shows an example of the overall configuration of the present invention. FIG. 1 is an overall configuration diagram of a soldering inspection device for inspecting a soldered portion of an electronic component mounted on a printed circuit board. Reference numeral 101 denotes an image detection sensor, which can simultaneously detect both the height image and the brightness image of the inspection target printed circuit board 102. The detected image is transferred to the image processing system 103. The transferred image is stored in the image storage memory 104.

【００１３】105は格納された高さ画像を106は明るさ画
像を示している。105の高さ画像は高い部分が明るく、
低い部分が暗く検出されている。はんだフィレットは鏡
面状態であるため、必ずしも散乱光が101の画像検出セ
ンサーで受光されないため、この部分の高さを正確に検
出することは困難である。このため、フィレット部分で
はノイズが検出されている。高さ画像のノイズはノイズ
除去手段107によってノイズが除かれる。108はノイズ除
去後の高さ画像である。109は領域分割手段である。ノ
イズ除去後の高さ画像よりリードを検出し、また明るさ
画像よりパッドを検出する。110は欠陥判定手段であ
り、求めたリードとパッドの位置関係よりリードの位置
ずれ検査を行い、またパッド上のパッド高さよりも高い
部分をはんだフィレットとし、はんだフィレットの３次
元形状を基にリードとパッドの接続検査を行う。Reference numeral 105 denotes a stored height image, and reference numeral 106 denotes a brightness image. The height of the 105 height image is bright,
The lower part is detected dark. Since the solder fillet is in a mirror surface state, the scattered light is not always received by the image detection sensor 101, so that it is difficult to accurately detect the height of this portion. Therefore, noise is detected in the fillet portion. Noise in the height image is removed by the noise removing unit 107. 108 is a height image after noise removal. 109 is an area dividing means. The lead is detected from the height image after noise removal, and the pad is detected from the brightness image. Numeral 110 is a defect judging means for conducting a positional displacement inspection of the lead based on the obtained positional relationship between the lead and the pad, and a portion higher than the pad height on the pad is used as a solder fillet, and the lead is determined based on the three-dimensional shape of the solder fillet. And pad connection inspection.

【００１４】105はリードの近傍で多くのノイズを検出
している。このため、高い信頼性でリード領域を抽出す
るためにはノイズを除去する必要がある。従来ノイズを
除去する技術としてはメディアンフィルタが知られてい
た。しかし、105の画像のように多くのノイズが発生し
ている場合、図２に示すようにメディアンフィルタでは
逆にノイズ部分を広げてしまいノイズ除去を行うことが
できない。A number 105 detects a lot of noise near the lead. Therefore, it is necessary to remove noise in order to extract a read area with high reliability. Conventionally, a median filter has been known as a technique for removing noise. However, when a lot of noise is generated like the image 105, the median filter conversely widens the noise portion as shown in FIG. 2 and cannot remove the noise.

【００１５】図３はこのように多くのノイズが発生した
場合でもノイズ除去を行うことができるノイズ除去手段
107の一構成例である。301は検出高さ画像である。高さ
画像は図３に示すように複数のウインドウに分割されて
いる。ヒストグラム演算手段302はこの各ウインドウの
ヒストグラム、および画像全体のヒストグラム303の演
算を行う。画像全体のヒストグラムの高さの低い部分に
出現する検出頻度のピークはプリント基板の高さに、高
さの高い部分に出現する検出頻度のピークはリード高さ
に相当する。プリント基板の高さより一定以上低い部
分、あるいはリードの高さより一定以上高い部分はノイ
ズとみなすことができる。FIG. 3 shows a noise removing means capable of removing noise even when such a large amount of noise is generated.
107 is a configuration example of 107. Reference numeral 301 denotes a detection height image. The height image is divided into a plurality of windows as shown in FIG. The histogram calculation unit 302 calculates the histogram of each window and the histogram 303 of the entire image. The peak of the detection frequency that appears in the low portion of the histogram of the entire image corresponds to the height of the printed circuit board, and the peak of the detection frequency that appears in the high portion of the histogram corresponds to the lead height. A portion that is lower than a certain height or more than the height of the printed board or a portion that is higher than a certain height or more than the height of the lead can be regarded as noise.

【００１６】次に、ノイズとみなされた画素を除いて、
分割領域のそれぞれのヒストグラムを求める。このそれ
ぞれのヒストグラムにおいて、高い高さに相当する検出
頻度のピークから一定以上高い部分をノイズとみなす。
フィレット付近においてリードと同じ程度の高さのスパ
イクノイズが発生していた場合、全体のヒストグラムの
みからノイズを特定した場合、そのスパイクノイズはノ
イズと特定できない。しかしながら、局所的な領域にお
いてもヒストグラム演算を行ったばあい、フィレット先
端部のウインドウで算出したヒストグラムではリード高
さに相当する高さの検出頻度は極めて少ないため、その
高さはノイズであると特定できる。Next, except for the pixels regarded as noise,
A histogram for each of the divided areas is obtained. In each of the histograms, a portion that is higher than a certain peak from the peak of the detection frequency corresponding to the high height is regarded as noise.
If spike noise of the same height as the lead is generated near the fillet, and if noise is specified only from the entire histogram, the spike noise cannot be specified as noise. However, if the histogram calculation is performed even in a local area, the height calculated as the lead height in the histogram calculated in the window at the tip of the fillet is extremely low, so the height is considered to be noise. Can be identified.

【００１７】以上のようにしてノイズとそれ以外の部分
とに画素を分類する。次にノイズ置換手段304によりノ
イズとみなされた画素の画素値をそれ以外の画素の画素
値により置き換える。図４はノイズの画素とその周辺３
×３画素を示したものである。ノイズは局所的に高い頻
度で発生しているため、ノイズと隣接している画素の多
くはノイズの画素である。通常のメディアンフィルタで
は注目する画素に隣接するすべての画素の中間値で注目
画素の画素値を置き換えるため、ノイズを消去させるこ
とができない。ノイズ置換手段304はノイズでないと認
識された画素の中間値によりノイズ画素の画素値を置き
換えるため、ノイズを除去することができる。As described above, pixels are classified into noise and other parts. Next, the pixel value of a pixel regarded as noise by the noise replacing unit 304 is replaced with the pixel value of another pixel. FIG. 4 shows a noise pixel and its surroundings 3
× 3 pixels are shown. Since noise occurs locally at a high frequency, most of the pixels adjacent to the noise are noise pixels. In a normal median filter, the pixel value of the pixel of interest is replaced with the intermediate value of all the pixels adjacent to the pixel of interest, so that noise cannot be eliminated. The noise replacement unit 304 replaces the pixel value of the noise pixel with the intermediate value of the pixel recognized as not noise, so that the noise can be removed.

【００１８】しかしながら、304のノイズ置換手段は、
２つの領域の境界付近にノイズが発生していた場合、ノ
イズが実際に属する領域とは異なる領域の画素値で置き
換えてしまう可能性がある。図５は図４で示した注目画
素の近傍の３×３画素における領域の分布状態を示して
いる。このとき、領域２では領域１に対してノイズが発
生しやすい性質を持っているため、ノイズ画素は領域２
に属しているにも関わらず、ノイズでないと特定された
画素の中間値で置き換えた場合、領域１に属する画素の
画素値で置き換えられてしまう。このため、領域の拡
大、縮小が発生してしまう。However, the noise replacement means of 304
If noise has occurred near the boundary between the two regions, the noise may be replaced with a pixel value in a region different from the region to which the noise actually belongs. FIG. 5 shows a distribution state of a region in 3 × 3 pixels near the target pixel shown in FIG. At this time, since the region 2 has a property that noise is easily generated in the region 1, the noise pixel is
However, when the pixel is replaced with an intermediate value of a pixel specified as not noise, the pixel is replaced with a pixel value of a pixel belonging to the area 1. Therefore, enlargement and reduction of the area occur.

【００１９】この現象を防ぐ304とは異なったノイズ置
換手段を、図６に示す。601は領域特定手段である。こ
こでは注目ノイズ画素の位置における明るさ画像を参照
し、この画素値を求める。一般に３×３の近傍９画素に
おいて注目画素と同一の領域に属する画素の数は注目画
素を含めて少なくとも４画素である。そこで、３×３の
画素の中から、注目画素の画素値との差が小さい画素値
をもつ４画素を抽出し、これを同一の領域に属する画素
と特定する。その後、その他の画素の画素値と注目画素
の画素値とを比較し、その差の絶対値が一定しきい値以
下であった場合、その画素も同一領域に属する画素と認
識する。602はノイズ置換手段であり、注目ノイズ画素
の近傍３×３画素のうち、ノイズでないと特定され、か
つ注目ノイズ画素と同一の領域に属すると認識された画
素の高さ画像の中間値により画素値を置き換える。明る
さ画像で同一領域に属すると特定された画素の画素値で
置き換えられるため、領域の境界が変化することはな
い。FIG. 6 shows a noise replacement means different from 304 for preventing this phenomenon. 601 is an area specifying means. Here, the pixel value is obtained by referring to the brightness image at the position of the target noise pixel. In general, the number of pixels belonging to the same region as the target pixel in the 3 × 3 neighboring nine pixels is at least four pixels including the target pixel. Therefore, from among the 3 × 3 pixels, four pixels having a pixel value having a small difference from the pixel value of the target pixel are extracted, and these are specified as pixels belonging to the same area. Thereafter, the pixel values of the other pixels are compared with the pixel values of the target pixel, and if the absolute value of the difference is equal to or smaller than a certain threshold, the pixel is also recognized as belonging to the same area. Numeral 602 denotes a noise replacement unit. The pixel is determined by an intermediate value of a height image of a pixel among the 3 × 3 pixels in the vicinity of the target noise pixel which is specified as not noise and which is recognized as belonging to the same region as the target noise pixel. Replace values. Since the pixel value of the pixel specified as belonging to the same region in the brightness image is replaced, the boundary of the region does not change.

【００２０】図７は109の領域分割手段の構成例であ
る。今、図８にしめした波形を２つの領域に分割するこ
とを考える。801はパッドの明るさに対応し、802は基板
の明るさに対応している。パッドは基板に対して明るく
検出される。このため、パッドはある一定しきい値より
も明るいと期待することができる。このため、従来はし
きい値により２値化を行い領域を決定する方法が用いら
れていた。また、汚れなどによりパッド部分の領域が分
割されないように２値化の後の、膨張処理と収縮処理等
が用いられてきた。しかし、この処理は801の波形のよ
うに、しきい値よりも値の小さな区間が長い場合には対
応できず、正確な境界位置を検出できなかった。FIG. 7 shows an example of the configuration of the area dividing means 109. Now, consider dividing the waveform shown in FIG. 8 into two regions. 801 corresponds to the brightness of the pad, and 802 corresponds to the brightness of the substrate. The pad is detected brightly with respect to the substrate. Therefore, it can be expected that the pad is brighter than a certain threshold value. For this reason, conventionally, a method has been used in which a region is determined by performing binarization using a threshold value. Further, expansion processing and contraction processing after binarization have been used so that the area of the pad portion is not divided by dirt or the like. However, this processing cannot cope with a case where a section having a value smaller than the threshold value is long as in the waveform of 801 and cannot detect an accurate boundary position.

【００２１】図７の構成例は、このように領域内におい
て画素値が安定しない場合にも正確に境界位置を検出可
能にするものである。701は画素値加算手段であり、図
８のx1からx2までの画素値が順次入力される。701には
そのほかにしきい値と703の出力値が入力される。701は
しきい値からこの入力された画素値を減算し、記憶手段
703に記憶されている値に加え、その値を703に記録す
る。703は始め0に初期化されている。すなわち、703に
は(数１)で示される値が常に保持される。701はカウン
タ704を有しており、あらかじめカウンタにはx1に１を
加えた値をセットしておく。701に画素値が入力される
度、このカウンタはインクリメントされる。The configuration example shown in FIG. 7 enables accurate detection of the boundary position even when the pixel value is not stable in the area. Reference numeral 701 denotes a pixel value adding means, to which pixel values from x1 to x2 in FIG. 8 are sequentially input. In addition, a threshold value and an output value of 703 are input to 701. 701 subtracts the input pixel value from the threshold value and stores
In addition to the value stored in 703, the value is recorded in 703. 703 is initially initialized to zero. That is, the value represented by (Equation 1) is always held in 703. 701 has a counter 704, and a value obtained by adding 1 to x1 is set in the counter in advance. Each time a pixel value is input to 701, this counter is incremented.

【００２２】[0022]

【数１】 (Equation 1)

【００２３】702は最大値検出手段であり、703の保持す
る値と704のカウンタ値を入力する。702は入力された70
3の値がそれ以前の703からの入力値のなかで最大であっ
た場合に、その最大値とそのときのカウンタ704からの
入力値を記録する。x1からx2までの画素がすべて701に
入力されたとき、702が保持する704からの入力値が領域
の境界位置に相当する。この処理は(数１)においてxをx
1からx2まで変化させたとき、(数１)が最大値となるxを
境界とすることと等しい。Reference numeral 702 denotes a maximum value detecting means for inputting the value held by 703 and the counter value of 704. 702 entered 70
When the value of 3 is the largest among the input values from the previous 703, the maximum value and the input value from the counter 704 at that time are recorded. When all the pixels from x1 to x2 are input to 701, the input value from 704 held by 702 corresponds to the boundary position of the area. In this process, x is x
When changing from 1 to x2, this is equivalent to using x at which (Equation 1) has the maximum value as a boundary.

【００２４】図７の構成例がおこなう処理は、領域内の
画素値の総和により境界位置を求めることに等しい。こ
のため、汚れなどの影響を受けにくく正確な境界位置を
検出することが可能である。しかし、たとえば図９の波
形のように、明るい領域の外側にも一定距離以上離れて
いる領域では、明るい領域が存在することがあらかじめ
予想される場合には、図７の構成例では正確な領域の境
界を求めることができない。The processing performed by the configuration example of FIG. 7 is equivalent to obtaining a boundary position from the sum of the pixel values in the area. Therefore, it is possible to detect an accurate boundary position which is hardly affected by dirt or the like. However, for example, as shown in the waveform of FIG. 9, in a region outside the bright region by a predetermined distance or more, if it is expected that a bright region is present in advance, the accurate configuration in FIG. Cannot find the boundary of

【００２５】この場合に、正確な領域の境界を求めるた
めの構成例が、図１０である。画素値は画素値演算手段
1001に１画素ずつ入力される。1001にはこのほかに、i
画素分前に入力された画素値と記憶手段1002の出力値が
入力される。ここではi画素分の位相をずらすためにFIF
Oを用いているがFIFOはあらかじめすべて0に初期化され
ている。1001は入力画素値からi画素分前に入力された
画素値を引き、この値に1002の出力値を加えて1002に出
力する。1002は0に初期化されている。１００２は１０
０１の出力値を記憶し、その値を出力する。ここでiは
任意の自然数であるが、求めようとする、しきい値より
も高い画素値をもつと期待される領域の長さがあらかじ
めわかっている場合はその長さ分の画素数を設定する。FIG. 10 shows an example of a configuration for obtaining an accurate area boundary in this case. Pixel value is calculated by pixel value calculation means
1001 is input one pixel at a time. 1001 also includes i
The pixel value input before the pixel and the output value of the storage unit 1002 are input. Here, to shift the phase of i pixels,
Although O is used, the FIFO is all initialized to 0 in advance. 1001 subtracts the pixel value input i pixels before from the input pixel value, adds the output value of 1002 to this value, and outputs the result to 1002. 1002 is initialized to 0. 1002 is 10
01 is stored and the value is output. Here, i is an arbitrary natural number, but if the length of the region to be obtained and expected to have a pixel value higher than the threshold value is known in advance, the number of pixels corresponding to the length is set. I do.

【００２６】1003および1005はそれぞれ1001、1002と同
じ機能をもつ画素値演算手段である。1003には入力され
る画素からi画素分前に入力された画素値と(i+j)画素分
前に入力された画素値と1005の記憶手段からの出力が入
力される。1005は1003の出力値を記憶する。 ここでjは
任意の自然数であるが、しきい値を越えると期待される
領域の外側に隣接したしきい値を越えないと期待される
領域の長さがわかっている場合にはその長さ分の画素数
を設定する。1006は減算機であり、1002の出力から1005
の出力を減じる。1008はカウンターであり、画素値が入
力される度にインクリメントされる。1008はあらかじめ
x1からiを引きそれに1を加えた値に初期化されている。Reference numerals 1003 and 1005 denote pixel value calculating means having the same functions as 1001 and 1002, respectively. A pixel value input i pixels before the input pixel, a pixel value input (i + j) pixels before, and an output from the storage unit 1005 are input to 1003. 1005 stores the output value of 1003. Here, j is an arbitrary natural number, but if the length of the region expected to not exceed the threshold adjacent to the region outside the region expected to exceed the threshold is known, the length of the region is calculated. Set the number of pixels. 1006 is a subtractor, which is 1005 from the output of 1002
Reduce the output of A counter 1008 is incremented each time a pixel value is input. 1008 in advance
Initialized to the value obtained by subtracting i from x1 and adding 1 to it.

【００２７】1004は境界位置検出手段であり、入力され
る画素値に対しi画素分前に入力された値が入力され
る。1004はi+1画素分前の画素がしきい値未満でありi画
素分前の画素がしきい値以上であるとき、最大値検出手
段1007にセット信号を出力する。1007は1004からセット
信号が出力されたときに1006の出力結果と1007の保持す
る、それ以前に1006から入力された値の最大値とを比較
し、1006の出力の方が大きかった場合に1007に保持され
ている値を更新するとともに1008のカウンタ値を記録す
る。x1からx2のすべての画素が1001に入力された後1007
に記録されている1008のカウンタからの出力値が領域の
境界となる。Reference numeral 1004 denotes a boundary position detecting means for inputting a value input i pixels before the input pixel value. 1004 outputs a set signal to the maximum value detection means 1007 when the pixel before i + 1 pixel is less than the threshold value and the pixel before i pixel is above the threshold value. 1007 compares the output result of 1006 when the set signal is output from 1004 with the maximum value of the value input from 1006 held by 1007 before that, and 1007 when the output of 1006 is larger than 1007 The value stored in the counter is updated and the counter value of 1008 is recorded. 1007 after all pixels from x1 to x2 are input to 1001
The output value from the counter of 1008 recorded in the area becomes the boundary of the area.

【００２８】図１０の構成は、画素値がしきい値より大
なる画素と小なる画素とが隣接する位置を境界の候補位
置として、(数２)が最大値をとる候補を境界とすること
に等しい。図７で示した構成例と異なり、境界から一定
以上離れた位置の画素値に左右されずに領域の境界を決
定することが可能である。In the configuration of FIG. 10, a position where a pixel having a pixel value larger than a threshold value and a pixel having a smaller pixel value are adjacent to each other is set as a candidate position for a boundary, and a candidate having the maximum value of (Expression 2) is set as a boundary. be equivalent to. Unlike the configuration example shown in FIG. 7, it is possible to determine the boundary of the area without being influenced by the pixel value at a position at least a certain distance from the boundary.

【００２９】[0029]

【数２】 (Equation 2)

【００３０】iとjはそれぞれ領域の推定された長さであ
るため、この手法は領域全体の画素値の総和をもとに境
界を決定していることになり、比較的広範囲に広がった
ノイズや汚れに影響を受けずエッジ位置を正確に検出す
ることができる。Since i and j are the estimated lengths of the region, this method determines the boundary based on the sum of the pixel values of the entire region, and the noise spread over a relatively wide area. The edge position can be accurately detected without being affected by dust or dirt.

【００３１】[0031]

【発明の効果】本発明により画像処理システムにおいて
汚れやノイズを含む画像の領域分割を汚れやノイズに影
響を受けることなく、高い信頼性でおこなうことが可能
となる。According to the present invention, it is possible to divide an image including stains and noises in an image processing system with high reliability without being affected by stains and noises.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明による画像処理システムを、はんだ付け
外観検査装置に適用した１実施例を示すブロック図であ
る。FIG. 1 is a block diagram showing one embodiment in which an image processing system according to the present invention is applied to a soldering appearance inspection device.

【図２】従来のノイズ除去手段で処理した後のはんだ付
け部高さ画像の例を示す画像である。FIG. 2 is an image showing an example of a soldered portion height image after processing by a conventional noise removing unit.

【図３】本発明によるノイズ除去手段の１実施例を示す
ブロック図である。FIG. 3 is a block diagram showing an embodiment of a noise removing unit according to the present invention.

【図４】注目画素に隣接する画素の画素値を説明する画
素の平面図である。FIG. 4 is a plan view of a pixel for explaining a pixel value of a pixel adjacent to a target pixel.

【図５】注目画素近傍の実際の領域を示した画素の平面
図である。FIG. 5 is a plan view of a pixel showing an actual area near a pixel of interest.

【図６】本発明によるノイズ除去手段の１実施例を示す
ブロック図である。FIG. 6 is a block diagram showing one embodiment of a noise removing unit according to the present invention.

【図７】本発明による領域分割手段の１実施例を示すブ
ロック図である。FIG. 7 is a block diagram showing one embodiment of a region dividing means according to the present invention.

【図８】本発明が領域分割の対象とする画像プロファイ
ルの１例を示す図である。FIG. 8 is a diagram showing an example of an image profile to be divided into regions according to the present invention.

【図９】本発明が領域分割の対象とする画像プロファイ
ルの１例を示す図である。FIG. 9 is a diagram showing an example of an image profile to be subjected to area division according to the present invention.

【図１０】本発明による領域分割手段の１実施例を示す
ブロック図である。FIG. 10 is a block diagram showing one embodiment of a region dividing means according to the present invention.

【符号の説明】[Explanation of symbols]

１０１‥‥画像検出センサー １０２‥‥検査対象プリ
ント基板 １０３‥‥画像処理システム １０４‥‥画
像格納メモリ １０５‥‥高さ画像 １０６‥‥明るさ
画像 １０７‥‥ノイズ除去手段 １０８‥‥ノイズ除
去後の高さ画像 １０９‥‥領域分割手段 １１０‥‥欠陥判定手段101 {image detection sensor 102} printed circuit board to be inspected 103 {image processing system 104} image storage memory 105 {height image 106} brightness image 107 {noise removing means 108} after noise removal Height image 109 {region division means 110} defect determination means

Claims (5)

【特許請求の範囲】[Claims] 【請求項１】被検査対象の画像を検出する画像検出手段
と、該画像検出手段で検出された前記画像を格納する画
像格納手段と、該画像格納手段に格納された画像のノイ
ズを除去するノイズ除去手段と、前記画像格納手段に格
納された画像の明るさの分布をもとに前記画像を複数の
領域に分割する領域分割手段とを備えて、前記画像の特
徴量を抽出する画像処理システムであって、前記ノイズ
除去手段が、前記画像をノイズとそれ以外の画素に分類
し、前記画像の各画素を順次注目画素として選び、前記
注目画素の画素値を前記注目画素と隣接し、かつ、ノイ
ズ以外の画素と識別された画素の内の１つの画素の画素
値により置き換えることにより前記画像のノイズを除去
することを特徴とする画像処理システム。1. An image detecting means for detecting an image of an object to be inspected, an image storing means for storing the image detected by the image detecting means, and a noise of the image stored in the image storing means is removed. Image processing for extracting a feature amount of the image, comprising: a noise removing unit; and an area dividing unit that divides the image into a plurality of regions based on a brightness distribution of the image stored in the image storing unit. In the system, the noise removing unit classifies the image into noise and other pixels, sequentially selects each pixel of the image as a target pixel, and a pixel value of the target pixel is adjacent to the target pixel, And an image processing system that removes noise of the image by replacing the pixel with a pixel value of one of the pixels identified as pixels other than noise. 【請求項２】被検査対象の画像を検出する画像検出手段
と、該画像検出手段で検出された前記画像を格納する画
像格納手段と、該画像格納手段に格納された画像のノイ
ズを除去するノイズ除去手段と、前記画像格納手段に格
納された画像の明るさの分布をもとに前記画像を複数の
領域に分割する領域分割手段とを備えて、前記画像の特
徴量を抽出する画像処理システムであって、前記画像格
納手段は２種類の同一視野の画像を格納し、前記ノイズ
除去手段は前記２種類の画像のうちの１つの画像のノイ
ズを除去し、該ノイズ除去を行う画像のヒストグラム演
算を行い、前記ノイズ除去を行う画像をノイズとそれ以
外の画素に分類し、前記ノイズ除去を行う画像の各画素
を順次注目画素として選び、前記２種類の同一視野の画
像のうちノイズ除去を行わない画像において前記注目画
素に対応する画素と隣接する画素のうち、該隣接する画
素の画素値と前記注目画素に対応する画素の画素値の差
が小さいものを前記注目画素と同一の領域に属する画素
として特定し、前記注目画素と隣接し、かつ同一の領域
に属し、かつノイズ以外の画素と特定された画素の内の
１つの画素の画素値により前記注目画素の画素値を置き
換えることを特徴とした画像処理システム。2. An image detecting means for detecting an image of an object to be inspected, an image storing means for storing the image detected by the image detecting means, and removing noise from the image stored in the image storing means. Image processing for extracting a feature amount of the image, comprising: a noise removing unit; and an area dividing unit that divides the image into a plurality of regions based on a brightness distribution of the image stored in the image storing unit. In the system, the image storage unit stores two types of images having the same field of view, the noise removal unit removes noise of one of the two types of images, and removes the noise of the image to be subjected to the noise removal. A histogram operation is performed to classify the image to be subjected to the noise removal into noise and other pixels, and each pixel of the image to be subjected to the noise removal is sequentially selected as a target pixel. In the image where the pixel of interest is not performed, among the pixels adjacent to the pixel corresponding to the target pixel, a pixel having a small difference between the pixel value of the adjacent pixel and the pixel value of the pixel corresponding to the target pixel is set to the same region as the target pixel. And the pixel value of the pixel of interest is replaced by the pixel value of one of the pixels that are adjacent to the pixel of interest, belong to the same region, and are identified as non-noise pixels. An image processing system characterized by the following. 【請求項３】被検査対象の画像を検出する画像検出手段
と、該画像検出手段で検出された前記画像を格納する画
像格納手段と、該画像格納手段に格納された画像のノイ
ズを除去するノイズ除去手段と、前記画像格納手段に格
納された画像の明るさの分布をもとに前記画像を複数の
領域に分割する領域分割手段とを備えて、前記画像の特
徴量を抽出する画像処理システムであって、前記画像格
納手段は同一視野における対象物の高さを表す画像と明
るさを表す画像を格納することと前記ノイズ除去手段は
前記高さ画像のノイズを除去することと、前記ノイズ除
去手段は前記高さ画像のヒストグラム演算を行い、前記
高さ画像をノイズとそれ以外の画素に分類し、前記高さ
画像の各画素を順次注目画素として選び、前記明るさ画
像において前記注目画素に対応する画素と隣接する画素
のうち、該隣接する画素の画素値と前記注目画素に対応
する画素の画素値の差が小さいものを前記注目画素と同
一の領域に属する画素として特定し前記注目画素と隣接
し、かつ同一の領域に属し、かつノイズ以外の画素と特
定された画素の内の１つ画素の画素値により前記注目画
素の画素値を置き換えることを特徴とした画像処理シス
テム。3. An image detecting means for detecting an image of an object to be inspected, an image storing means for storing the image detected by the image detecting means, and removing noise from the image stored in the image storing means. Image processing for extracting a feature amount of the image, comprising: a noise removing unit; and an area dividing unit that divides the image into a plurality of regions based on a brightness distribution of the image stored in the image storing unit. A system, wherein the image storage means stores an image representing the height and brightness of the object in the same field of view, and the noise removing means removes noise from the height image, The noise elimination means performs a histogram operation on the height image, classifies the height image into noise and other pixels, sequentially selects each pixel of the height image as a target pixel, and sets the note in the brightness image. Among the pixels adjacent to the pixel corresponding to the pixel, a pixel having a small difference between the pixel value of the adjacent pixel and the pixel value of the pixel corresponding to the target pixel is specified as a pixel belonging to the same region as the target pixel. An image processing system, characterized in that the pixel value of the target pixel is replaced by the pixel value of one of the pixels that are adjacent to the target pixel, belong to the same region, and are specified as pixels other than noise. 【請求項４】被検査対象の画像を検出する画像検出手段
と、該画像検出手段で検出された前記画像を格納する画
像格納手段と、該画像格納手段に格納された画像のノイ
ズを除去するノイズ除去手段と、前記画像格納手段に格
納された画像の明るさの分布をもとに前記画像を複数の
領域に分割する領域分割手段とを備えて、前記画像の特
徴量を抽出する画像処理システムであって、前記領域分
割手段は２つの領域を含む画素値演算区間を設定し、前
記画素値演算区間において前記２つの領域の境界の候補
位置を設定し、該候補位置を順次移動させながら前記境
界の候補位置において分割された前記画素値演算区間の
いずれか１つの区間において、該区間に属する画素数に
あらかじめ定めた値を乗じた値から該区間に属する画素
の画素値の総和を引いた値の絶対値を評価値として求
め、前記評価値が最大となる境界の候補位置を２つの領
域の境界として特定することを特徴とした画像処理シス
テム。4. An image detecting means for detecting an image of an object to be inspected, an image storing means for storing the image detected by the image detecting means, and removing noise from the image stored in the image storing means. Image processing for extracting a feature amount of the image, comprising: a noise removing unit; and an area dividing unit that divides the image into a plurality of regions based on a brightness distribution of the image stored in the image storing unit. In the system, the area dividing unit sets a pixel value calculation section including two areas, sets a candidate position of a boundary between the two areas in the pixel value calculation section, and sequentially moves the candidate position. In any one of the pixel value calculation sections divided at the candidate position of the boundary, a sum of pixel values of pixels belonging to the section is calculated from a value obtained by multiplying the number of pixels belonging to the section by a predetermined value. Image processing system, characterized in that the absolute value of have values determined as the evaluation value, specifying the candidate position of the boundary where the evaluation value is maximized as the boundary between the two regions. 【請求項５】被検査対象の画像を検出する画像検出手段
と、該画像検出手段で検出された前記画像を格納する画
像格納手段と、該画像格納手段に格納された画像のノイ
ズを除去するノイズ除去手段と、前記画像格納手段に格
納された画像の明るさの分布をもとに前記画像を複数の
領域に分割する領域分割手段とを備えて、前記画像の特
徴量を抽出する画像処理システムであって、前記領域分
割手段は、前記画像を予め設けたしきい値より画素値が
大なる部分と小なる部分とに分離し、該分離された複数
の部分における境界位置を求める境界位置の候補として
定め、該複数求めた境界位置の候補それぞれにおいて、
該候補位置の近傍に画素値演算区間を設定し、該画素値
演算区間を前記境界の候補位置で分割し、それぞれの分
割領域における画素値の総和を求め、該それぞれの分割
領域における画素値の総和の差を求め、該総和の差が最
大となる領域における前記境界の候補を、求める２つの
領域の境界位置とすることを特徴とした画像処理システ
ム。5. An image detecting means for detecting an image of an object to be inspected, an image storing means for storing the image detected by the image detecting means, and removing noise from the image stored in the image storing means. Image processing for extracting a feature amount of the image, comprising: a noise removing unit; and an area dividing unit that divides the image into a plurality of regions based on a brightness distribution of the image stored in the image storing unit. In the system, the area dividing unit divides the image into a part having a pixel value larger than a predetermined threshold value and a part having a smaller pixel value than a predetermined threshold value, and obtains a boundary position in each of the separated plural parts. , And in each of the plurality of candidates for the boundary position obtained,
A pixel value calculation section is set in the vicinity of the candidate position, the pixel value calculation section is divided at the boundary candidate position, a sum of pixel values in each divided region is obtained, and a pixel value in each of the divided regions is calculated. An image processing system wherein a difference between the sums is obtained, and the boundary candidate in the region where the difference between the sums is the maximum is set as a boundary position between the two regions to be obtained.