JPH03204089A - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JPH03204089A JPH03204089A JP1343107A JP34310789A JPH03204089A JP H03204089 A JPH03204089 A JP H03204089A JP 1343107 A JP1343107 A JP 1343107A JP 34310789 A JP34310789 A JP 34310789A JP H03204089 A JPH03204089 A JP H03204089A
- Authority
- JP
- Japan
- Prior art keywords
- feature quantity
- clustering
- evaluation
- image
- reference pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000011156 evaluation Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 abstract description 16
- 239000000284 extract Substances 0.000 abstract description 5
- 230000000670 limiting effect Effects 0.000 abstract description 3
- 230000002441 reversible effect Effects 0.000 abstract description 3
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 229910000679 solder Inorganic materials 0.000 description 26
- 238000010586 diagram Methods 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 18
- 238000007689 inspection Methods 0.000 description 9
- 238000005476 soldering Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明はファジィ理論を用いて入力画像を処理する画像
処理方法に関するものである。
処理方法に関するものである。
従来、ある特徴量を基準データに基づいて評価する手段
の1つとしてクラスタリングの技術が知られている。か
かるクラスタリングは基準パターンと入カバターンとの
マツチングを行い、類似度の大きいものを所定の基準パ
ターンと同じクラスに分類するものである。
の1つとしてクラスタリングの技術が知られている。か
かるクラスタリングは基準パターンと入カバターンとの
マツチングを行い、類似度の大きいものを所定の基準パ
ターンと同じクラスに分類するものである。
しかしながら、上述のような従来のクラスタリングを画
像処理における入力画像の評価に用いる場合、特徴量が
一義的に、評価されると、誤認識が生じ、画像処理に悪
影響を及ぼす恐れがある。
像処理における入力画像の評価に用いる場合、特徴量が
一義的に、評価されると、誤認識が生じ、画像処理に悪
影響を及ぼす恐れがある。
また、画像の特徴の評価の際には、クラスタリングによ
る評価になじまない特徴量も存在する。
る評価になじまない特徴量も存在する。
そこで、本発明は、かかる従来技術の欠点に鑑み、画像
処理に最適で誤認識の少ないクラスタリングを用いた画
像処理方法を提供することを目的とする。
処理に最適で誤認識の少ないクラスタリングを用いた画
像処理方法を提供することを目的とする。
〔課題を解決するための手段及び作用〕上記課題を解決
するため、本発明の画像処理方法は、入力画像データか
ら、複数の特徴量を抽出し、前記特徴量に基づいてファ
ジィクラスタリングにより第1の評価を行い前記特徴量
に基づいて他の方法により第2の評価を行うことを特徴
とする。
するため、本発明の画像処理方法は、入力画像データか
ら、複数の特徴量を抽出し、前記特徴量に基づいてファ
ジィクラスタリングにより第1の評価を行い前記特徴量
に基づいて他の方法により第2の評価を行うことを特徴
とする。
本発明の好ましい実施例を図面を用いて説明する。
見上1」
本発明の第1の実施例のはんだ付は検査器を説明する。
第1図は、本実施例のはんだ付は検査器の全体構成を示
すブロック図である。
すブロック図である。
第1図において、101は画像データをR,G、 Bの
アナログ信号として読み取るCCDカメラ、102゜1
03.104はアナログ/デジタル変換器、105゜1
06.107はそてぞれR,G、 Bのデジタルデータ
を記憶するフレームメモリ、lo8はインタフェース、
109は画素毎にR,G、 Bの平均値を算出する平
均化回路、110は雑音除去部、111は領域抽出部、
112は特微量抽出部、113は逆真理値限定法による
演算を行う逆真理値法演算部、114はフアクフラスタ
゛リングによる演算を行うファジィクラスクリング演算
部、115は基準パターンを発生する基準パターン発生
部、116は逆真理値法による演算結果とファジィクラ
スタリングによる演算結果を結合するDempster
結合部、117は最終的な判定結果を出力する判定結果
出力部、118はCCDカメラを回転させ、あるいは2
次元平面内で移動させるためのモータ、119はモータ
118の駆動やメモリのアドレス制御その他の制御を行
う制御部である。
アナログ信号として読み取るCCDカメラ、102゜1
03.104はアナログ/デジタル変換器、105゜1
06.107はそてぞれR,G、 Bのデジタルデータ
を記憶するフレームメモリ、lo8はインタフェース、
109は画素毎にR,G、 Bの平均値を算出する平
均化回路、110は雑音除去部、111は領域抽出部、
112は特微量抽出部、113は逆真理値限定法による
演算を行う逆真理値法演算部、114はフアクフラスタ
゛リングによる演算を行うファジィクラスクリング演算
部、115は基準パターンを発生する基準パターン発生
部、116は逆真理値法による演算結果とファジィクラ
スタリングによる演算結果を結合するDempster
結合部、117は最終的な判定結果を出力する判定結果
出力部、118はCCDカメラを回転させ、あるいは2
次元平面内で移動させるためのモータ、119はモータ
118の駆動やメモリのアドレス制御その他の制御を行
う制御部である。
CCDカメラ101から取り込まれたR(レッド)、G
(グリーン)、B(ブルー)のアナログ画像信号は、A
/D変換器102. 103. 104でそれぞれ多値
のデジタルデータに変換され、フレームメモリ105.
106. 107に記憶される。この画像データはイ
ンターフェース10Bを経て、平均化回路109で平均
値データが算出される。次に雑音除去部110で、ノイ
ズ除去が行われ、領域抽出部1】1で特徴量を抽出する
領域を抽出する。抽出された領域に対して特微量抽出部
112は位置情報、明るさ情報、形状情報などに関する
特徴量を抽出する。位置情報に関する特徴量は113に
おいて逆真理値限定法により基準パターン発生部115
から送られた基準パターンとのマツチングが行われる。
(グリーン)、B(ブルー)のアナログ画像信号は、A
/D変換器102. 103. 104でそれぞれ多値
のデジタルデータに変換され、フレームメモリ105.
106. 107に記憶される。この画像データはイ
ンターフェース10Bを経て、平均化回路109で平均
値データが算出される。次に雑音除去部110で、ノイ
ズ除去が行われ、領域抽出部1】1で特徴量を抽出する
領域を抽出する。抽出された領域に対して特微量抽出部
112は位置情報、明るさ情報、形状情報などに関する
特徴量を抽出する。位置情報に関する特徴量は113に
おいて逆真理値限定法により基準パターン発生部115
から送られた基準パターンとのマツチングが行われる。
一方間るさ情報、形状情報に関する特徴量は114にお
いて、ファジィクラスタリングにより115からの基準
パターンとのマツチングが行われる。この2つの演算結
果はDempster結合部116において、Demp
sterShaferの結合規則に従って合成され、確
信度が高められた判定結果が117がら出力される。
いて、ファジィクラスタリングにより115からの基準
パターンとのマツチングが行われる。この2つの演算結
果はDempster結合部116において、Demp
sterShaferの結合規則に従って合成され、確
信度が高められた判定結果が117がら出力される。
第2図に本発明のはんだ付は付着状態検査の全体的な処
理流れを示す。
理流れを示す。
(ステップ1)
画像入力部であるCCDカメラ101からICの1番目
のリード付近の画像を画素毎にR,G、 B各色成分に
ついて8bitで取り込む。
のリード付近の画像を画素毎にR,G、 B各色成分に
ついて8bitで取り込む。
(ステップ2)
ステップ1で入力されたR、 G、 Bデータの平均値
(R十G十B)/3をとり、白黒画像化する。ここで本
実施例では、R,G、 Bの3原色成分により読取っ
たが、例えばR,G、 Bのいずれが単色成分を用い
たり、輝度と色度の組み合わせとしてY、 I、 Q
あるいは特にG(グリーン)信号はNDイメージに近い
のでG単色成分を用いるようにすれば、装置の簡素化を
図ることができる。Ll。
(R十G十B)/3をとり、白黒画像化する。ここで本
実施例では、R,G、 Bの3原色成分により読取っ
たが、例えばR,G、 Bのいずれが単色成分を用い
たり、輝度と色度の組み合わせとしてY、 I、 Q
あるいは特にG(グリーン)信号はNDイメージに近い
のでG単色成分を用いるようにすれば、装置の簡素化を
図ることができる。Ll。
a”、 b”などの色成分で入力し、輝度成分を用い
るようにしても良い。ここで、単色画像を生成するのは
、本実施例がはんだ付は検査を目的とするものであり、
その検査において、色彩がさほど重要なパラメータでな
いことによるが、色度のパラメータを加味して判定を行
うこともできる。
るようにしても良い。ここで、単色画像を生成するのは
、本実施例がはんだ付は検査を目的とするものであり、
その検査において、色彩がさほど重要なパラメータでな
いことによるが、色度のパラメータを加味して判定を行
うこともできる。
(ステップ3)
ステップ2で単色成分が抽出された画像に対し、次に第
1図雑音除去部110において雑音除去(孤立点除去)
が行われる。本実施例においては、第6のような9×9
画素のメデイアンフィルタを用いる。
1図雑音除去部110において雑音除去(孤立点除去)
が行われる。本実施例においては、第6のような9×9
画素のメデイアンフィルタを用いる。
メデイアンフィルタのアルゴリズムを第5図に示す。す
なわち、着目する1点についてのメデイアンフィルタの
出力は、まず、その点を中心としたウィンドウ(9×9
画素)をとり、ウィンドウ内のデー夕を大きさ順に並べ
、順番が真中のものをこの点での値とする。この処理を
全画面について行なう。
なわち、着目する1点についてのメデイアンフィルタの
出力は、まず、その点を中心としたウィンドウ(9×9
画素)をとり、ウィンドウ内のデー夕を大きさ順に並べ
、順番が真中のものをこの点での値とする。この処理を
全画面について行なう。
なお、メデイアンフィルタ以外の手法(例えば平滑化フ
ィルタなど)を用いることも可能である。
ィルタなど)を用いることも可能である。
また、フィルタサイズも9×9には限らない。
(ステップ4)
次に第1図の領域抽出部111において、領域抽出が行
われる。領域抽出のアルゴリズムを第10図に示す。
われる。領域抽出のアルゴリズムを第10図に示す。
雑音除去された画像データは、31001において領域
抽出のため、2値化される。2値化の閾値を決めるため
には判別分析法を用いる(S100I)。判別分析法の
アルゴリズムを第7図に示す。まず第8図に示すように
、画像の濃度のヒストグラムを作り、このヒストグラム
をもとに、分散σ♂(k)が最大にするような閾値kを
繰り返し計算により求める。そして、この闇値を使って
画像データの2値化を行う。2値化された画像データは
連結点が調べられ、領域が抽出される(S1003)。
抽出のため、2値化される。2値化の閾値を決めるため
には判別分析法を用いる(S100I)。判別分析法の
アルゴリズムを第7図に示す。まず第8図に示すように
、画像の濃度のヒストグラムを作り、このヒストグラム
をもとに、分散σ♂(k)が最大にするような閾値kを
繰り返し計算により求める。そして、この闇値を使って
画像データの2値化を行う。2値化された画像データは
連結点が調べられ、領域が抽出される(S1003)。
次に各領域について、ドツト数をカウントすることによ
り、面積を計算しく51004)、予め与えられた面積
以下の小領域は雑音とみなして除去する(S1006)
。そして、残った領域には、番号付け(ナンバリング)
を行なう(S1007)。番号付けを行なった後の画像
が第9図である。
り、面積を計算しく51004)、予め与えられた面積
以下の小領域は雑音とみなして除去する(S1006)
。そして、残った領域には、番号付け(ナンバリング)
を行なう(S1007)。番号付けを行なった後の画像
が第9図である。
(ステップ5)
番号付けされた各領域に対して、特徴量抽出部112に
おいて特徴量抽出を行なう。今回用いた特徴量を第1O
図に示す。
おいて特徴量抽出を行なう。今回用いた特徴量を第1O
図に示す。
第12図に示すように、各領域の2値画像からF1〜F
+sの特徴量を第13図に示すように多値画像からF1
9〜F24の特徴量を計算する。各特徴量の計算方法に
ついて、以下に示す。
+sの特徴量を第13図に示すように多値画像からF1
9〜F24の特徴量を計算する。各特徴量の計算方法に
ついて、以下に示す。
■外接長方形
以下の特徴量を算出する際に必要となる情報である。領
域の左、上、右、下端を通る垂直及び平行線で囲まれた
長方形を外接長方形と呼ぶ(第14図参照)。
域の左、上、右、下端を通る垂直及び平行線で囲まれた
長方形を外接長方形と呼ぶ(第14図参照)。
■重心位置
大きさ、形状認識には直接的には関与しない情報である
。第14図の(Xc、 Yc)が重心にあたる。
。第14図の(Xc、 Yc)が重心にあたる。
■アスペクト比
縦横比とも呼ばれる形状認識に有効な従来から用いられ
ている特徴量で、aの外接長方形により次式のように求
められる。
ている特徴量で、aの外接長方形により次式のように求
められる。
アスペクト比= l Yu−Yo l / l XR−
XL■X平均長さ:X最大長さ、Y平均長さ:Y最大長
さ 領域の座標軸への射影を求め、その強度分布(周辺分布
と呼ぶ)のx (y)方向の平均長さX mean(Y
mean )とx (y)方向の最大長さX max
(Y max )の比で示す特徴量。
XL■X平均長さ:X最大長さ、Y平均長さ:Y最大長
さ 領域の座標軸への射影を求め、その強度分布(周辺分布
と呼ぶ)のx (y)方向の平均長さX mean(Y
mean )とx (y)方向の最大長さX max
(Y max )の比で示す特徴量。
■面積
領域部分の全ての画素数を計数して面積とする。
大きさに関与し、形状には関与しない特徴量である。
■面積密度
■で求めた面積と、■で求めた外接長方形の面積との比
で表す特徴量。
で表す特徴量。
■X方向偏り、Y方向側り
b重心がa外接長方形内でx (y)方向にどの(らい
偏っているかを示す特徴量。各々、Xc−XLI/ I
XR−XLI、 1Yc−Yul/ 1Yo−Yuで計
算される。
偏っているかを示す特徴量。各々、Xc−XLI/ I
XR−XLI、 1Yc−Yul/ 1Yo−Yuで計
算される。
■周囲長
領域の輪郭の長さで示される情報である。
■サイズ
■面積と■周囲長の情報により、2×面積/周囲長で示
される特徴量である。
される特徴量である。
0周面比
■面積と■周囲長の情報により、(周囲長)2/面積で
示される従来より用いられている特徴量である。
示される従来より用いられている特徴量である。
■X軸周辺分布分散、Y軸周辺分布分散周辺分布におい
てx、Y軸各々に対しての分散で示される特徴量。
てx、Y軸各々に対しての分散で示される特徴量。
多値画像から求められる特徴量は、>ス丁の1和良き1
7゛′工う イp。
7゛′工う イp。
■平均、分散
その領域における画素の濃淡値の平均及び分散で示され
る特徴量。
る特徴量。
■官界変動量(BVQ)
官界変動量はパターンの局所的性質を反映した計算量の
少ない特徴量として、数学における官界変動関数の全変
動の概念を応用して定義されたものである。ディジタル
濃淡画像配列Pの官界変動量は次のようにして計算でき
る。θ=0゜の場合、領域番号配列PNを横方向に1個
づつ探索して、隣接する2個が同一領域番号の時のみ、
対応する隣接2画素の濃淡差の絶対値をSDjθ−00
に加え、絶対差分総和5D110−〇°を計算する。
少ない特徴量として、数学における官界変動関数の全変
動の概念を応用して定義されたものである。ディジタル
濃淡画像配列Pの官界変動量は次のようにして計算でき
る。θ=0゜の場合、領域番号配列PNを横方向に1個
づつ探索して、隣接する2個が同一領域番号の時のみ、
対応する隣接2画素の濃淡差の絶対値をSDjθ−00
に加え、絶対差分総和5D110−〇°を計算する。
また同時に、そのときの差分演算回数D+lθ二〇°を
求めておき、全画面の処理終了後、領域jごとにθ=0
°方向の官界変動量BVQi lθ二00 を計算する
。
求めておき、全画面の処理終了後、領域jごとにθ=0
°方向の官界変動量BVQi lθ二00 を計算する
。
5Dilθ=0° =Σ(IP(I、 J−1)−P
(1,J)1:PN(I、 J−1)= PN(I、
J)IBVQ+lθ =0° =SD、lθ =0
° /D口θ =0゜θ=45° 90° 135°の
ときもPNの探索方向がθ方向に変化するだけで同様の
計算を行う。
(1,J)1:PN(I、 J−1)= PN(I、
J)IBVQ+lθ =0° =SD、lθ =0
° /D口θ =0゜θ=45° 90° 135°の
ときもPNの探索方向がθ方向に変化するだけで同様の
計算を行う。
以上の様な画像入力(Sl)から特徴量抽出(S5)ま
での処理をすべてのICリードについて繰り返す。
での処理をすべてのICリードについて繰り返す。
第4図(a)は、ICを示す図であり、その斜線部を拡
大したのが第4図(b)である。第4図(b)において
305は、はんだ付けのされない空間部分、306は基
板の部分、307はICリード部である。SLの画像入
力は第4図(b)について行い、上述の処理を第4図(
a)のすべてのICリードについて繰り返し特徴量を抽
出し、メモリに保存する。
大したのが第4図(b)である。第4図(b)において
305は、はんだ付けのされない空間部分、306は基
板の部分、307はICリード部である。SLの画像入
力は第4図(b)について行い、上述の処理を第4図(
a)のすべてのICリードについて繰り返し特徴量を抽
出し、メモリに保存する。
このようにすべてのICリードについて特徴を抽出する
ため、本実施例の検査装置は、第3図(a)のような構
成になっている。即ち、301が検査対象を載せる。プ
レート302は検査対象の基板、303はCCDカメラ
、304はCCDカメラ移動部、305がベルトコンベ
アである。
ため、本実施例の検査装置は、第3図(a)のような構
成になっている。即ち、301が検査対象を載せる。プ
レート302は検査対象の基板、303はCCDカメラ
、304はCCDカメラ移動部、305がベルトコンベ
アである。
CODカメラ移動部304は、CCDカメラ303をX
方向、Y方向に移動、θ方向に回転させ、ICリードす
べての画像入力ができるようにしている。
方向、Y方向に移動、θ方向に回転させ、ICリードす
べての画像入力ができるようにしている。
次に上で求めた特徴量と、基準パターンとのマツチング
を行ない、入カバターンはどのパターンに所属するかを
求める。本実施例で用いた基準パターンは、 ■正常(リード部)■正常(はんだ部)■浮き■浮き気
味■ブリッジ■はんだボール■はんだ不足(リード部)
■はんだ不足(はんだ部)の8種類である。
を行ない、入カバターンはどのパターンに所属するかを
求める。本実施例で用いた基準パターンは、 ■正常(リード部)■正常(はんだ部)■浮き■浮き気
味■ブリッジ■はんだボール■はんだ不足(リード部)
■はんだ不足(はんだ部)の8種類である。
第15図〜第20図にそれぞれ、正常、浮き、浮き気味
、ブリッジ、はんだボール、はんだ不足の2値化画像の
例を示す。
、ブリッジ、はんだボール、はんだ不足の2値化画像の
例を示す。
(ステップ7)
上述の特徴量のうち、形状に関するもの(F7〜F’s
)及び、明るさに関するもの(F 19〜F24)につ
いて、ファジィクラスタリング演算部114において付
加データファジィクラスタリング法を適用し、入力画像
がどの状態にどれだけ属するかについての′第1の証拠
“を計算する。
)及び、明るさに関するもの(F 19〜F24)につ
いて、ファジィクラスタリング演算部114において付
加データファジィクラスタリング法を適用し、入力画像
がどの状態にどれだけ属するかについての′第1の証拠
“を計算する。
基準となるパターンデータは本実施例においては■正常
(リード部)■正常(はんだ部)■浮き■浮き気味 ■
ブリッジ ■はんだボール ■はんだ不足(リード部)
■はんだ不足(はんだ部)の8種類を用いた。これらの
基準パターンデータはそれぞれ経験的に得られた典型的
なサンプルを選び出し、これらに対して前述と同様の画
像処理(平均化、雑音除去等)を行い、得られた特徴量
(F+〜F24)を基準パターンベクトルとして基準パ
ターン発生部115から入力し、内部知識として蓄える
。
(リード部)■正常(はんだ部)■浮き■浮き気味 ■
ブリッジ ■はんだボール ■はんだ不足(リード部)
■はんだ不足(はんだ部)の8種類を用いた。これらの
基準パターンデータはそれぞれ経験的に得られた典型的
なサンプルを選び出し、これらに対して前述と同様の画
像処理(平均化、雑音除去等)を行い、得られた特徴量
(F+〜F24)を基準パターンベクトルとして基準パ
ターン発生部115から入力し、内部知識として蓄える
。
ここで基準ベクトルは例えば、複数のサンプルから統計
的に得られた数値でもよ(、また、最もマツチングした
い典型的な1サンプルから得られた数値であってもよい
。以下に付加データファジィクラスタリング法のアルゴ
リズムについて述べる。
的に得られた数値でもよ(、また、最もマツチングした
い典型的な1サンプルから得られた数値であってもよい
。以下に付加データファジィクラスタリング法のアルゴ
リズムについて述べる。
教師なしパターン認識の分野においては、扱うべきデー
タ集合のそれぞれのデータ・ベクトルが予め定められた
どのクラスタに属しているかを決定するクラスタリング
手法が用いられている。クラスタリングとは、与えられ
た多次元データ集合を、そのデータ集合の構造のみから
「似ている」データ同士を同一のクラスタにまとめ、指
定された任意の数のクラスタに分割することである。1
つのクラスタは、与えられたデータ集合内の1つの部分
集合であり、分割とはクラスタの族を形成することであ
る。各データは、その分割のうちただ1個のクラスタの
みに帰属するという特性を持つ。
タ集合のそれぞれのデータ・ベクトルが予め定められた
どのクラスタに属しているかを決定するクラスタリング
手法が用いられている。クラスタリングとは、与えられ
た多次元データ集合を、そのデータ集合の構造のみから
「似ている」データ同士を同一のクラスタにまとめ、指
定された任意の数のクラスタに分割することである。1
つのクラスタは、与えられたデータ集合内の1つの部分
集合であり、分割とはクラスタの族を形成することであ
る。各データは、その分割のうちただ1個のクラスタの
みに帰属するという特性を持つ。
しかし、パターン認識では、認識主体である人間が見た
り聞いたりする事柄を扱う対象にしているため、人間の
主観や個性など複雑な要素が関係してくる。すなわち、
扱う対象の性質に真為の2値のみでは説明できないあい
まいさが存在し、そのあいまいさを一般的には多様性に
富んだかなり複雑なものである。このように人間の判断
が関与してくる分野ではio、 1)の2値評価だけ
では充分な説明がつかない場合も多く、中間のあいまい
状態も積極的に取り入れた(0. 1)多値評価の理論
が検討されている。この[0,1]多値評価の概念をク
ラスタリングに導入したものがファジィ・クラスタリン
グである。
り聞いたりする事柄を扱う対象にしているため、人間の
主観や個性など複雑な要素が関係してくる。すなわち、
扱う対象の性質に真為の2値のみでは説明できないあい
まいさが存在し、そのあいまいさを一般的には多様性に
富んだかなり複雑なものである。このように人間の判断
が関与してくる分野ではio、 1)の2値評価だけ
では充分な説明がつかない場合も多く、中間のあいまい
状態も積極的に取り入れた(0. 1)多値評価の理論
が検討されている。この[0,1]多値評価の概念をク
ラスタリングに導入したものがファジィ・クラスタリン
グである。
いまn個の分類対象(個体と呼ぶことにする)を、E=
[01,02・−、01,・・・onlまたは(1,
2,・・・l il・・・、 nl (1)で
表す。また、第1個体のp変量観測ベクトルを、X i
” (X il 、 X i21 ・・・、Xil
、・・・、X1p)で表し多変量データ行列全体を、 X= (x+、 X2.・・・、Xl、・・’+Xn)
(2)と書(。いま個体の集合Eを適当に分割
して互いに排反な空でない0個のクラスタ(つまりファ
ジィ部分集合)が与えられたものとする。これを、トー
(ζI、ζ2.・・・、ζ5.・・・、ζ。)(3)で
表す。
[01,02・−、01,・・・onlまたは(1,
2,・・・l il・・・、 nl (1)で
表す。また、第1個体のp変量観測ベクトルを、X i
” (X il 、 X i21 ・・・、Xil
、・・・、X1p)で表し多変量データ行列全体を、 X= (x+、 X2.・・・、Xl、・・’+Xn)
(2)と書(。いま個体の集合Eを適当に分割
して互いに排反な空でない0個のクラスタ(つまりファ
ジィ部分集合)が与えられたものとする。これを、トー
(ζI、ζ2.・・・、ζ5.・・・、ζ。)(3)で
表す。
いま(3)式のような0個の分割に対して、各個体が各
クラスタに所属する度合を次の行列で表す。
クラスタに所属する度合を次の行列で表す。
U=(u、)
(j”1. 21 ”’l C;i=1. 21 ”
’I n) (4)ここで、 U1+e[0,1]、Eul+=1 である。
’I n) (4)ここで、 U1+e[0,1]、Eul+=1 である。
つまりullがメンバーシップ関数であり、これで個体
iがクラスタSlに所属する度合を示す。このとき次の
関数の最適化を考える。
iがクラスタSlに所属する度合を示す。このとき次の
関数の最適化を考える。
Jp(U、 v)=E X(ull)’llx+−vj
ll’ (1≦p<oo) (5)−1j−1 ここで、lap<■に対して、 ull: (6) えられることは典型的な極値問題としてラグランジ1の
未定係数法などを使って示すことができる。
ll’ (1≦p<oo) (5)−1j−1 ここで、lap<■に対して、 ull: (6) えられることは典型的な極値問題としてラグランジ1の
未定係数法などを使って示すことができる。
そしてこれを一般のpにまで拡張をはかったアルゴリズ
ムを要約すると次のようになる。
ムを要約すると次のようになる。
国 クラスタ数C1べき指数pを設定する。Uの初期条
件U30′を適当に与え、反復回数L=0とする。
件U30′を適当に与え、反復回数L=0とする。
図 (7)式により平均ベクトル犀Ll (j=t、
2゜E (l x+−vjIt ’/ ll x+−
vkII ”)” ”−”一 Σ (LtJ+)’X+ 1 (7) Σ(uji)’ であり、■、はクラスタSlの平均ベクトルである。
2゜E (l x+−vjIt ’/ ll x+−
vkII ”)” ”−”一 Σ (LtJ+)’X+ 1 (7) Σ(uji)’ であり、■、はクラスタSlの平均ベクトルである。
いま、p=1. uji e (0,1)と考えると
いわゆる通常のに−means法となり、Jlは平方和
基準そのものである。p=l、2に対して(5)式のJ
9を最小化する重み係数がl)、(7)式の形により与
同適当な収束判定値εを与えて、l U(L+υ−Uf
L)≦εとなれば計算終了。そうでなければ、L=L+
1として図に戻る。
いわゆる通常のに−means法となり、Jlは平方和
基準そのものである。p=l、2に対して(5)式のJ
9を最小化する重み係数がl)、(7)式の形により与
同適当な収束判定値εを与えて、l U(L+υ−Uf
L)≦εとなれば計算終了。そうでなければ、L=L+
1として図に戻る。
ファジィk −m e a n S法を画像データに応
用した場合、類似したパターンのデータ集合の分類がう
まくできないという欠点や、孤立したデータ(すなわち
データ数の少ないクラスタ)は他の(データ数の多い)
クラスタに含まれてしまうという欠点がある。この点を
改善するために(5)式に基準開数とする方法が弊i÷
嘘咄→提案さ土r1゜(l≦p < 00 )
(8)gie−[0,1) ただし、g:+ (0,1) slを与えた場合gl
=OSiを与えない場合 予め分類したいパターン(クラスタ)の代表となりつる
いくつかのベクトルを(S、) として与えておく。こ
れは一種のパターンマツチングと考えることができる。
用した場合、類似したパターンのデータ集合の分類がう
まくできないという欠点や、孤立したデータ(すなわち
データ数の少ないクラスタ)は他の(データ数の多い)
クラスタに含まれてしまうという欠点がある。この点を
改善するために(5)式に基準開数とする方法が弊i÷
嘘咄→提案さ土r1゜(l≦p < 00 )
(8)gie−[0,1) ただし、g:+ (0,1) slを与えた場合gl
=OSiを与えない場合 予め分類したいパターン(クラスタ)の代表となりつる
いくつかのベクトルを(S、) として与えておく。こ
れは一種のパターンマツチングと考えることができる。
この手法はPedryczの手法と比較して、Slを最
高でもクラスタ数C個だけ与えればよく、与えるデータ
数も少なくてすむ。
高でもクラスタ数C個だけ与えればよく、与えるデータ
数も少なくてすむ。
また、glはクラスタS、に関するファジィに−mea
ns法でのクラスタリングとS、を与えた場合の一種の
マ さツチングによるクラスタリングとの比を表すパラメー
タである。gl−0の場合にはファジィに−means
法と同一であり、gi”1の場合にはsHと各データX
、への距離によるクラスタリングとなる。g+=1/2
の場合には両クラスタリングの重み付けが等しいクラス
タリングである。
ns法でのクラスタリングとS、を与えた場合の一種の
マ さツチングによるクラスタリングとの比を表すパラメー
タである。gl−0の場合にはファジィに−means
法と同一であり、gi”1の場合にはsHと各データX
、への距離によるクラスタリングとなる。g+=1/2
の場合には両クラスタリングの重み付けが等しいクラス
タリングである。
最終的に得られたUの要素uiiによって個体iがクラ
スタに所属する度合が分かる。通常のに−means法
であれば求めたクラスタ集合r = [SI、 S2.
・・・S4.・・・、 Sclに対し、ある個体iがS
Iに所属しているか< u n == 1)、所属して
いないか(u It = o )を知るだけであるが、
この方式によると各クラスタへの所属の度合を知ること
ができる。
スタに所属する度合が分かる。通常のに−means法
であれば求めたクラスタ集合r = [SI、 S2.
・・・S4.・・・、 Sclに対し、ある個体iがS
Iに所属しているか< u n == 1)、所属して
いないか(u It = o )を知るだけであるが、
この方式によると各クラスタへの所属の度合を知ること
ができる。
今回のシミュレーションでは、式(8)においてp=1
.3 c=8 n=87 gl=0.9を用いて
いる。
.3 c=8 n=87 gl=0.9を用いて
いる。
付加ファジィデータクラスタリング法の原理を様式的に
示したのが、第21図である。図示するためにパラメー
タは2個(2次元)としたが、実際には18個(18次
元)ある。
示したのが、第21図である。図示するためにパラメー
タは2個(2次元)としたが、実際には18個(18次
元)ある。
付加ファジィデータクラスタリングにおいては、複数の
リードに関する画像を画像処理して求めた特徴量を同時
に処理する。これにより、似たパターンどうしをまとめ
るクラスタリングと基準パターンとのマツチングを同時
に行ったのと同様の効果が得られる。また、従来のクラ
スタリング法(ハード・クラスタリング)では、ある入
力データは必ずどれか1つのクラスタに含めることしか
できなかったが、ファジィクラスタリングでは複数のク
ラスタにそれぞれどれだけの度合で含まれるということ
を表わすことができる。したがって、クラスタリングだ
けで、正確に判断できない場合にも、あいまいさを残し
ておき、後に他の情報を合わせて判断することができる
。
リードに関する画像を画像処理して求めた特徴量を同時
に処理する。これにより、似たパターンどうしをまとめ
るクラスタリングと基準パターンとのマツチングを同時
に行ったのと同様の効果が得られる。また、従来のクラ
スタリング法(ハード・クラスタリング)では、ある入
力データは必ずどれか1つのクラスタに含めることしか
できなかったが、ファジィクラスタリングでは複数のク
ラスタにそれぞれどれだけの度合で含まれるということ
を表わすことができる。したがって、クラスタリングだ
けで、正確に判断できない場合にも、あいまいさを残し
ておき、後に他の情報を合わせて判断することができる
。
第21図において、a、 b、 cはそれぞれ正常(リ
ード部)、浮き、はんだポールの基準パターンであり、
+は入力画像データから求めた特徴量である。−方、A
、 B、 Cはそれぞれ従来のクラスタリングにおけ
るクラスタ結果を示すものである。即ち、特徴1211
,212は、′浮き”というクラスタBに属し、213
はいずれのクラスタにも属さず、214は“はんだボー
ル”というクラスタCに属し、215は、“正常”とい
うクラスタAに属する。このように、従来のクラスタリ
ングにおいては、ある特徴量に対しては、いずれかのク
ラスタに属するか又はいずれのクラスタにも属さないか
一義時に決められていた。これに対し、本発明のファジ
ィクラスタリングによれば、例えば211がA、 C
に属する度合いも考慮して、あいまいさを残しておくこ
とにより、別の情報を合わせて判断することにより、検
査精度を向上させることができる。
ード部)、浮き、はんだポールの基準パターンであり、
+は入力画像データから求めた特徴量である。−方、A
、 B、 Cはそれぞれ従来のクラスタリングにおけ
るクラスタ結果を示すものである。即ち、特徴1211
,212は、′浮き”というクラスタBに属し、213
はいずれのクラスタにも属さず、214は“はんだボー
ル”というクラスタCに属し、215は、“正常”とい
うクラスタAに属する。このように、従来のクラスタリ
ングにおいては、ある特徴量に対しては、いずれかのク
ラスタに属するか又はいずれのクラスタにも属さないか
一義時に決められていた。これに対し、本発明のファジ
ィクラスタリングによれば、例えば211がA、 C
に属する度合いも考慮して、あいまいさを残しておくこ
とにより、別の情報を合わせて判断することにより、検
査精度を向上させることができる。
位置に関する特徴量(F+〜F6)については逆真理値
限定法演算部113において、逆真理値限定法を適用し
、前記■〜■に関する“第2の証拠”を計算する。すな
わち第22図(a)に示すように位置情報をファジィ集
合で表し、基準パターンのファジィ集合とのマツチング
を行なう。
限定法演算部113において、逆真理値限定法を適用し
、前記■〜■に関する“第2の証拠”を計算する。すな
わち第22図(a)に示すように位置情報をファジィ集
合で表し、基準パターンのファジィ集合とのマツチング
を行なう。
このマツチングの取り方に数値的真理値による逆真理値
限定法を用いた。ここで、この逆真理値限定法について
簡単に述べる。いま、A、Bをファジィ集合とし、“X
is A”という命題の数値的真理値がtである
時、次のようなりを求めるのが真理値限定である。
限定法を用いた。ここで、この逆真理値限定法について
簡単に述べる。いま、A、Bをファジィ集合とし、“X
is A”という命題の数値的真理値がtである
時、次のようなりを求めるのが真理値限定である。
(“X is A″is t) = (X i
s B)ここでAとBが与えられたとき、tを推定す
るのが逆真理値限定法である。上記の提案によればtは
次式で表される。
s B)ここでAとBが与えられたとき、tを推定す
るのが逆真理値限定法である。上記の提案によればtは
次式で表される。
t= [Sup (A n B) +Inf (A U
コB)] /2ここにSupはメンバーシップ関数の最
大値、Infは最小値を意味する。また、A、 Bはと
もにnormal。
コB)] /2ここにSupはメンバーシップ関数の最
大値、Infは最小値を意味する。また、A、 Bはと
もにnormal。
convexとする。この方法でtは第22図(b)の
ような言語的意味を有する。
ような言語的意味を有する。
第23図に具体的な計算例を示す。
逆真理値限定法の結果tには、2次元平面上のX方向に
関するtx(第25図3251)とY方向に関するty
(第25図3252)があるので、最終結果として、積
演算を行ない、 t=+min (tx、 ty)
(9)を用いる(S254)。
関するtx(第25図3251)とY方向に関するty
(第25図3252)があるので、最終結果として、積
演算を行ない、 t=+min (tx、 ty)
(9)を用いる(S254)。
位置の特徴量に逆真理値限定法を用いる理由は、以下に
示す通りである。
示す通りである。
第24図において、リードは領域■に、はんだは領域■
に入るように装置が構成されている。この場合、領域I
に入るものはブリッジ、はんだボール等の欠陥になる。
に入るように装置が構成されている。この場合、領域I
に入るものはブリッジ、はんだボール等の欠陥になる。
これらの欠陥は位置に任意性があるのでクラスタリング
の方法で分類するのは困難である。すなわち本来、ブリ
ッジやはんだボール等はないのが正常であり、大部分の
場合には検出しないが、これらが生じる場合にはどこに
生じるかは不確定だからである。また、リード、はんだ
にも多少の位置ずれがあるため、位置ずれを許容できる
方法が望ましい。このため、本方法では、位置のマツチ
ングに付加データファジィクラスタリングの代わりに逆
真理値限定法を用いた。
の方法で分類するのは困難である。すなわち本来、ブリ
ッジやはんだボール等はないのが正常であり、大部分の
場合には検出しないが、これらが生じる場合にはどこに
生じるかは不確定だからである。また、リード、はんだ
にも多少の位置ずれがあるため、位置ずれを許容できる
方法が望ましい。このため、本方法では、位置のマツチ
ングに付加データファジィクラスタリングの代わりに逆
真理値限定法を用いた。
(ステップ9)
最後に、付加データファジィクラスタリングの結果と逆
真理値限定法の結果を独立な基本確率としてD e m
p s t e rの結合規則を用いて結合する(第
25図3255)。
真理値限定法の結果を独立な基本確率としてD e m
p s t e rの結合規則を用いて結合する(第
25図3255)。
その計算式は
であられされる。
ここで、rrz(A++)、(i=1. 2. ・・
・8)は1番目の基準パターンに関する付加データファ
ジィクラスタリングの結果であり m2(A2j)、(j=1. 2. ・、 8)はj番
目の基準パターンに関する逆真理値限定法の結果。
・8)は1番目の基準パターンに関する付加データファ
ジィクラスタリングの結果であり m2(A2j)、(j=1. 2. ・、 8)はj番
目の基準パターンに関する逆真理値限定法の結果。
m (Ak) (k=1. 2. ・、 8)は結
合された結果である。
合された結果である。
また、分子はA++とA2jの積集合Akにそれぞれの
基本確率の積を割り当てることを意味し、分母は矛盾す
る推論の結合の場合はAnとA2jの積集合が空集合と
なる場合があるので、これらを除外して正規化している
。2個以上の基本確率の結合は、もしそれらが独立な証
拠より得られたものであれば、(10)式を順次適用す
ることによって実現される。
基本確率の積を割り当てることを意味し、分母は矛盾す
る推論の結合の場合はAnとA2jの積集合が空集合と
なる場合があるので、これらを除外して正規化している
。2個以上の基本確率の結合は、もしそれらが独立な証
拠より得られたものであれば、(10)式を順次適用す
ることによって実現される。
最初の領域についてD e m p s t e r結
合を行ったあと、逆真理値限定法、付加データファジィ
クラスタリングを1ピン当たりのすべての領域について
繰り返す(S256)。ある1画面(lピン)について
の処理結果例を第26図に示す。この中には32の領域
があり、それぞれの領域で8種類の基準パターンに関す
るD e m p s t e rの結合結果が求めら
れる。
合を行ったあと、逆真理値限定法、付加データファジィ
クラスタリングを1ピン当たりのすべての領域について
繰り返す(S256)。ある1画面(lピン)について
の処理結果例を第26図に示す。この中には32の領域
があり、それぞれの領域で8種類の基準パターンに関す
るD e m p s t e rの結合結果が求めら
れる。
(ステップ10)
最終的な評価は、lピン当りの全ての領域で最大の結果
を用いて判定結果出力部117がら出力される。例えば
、浮きに関しては、領域1. 2.3の結果は0.13
. 0.634. 0.001 テあるノテ、最大値(
7)0.634=63.4%が結果となる。この結果は
、浮きの可能性が63.4%、浮き気味の可能性が30
.4%というように評価する。
を用いて判定結果出力部117がら出力される。例えば
、浮きに関しては、領域1. 2.3の結果は0.13
. 0.634. 0.001 テあるノテ、最大値(
7)0.634=63.4%が結果となる。この結果は
、浮きの可能性が63.4%、浮き気味の可能性が30
.4%というように評価する。
以上の処理がすべてのピンについて繰り返され(325
8)、最終的にその基板のはんだ付けの良否の判断が行
われる。
8)、最終的にその基板のはんだ付けの良否の判断が行
われる。
最終的な判断は、以下の通り行われる。
まず、ピン毎の評価については、前述の評価結果のうち
浮き、浮き気味、ブリッジ、半田ボール、不足(リード
部)、不足(はんだ部)の6つの不良項目の可能性の最
大値が60%以上の場合にそのピンを不良と評価する。
浮き、浮き気味、ブリッジ、半田ボール、不足(リード
部)、不足(はんだ部)の6つの不良項目の可能性の最
大値が60%以上の場合にそのピンを不良と評価する。
次に、すべてのピンのうち少くとも1本のピンについて
、不良と判断された場合にその基板を不良と判断する。
、不良と判断された場合にその基板を不良と判断する。
そして、不良と判断された基板については、インライン
の場合には、ソート手段によりラインから取り除いたり
、あるいは、ランプやブザーで警告するようにしてもよ
い。
の場合には、ソート手段によりラインから取り除いたり
、あるいは、ランプやブザーで警告するようにしてもよ
い。
最終的なデータの取り扱いは上の場合に限らず、例えば
、基本的には正常(リード部)、正常(はんだ部)のデ
ータを優先的に評価に用い、不良項目が1つでも60%
以上の場合には、不良として処理するようにしてもよい
。
、基本的には正常(リード部)、正常(はんだ部)のデ
ータを優先的に評価に用い、不良項目が1つでも60%
以上の場合には、不良として処理するようにしてもよい
。
〔実施例1の効果〕
従来の(2値の)クラスタリング(k−means法)
においては、あるクラスタ集合に属するか、属さないか
を知るだけであり、あいまいな帰属度は許されないから
中間状態にあるデータも無理やりどちらかのクラスタ集
合に帰属させなければならない。そのため誤認識を起こ
したり、柔軟な評価ができなかった。
においては、あるクラスタ集合に属するか、属さないか
を知るだけであり、あいまいな帰属度は許されないから
中間状態にあるデータも無理やりどちらかのクラスタ集
合に帰属させなければならない。そのため誤認識を起こ
したり、柔軟な評価ができなかった。
これに対し、本実施例においてはファジィ・クラスタリ
ングを用い、さらに逆真理値限定法及びそれらを統合す
るのにD e m p s t e rの結合規則を用
いることにより以下のような効果を得ることができる。
ングを用い、さらに逆真理値限定法及びそれらを統合す
るのにD e m p s t e rの結合規則を用
いることにより以下のような効果を得ることができる。
■ 誤判定が減少する。
すなわちハード・クラスタリングを行う場合にくらべて
、本実施例によるファジィクラスタリングによれば判定
精度が格段に向上する。
、本実施例によるファジィクラスタリングによれば判定
精度が格段に向上する。
更に、逆真理値限定法の出力と付加データファジィクラ
スタリングの出力はD e m p s t e rの
結合規則を使って結合され、単独のものよりより高い確
信度が得られる。
スタリングの出力はD e m p s t e rの
結合規則を使って結合され、単独のものよりより高い確
信度が得られる。
■ 柔軟な評価が可能となる。
ハード・クラスタリングでは[0,11の評価のため、
例えばはんだ不足か、不足でないかしか分からないが、
ファジィ処理でははんだ不足がどの程度束じているかが
分かり、その後の処理に幅を持たせることができる。
例えばはんだ不足か、不足でないかしか分からないが、
ファジィ処理でははんだ不足がどの程度束じているかが
分かり、その後の処理に幅を持たせることができる。
◎ あいまいさを自由に設定できる。
(8)式のpの値を変えることによりクラスタリングの
あいまいさを設定することができる。pを大きくするこ
とによりあいまい度を大きくすることができる。また、
クラスタリングを行うには、最初に初期条件U(0〉を
与えなければならないが、その初期条件の与え方により
クラスタリングの結果が変わってくる。特に、ハード・
クラスタリングの場合にはその傾向が強い。しかし、フ
ァジィ・クラスタリングの場合、最初にpを大きくして
おいてあいまいに分類し、次にpを小さくして再び分類
することにより初期条件の違いにまったく左右されない
結果が得られる。
あいまいさを設定することができる。pを大きくするこ
とによりあいまい度を大きくすることができる。また、
クラスタリングを行うには、最初に初期条件U(0〉を
与えなければならないが、その初期条件の与え方により
クラスタリングの結果が変わってくる。特に、ハード・
クラスタリングの場合にはその傾向が強い。しかし、フ
ァジィ・クラスタリングの場合、最初にpを大きくして
おいてあいまいに分類し、次にpを小さくして再び分類
することにより初期条件の違いにまったく左右されない
結果が得られる。
笈隻朋」
第27図は本発明の第2の実施例の構成を示すブロック
図である。基本的構成は、第1の実施例と同様であるが
、本実施例においては、CCDカメラ101を移動、回
転するため手段は有さす、フレームメモリ105〜10
7にICの全体を読み取った画像データを格納しておき
、CPU119によるフレームメモリ105〜107か
らの読み出しのアドレスを制御することによりピン毎の
判定を行うことができるようにしたものである。
図である。基本的構成は、第1の実施例と同様であるが
、本実施例においては、CCDカメラ101を移動、回
転するため手段は有さす、フレームメモリ105〜10
7にICの全体を読み取った画像データを格納しておき
、CPU119によるフレームメモリ105〜107か
らの読み出しのアドレスを制御することによりピン毎の
判定を行うことができるようにしたものである。
本実施例によれば、CCDカメラあるいは、基板を載せ
たテーブルを移動、回転する手段が不要となり、装置全
体の構成を簡素化することができる。
たテーブルを移動、回転する手段が不要となり、装置全
体の構成を簡素化することができる。
なお、実施例1においては、CCDカメラを移動・回転
させることにより、1個の基板についてのすべてのIC
リードの画像入力を行うようにしたが、例えば第3図(
a)で基板302を載せたテーブル301をX−Yテー
ブルとしモータで移動、回転するようでなく、例えばフ
ァジィ推論など、他の評価手段を用いてもよい。
させることにより、1個の基板についてのすべてのIC
リードの画像入力を行うようにしたが、例えば第3図(
a)で基板302を載せたテーブル301をX−Yテー
ブルとしモータで移動、回転するようでなく、例えばフ
ァジィ推論など、他の評価手段を用いてもよい。
また、上述の2つの評価手段(ファジィクラスタリング
と逆真理値法)の結合にはD e m p s t e
rの結合規則ではなく、例えば両評価手段の重み付は
平均や最大値、最小値をとるなど他の結合方法を用いて
もよい。
と逆真理値法)の結合にはD e m p s t e
rの結合規則ではなく、例えば両評価手段の重み付は
平均や最大値、最小値をとるなど他の結合方法を用いて
もよい。
また、特微量も、位置情報、形状情報、明るさ情報に限
らず、色情報(色層や彩度など)や、ドツト配置情報な
ど他の特微量を抽出してもよいのは勿論である。
らず、色情報(色層や彩度など)や、ドツト配置情報な
ど他の特微量を抽出してもよいのは勿論である。
また、上述の実施例のはんだ付は検査に限らず、本発明
のアルゴリズムは例えば、画像のパターンマツチング、
画像域分離など画像の特徴量に応じた他のあらゆる評価
にも適用することができる。
のアルゴリズムは例えば、画像のパターンマツチング、
画像域分離など画像の特徴量に応じた他のあらゆる評価
にも適用することができる。
以上説明したように、本発明によれば、誤認識の少なく
精度の良い画像処理を行うことができる。
精度の良い画像処理を行うことができる。
第1図は、本発明の第1の実施例の基板実装検査装置の
全体ブロック図、 第2図は、本発明の第1の実施例の検査のアルゴリズム
を示すフローチャート 第3図は、検査装置の外観図、 第4図は、ICチップの拡大図、 第5図は、雑音除去のフローチャート、第6図は、ウィ
ンドウを示す図、 第7図は、判別分析法のフローチャート、第8図は、2
値化方法を示す図、 第9図は、領域抽出例と番号付けを示す図、第10図は
、領域抽出のフローチャート、第11図は、抽出すべき
特徴量を示す図、第12図は、2値画像データの流れを
示す図、第13図は、多値画像データの流れを示す図、
第14図は、外接長方形と重心を示す図、第15図は、
正常なはんだ付けの2値化画像の例を示す図、 第16図は、浮きの場合の2値化画像の例を示す図、 第17図は、浮き気味の場合の2値化画像の例を示す図
、 第18図は、ブリッジのある場合の2値化画像の例を示
す図、 第19図は、はんだポールのある場合の2値化画像の例
を示す図、 第20図は、はんだ不足の場合の2値化画像の例を示す
図、 第21図は、ファジィクラスタリングの原理を示す図、 第22図は、逆真理値限定法を説明する図、第23図は
、逆真理値限定法の適用の具体的例を示す図、 第24rI!Jは、抽出された領域を示す図、第25図
は、Dempsterの結合のフローチャート、 第26図は、D e m p s t e r結合結果
を示す図、第27図は、本発明の第2の実施例の基板実
装検査装置の構成を示すブロック図である。 113・・・逆真理値限定法演算部 114・・・ファジィクラスタリング演算部115−・
・D e m p s t e r結合部集S図 卆1旨餘とフローへ−ト 第q図 第73図 汐値画橡デL9 フ千ジンクラスタリンフリ覧潅音pへ L R ラ≦1き気味 −659− 5審さ 第78図 フ゛リッレ llんだ゛ボーjし 1人だ尋足 L Xe X。 LI cr D 十のi語的覧味
全体ブロック図、 第2図は、本発明の第1の実施例の検査のアルゴリズム
を示すフローチャート 第3図は、検査装置の外観図、 第4図は、ICチップの拡大図、 第5図は、雑音除去のフローチャート、第6図は、ウィ
ンドウを示す図、 第7図は、判別分析法のフローチャート、第8図は、2
値化方法を示す図、 第9図は、領域抽出例と番号付けを示す図、第10図は
、領域抽出のフローチャート、第11図は、抽出すべき
特徴量を示す図、第12図は、2値画像データの流れを
示す図、第13図は、多値画像データの流れを示す図、
第14図は、外接長方形と重心を示す図、第15図は、
正常なはんだ付けの2値化画像の例を示す図、 第16図は、浮きの場合の2値化画像の例を示す図、 第17図は、浮き気味の場合の2値化画像の例を示す図
、 第18図は、ブリッジのある場合の2値化画像の例を示
す図、 第19図は、はんだポールのある場合の2値化画像の例
を示す図、 第20図は、はんだ不足の場合の2値化画像の例を示す
図、 第21図は、ファジィクラスタリングの原理を示す図、 第22図は、逆真理値限定法を説明する図、第23図は
、逆真理値限定法の適用の具体的例を示す図、 第24rI!Jは、抽出された領域を示す図、第25図
は、Dempsterの結合のフローチャート、 第26図は、D e m p s t e r結合結果
を示す図、第27図は、本発明の第2の実施例の基板実
装検査装置の構成を示すブロック図である。 113・・・逆真理値限定法演算部 114・・・ファジィクラスタリング演算部115−・
・D e m p s t e r結合部集S図 卆1旨餘とフローへ−ト 第q図 第73図 汐値画橡デL9 フ千ジンクラスタリンフリ覧潅音pへ L R ラ≦1き気味 −659− 5審さ 第78図 フ゛リッレ llんだ゛ボーjし 1人だ尋足 L Xe X。 LI cr D 十のi語的覧味
Claims (1)
- 【特許請求の範囲】 (1)入力画像データから複数の特徴量を抽出し、前記
特徴量に基づいてファジィクラスタリングにより第1の
評価を行い、 前記特徴量に基づいて他の方法により第2の評価を行う
ことを特徴とする画像処理方法。(2)前記他の方法は
、逆真理値限定法であることを特徴とする請求項第1項
記載の画像処理方法。 (3)更に、前記第1、第2の評価手段による評価結果
を結合することを特徴とする請求項第1項又は第2項記
載の画像処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1343107A JP3020973B2 (ja) | 1989-12-29 | 1989-12-29 | 画像処理方法 |
EP90314291A EP0435660B1 (en) | 1989-12-29 | 1990-12-24 | Method of evaluating objects based upon image processing, and inspection apparatus using said method |
DE69030869T DE69030869T2 (de) | 1989-12-29 | 1990-12-24 | Bildverarbeitungsverfahren zur Bewertung von Objekten und Vorrichtung zur Qualitätsprüfung zur Durchführung des Verfahrens |
US08/174,174 US5638460A (en) | 1989-12-29 | 1993-12-29 | Method of evaluating object based upon image processing and inspection apparatus using said method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1343107A JP3020973B2 (ja) | 1989-12-29 | 1989-12-29 | 画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH03204089A true JPH03204089A (ja) | 1991-09-05 |
JP3020973B2 JP3020973B2 (ja) | 2000-03-15 |
Family
ID=18358994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1343107A Expired - Fee Related JP3020973B2 (ja) | 1989-12-29 | 1989-12-29 | 画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3020973B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08249467A (ja) * | 1995-03-09 | 1996-09-27 | Kokusai Denshin Denwa Co Ltd <Kdd> | 類似画像の検索装置および方法 |
JPH09509247A (ja) * | 1993-05-28 | 1997-09-16 | アクシオム・ビルトフェラルバイツンクスシステメ・ゲーエムベーハー | 自動検査装置 |
JP2005515412A (ja) * | 2002-01-15 | 2005-05-26 | ヒューレット・パッカード・カンパニー | 媒体分類のためのクラスタ重み付きモデリング |
WO2007074770A1 (ja) * | 2005-12-26 | 2007-07-05 | Nikon Corporation | 画像解析によって欠陥検査を行う欠陥検査装置 |
JP2010044414A (ja) * | 1998-12-17 | 2010-02-25 | Kla-Tencor Corp | 回路設計図、検査方法、および処理方法 |
JP2013531538A (ja) * | 2010-07-02 | 2013-08-08 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 選択的照明スペクトルよりなる背景外科画像を有する蛍光画像化方法及びシステム |
CN104568770A (zh) * | 2014-12-09 | 2015-04-29 | 江苏大学 | 无监督可能模糊学习矢量量化的生菜品种光谱鉴别方法 |
JP2017150935A (ja) * | 2016-02-24 | 2017-08-31 | コニカミノルタ株式会社 | 光特性測定システムおよび測定用光学装置 |
US10682198B2 (en) | 2010-07-02 | 2020-06-16 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
CN112750143A (zh) * | 2020-12-02 | 2021-05-04 | 上海海洋大学 | 一种基于极值法的茎柔鱼形态特征提取方法 |
CN116990323A (zh) * | 2023-09-26 | 2023-11-03 | 睿同科技有限公司 | 一种高精密印刷版视觉检测*** |
-
1989
- 1989-12-29 JP JP1343107A patent/JP3020973B2/ja not_active Expired - Fee Related
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09509247A (ja) * | 1993-05-28 | 1997-09-16 | アクシオム・ビルトフェラルバイツンクスシステメ・ゲーエムベーハー | 自動検査装置 |
JPH08249467A (ja) * | 1995-03-09 | 1996-09-27 | Kokusai Denshin Denwa Co Ltd <Kdd> | 類似画像の検索装置および方法 |
JP2010044414A (ja) * | 1998-12-17 | 2010-02-25 | Kla-Tencor Corp | 回路設計図、検査方法、および処理方法 |
JP2005515412A (ja) * | 2002-01-15 | 2005-05-26 | ヒューレット・パッカード・カンパニー | 媒体分類のためのクラスタ重み付きモデリング |
WO2007074770A1 (ja) * | 2005-12-26 | 2007-07-05 | Nikon Corporation | 画像解析によって欠陥検査を行う欠陥検査装置 |
JP5228490B2 (ja) * | 2005-12-26 | 2013-07-03 | 株式会社ニコン | 画像解析によって欠陥検査を行う欠陥検査装置 |
US9211058B2 (en) | 2010-07-02 | 2015-12-15 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
JP2013531538A (ja) * | 2010-07-02 | 2013-08-08 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 選択的照明スペクトルよりなる背景外科画像を有する蛍光画像化方法及びシステム |
US10682198B2 (en) | 2010-07-02 | 2020-06-16 | Intuitive Surgical Operations, Inc. | Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra |
US11717375B2 (en) | 2010-07-02 | 2023-08-08 | Intuitive Surgical Operations, Inc. | Methods and systems for alternate image display |
CN104568770A (zh) * | 2014-12-09 | 2015-04-29 | 江苏大学 | 无监督可能模糊学习矢量量化的生菜品种光谱鉴别方法 |
CN104568770B (zh) * | 2014-12-09 | 2017-07-18 | 江苏大学 | 无监督可能模糊学习矢量量化的生菜品种光谱鉴别方法 |
JP2017150935A (ja) * | 2016-02-24 | 2017-08-31 | コニカミノルタ株式会社 | 光特性測定システムおよび測定用光学装置 |
CN112750143A (zh) * | 2020-12-02 | 2021-05-04 | 上海海洋大学 | 一种基于极值法的茎柔鱼形态特征提取方法 |
CN112750143B (zh) * | 2020-12-02 | 2024-04-26 | 上海海洋大学 | 一种基于极值法的茎柔鱼形态特征提取方法 |
CN116990323A (zh) * | 2023-09-26 | 2023-11-03 | 睿同科技有限公司 | 一种高精密印刷版视觉检测*** |
CN116990323B (zh) * | 2023-09-26 | 2023-12-05 | 睿同科技有限公司 | 一种高精密印刷版视觉检测*** |
Also Published As
Publication number | Publication date |
---|---|
JP3020973B2 (ja) | 2000-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5086789B2 (ja) | 光学検査システム | |
US6963425B1 (en) | System and method for locating color and pattern match regions in a target image | |
US7925073B2 (en) | Multiple optical input inspection system | |
US5638460A (en) | Method of evaluating object based upon image processing and inspection apparatus using said method | |
CN115578374A (zh) | 一种机械零件铸造质量评估方法与*** | |
KR101048582B1 (ko) | 칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스 | |
JPH03204089A (ja) | 画像処理方法 | |
US7403636B2 (en) | Method and apparatus for processing an image | |
JP2840347B2 (ja) | 基板実装検査装置 | |
Hsieh et al. | HEp-2 cell classification in indirect immunofluorescence images | |
CN112825120B (zh) | 人脸光照评价方法、装置、计算机可读存储介质及设备 | |
Talbot et al. | Elliptical distance transforms and the object splitting problem | |
EP1218851B1 (en) | System and method for locating color and pattern match regions in a target image | |
CN116452809A (zh) | 一种基于语义分割的线条物体提取方法 | |
CN113887455B (zh) | 一种基于改进fcos的人脸口罩检测***及方法 | |
Chang et al. | Learning vector quantization neural networks for LED wafer defect inspection | |
CN112435186B (zh) | 一种基于双规则矩阵方向场的指纹图像增强方法 | |
Fang et al. | A novel adaptive colour segmentation algorithm and its application to skin detection | |
Zhong et al. | Detection of oxidation region of flexible integrated circuit substrate based on topology mapping | |
Biebelmann et al. | Practical applications of neural networks in texture analysis | |
Zhang | A Selection of Image Analysis Techniques: From Fundamental to Research Front | |
Ebrahimi et al. | License Plate Location Based on Multi Agent Systems | |
Tafavogh et al. | Determining cellularity status of tumors based on histopathology using hybrid image segmentation | |
Zhi-Gang et al. | Image segmentation considering intensity roughness and color purity | |
Chang et al. | Simulation studies of two-layer Hopfield neural networks for automatic wafer defect inspection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |