JP5671135B2

JP5671135B2 - 位置検出装置およびそれを搭載した外観検査装置

Info

Publication number: JP5671135B2
Application number: JP2013516079A
Authority: JP
Inventors: 正朋舞田
Original assignee: Fujitsu Telecom Networks Ltd
Current assignee: Fujitsu Telecom Networks Ltd
Priority date: 2011-05-26
Filing date: 2011-05-26
Publication date: 2015-02-18
Anticipated expiration: 2031-05-26
Also published as: JPWO2012160611A1; WO2012160611A1

Description

本発明は、撮影画像内の観察対象の位置を検出する位置検出装置、およびそれを搭載した外観検査装置に関する。

外観検査方法の一つに、良品画像と検査画像との比較検査がある。比較検査を行うためには、撮影された被検査画像と事前に撮影した良品画像との位置が合っていることが前提となる。しかしながら、撮影条件により、良品画像との撮影倍率のズレ、撮影位置のズレ、撮影角度のズレが生じるため、基本的に位置補正が必要である。

被検査画像内の被検査対象の位置は、基準となる目印を画像処理によって検出する手法が一般的であるが、撮像条件（たとえば、光やノイズ）や、検査物の形状や色のバラツキの影響により、被検査対象の位置を正確に検出することは難しい。その位置検出が不正確な場合、比較検査時に、いわゆる見過ぎや見逃しが発生してしまう。なお、見過ぎとは良品を不良品と判定することをいい、見逃しとは不良品を良品と判定することをいう。

本発明はこうした状況に鑑みてなされたものであり、その目的は、撮影画像内における観察対象の位置検出精度を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の位置検出装置は、観察対象の複数の基準特徴点を設定情報として保持する保持部と、撮影された観察対象の画像を分析し、その観察対象から複数の撮影特徴点を抽出する画像分析部と、保持部に保持される複数の基準特徴点と、画像分析部により抽出された複数の撮影特徴点との対応関係を分析して、観察対象の位置を検出する位置分析部と、を備える。位置分析部は、対応関係を分析する際、複数の基準特徴点間の接続関係および複数の撮影特徴点間の接続関係を用いる。

この態様によると、特徴点間の接続関係をもとに、撮影された画像を分析することにより、画像内の観察対象の位置検出精度を向上させることができる。

保持部は、複数の基準特徴点間の距離、角度を保持し、画像分析部は、複数の撮影特徴点間の距離、角度を算出し、位置分析部は、基準特徴点間の距離と、対応する撮影特徴点間の距離との比率を、特徴点間の距離ごとに算出してそれらの比率の統計値（たとえば、平均値、中央値、最頻値）を算出し、基準特徴点間の角度と、対応する撮影特徴点間の角度との差分を、特徴点間の角度ごとに算出してそれらの差分の統計値（たとえば、平均値、中央値、最頻値）を算出してもよい。この統計値を用いて、観察対象を位置補正することにより、観察対象の位置検出精度を向上させることができる。

保持部は、複数の基準特徴点間の接続の有無を保持し、位置分析部は、複数の基準特徴点間の接続の有無を参照して、複数の基準特徴点と、複数の撮影特徴点とを対応づけてもよい。これにより、複数の基準特徴点と、複数の撮影特徴点との対応づけの精度を向上させることができる。

本発明の別の態様の外観検査装置は、観察対象を撮影するための撮像部と、撮像部により撮影された観察対象の位置を検出する上述の位置検出装置と、位置検出装置による位置検出結果に応じて、観察対象の位置を補正する位置補正部と、位置補正部により補正された観察対象の画像と、基準画像とを比較する画像比較部と、を備える。画像比較部による比較結果に応じて、観察対象が良品であるか否かを判定する判定部をさらに備えてもよい。「観察対象」はプリント基板の一部領域であってもよい。

この態様によれば、観察対象の位置検出精度が高いため、画像比較による外観検査の精度も向上させることができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮影画像内における観察対象の位置検出精度を向上させることができる。

プリント基板のＳＭＴラインを説明するための図である。本発明の実施の形態に係る外観検査装置の概略構成を示す図である。計算装置の構成を示す機能ブロック図である。図４（Ａ）、（Ｂ）は、プリント基板を撮影した画像を示す。図５（Ａ）−（Ｄ）は、画像比較部による画像比較手順を説明するための図である。図５（Ｂ）と図５（Ｄ）との差分画像を示す図である。図７（Ａ）−（Ｃ）は、撮影画像内から被検査対象の位置を検出する一般的な方法を説明するための図である。位置合わせの一般的な方法を説明するための図である。図９（Ａ）−（Ｃ）は、撮影画像内から目印を抽出する際の問題点を説明するための図である。本発明の実施の形態に係る位置検出部の構成を示す図である。ＢＧＡ搭載領域の各パッドとパッド間の接続関係を模式的に描いた図である。設計情報入力部に入力された設計情報の一例を示す図である。図１３（Ａ）、（Ｂ）は、画像分析部による位置情報出処理の具体例を示す図である。図１２に示した設計情報から得られた位置集合Ｐと、被検査画像から得られた位置集合Ｑの対応関係の一例を示す図である。位置集合Ｑと位置集合Ｐとの間で、最も近似する要素間対応関係Ｍ_ｉを探索するためのフローチャートである。図１４に示した位置集合Ｐと位置集合Ｑとの要素間距離の平均比率Ｓと、要素間角度の平均差分θとを用いて、位置集合Ｐを写像した位置集合Ｒを示す図である。図１７（Ａ）、（Ｂ）は、位置分析部および位置補正部による位置情報抽出処理の具体例を示す図である。図１８（Ａ）−（Ｃ）は、位置情報分析結果の具体例を示す図である。図１９（Ａ）−（Ｃ）は、位置情報分析結果を用いた画像比較を示す図である。

以下、本発明の実施の形態に係る外観検査装置について説明する。以下、当該外観検査装置をプリント基板のＳＭＴ(Surface Mount Technology)ラインに使用する例を説明する。図１は、プリント基板のＳＭＴラインを説明するための図である。ＳＭＴラインは「半田印刷」（Ｓ１）→「ＣＨＩＰ部品搭載」（Ｓ２）→「外観検査（異物検査）」（Ｓ３）→「ＢＧＡ（Ball Grid Array）部品搭載」（Ｓ４）→「リフロー」（Ｓ５）→「外観検査（全体検査）」（Ｓ６）と推移する。

「半田印刷」（Ｓ１）はプリント基板上に、クリームはんだをパターンに合わせて印刷する工程である。「チップ部品搭載」（Ｓ２）はプリント基板上にＣＨＩＰ部品を搭載する工程である。「外観検査（異物検査）」（Ｓ３）は、プリント基板上に異物がないか検査する工程である。ＢＧＡ部品搭載箇所にＣＨＩＰ部品があると、後工程の「外観検査（全体検査）」（Ｓ６）では検出できないため、「外観検査（異物検査）」（Ｓ３）は「ＢＧＡ部品搭載」（Ｓ４）より前に行う必要がある。

「ＢＧＡ部品搭載」（Ｓ４）はプリント基板上にＢＧＡ部品を搭載する工程である。「リフロー」（Ｓ５）はプリント基板に熱を加えて、はんだを溶かし、はんだ付けを行う工程である。「外観検査（全体検査）」（Ｓ６）は、最終的な外観検査を行う工程である。本実施の形態では、「外観検査（異物検査）」（Ｓ３）に注目する。

図２は、本発明の実施の形態に係る外観検査装置５００の概略構成を示す図である。外観検査装置５００は、計算装置１００と撮像装置２００を備える。計算装置１００にはＰＣなどを用いることができる。撮像装置２００にはＣＣＤカメラやＣＭＯＳカメラを用いることができる。撮像装置２００は、コンペアライン７００上を移動する観察対象である被検査対象（本実施の形態では、ＣＨＩＰ部品が搭載されたプリント基板６００）を撮影する。

図３は、計算装置１００の構成を示す機能ブロック図である。計算装置１００は、画像取得部１０、位置検出部２０、位置補正部３０、良品画像保持部４０、画像比較部５０および判定部６０を備える。画像取得部１０は、撮像装置２００により撮影された被検査対象の撮影画像を取得する。位置検出部２０は、撮影画像内の被検査対象の位置を検出する。位置補正部３０は、位置検出部２０による位置検出結果をもとに被検査対象の位置を補正する。撮影画像が事前登録用の画像である場合、位置補正部３０は補正後の画像を良品画像保持部４０に登録する。なお、登録される画像は、被検査対象が良品の場合のときの画像である。撮影画像が検査時の画像である場合、位置補正部３０は補正後の画像を画像比較部５０に供給する。

画像比較部５０は、位置補正部３０により位置補正された被検査画像と、良品画像保持部４０に保持される良品画像とを比較する。具体的には両画像の差分画像を生成する。判定部６０は、当該差分画像をもとに被検査対象が良品であるか否かを判定する。たとえば、異物の有無を検出する。

図４（Ａ）、（Ｂ）は、プリント基板を撮影した画像を示す。図４（Ａ）は事前に撮影された基準画像である良品画像を示し、図４（Ｂ）は検査時に撮影された被検査画像を示す。図４（Ｂ）に示す被検査画像では、ＢＧＡ搭載領域内の丸で囲っている箇所に異物Ａ１が付着している。「外観検査（異物検査）」（Ｓ３）にて、画像比較部５０は事前に撮影された良品画像と被検査対象の被検査画像とを比較し、判定部６０はその結果をもとにプリント基板上に異物がないか否か検査する。上述したように、この検査では撮影条件により、良品画像との撮影倍率のズレ、撮影位置のズレ、撮影角度のズレが生じる。

図５（Ａ）−（Ｄ）は、画像比較部５０による画像比較手順を説明するための図である。図５（Ａ）は良品画像を示し、図５（Ｂ）は、図５（Ａ）に示す良品画像の太枠内の画像を示す。図５（Ｂ）に示す画像は被検査対象（本実施の形態ではＢＧＡ搭載領域）に注目した画像である。位置検出部２０は、撮像装置２００により撮影された撮影画像内の被検査対象の位置を検出する。位置補正部３０は、その位置検出結果にもとづき位置補正（たとえば、アフィン変換による回転）を行い、良品画像保持部４０に保存する。図５（Ｂ）では被検査対象およびその周辺領域を切り出して保存する例を描いている。

図５（Ｃ）は被検査画像を示し、図５（Ｄ）は、図５（Ｃ）に示す被検査画像の太枠内の画像を示す。図５（Ｄ）に示す画像も被検査対象（本実施の形態ではＢＧＡ搭載領域）に注目した画像である。位置検出部２０は、撮像装置２００により撮影された撮影画像内の被検査対象の位置を検出する。位置補正部３０は、その位置検出結果にもとづき位置補正を行う。画像比較部５０は、位置補正された良品画像と被検査画像との差分画像を生成する。判定部６０は、差分画像内において、設定された閾値を超える輝度値や設定された閾値を超える色成分が検出された場合、その位置に異物が存在すると判定する。

図６は、図５（Ｂ）と図５（Ｄ）との差分画像を示す図である。図６に示す例では、拡大図に示すように被検査対象の右上領域に異物が存在し、撮影されたプリント基板は不良であることが分かる。

図７（Ａ）−（Ｃ）は、撮影画像内から被検査対象の位置を検出する一般的な方法を説明するための図である。図７（Ａ）は被検査対象であるＢＧＡ搭載領域を含む撮影画像を示し、図７（Ｂ）はＢＧＡ搭載領域の太枠（左下）内の拡大画像を示し、図７（Ｃ）はＢＧＡ搭載領域の太枠（右上）内の拡大画像を示す。図７（Ａ）−（Ｃ）に示す例では、位置合わせのための目印として、ＢＧＡ搭載領域の左下隅のパッドＡ２と、当該領域の右上隅のパッドＡ３を用いている。すなわち、対角線上の二つの隅に基準点を設定している。なお、ＢＧＡ搭載領域のパッドは、ＦＰＧのはんだボール（以下、単にボールという）と接合される部材である。

図８は、位置合わせの一般的な方法を説明するための図である。位置検出部２０は、被検査画像に画像処理を施し、基準点を検出する。そして、被検出画像の基準点と良品画像の基準点を用いて、被検査対象の、本来あるべき位置からの倍率差Ｄ_２／Ｄ_１、角度差θ、およびズレ量Ｚを算出する。図８では点線で囲われた領域が被検査対象の本来あるべき位置を示し、実線で囲われた領域が被検査画像内の被検査対象の位置を示している。

図９（Ａ）−（Ｃ）は、撮影画像内から目印としての基準点を抽出する際の問題点を説明するための図である。位置検出部２０は、撮影画像内から、設定された閾値を超える輝度値または設定された閾値を超える色成分が検出された領域に目印（図９（Ａ）−（Ｃ）ではパッド）が存在するとして、その目印を抽出する。図９（Ａ）は、上記閾値を超えている画素がパッドの中心部に集中しており、当該パッドを正確な位置で抽出できる例を示している。図９（Ｂ）は、上記閾値を超えている画素がパッドの中心部からずれており、当該パッドを正確な位置で抽出できていない例を示している。図９（Ｃ）は、目印としているパッドＡ４の近傍に、上記閾値を超えている画素領域Ａ５があり、その画素領域Ａ５も目印として抽出する例を示している。

このように、目印の位置を画像処理によって検出する場合、撮像条件（たとえば、光やノイズ）、被検査対象の形状や色のバラツキによって、中心を正しく検出できないことがある。さらに、抽出不足や過剰抽出が発生して、正確な位置検出ができない場合もある。換言すれば、抽出失敗や他の目印を余計に抽出してしまう場合がある。その場合、上述した差分画像には、位置ズレによる差分が大きく生じるため、見過ぎや見逃しが発生しやすくなる。

図１０は、本発明の実施の形態に係る位置検出部２０の構成を示す図である。位置検出部２０は、設計情報入力部２１、設計情報分析部２２、設計情報分析結果保持部２３、画像入力部２４、画像分析部２５、位置分析部２６および位置情報出力部２７を備える。これらの構成は、ハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

設計情報入力部２１は、被検査対象の客観的な設計情報を外部から受け付ける。たとえば、ユーザ操作に起因して当該設計情報が設計情報入力部２１に与えられる。設計情報入力部２１は、被検査対象の設計情報として、設計情報から得られる特徴点の位置集合Ｐ、および位置集合Ｐの要素間接続条件式を受け付ける。当該特徴点とは、理想的な被検査画像に対して画像処理を行った際に得られる抽出点を、上記設計情報から取得したものである。当該画像処理として、エッジ検出フィルタやカラーフィルタを用いる処理が考えられる。

設計情報分析部２２は、設計情報から得られる複数の特徴点の位置情報を分析して、特徴点間の距離、角度および接続関係を算出する。本実施の形態では、特徴点がＢＧＡのボールに対応するパッドである例を考える。図１１は、ＢＧＡ搭載領域の各パッドとパッド間の接続関係を模式的に描いた図である。

設計情報から得られる特徴点の位置集合Ｐは、下記（式１）により定義される。

位置集合Ｐの要素間接続条件式とは、特徴点の位置情報から接続情報を取得するための条件式または接続情報そのものをいう。
位置集合Ｐの要素間の距離Ｄ_ｉｊは、下記（式２）により定義される。

位置集合Ｐの要素間の角度α_ｉｊは、下記（式３）により定義される。なお、要素間の角度α_ｉｊはｘ軸に対する角度を示す。

位置集合Ｐの要素間の接続Ｃ_ｉｊは、下記（式４）により定義される。

ここで、０は未接続を示し、１は接続を示す。

位置集合Ｐの要素間の接続Ｃ_ｉｊは、設計情報入力部２１に入力される入力情報であるが、条件式（０：Ｄ_ｉｊ≦Ｄ、１：Ｄ_ｉｊ＞Ｄ）に、角度α_ｉｊ等の条件を加えてもよい。また、要素間の接続Ｃ_ｉｊを条件式ではなく、直接指定してもよい。

以下、具体例を挙げながらより詳細に説明する。図１２は、設計情報入力部２１に入力された設計情報の一例を示す。図１２では、ｘｙ平面に特徴点が９個プロットされている。ここで、９個の特徴点のうち接続されている組み合わせ（Ｃ_ｉｊ＝１）は、以下の通りである。Ｃ_１２、Ｃ_１４、Ｃ_２１、Ｃ_２３、Ｃ_２５、Ｃ_３２、Ｃ_３６、Ｃ_４１、Ｃ_４５、Ｃ_４７、Ｃ_５２、Ｃ_５４、Ｃ_５６、Ｃ_５８、Ｃ_６３、Ｃ_６５、Ｃ_６９、Ｃ_７４、Ｃ_７８、Ｃ_８５、Ｃ_８７、Ｃ_８９、Ｃ_９６、Ｃ_９８である。それ以外の特徴点の組み合わせは接続されていない。

設計情報分析部２２は、設計情報から得られる特徴点の位置集合Ｐ、位置集合Ｐの要素間の距離Ｄ_ＩＪ、位置集合Ｐの要素間の角度α_ＩＪおよび位置集合Ｐの要素間の接続Ｃ_ＩＪを設計情報分析結果保持部２３に保存する。

画像入力部２４は、撮像装置２００により撮影された被検査画像を受け付ける。画像分析部２５は、画像入力部２４に入力された被検査画像に対して上述した画像処理を行い、特徴点を抽出し、特徴点の位置情報を取得する。

図１３（Ａ）、（Ｂ）は、画像分析部２５による位置情報抽出処理の具体例を示す図である。図１３（Ａ）は、位置情報抽出対象の被検査画像を示す。画像分析部２５は、当該被検査画像に対して、エッジ検出フィルタおよびカラーフィルタをかけて、ＢＧＡのボールに対応するＢＧＡ搭載領域のパッドを特徴点として抽出する。図１３（Ｂ）は、位置情報の抽出結果を示す。

位置分析部２６は、画像分析部２５により抽出された被検査画像の特徴点の位置情報と、設計情報分析結果保持部２３に保持される設計情報分析結果にもとづき、特徴点の位置分析を行う。

被検査画像から得られる特徴点の位置集合Ｑは、下記（式５）により定義される。

位置集合Ｑの要素間の距離Ｅ_ＩＪは、下記（式６）により定義される。

位置集合Ｐの要素間の角度β_ＩＪは、下記（式７）により定義される。

位置集合Ｑの要素に対する位置集合Ｐの要素の対応関係Ｍ_ｉは、下記（式８）により定義される。

ここで、０は未対応を示し、ｋは対応を示す。

図１４は、図１２に示した設計情報から得られた位置集合Ｐと、被検査画像から得られた位置集合Ｑの対応関係の一例を示す図である。図１４において、位置集合Ｐと位置集合Ｑとの間で対応している特徴点間を点線で結んで描いている。位置集合Ｑの特徴点１に対応する位置集合Ｐの特徴点は存在しないため、対応関係Ｍ_１は０である。位置集合Ｐの特徴点９は、位置集合Ｑでは欠損している。

以下、位置集合Ｑと位置集合Ｐの要素間対応関係Ｍ_ｉの算出方法について説明する。以下の処理では、位置集合Ｐ内の要素が、位置集合Ｑ内の要素のいずれかであるという仮定を、すべての組み合わせにおいて検証する。各々の仮定に対して、位置集合Ｐ内の接続関係を用いて、位置集合Ｑ内の接続状況を確認する。すなわち、位置集合Ｐ内の各要素の位置および各要素間の距離、角度を用いて、位置集合Ｑ内に対応する要素が、対応する位置の近傍に存在するか否か検証する。そして、すべての組み合わせにおいて位置集合Ｑと位置集合Ｐの要素間対応関係Ｍ_ｉを算出し、最も要素間対応関係Ｍ_ｉが近似する仮定を採用する。

図１５は、位置集合Ｑと位置集合Ｐとの間で、最も近似する要素間対応関係Ｍ_ｉを探索するためのフローチャートである。位置分析部２６は初期値設定として、位置集合Ｑの要素パラメータｉを０に設定する（Ｓ１０）。つぎに、要素パラメータｉをインクリメントする（Ｓ１１）。要素パラメータｉが位置集合Ｑの最後の要素を超えたか否か判定する（Ｓ１２）。超えた場合（Ｓ１２のＹ）、本探索処理を終了する。超えていない場合（Ｓ１２のＮ）、ステップＳ１３以降の処理を継続する。

位置分析部２６は初期値設定として、位置集合Ｐの要素パラメータａを０に設定する（Ｓ１３）。つぎに、要素パラメータａをインクリメントする（Ｓ１４）。要素パラメータａが位置集合Ｐの最後の要素を超えたか否か判定する（Ｓ１５）。超えた場合（Ｓ１５のＹ）の処理は後述する。超えていない場合（Ｓ１５のＮ）、ステップＳ１６以降の処理を継続する。

位置分析部２６は、位置集合Ｑ内の要素パラメータｉで特定される要素ｉと、位置集合Ｐ内の要素パラメータａで特定される要素ａとが対応関係があると仮定する（Ｓ１６）。すなわち、対応関係Ｍ_ｉ＝ａ、対応関係Ｍ_ｊ＝０とする。ここで、要素ｊは位置集合Ｑ内の要素ｉ以外のすべての要素を指し、要素ｉ以外の要素については対応関係なしと仮定する。

位置分析部２６は、仮の対応関係Ｍ_ｉ＝ａに対して、位置集合Ｐの要素間の接続Ｃ_ａｂ＝１となる要素中から一つの要素ｂを選択する（Ｓ１７）。すなわち、位置集合Ｐの要素ａに接続されている要素を選択する。

位置分析部２６は、位置集合Ｐの要素ａ、要素ｂに対して条件式１（Ｄ_ａｂＳ_{ｒａｎｇｅ１}＜Ｅ_ｉｊ＜Ｄ_ａｂＳ_{ｒａｎｇｅ２}）および条件式２（α_ａｂ−α_{ｒａｎｇｅ}＜β_ｉｊ＜α_ａｂ＋α_{ｒａｎｇｅ}）を満たし、かつ対応関係Ｍ_ｊ＝０である位置集合Ｑ内の要素ｊを検索する（Ｓ１８）。なお、Ｓ_{ｒａｎｇｅ１}は倍率の最小値を示し、Ｓ_{ｒａｎｇｅ２}は倍率の最大値を示し、α_{ｒａｎｇｅ}は最大回転角度を示す。これらの設定値は、実験結果、シミュレーション結果または実施結果などに基づき、設計者やユーザによって設定または調整される。上記条件式１、２による判定結果は環境条件によりその感度が変化するため、ユーザにより調整可能であることが好ましい。なお、上記条件式１、２を両方満たす要素ｊが複数存在する場合、複数の距離Ｅ_ｉｊおよび角度β_ｉｊのうち、距離Ｄ_ａｂおよび角度α_ａｂに最も近いＥ_ｉｊおよびβ_ｉｊを特定し、その要素ｊを選択する。なお、距離の比較と角度の比較とで重みづけをしてもよい。たとえば、前者をゼロにして角度だけで比較してもよい。

位置分析部２６は、要素ｊが存在したか否か判定する（Ｓ１９）。存在しない場合（Ｓ１９のＮ）、ステップＳ１７に遷移し、Ｃ_ａｂ＝１となる要素中から別の要素ｂを選択する（Ｓ１７）。ステップＳ１９にて要素ｊが存在する場合（Ｓ１９のＹ）、位置分析部２６は、距離Ｅ_ｉｊおよび角度β_ｉｊと、距離Ｄ_ａｂおよび角度α_ａｂとの近似度を対応関係として保持する（Ｓ２０）。

位置分析部２６は、要素間の接続Ｃ_ａｂ＝１となる要素中に選択していない要素ｂが残っているか否か判定する（Ｓ２１）。残っている場合（Ｓ２１のＮ）、ステップＳ１７に遷移し、Ｃ_ａｂ＝１となる要素中から別の要素ｂを選択する（Ｓ１７）。ステップＳ２１にて残っていない場合（Ｓ２１のＹ）、ステップＳ２０にて保存した対応関係のうち、最も近似度が高い要素ｂを対応関係Ｍ_ｊとする（Ｓ２２）。これにより、対応関係Ｍ_ｉ＝ａとした場合の最適な対応関係Ｍ_ｊ＝ｂを検出できる。なお、対応関係Ｍ_ｊ＝ｂが検索されない場合もある。その後、ステップＳ１４に遷移する。

位置集合Ｑの要素ｉについて、同様の処理を位置集合Ｐのつぎの要素について実行する。以下、この処理を繰り返すことにより、最終的に位置集合Ｐのすべての要素について実行することになる（Ｓ１５のＹ）。位置分析部２６は、対応関係Ｍ_ｊ＝ｂの近似度が最も高い対応関係Ｍ_ｉ＝ａを採用する（Ｓ２３）。以下、以上の処理を位置集合Ｑのすべての要素について実行する。

位置分析部２６により算出された、位置集合Ｑと位置集合Ｐとの要素間対応関係Ｍ_ｉに対して、対応付けられた位置集合Ｑ内の集合Ｔは、下記（式９）により定義される。

位置集合Ｑと位置集合Ｐと各々の要素の対応関係から、要素間距離の平均比率（平均倍率）Ｓは、下記（式１０）により定義される。

また、位置集合Ｑと位置集合Ｐと各々の要素の対応関係から、要素間角度の平均差分θは、下記（式１１）により定義される。

なお、ｉ∈Ｔ，ｊ∈Ｔ，ｉ≠ｊは、異なるｉとｊのすべての組み合わせを示す。

つぎに、要素間距離の平均比率Ｓと、要素間角度の平均差分θを用いて、位置集合Ｐを写像した位置集合Ｒは、下記（式１２）により定義される。

ｄ_ｉおよびθ_ｉが、下記（式１３）および（式１４）であるとすると、

Ｗ_ｉおよびＺ_ｉは、下記（式１５）および（式１６）により定義される。

最後に、写像した位置集合Ｒと位置集合Ｑの対応する要素同士の平均距離を示す平均ズレ量Ｇは、下記（式１７）により定義される。

なお、上記（式１７）におけるｇ_ｘ、ｇ_ｙは、下記（式１８）および（式１９）により示される。

図１６は、図１４に示した位置集合Ｐと位置集合Ｑとの要素間距離の平均比率Ｓと、要素間角度の平均差分θとを用いて、位置集合Ｐを写像した位置集合Ｒを示す図である。なお、図１６では図面を見やすくするために、位置集合Ｐ、位置集合Ｑおよび位置集合Ｒが重ならないように描いているが、実際は位置集合Ｑと位置集合Ｒは重なることが多い。

位置情報出力部２７は、位置分析部２６で算出された、距離の平均比率Ｓ、角度の平均差分θおよび平均ズレ量Ｇを出力する。本実施の形態では、位置補正部３０に出力する。位置補正部３０は、これらの情報にもとづき、被検査対象の位置を正確に検知することができる。位置補正部３０は、被検査画像の位置（角度や大きさ）を補正することができる。なお、良品画像についても、これまで説明してきた手法により生成可能である。

図１７（Ａ）、（Ｂ）は、位置分析部２６および位置補正部３０による位置情報抽出処理の具体例を示す図である。図１７（Ａ）は、位置情報抽出対象の被検査画像を示す。位置分析部２６は、当該被検査画像から得られるＢＧＡのボールに対応するＢＧＡ搭載領域のパッドの位置情報と上記設計情報分析結果を分析する。位置補正部３０は、位置分析部２６による分析結果をもとに、上記設計情報と対応関係にあるパッドの位置情報を補正する。図１７（Ｂ）は、補正された位置情報の抽出結果を示す。図１３（Ｂ）と比較し、複数の位置情報の統計値と、位置情報間の接続関係を使用しているため、多少の位置情報の欠落や過剰検出があっても、高精度に位置情報を抽出できる。

図１８（Ａ）−（Ｃ）は、位置情報分析結果の具体例を示す図である。図１８（Ａ）は、要素間距離ヒストグラムを示し、図１８（Ｂ）は、要素間角度ヒストグラムを示し、図１８（Ｃ）は、対応要素間ズレ量を示す。この具体例では、要素間の平均距離は１４．４０ドットである。要素間の平均角度は０．０１４ｒａｄである。対応要素間の平均ズレ量は、ｘ成分が０．０５６９ドット、ｙ成分が０．３８３０ドットである。

これらの分析結果をみると、一見同じようにみえる要素間の距離、角度、ズレ量もかなりバラツクことが分かる。したがって、図７、図８に示したように、各抽出点ごとに位置を検出する方法では、正確な位置を検出することが難しいことが分かる。本実施の形態では、対応関係にある位置情報間の距離、角度、ズレ量のそれぞれの平均値を算出することにより、個々の位置情報の抽出ズレを吸収する。

図１９（Ａ）−（Ｃ）は、位置情報分析結果を用いた画像比較を示す図である。図１９（Ａ）は良品画像を示し、図１９（Ｂ）は不良画像を示し、図１９（Ｃ）は図１９（Ａ）の画像と図１９（Ｂ）の画像との差分画像を示す。不良画像内の異物Ａ６が差分画像において正確な位置で検出されていることが分かる。

以上説明したように本実施の形態によれば、被検査画像内から抽出される複数の抽出点を位置検出用に用い、位置検出処理中に各抽出点の位置情報だけでなく各抽出点間の接続関係(たとえば、各抽出点間の距離や角度)を用いることにより、抽出点の過不足があっても、被検査画像内から被検査対象の位置を高精度に検出できる。より具体的には、上述した距離の比率、角度の差分の平均値を用いることにより、被検査対象の検出時の位置ズレを最小限に抑えることができる。これに対し、個々の抽出点をそのまま用いた場合、大きな位置ズレが発生しやすくなる。

一般に、被検査画像から得られる特徴点の集合は、撮像条件のバラツキや被検査対象の形状や色のバラツキにより、抽出設計値より得られる特徴点の集合と比べて、抽出点の位置や角度のズレ、抽出点の欠落、過剰抽出が多く発生する。この点、本実施の形態に係る位置検出装置によれば、抽出点の位置や角度のズレ、抽出点の多少の欠落や過剰抽出があっても、被検査対象の位置を高精度に検出できる。

このように、複数の位置検出箇所とその相互関係を用いて高精度に位置検出、位置補正することにより、外観検査による比較検査時において見過ぎや見逃しを最小限に抑えることができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せによりいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上述した実施の形態では、観察対象をプリント基板のＢＧＡ搭載領域としたが、プリント基板のその他の領域であってもよい。また、観察対象はプリント基板に限るものではない。たとえば、人間の生体情報（たとえば、指紋、静脈、虹彩）であってもよい。生体情報の場合でも、上述した特徴点、各特徴点間の距離や角度、各特徴点間の接続の有無を観念できる。指紋認証の場合、隆線の端点および／または分岐点を特徴点に設定できる。静脈認証や虹彩認証の場合、毛細血管の分岐点を特徴点に設定できる。この場合も、撮影画像内の生体情報の位置を高精度に検出できる。

１０画像取得部、２０位置検出部、２１設計情報入力部、２２設計情報分析部、２３設計情報分析結果保持部、２４画像入力部、２５画像分析部、２６位置分析部、２７位置情報出力部、３０位置補正部、４０良品画像保持部、５０画像比較部、６０判定部、１００計算装置、２００撮像装置、５００外観検査装置。

本発明は、外観検査における被検査対象の位置検出などに利用できる。

Claims

プリント基板のＢＧＡ（Ball Grid Array）搭載領域の複数のパッドの位置情報を、複数の基準特徴点として保持する保持部と、
撮影された前記プリント基板のＢＧＡ搭載領域の画像を分析し、そのＢＧＡ搭載領域から複数のパッドの位置情報を撮影特徴点として抽出する画像分析部と、
前記保持部に保持される複数の基準特徴点と、前記画像分析部により抽出された複数の撮影特徴点との対応関係を分析して、前記プリント基板の位置を検出する位置分析部と、を備え、
前記保持部は、前記複数の基準特徴点間の接続の有無を保持し、
前記位置分析部は、前記対応関係を分析する際、前記複数の基準特徴点間の接続の有無を参照して、前記複数の基準特徴点と、前記複数の撮影特徴点とを対応づけることを特徴とする位置検出装置。
前記保持部は、前記複数の基準特徴点間の距離、角度を保持し、
前記画像分析部は、前記複数の撮影特徴点間の距離、角度を算出し、
前記位置分析部は、前記基準特徴点間の距離と、対応する前記撮影特徴点間の距離との比率を、特徴点間の距離ごとに算出してそれらの比率の統計値を算出し、前記基準特徴点間の角度と、対応する前記撮影特徴点間の角度との差分を、特徴点間の角度ごとに算出してそれらの差分の統計値を算出することを特徴とする請求項１に記載の位置検出装置。
プリント基板のＢＧＡ（Ball Grid Array）搭載領域を撮影するための撮像部と、
前記撮像部により撮影されたＢＧＡ搭載領域の位置を検出する請求項１または２記載の位置検出装置と、
前記位置検出装置による位置検出結果に応じて、前記プリント基板の位置を補正する位置補正部と、
前記位置補正部により補正されたプリント基板の画像と、基準画像とを比較する画像比較部と、
を備えることを特徴とする外観検査装置。
前記画像比較部による比較結果に応じて、前記プリント基板が良品であるか否かを判定する判定部をさらに備えることを特徴とする請求項３に記載の外観検査装置。