JP2004333446A - Appearance inspection method, appearance inspection apparatus, program therefor, and recording medium therefor - Google Patents
Appearance inspection method, appearance inspection apparatus, program therefor, and recording medium therefor Download PDFInfo
- Publication number
- JP2004333446A JP2004333446A JP2003133426A JP2003133426A JP2004333446A JP 2004333446 A JP2004333446 A JP 2004333446A JP 2003133426 A JP2003133426 A JP 2003133426A JP 2003133426 A JP2003133426 A JP 2003133426A JP 2004333446 A JP2004333446 A JP 2004333446A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cut
- information
- inspection
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、基板上の検査対象物を走査して画像を取得し、検査を行う外観検査方法、外観検査装置、そのプログラム及びその記録媒体に関する。
【0002】
【従来の技術】
従来の外観検査装置は、レーザとその反射光を受ける受光センサを備えたレーザユニットを用いて基板を走査して基板面の情報を画像として取得し、取得した基板画像を用いて所定の検査を行う。レーザユニットは走査できる最大の領域(走査可能領域)がある。走査可能領域を超える大きさを有する基板を走査する場合は、基板を複数の領域に分割し、レーザユニットは各領域を走査し基板全面の分割画像を取得する。
【0003】
以下では、図8から図11を用いて従来例の外観検査装置について説明する。図8(a)は従来例の外観検査装置の構成を示すブロック図である。図8の外観検査装置は基板走査部1、信号処理部8を有する。図8(b)は、基板走査部1を図8(a)の右側から見たブロック図である。
図8において、基板走査部1は、支持台102、モータ103、106、ガイド104、107、レーザユニット105、制御部108を有する。101は、検査対象である基板である。109はレーザユニット105が単体で(モータ103により駆動されない場合に)X軸方向に走査可能な幅を示している。
信号処理部8は、画像情報記憶部801、検査処理部802、実装データ記憶部803、検査基準データ記憶部804、合成画像生成部805を有する。
【0004】
基板101には、部品や半田等、様々な検査対象物が実装(装着)されているプリント基板である。支持台102は、基板101を上に載せて固定するものであり、Y軸方向に動くことができる。モータ103は、ガイド104に沿って支持台102をY軸方向に移動させ、支持台102のY軸方向の位置を決定する。レーザユニット105は、基板101にレーザ光を照射して基板101からの反射光を受光し、受光した反射光を電気信号に変換して基板面の情報を画像データとして出力する。
通常の大きさの基板101において、外観検査装置のレーザユニット105は検査対象となる基板101全体の情報を一枚の画像として取得することはできず、基板101を複数の領域に分割し、各領域毎に画像データを取得する。本明細書では、レーザユニット105が取得する基板101の各領域の画像データを基板領域画像と呼ぶ。
【0005】
レーザユニット105は取得した基板領域画像を、画像情報記憶部801へ出力する。
モータ106は、ガイド107に沿ってレーザユニット105を移動させ、レーザユニット105の基板101に対するX軸方向の位置を決定する。
制御部108は、モータ103、モータ106を駆動することにより、レーザユニットが照射するレーザ光の基板101への照射位置を制御し、レーザユニット105による基板101の走査を制御し、走査した基板の位置や領域などの走査情報を検査処理部802へ出力する。レーザユニット105が単体ではX軸方向に109で示す領域の基板面しか一度に走査できない。制御部108は、モータ106を駆動してレーザユニット105をX方向に移動させ、モータ103を駆動して支持台102をY方向に移動させ、レーザユニット105の走査領域をそれぞれX方向及びY方向に移動させる。これを繰り返して、レーザユニット105は基板101全面を走査する。制御部108は、検査処理部802に走査した基板101の位置及び領域(範囲)の情報を伝送する。
【0006】
従来例の外観検査装置の信号処理部8の説明をする。
画像情報記憶部801は、レーザユニット105から出力される基板101の各領域の基板領域画像、及び合成画像生成部805が合成した合成画像を記憶する。画像情報記憶部801は、必要に応じて検査処理部802及び合成画像生成部805からランダムにアクセスすることが可能になっている。
実装データ記憶部803は、基板101上の検査対象物が実装される位置の情報等の実装データを予め記憶している。
【0007】
検査基準データ記憶部804は、検査対象物を検査するときに実装の合否基準となる検査基準データを予め記憶している。合成画像生成部805は、検査処理部802の指示に従い、画像情報記憶部801に記憶されている基板101の複数の分割領域の基板領域画像を貼りあわせて合成する。合成画像生成部805は、分割画像の画像間の位置ずれをマッチング処理により検出し、検出した位置ずれ情報から画像間の位置ずれを補正し、貼り合わて一枚の画像に合成する。画像情報記憶部801は、合成画像生成部805が生成した合成画像を記憶する。
【0008】
検査処理部802は、実装データ記憶部803に記憶されている検査対象物の実装データを参照して、画像情報記憶部801に記憶されている基板101の画像データ(基板領域画像)のうち、検査対象物を中心とする一部の領域の画像データ(検査に必要な領域の画像データ)を読み込み、読み込んだ検査対象物の画像データに対して所定の検査処理を行い、検査基準データ記憶部804に記憶されている検査対象物の実装の合否基準となる基準データとその検査結果とを比較し、検査対象物の実装の合否を判定する。
【0009】
画像情報記憶部801が、検査処理部802が検査をしようとする検査対象物の画像を完全に含む基板領域画像を記憶している場合、検査処理部802は、その基板領域画像を読み出して検査処理を実行し、合否判定結果を出力する。
検査処理部802が検査をしようとする検査対象物の画像データが画像情報記憶部801に記憶される複数の基板領域画像に、分割された状態で記憶されている場合、検査処理部802は、合成画像生成部805にそれらの複数の基板領域画像の合成を指示する。
合成画像生成部805は、画像情報記憶部801に記憶されている複数の基板領域画像を貼りあわせて合成画像を生成する。合成画像は、各基板領域画像に含まれる検査対象物の部分の画像を貼り合わせて生成された、検査対象物全体の画像を含む。検査処理部802は、合成画像を使用して検査処理を実行し、合否判定結果を出力する。
【0010】
検査処理部802が検査をしようとする検査対象物を完全に含む合成画像を合成するために必要な基板領域画像が全て画像情報記憶部801に記憶されていない場合(検査対象物の一部分の画像データしか記憶していない場合)、検査処理部802は制御部108に、レーザユニット105が前回の走査領域と一部重畳するようにして、検査対象物の残る部分を含む領域を次に走査するように指示する。レーザユニット105は指示された領域を走査し、画像情報記憶部801はその領域の基板領域画像を取り込む。合成画像生成部805は、既に保持していた基板領域画像と新たに取得した基板領域画像とを合成し、合成画像を生成する。検査処理部802は、合成画像を使用して検査処理を実行し、合否判定結果を出力する。
【0011】
合成画像生成部805は、検査処理部802から合成画像を作成する指示を受けると、画像情報記憶部801から合成画像を作成するための基板領域画像(分割された検査対象物を含む基板領域画像)を読み出し、読み出した基板領域画像を貼り合わせて合成し、画像情報記憶部801へ出力する。合成画像生成部805は、隣接する複数の基板領域画像の間の重複領域における位置ずれをマッチング処理により検出し、検出した位置ずれ情報から基板領域画像間の位置ずれを補正し、複数の基板領域画像を貼り合わて一枚の画像に合成する。
【0012】
レーザユニット105がレーザにより画像情報(基板領域画像)を取得する方法の概要について図9を用いて説明する。図9(a)〜(c)は、レーザが基板にレーザ光を照射し、PSD(Positon Sensitive Detector)センサ及びフォトセンサ910が基板からの反射光を受光する様子を模式的に示す図である。従来例のレーザユニット105は、図9(a)及び(b)の構成と、図9(c)の構成とを合わせた構成を有し、2種類の画像データを入力する。
図9(a)〜(c)において、901はレーザ半導体、902はレーザ照射光、903は基板、904はPSDセンサ、905及び907は反射光、906は基板上の部品、908は垂直反射光、909はハーフミラー、910はフォトセンサである。レーザ半導体901、PSDセンサ904、ハーフミラー909、フォトセンサ910は、レーザユニット105の内部に設置されている。
【0013】
図9(a)及び(b)は、レーザユニット105が1つの種類の画像データを取得するための構成及び動作を説明する図である。レーザ半導体901は、基板903に垂直にレーザ照射光902を照射する。レーザ照射光902は、基板903に垂直に入射され、反射光905として斜め方向に反射される。
PSDセンサ904は、基板903により斜め方向に反射された反射光905を受光し、反射光905の受光量(PSDセンサ904の位置に応じて変化する)に応じた電気信号を出力する。
PSD904が反射光905を受光する受光位置は、レーザ照射光902が基板903上で反射される高さに応じて変わる。このためPSDセンサ904の出力信号とその位置情報とから、基板上の高さ情報(基板に実装された部品及び半田等に起因して生じた基板の凹凸の情報)を検出し、高さの情報を含む画像を作ることができる。
【0014】
例えば、図9(a)に示したように基板903上の部品が実装されていない部分にレーザ照射光902が照射されている場合は、PSDセンサ904が反射光905を受光する位置(受光位置)はAの位置となる。
図9(b)に示したように、基板903上の部品906が実装されている部分にレーザ照射光902が照射されている場合は、レーザ照射光902が反射される位置が部品のない場合に比べて高くなるので、PSDセンサ904がその反射光907を受光する受光位置はBの位置となる。
このように反射光の受光位置が基板面の高さにより変わるためPSDセンサ904が反射光を受光する位置により、基板面の高さの変化を検出することができる(三角測量法)。外観検査装置は、基板面の高さのデータを各画素のデータとする基板領域画像を生成し、画像情報記憶部801に格納する。
【0015】
図9(c)は、レーザユニット105が他の1つの種類の画像データを取得するための構成及び動作を説明する図である。
図9(c)において、レーザ半導体901は基板903に対して垂直にレーザ照射光902を照射する。ハーフミラー909は垂直に反射した反射光908を入力し、その進行方向を変える。フォトセンサ910は、ハーフミラー909により進行方向を変えられた垂直反射光908を受光し、受光量に応じた電気信号を出力する。フォトセンサ910で垂直反射光908の光量を測定することにより基板面の落射情報を検出できる。外観検査装置は、落射画像(基板の表面、実装部品、半田等の反射率に応じた輝度を有する画像)である基板領域画像を生成し、画像情報記憶部801に格納する。
図8のレーザユニット105は、異なる受光センサを用いることにより基板の高さ画像や落射画像などの特性の異なる複数の種類の画像を取得することができる。
【0016】
次に、レーザユニット105が支持台102上の基板101にレーザ光を照射して走査する方法について図10を用いて説明する。
基板101をのせた支持台102は、図10のY軸方向に動くことができる。レーザユニット105は、X軸方向に動くことができる。
基板101の走査において、レーザユニット105は単体でX軸方向に109で示す直線範囲しか走査することができない。レーザユニット105がX軸方向に109で示す直線範囲を走査する毎に、モータ103は支持台102を移動させてレーザユニット105のY軸方向の走査位置を1ラインずらす。これを繰り返す。
【0017】
基板101のY軸方向の全幅についてレーザユニット105が109で示す直線範囲を走査し終えると(1領域の走査を終えると)、外観検査装置は、(X軸方向:レーザユニット走査可能幅(幅109))×(Y軸方向:基板のY軸方向幅1001)の矩形領域の基板領域画像を取得することができる。
【0018】
レーザユニット105が単体でX軸方向に走査可能な幅は幅109に限定されている故に、基板101のX軸方向幅がレーザユニット105の走査可能幅より大きい場合は、1領域の走査を終える毎に、モータ103がレーザユニット105をX軸方向に移動させる。レーザユニット105は、次のX軸方向の位置で、幅109で基板101の走査を開始する。上記と同様に、レーザユニット105がX軸方向に109で示す直線範囲を走査する毎に、モータ103は支持台102を移動させてレーザユニット105のY軸方向の走査位置を1ラインずらす。外観検査装置は、次の矩形領域の基板領域画像を取得する。これを繰り返すことにより、外観検査装置は基板101全面を分割した複数の基板領域画像を取得することができる。
外観検査装置は、このようにして取得した画像中の検査対象物に対して所定の検査を行い検査対象物の実装の合否を判定する。
【0019】
次に、検査処理部802が合成画像生成部805に基板領域画像の合成を指示する動作、及び合成画像生成部805が、基板領域画像を合成する画像合成処理について図11を用いて説明する。
図11(a)は、部品や半田などの検査対象物が実装されている基板を示している。図11(a)において、1101は基板である。1102、1103、1104は部品や半田などの検査対象物である。1105は、画像合成処理を分かりやすくするために仮に示しているマーカである。
X軸方向の幅1107、1109、1110は、レーザユニット105が単体でX軸方向に走査可能な幅を示し、Y軸方向の幅1108は基板1101のY軸方向の幅を示す。幅1107×長さ1108の領域、及び幅1110×長さ1108の領域は、それぞれレーザユニット105が走査する1領域を示し、外観検査装置は、それぞれの矩形領域の基板領域画像を取得する。
【0020】
図11(b)は、基板1101の幅1107×長さ1108の領域を走査して取得した基板領域画像を示している。図11(b)の基板領域画像は、検査対象物1102、検査対象物1103の一部である1103Aとマーカ1105の画像データを含む。
図11(b)に示す基板領域画像において、検査対象物1102に関しては、全体の画像が得られているので、検査処理部802は所定の検査をしてその実装の合否を判定する。
検査対象物1103に関しては、その一部である1103Aの画像データしか得られていないため、検査処理部802はそのままでは検査できない。検査処理部802が検査対象物1103を検査するためには、検査対象物1103の残りの画像データを含んだ基板領域画像を取得し、それらを貼り合わせて検査対象物1103全体を含む画像を作る必要がある。
図11(b)の基板領域画像は画像情報記憶部801に保持される。
【0021】
先の走査で、レーザユニット105は幅1107×長さ1108の領域を走査して、その領域の基板領域画像を取得した。この領域内に、画像データが分割された検査対象物がない場合は、次にレーザユニッ105はX軸方向に移動し、幅1109×長さ1108の領域を走査する。幅1107×長さ1108の領域内に、画像データが分割された検査対象物がある場合は(図11(b)に示すように分割されて走査された検査対象物1103がある場合は)、レーザユニット105は、X軸方向の幅1107と一部重複する幅1110×長さ1108の領域を走査して、その領域の基板領域画像を取得する。この領域の基板領域画像が画像情報記憶部801に出力される。
【0022】
図11(c)は、基板1101の幅1110×長さ1108の領域の基板領域画像を示している。図11(b)及び(c)において、それぞれ破線1111の右側の領域及び破線1111の左側の領域は、図11(b)と図11(c)の基板領域画像が重複している領域(1107と1110との重複領域。以下、重複領域1111と呼ぶ。)を示している。図11(c)の基板領域画像では、検査対象物1103の一部である1103B、検査対象物1104とマーカ1105の画像データが得られている。マーカ1105は重複領域1111内に入っているために同じ画像データが取得される。図11(c)の検査対象物1104については、その画像が分割されていないので、検査処理部802は所定の検査をしてその実装の合否を判定する。図11(c)の基板領域画像において、検査対象物1103についてはその一部である1103Bの画像データしか得られていない。しかし、これと、先に画像情報記憶部801に保持している図11(b)の基板領域画像の1103Aとを貼り合せて、検査対象物1103の合成画像を作ることができる。
【0023】
検査処理部802は、図11(b)と(c)の基板領域画像を合成するように合成画像生成部805に指示する。合成画像生成部805は、図11(b)と(c)の基板領域画像を貼り合せ、図11(d)に示す合成画像を生成し、生成した合成画像を画像情報記憶部801へ出力する。
検査処理部802は、合成画像生成部805により合成された合成画像(図11(d))に含まれている検査対象物1103の全体の画像1103Cを検査し、その実装の合否を判定する。
【0024】
図8のレーザユニット105による基板の走査時には温度条件などにより機械的な走査誤差が発生するので、取得された基板領域画像間には数画素程度の位置ずれがある。このため、基板領域画像を貼り合わせて一枚の画像に合成する場合には基板領域画像間の位置ずれを補正する必要がある。基板領域画像間の位置ずれ情報は、基板領域画像の重複領域の画像データを用いてマッチング処理により検出する。図11(b)と(c)においては、重複領域1111の画像データ(例えばマーカ1105、及び1103Aと1103Bとの重複部分)を用いてマッチングにより比較し、図11(b)と(c)の基板領域画像の位置ずれ情報を検出する。そして検出された位置ずれ情報を基に図11(b)と(c)の基板領域画像の位置を補正して貼り合わせ一枚の画像(図11(d))に合成する。図11(b)と(c)の基板領域画像の重複領域にあるマーカ1105は、図11(d)の合成画像においては1つに重なる。
【0025】
【特許文献1】特開2002−181729号公報
【0026】
【発明が解決しようとする課題】
しかしながら、上記従来の外観検査装置では、以下に示すような問題があった。
検査対象物の画像データが分割され、画像合成を必要とする場合、画像情報記憶部は、画像が分割された検査対象物を含む全ての(複数の)基板領域画像を記憶し、且つ合成画像生成部が生成する合成画像も記憶しなければならなかった。さらに、それぞれの領域について特性の異なる複数種類の基板領域画像を取得する場合は、画像情報記憶部は、それぞれの種類毎の全ての(複数の)基板領域画像及び合成画像を記憶する必要があった。画像情報記憶部は、大きな記憶容量を必要とした。
従来の外観検査装置では、検査対象物にフォーカスして画像合成処理をしているわけではない故(重複領域全体で1つの位置ずれ情報を取得していた。)、検査対象物の画像を最適に位置補正して合成することが困難であるという問題点を有していた。
本発明は、上記問題点を解決しようとするものであり、検査対象物の合成画像を生成する上で必要な記憶領域の容量が少なく、検査対象物にフォーカスして位置補正をして、合成画像を生成する外観検査方法、外観検査装置、そのプログラム及びその記録媒体を提供することを目的とする。
「検査対象物にフォーカスして位置補正をする」とは、検査対象物毎に個別にマッチング処理をして、検査対象物毎の位置ずれ情報を取得し、検査対象物を合成する上で各検査対象物毎に最適になるように位置補正をしての意味である。複数の基板領域画像に画像がまたがる検査対象物の数と同数の位置ずれ情報を取得する。
【0027】
【課題を解決するための手段】
上記課題を解決するため、本発明は以下の構成を有する。本発明の請求項1に記載の外観検査方法は、検査対象物が装着された基板を複数の領域に分割し、隣接する前記領域の画像と一部が重複するように、前記領域の画像である基板領域画像を生成する基板領域画像生成工程と、前記基板領域画像から、前記検査対象物及びその近傍の領域のみの画像である切出し画像を生成する切出し画像生成工程と、隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行い、それらの前記切出し画像間の位置ずれ情報を検出する位置ずれ情報検出工程と、検出した前記位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記検査対象物の一部の前記切出し画像と他の一部の前記切り出し画像とを合成し、前記検査対象物の全体の合成画像を生成する合成画像生成工程と、前記合成画像に基づいて所定の検査を行い、検査結果を出力する検査処理工程と、を有する。
これにより、分割された検査対象物を貼り合せる画像合成処理に必要な記憶領域の容量を少なくすることができる。また、検査対象物にフォーカスして位置補正をして合成画像を生成することができる。切出し画像を合成する際のずれを少なくすることができる。
【0028】
本発明の請求項2に記載の外観検査装置は、検査対象物が装着された基板を複数の領域に分割して走査し、隣接する前記領域の画像と一部が重複するように、前記領域の画像である基板領域画像を生成する基板領域画像生成部と、前記基板領域画像から、前記検査対象物及びその近傍の領域のみの画像である切出し画像を生成する切出し画像生成部と、隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行い、それらの前記切出し画像間の位置ずれ情報を検出する位置ずれ情報検出部と、検出した前記位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記検査対象物の一部の前記切出し画像と他の一部の前記切り出し画像とを合成し、前記検査対象物の全体の合成画像を生成する合成画像生成部と、前記合成画像に基づいて所定の検査を行い、検査結果を出力する検査処理部と、を有する。
これにより、分割された検査対象物を貼り合せる画像合成処理に必要な記憶領域の容量を少なくすることができる。また、検査対象物にフォーカスして位置補正をして合成画像を生成する。切出し画像を合成する際のずれを少なくすることができる。
【0029】
本発明の請求項3に記載の外観検査装置は、前記基板領域画像取得部は、各領域につき特性の異なる複数種類の前記基板領域画像を生成し、前記位置ずれ情報検出部は、複数種類の前記基板領域画像から生成された複数種類の前記切出し画像毎に、重複領域においてマッチング処理を行って前記位置ずれ情報を検出し、検出した複数の前記位置ずれ情報に基づいて、統一の位置ずれ情報を決定し、前記合成画像生成部は、前記統一の位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記合成画像を生成する、ことを特徴とする請求項2に記載の外観検査装置である。検査対象物を合成する上で最適な位置ずれ情報で画像合成を行うことができる。
【0030】
本発明の請求項4に記載の外観検査装置は、前記位置ずれ情報検出部は、検出した複数の前記位置ずれ情報を平均した位置ずれ情報を前記統一の位置ずれ情報とすることを特徴とする請求項3に記載の外観検査装置である。検査対象物を合成する上で最適な位置ずれ情報で画像合成を行うことができる。
【0031】
本発明の請求項5に記載の外観検査装置は、前記位置ずれ情報検出部は、検出した複数の前記位置ずれ情報のうち、マッチング処理時に導出されるマッチング度が一番高い前記位置ずれ情報を前記統一の位置ずれ情報とすることを特徴とする請求項3に記載の外観検査装置である。これにより、検査対象物に最適な位置ずれ情報で画像合成を行うことができる。
「マッチング度」は、位置ずれ情報を基に複数の切出し画像の位置を補正した時、重複領域における複数の切出し画像の一致具合を示す指標である。複数の切出し画像が一致している程、マッチング度は高い。
【0032】
本発明の請求項6に記載の外観検査装置は、前記位置ずれ情報検出部は、マッチング処理時にマッチング度が一番高い前記位置ずれ情報を導出するのに用いた前記基板領域画像の種類を同じ構成で実装された基板と対応付けて又は同じ構成で実装された基板及びその領域と対応付けて記憶し、記憶した基板と同じ構成で実装された他の基板、又は同じ構成で実装された他の基板の同一の領域を検査する場合、記憶する種類の前記切出し画像を用いて前記位置ずれ情報を検出して前記統一の位置ずれ情報とすることを特徴とする請求項5に記載の外観検査装置である。本発明においては、マッチング度が一番高い種類の画像を記憶して、次に検査する同一基板の同一検査対象物については、記憶した種類の画像のみでその位置ずれ情報を検出する。これにより、余分な位置ずれ情報検出の処理を省略でき(処理を短時間で実行できる。)、検査対象物に最適な位置ずれ情報で画像合成することができる。
【0033】
本発明の請求項7に記載の外観検査装置は、前記位置ずれ情報検出部は、隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行う時、それらの前記切出し画像の一部のみを用いてマッチング処理を行い、前記位置ずれ情報を検出することを特徴する請求項2に記載の外観検査装置である。これにより、位置ずれ情報の検出処理の演算量を少なくでき、演算処理時間を短くできる。
【0034】
本発明の請求項8に記載の外観検査装置は、前記位置ずれ情報検出部は、重複領域における前記切出し画像の画素値の変化が大きいエッジ周辺部分のみを用いてマッチング処理を行うことを特徴とする請求項7に記載の外観検査装置である。これにより、位置ずれ情報の検出処理の演算量を少なくでき、演算処理時間を短くできる。
【0035】
本発明の請求項9に記載の外観検査装置は、前記位置ずれ情報検出部は、重複領域における前記切出し画像の前記検査対象物の上下のエッジ周辺部分のみを用いてマッチング処理を行うことを特徴とする請求項8に記載の外観検査装置である。マッチング処理に用いる画像の範囲をマッチングし易い検査対象物の上下のエッジ周辺の部分に限定することにより、位置ずれ情報の検出処理の演算量を少なくでき、演算処理時間を短くできる。
【0036】
本発明の請求項10に記載の外観検査装置は、前記位置ずれ情報検出部は、重複領域における前記切出し画像の複数の部分のそれぞれを用いてマッチング処理を行って前記位置ずれ情報を検出し、各部分毎に検出された複数の前記位置ずれ情報を平均した位置ずれ情報を、前記位置ずれ情報として出力することを特徴とする請求項7から請求項9の何れかの請求項に記載の外観検査装置である。検査対象物を合成する上で最適な位置ずれ情報を求めることができる。
【0037】
本発明の請求項11に記載の外観検査装置は、前記位置ずれ情報検出部は、重複領域における前記切出し画像の複数の部分のそれぞれを用いてマッチング処理を行い、マッチング処理時に導出されるマッチング度が一番高い前記位置ずれ情報を前記位置ずれ情報として出力することを特徴とする請求項7から請求項9の何れかに記載の外観検査装置である。検査対象物を合成する上で最適な位置ずれ情報で画像合成を行うことができる。
【0038】
本発明の請求項12に記載の外観検査装置は、前記位置ずれ情報検出部は、マッチング処理時にマッチング度が一番高い前記位置ずれ情報を導出するのに用いた前記切出し画像の部分を同じ構成で実装された基板及びその領域と対応付けて記憶し、記憶した基板と同じ構成で実装された他の基板の同一の領域を検査する場合、記憶する前記切出し画像の部分を用いて前記位置ずれ情報を検出することを特徴とする請求項11に記載の外観検査装置である。余分な位置ずれ情報検出の処理を省略でき(処理を短時間で実行できる。)、検査対象物に最適な位置ずれ情報で画像合成することができる。
【0039】
本発明の請求項13に記載のプログラムは、検査装置のコンピュータに、請求項2から請求項12のいずれかの請求項に記載の前記切出し画像生成部、前記位置ずれ情報検出部及び前記合成画像生成部として機能させる。本発明のプログラムを検査装置のコンピュータに実行させることにより、上記の効果が得られる。
【0040】
本発明の請求項14に記載の記録媒体は、請求項13に記載のプログラムを記録したコンピュータにより読み取り可能な記録媒体である。本発明の記録媒体に記録されたプログラムを検査装置のコンピュータに実行させることにより、上記の効果が得られる。
【0041】
【発明の実施の形態】
以下本発明の実施をするための最良の形態を具体的に示した実施の形態について図面とともに記載する。
【0042】
《実施の形態1》
図1〜4を用いて、本発明の実施の形態1の外観検査装置を説明する。図1(a)は本発明の実施の形態1の外観検査装置の構成を示すブロック図である。実施の形態1の外観検査装置は、基板走査部1、信号処理部2を有する。図1(b)は、基板走査部1を図1(a)の右側から見たブロック図である。
図1において、基板走査部1は、支持台102、モータ103、106、ガイド104、107、レーザユニット105、制御部108を有する。101は、検査対象である基板である。109はレーザユニット105が単体で(モータ103により駆動されない場合に)X軸方向に走査可能な幅を示している。
信号処理部2は、検査基準データ記憶部112、検査処理部113、切出し画像生成部114、合成画像生成部115、切出し画像記憶部116を有する。
【0043】
基板走査部1は、図8で示した従来例の外観検査装置の基板走査部1と同一の構成を有する。本実施の形態の制御部108は、信号処理部2の切出し画像生成部114からの指令を受けて、モータ103及びモータ106を駆動し、レーザユニット105の走査位置を調節する。実施の形態1において、従来例(図8)と同一のブロックには同一の符号を付している。同一のブロックの説明を省略する。
本実施の形態の信号処理部2について説明する。基板領域画像記憶部110は、レーザユニット105から出力される基板101の基板領域画像を記憶する。切出し画像生成部114は、必要に応じて基板領域画像記憶部110にランダムアクセスできる。
実装データ記憶部111は、基板101上の検査対象物が実装されている位置などの実装データを予め記憶している。
【0044】
切出し画像生成部114は、実装データ記憶部111に記憶されている検査対象物の実装データを参照して、検査をしようとする検査対象物を含む基板領域画像を読み取るように制御部108に指示する。切出し画像生成部114は、基板領域画像記憶部110に記憶されている基板101の基板領域画像から、検査対象物及びその近傍の領域の基板領域画像のみの画像である切出し画像を生成し、検査対象物の種別や切出し位置などの検査に必要な付加情報を付加する。切出し画像生成部114は、切出し画像が検査対象物の全ての画像データを含んでいる場合はその切出し画像を検査処理部113に出力し、切出し画像が検査対象物の一部のみを含んでいる場合にはその切出し画像を合成画像生成部115に出力する。切出し画像生成部114は、得られた切出し画像が検査対象物の一部のみを含み、検査対象物の他の一部の切出し画像を未だ取得していない場合は、レーザユニット105が、次回の走査領域が前回の走査領域と一部重畳するように、走査をすることを制御部108に指示する。
【0045】
切出し画像記憶部116は、合成画像生成部115が出力する切出し画像を記憶する。合成画像生成部115は、必要に応じて切出し画像記憶部116にランダムアクセスできる。
合成画像生成部115は、切出し画像生成部114から検査対象物の一部のみを含む切出し画像を入力すると、その検査対象物(切出し画像に一部のみが含まれている。)の残りの部分を含む切出し画像を切出し画像記憶部116から検索し、その検査対象物の全体を完全に含む画像を合成することができる場合は、それらの切出し画像を貼り合わせて、その検査対象物を完全に含む合成画像を作成する。
【0046】
合成画像生成部115は、切出し画像生成部114から入力した検査対象物の一部のみを含む切出し画像と、切出し画像記憶部116に記憶されている切出し画像を貼り合わせても、その検査対象物の全体を完全に含む合成画像を作成することができない場合は、切出し画像生成部114から入力した切出し画像を切出し画像記憶部116に記憶して後の画像合成のために保持する。
合成画像生成部115は、それぞれ検査対象物の一部のみ及び他の一部のみを含む複数の切出し画像の重複領域における位置ずれを、マッチング処理により検出する。合成画像生成部115は、検出した位置ずれ情報に基づいて複数の切出し画像間の位置ずれを補正し、複数の切出し画像を貼り合わて(合成して)一枚の合成画像を生成する。生成した検査対象物の合成画像を検査処理部113に出力する。
【0047】
検査処理部113は、切出し画像生成部114又は合成画像生成部115が出力する検査対象物を含んだ切出し画像を入力し、入力したそれらの画像に対して所定の検査処理を行い、検査結果と、検査基準データ記憶部112に記憶されている検査対象物の実装の合否基準となる基準データとを比較して、検査対象物の実装の合否を判定する。
以上のように本発明の実施の形態1の外観検査装置は、基板走査部1は基本的に従来の外観検査装置の構成(図8)と変わらず、基板の走査方法などは従来の外観検査装置と同じであり、信号処理部2の切出し画像生成部114、切出し画像記憶部116などの一部の構成と、合成画像生成部115の処理方法が、従来の外観検査装置と異なる。
【0048】
図2を用いて、本実施の形態の切出し画像生成部114が検査対象物の切出し画像を生成する処理を説明する。図2(a)は部品や半田などの検査対象物が実装されている基板を示す図である。図2(a)において、201は基板であり、202、203、204は基板201上に実装されている検査対象物である。
X軸方向の幅206、208は、レーザユニット105が単体でX軸方向に走査可能な幅を示し、Y軸方向の幅207は基板201のY軸方向の幅を示す。幅206×長さ207の領域、及び幅208×長さ207の領域は、それぞれレーザユニット105が走査する1領域を示し、外観検査装置は、それぞれの矩形領域の基板領域画像を取得する。
図2(b)は、基板201の幅206×長さ207の矩形領域を走査して取得した基板領域画像を示している。図2(b)の基板領域画像は、検査対象物202及び検査対象物203の一部である203Aの画像データを含む。
【0049】
切出し画像生成部114は、図1の実装データ記憶部111に記憶されている検査対象物の基板上の実装データを参照して検査対象物の実装位置を中心とした検査に必要な領域(検査対象物及びその近傍(周辺)のみを含む領域)を切出して切出し画像を作成する。
例えば、図2(b)の基板領域画像が得られた場合、切出し画像生成部114は、検査対象物202に関する領域210の画像データを切出した切出し画像と、検査対象物203の一部である203Aに関する領域211の画像データを切出した切出し画像と、を生成する。切出し画像生成部114は、これらの切出し画像に画像の種別や切出した位置などの、後の画像合成処理や検査処理に必要な固有情報を画像データの付加情報として付加する。
【0050】
図2(d)は、図2(b)の基板領域画像から検査対象物を中心とする部分(検査対象物及びその近傍(周辺)のみを含む領域)を切出した切出し画像214、215を示す図である。
図2(d)において、214は図2(b)の領域210を切出した切出し画像であり、215は図2(b)の領域211を切出した切出し画像である。
図2(d)の切出し画像214は検査対象物202の全体を含んでいるので、切出し画像生成部114は、切出し画像214を検査処理部113に出力する。検査処理部113は、切出し画像214を入力すると、切出し画像214を検査して検査対象物202の実装の合否を判定する。
【0051】
図2(d)の切出し画像215は、検査対象物203の一部である203Aしか含んでいないので、そのままでは検査できない。切出し画像生成部114は、切出し画像215を合成画像生成部115に出力する。合成画像生成部115は、切出し画像215を入力すると、切出し画像215と貼り合わせるための切出し画像を切出し画像記憶部116から検索する。切出し画像215と貼り合わせる為の切出し画像は、切出し画像記憶部116に記憶されていないので、合成画像生成部115は切出し画像215を切出し画像記憶部116に格納する。
【0052】
検査対象物203を検査するためには、検査対象物203を完全に含む合成画像を作成しなければならない。そのためには検査対象物203の残りの画像データが必要である。切出し画像生成部114は、次の基板走査において、レーザユニット105が先の走査領域(幅206×長さ207の領域)と一部重複した幅208×長さ207の領域を走査して、基板領域画像を取得するように、制御部108に指示を出す。
制御部108は、切出し画像生成部114の指示に従い、レーザユニット105に基板101を走査させる。
【0053】
図2(c)は、基板201の幅208×長さ207の矩形領域を走査して取得した基板領域画像を示している。図2(c)の基板領域画像は、検査対象物204と検査対象物203の一部である203Bの画像データを含む。
切出し画像生成部114は、図2(b)の基板領域画像から切出し画像を生成したのと同様に、図2(c)の基板領域画像について画像切出し処理を行い、検査対象物204に関する領域213の画像データを切出した切出し画像と、検査対象物203の一部である203Bに関する領域212の領域の画像データを切出した切出し画像と、を生成する。
【0054】
図2(e)は、図2(c)の基板領域画像から生成した切出し画像(検査対象物及びその近傍(周辺)のみを含む領域の画像データ)を示す図である。図2(e)において、216は図2(c)の領域213の領域を切出した切出し画像であり、217は図2(c)の212の領域を切出した切出し画像である。切出した切出し画像には、後の画像合成処理や検査処理に必要な固有情報が画像の付加情報として付加される。
図2(e)の切出し画像216は、検査対象物204の全体を含んでいるので、切出し画像生成部114は、切出し画像216を検査処理部113に出力する。検査処理部113は、切出し画像216を入力すると、切出し画像216を検査して検査対象物204の実装の合否を判定する。
【0055】
図2(e)の切出し画像217は、検査対象物203の一部である203Bしか含んでいないので、そのままでは検査できない。切出し画像生成部114は、切出し画像217を合成画像生成部115に出力する。切出し画像記憶部116には、先に取得された切出し画像215が記憶されている。
合成画像生成部115は、切出し画像生成部114から切出し画像217を入力すると、切出し画像217と貼り合わせるべき画像データを切出し画像記憶部116から検索し、切出し画像215を読み込む。合成画像生成部115は、切出し画像215と切出し画像217とを貼り合わせて合成画像を生成し、生成した合成画像を検査処理部113へ出力する。検査処理部113は、合成画像を入力すると、合成画像を検査して検査対象物203の実装の合否を判定する。
【0056】
次に図3を用いて、合成画像生成部115の画像合成処理を説明する。画像合成処理は、基本的に検査対象物の一部と他の一部とを含む複数の切出し画像の重複領域の画像データを用いて、複数の切出し画像の位置ずれ情報をマッチング処理により検出し、検出した位置ずれ情報を基に複数の切出し画像間の位置ずれを補正して、貼り合わせ、一枚の合成画像を生成することにより行う。
【0057】
図3は検査対象物203の一部203Aを含む切出し画像215と、査対象物203の他の一部203Bを含む切出し画像217とを合成する方法を説明するための図である。
図3の領域209は切出し画像215と切出し画像217の画像とが重複する領域を示している。切出し画像215と切出し画像217の合成処理を行う場合は、重複領域209の画像データどうしをマッチングにより比較して、切出し画像215と切出し画像217の位置ずれ情報を検出する。検出した位置ずれ情報を基に切出し画像215と切出し画像217との間の位置ずれを補正して、合成画像生成部115は両者を貼り合せることにより、一枚の合成画像を作る。
【0058】
以下、本実施の形態の外観検査装置の基板検査方法について図4を用いて説明する。ステップ401で、レーザーユニット105が最初に走査する基板上の走査領域を設定する。ステップ402で、レーザーユニット105が設定された走査領域を走査して、その走査領域の基板領域画像を取得する。
ステップ403で、切出し画像生成部114は、前ステップで取得した基板領域画像から検査対象物とその周辺のみを切出した切出し画像を生成する。このとき、一つの基板領域画像から一又は複数の切出し画像が切出される。複数の切出し画像が切出された場合は一つ一つの切出し画像につき以下のステップ404からステップ408を実行する。
【0059】
ステップ404で、切出し画像が検査対象物の全てを含んでいるか否かを判定する。切出し画像が検査対象物の全てを含んでいる場合はステップ408へ進み、切出し画像が検査対象物の一部のみを含んでいる場合は、ステップ405へ進む。
ステップ405で、合成画像生成部115は、ステップ404で検査対象物の一部のみを含んでいると判断された切出し画像と、それ以前に取得された検査対象物の他の一部を含む切出し画像とを貼り合わせることにより検査対象物を完全に含む合成画像を生成することができるか否かを調べる。合成画像を生成できると判断した場合は、ステップ406へ進み、合成画像を作成できないと判断した場合は、ステップ407へ進む。
【0060】
ステップ407で、合成画像生成部115は、ステップ404で検査対象物の一部のみを含んでいると判断した切出し画像を記憶しステップ409へ進む。
ステップ406で、合成画像生成部115は、切出し画像を貼り合わせて検査対象物を完全に含む合成画像を作成する。
ステップ408で、検査処理部113は、ステップ404で検査対象物を全て含んでいると判断された切出し画像、又はステップ406で生成された合成画像から検査対象物の実装の合否を検査する。
【0061】
ステップ409にて、ステップ403で切出りだされた切出し画像の全てについてステップ404からステップ408の処理をしたか否かを調べる。全ての切出し画像について処理をしていた場合はステップ410へ進み、全ての切出し画像について処理をしていなかった場合は、次の切出し画像についてステップ404からステップ408を実行する。
ステップ410にて、検査をしている基板の全ての検査対象物についてステップ408の検査をしたか否かを判定する。全ての検査対象物について検査がされていた場合は処理を終了し、全ての検査対象物について検査がされていなかった場合は、ステップ411へ進む。
【0062】
ステップ411にて、切り出し画像生成部114は、ステップ403で切出された1又は複数の切出し画像の中に、検査対象物の一部のみを含んでおり且つ次の走査領域にその検査対象物の残りの部分があると考えられる切り出し画像があるか否かを調べる。例えば図2(b)において、検査対象物の画像データが基板領域画像の右端で断ち切られていれば(検査対象物203)、次の走査領域にその検査対象物の残りの部分があると判断し、画像データが基板領域画像の右端で断ち切られている検査対象物がなければ、次の走査領域(図2(c))に、図2(b)の基板領域画像に含まれる検査対象物の一部である画像データはないと判断する。
ステップ411で、検査対象物の一部のみを含んでおり且つ次の走査領域にその検査対象物の残りの部分があると考えられる切り出し画像がある場合は、ステップ413へ進み、そのような切り出し画像がない場合はステップ412へ進む。
【0063】
ステップ412にて、前回走査した領域に隣接する領域をレーザーユニット105の次の走査領域として設定し、ステップ402へ戻る。
ステップ413にて、レーザーユニット105の前回走査した領域と一部重複する領域を次の走査領域として設定し、ステップ402へ戻る。
本実施の形態によると、検査対象物を含む部分のみを切出した切出し画像により、検査対象物の実装を検査する。これにより、後の画像合成処理に必要な記憶領域の容量を少なくすることができ、また、検査対象物にフォーカスして(検査対象物毎に個別にマッチング処理をして、検査対象物毎の位置ずれ情報を取得し、検査対象物を合成する上で各検査対象物毎に最適になるように位置補正をして)画像合成処理を行うので、検査対象物に最適な画像合成を行うことができる。
【0064】
《実施の形態2》
以下、本発明の実施の形態2の外観検査装置について図5を用いて説明する。本実施の形態の外観検査装置の構成は、図1で示した実施の形態1の外観検査装置の構成と同一である。本実施の形態の外観検査装置は、切出し画像を合成する方法においてのみ実施の形態1の外観検査装置と異なるので、切出し画像の合成方法についてのみ説明する。
【0065】
本実施の形態の合成画像生成部115は、複数の切出し画像の重複領域の画像データをマッチング処理して切出し画像の間の位置ずれ情報を検出する際に、マッチング処理に用いる領域を切出し画像の重複領域全体ではなく、重複領域の一部分又は複数の部分に限定する。本実施の形態では、これにより位置ずれ情報の検出処理の演算量を少なくすることができる。
以下、この方法について図5を用いて説明する。図5は、本実施の形態の合成画像生成部115が、検査対象物203の一部である203Aを含む切出し画像215と、同じく検査対象物の一部である203Bを含む切出し画像217を合成する動作を説明する図である。
切出し画像215及び217はそれぞれ、検査対象物203の一部である203Aと203Bを含んだ画像データである。図5の209で示した領域は切出し画像215及び217の重複領域を示している。
【0066】
本実施の形態の合成画像生成部115は、切出し画像215及び217をマッチング処理する際に用いる領域を、切出し画像の重複領域209の一部分に限定する。例えば、切出し画像215においてマッチング処理に用いる画像の領域を重複領域209内の211Aの領域に限定し、切出し画像217においてもマッチング処理に用いる画像の領域を重複領域209内の211Bの領域に限定し、領域211Aと領域211B内の画像データをマッチング処理することにより切出し画像215と切出し画像217の位置ずれ情報を検出する。
また、マッチング処理に用いる画像の領域を切出し画像の重複領域の複数部分とする場合は、合成画像生成部115は、図5の領域211Aと領域211Bの他に、例えば切出し画像215の220Aの領域と、対応する切出し画像217の220Bに領域とを設定し、領域220Aと領域220B内の画像データをマッチング処理することにより切出し画像215と切出し画像217のもう1つの位置ずれ情報を検出する。
【0067】
画像のマッチング処理をする際には、画素値の変化が大きい部分を用いるのが好ましい。そこで、マッチング処理に用いる画像の領域を限定する1つの方法として、重複領域の画像中で画素値の変化が大きいエッジ周辺の部分を用いてマッチング処理をする。
重複領域の検査対象物の画像の上辺又は下辺(本明細書及び特許請求の範囲において、基板領域画像は、左側又は右側で他の基板領域画像と隣接する。隣接する基板領域画像の間の境界線とほぼ直角方向に延びる辺又はエッジ)は、検査対象物と基板との境目でありエッジとなっている。マッチング処理に用いる画像の領域を重複領域画像中の検査対象物の上下のエッジ周辺の部分とすることもできる。
これにより位置ずれ情報の検出処理の演算量を少なくし、効率良く位置ずれ情報の検出をすることができる。例えば図5の場合では203Aの上下の境目を囲む領域211Aと領域220Aとがエッジ周辺の領域となっており、203Bの上下の境目を囲む領域211Bと領域220Bとがエッジ周辺の領域となっている。領域211A及び対応する領域211Bと、領域220A及び対応する領域220Bとに、マッチング処理に用いる画像の領域を限定することができる。
【0068】
上記のマッチング処理に用いる画像の領域を、重複領域画像中の複数の部分に限定する際に、複数の部分の画像それぞれでマッチング処理して複数の位置ずれ情報を検出する。複数の位置ずれ情報から最終的な位置ずれ情報を決定する1つの方法としては、複数の位置ずれ情報を平均した結果導かれた位置ずれ情報を最終的な位置ずれ情報とする。これにより最適な位置ずれ情報を求めることができる。
例えば図5では領域211Aと対応する領域211Bをマッチング処理して位置ずれ情報を検出し、領域220Aと対応する領域220Bをマッチング処理して別の位置ずれ情報を検出して2つの位置ずれ情報を検出した場合は、2つの位置ずれ情報を平均した位置ずれ情報を215と217の画像データの位置ずれ情報とする。
【0069】
複数の位置ずれ情報から最終的な位置ずれ情報を決定する別の方法としては、複数の位置ずれ情報のうち、それぞれのマッチング処理時に導かれたマッチング度が一番高い位置ずれ情報を最終的な位置ずれ情報とする。これにより最適な位置ずれ情報を求めることができる。例えば図5では領域211Aと211Bとのマッチング度、及び領域220Aと220Bとのマッチング度を求め、2つのマッチング度のうち高い方のマッチング度のマッチング処理において検出された位置ずれ情報を切出し画像215と217の画像データの位置ずれ情報とする。
【0070】
画像の合成方法の他の方法としては、まず複数の位置ずれ情報のうち、マッチング度が一番高い位置ずれ情報を導出するのに用いた切出し画像の領域と、検査対象物の固有情報と、同じ構成で実装された基板とを対応させて記憶する。そして、同じ構成で実装された別の基板を走査し、同じ固有情報を持つ検査対象物の切出し画像を取得して位置ずれ情報を検出する際には、今度は切出し画像中の記憶されている領域のみを用いて位置ずれ情報を検出し、切出し画像間の最終的な位置ずれ情報とする。切出し画像の領域と対応する検査対象物の固有情報については、図1の切出し画像記憶部116に記憶する。これにより余分な位置ずれ情報を検出する処理を省略でき、短時間の処理で、最適な位置ずれ情報で検査対象物の画像データを位置補正し、画像合成を行うことができる。
【0071】
《実施の形態3》
以下、本発明の実施の形態3の外観検査装置について図6及び図7を用いて説明する。本実施の形態の外観検査装置の構成は、図1で示した実施の形態1の外観検査装置の構成と同一である。
本実施の形態の外観検査装置は、各々の検査対象物について、特性の異なる複数種類の画像情報(基板領域画像)を用いて検査対象物の実装を検査する。例えば、基板の高さ情報に関する基板領域画像と落射情報に関する基板領域画像と(従来例の図9で説明した。)を含む複数種類の基板領域画像を用いて各々の検査対象物の実装を検査する。
本実施の形態においては、レーザユニット105は、特性の異なる複数種類の基板領域画像を生成して出力する。例えば、高さ情報に関する基板領域画像、落射情報に関する基板領域画像を含む特性の異なる3種類の基板領域画像を基板領域画像記憶部110に記憶する。
【0072】
切出し画像生成部114は、基板領域画像記憶部110に記憶されている特性の異なる複数種類の基板領域画像から、検査対象物周辺の部分のみを切出して、切出し画像を出力する。
合成画像生成部115は、検査対象物の一部のみを含む切出し画像について同一の種類の(同一の特性の)基板領域画像から生成された切り出し画像(以下、「同一の特性の切出し画像」と呼ぶ。)毎に、位置ずれ情報を検出し、合成し、各々の種類の合成画像を作成する。
図6のフローチャートを用いて、特性の異なる複数種類の基板領域画像を用いた従来例の基板の外観検査方法を説明する。図6に示す従来例の外観検査方法では、特性の異なる3種類の切出し画像を合成して合成画像を作成する。
【0073】
ステップ601にて、合成画像生成部115は画像合成に用いる複数の特性1の切出し画像を取得する。合成画像生成部115は、切出し画像生成部114から出力される検査対象物の特性1の切出し画像と、それに対応する特性1の切出し画像を切出し画像記憶部116から読み出す。
ステップ602にて、合成画像生成部115は、前ステップで読み出した特性1の複数の切出し画像の間の位置ずれを示す位置ずれ情報1を検出する。合成画像生成部115は、特性1の切出し画像間の位置ずれ情報1をマッチング処理により比較して検出する。
ステップ603にて、合成画像生成部115は、前ステップにて検出された特性1の切出し画像間の位置ずれ情報1を基に特性1の切出し画像間の位置ずれを補正して、切出し画像を貼り合わせ、一枚の画像に合成し、特性1の合成画像を検査処理部113に出力する。
【0074】
以下同様にして、ステップ604からステップ606では、特性2の切出し画像の画像合成処理を行い、ステップ607からステップ609では、特性3の切出し画像の画像合成処理を行う。
【0075】
図7のフローチャートを用いて、特性の異なる複数種類の基板領域画像を用いた実施の形態3の基板の外観検査方法を説明する。図7に示す実施の形態3の外観検査方法では、特性の異なる3種類の切出し画像を合成して合成画像を作成する。
本実施の形態の合成画像生成部115は、1つの検査対象物の特性の異なる複数種類の切出し画像については、特性が同種の切出し画像間でそれぞれ位置ずれ情報を検出し、検出した複数種類の位置ずれ情報から統一の位置ずれ情報を決定し、その統一の位置ずれ情報を基に複数種類の切出し画像を合成する。これにより検査対象物に最適な位置ずれ情報で画像合成を行うことができる。本発明の外観検査方法は、統一の位置ずれ情報を生成する点において、従来の外観検査方法と異なる。
【0076】
ステップ701にて、画像合成する特性1の切出し画像(例えば基板の高さ情報に関する切出し画像)を取得する。図1の合成画像生成部115は、切出し画像生成部114から出力される検査対象物の特性1の切出し画像と、それに対応する切出し画像記憶部116に記憶されている特性1の切出し画像を読み出す。ステップ702にて、合成画像生成部115は、前ステップで読み出した特性1の切出し画像間の位置ずれを示す位置ずれ情報1を検出する。
以下、ステップ703及び704にて、合成画像生成部115は、特性2の切出し画像(例えば落射情報に関する切出し画像)間のずれ情報を示す位置ずれ情報2を検出し、ステップ705及び706にて、特性3の切出し画像間のずれ情報を示す位置ずれ情報3を検出する。
【0077】
ステップ707にて、ステップ702、ステップ704、ステップ706で、合成画像生成部115は、検出した特性1〜特性3の切出し画像の位置ずれ情報1〜3を用いて統一の位置ずれ情報を決定する。
ステップ708にて、合成画像生成部115は、前ステップで求めた統一の位置ずれ情報を用いて特性1の切出し画像間の位置ずれを補正して画像を貼り合わせ、一枚の画像に合成する。同様にステップ709では特性2の切出し画像を統一の位置ずれ情報を基に合成し、ステップ710では特性3の切出し画像を統一の位置ずれ情報を基に合成する。
【0078】
上記の複数種類の位置ずれ情報を用いて統一の位置ずれ情報を決定する1つの方法としては、複数種類の位置ずれ情報を平均したものを統一の位置ずれ情報とする。これにより検査対象物に最適な位置ずれ情報を求めることができる。図7のフローチャートのステップ707において特性1〜特性3の位置ずれ情報を平均した位置ずれ情報を統一の位置ずれ情報とする。
また、複数種類の位置ずれ情報を用いて統一の位置ずれ情報を決定する別の方法としては、複数種類の位置ずれ情報のうち、それぞれのマッチング処理時に導かれたマッチング度が一番高い位置ずれ情報を統一の位置ずれ情報とする。これにより検査対象物に最適な位置ずれ情報を求めることができる。図7のフローチャートの、ステップ702、704、706において特性1〜特性3の位置ずれ情報検出時に特性1〜特性3のマッチング度が導出されるので、そのマッチング度が一番高い位置ずれ情報を特性1〜特性3の切出し画像の統一の位置ずれ情報とする。
【0079】
尚、切出し画像間の位置ずれ情報を検出する際には、実施の形態2で説明したように、切出し画像間の重複領域の一部、又は複数の部分を用いてマッチング処理を行うことにより、位置ずれ情報を検出してもよい。
また、複数種類の位置ずれ情報を用いて統一の位置ずれ情報を決定する別の方法としては、まず複数種類の位置ずれ情報のうち、マッチング度が一番高い位置ずれ情報を導出するのに用いた画像種類と、検査対象物の固有情報と、同じ構成で実装された基板とを対応させて記憶する。そして、同じ構成で実装された別の基板を走査し、同じ固有情報を持つ検査対象物の切出し画像を取得して位置ずれ情報を検出する際には、今度は記憶されている画像種類の切出し画像のみを用いて位置ずれ情報を検出し、統一の位置ずれ情報とする。画像種類と対応する検査対象物の固有情報については、図1の構成では切出し画像記憶部116に記憶する。これにより余分な位置ずれ情報検出の処理を省略でき、検査対象物に最適な位置ずれ情報で画像合成することができる。
複数種類の位置ずれ情報のうち、マッチング度が一番高い位置ずれ情報を導出するのに用いた画像種類と、検査対象物の固有情報と、同じ構成で実装された基板と、その領域とを対応させて記憶しても良い。そして、同じ構成で実装された別の基板を走査し、同じ領域で、同じ固有情報を持つ検査対象物の切出し画像を取得して位置ずれ情報を検出する際には、今度は記憶されている画像種類の切出し画像のみを用いて位置ずれ情報を検出し、統一の位置ずれ情報とする。
【0080】
検査装置のコンピュータに、上記の実施の形態における切出し画像生成部、位置ずれ情報検出部及び合成画像生成部として機能させるプログラムは、これを検査装置のコンピュータに実行させることにより、上記の実施の形態と同様の効果が得られる。
そのプログラムを記録した記録媒体から、プログラムを検査装置のコンピュータにロードし、コンピュータに実行させることにより、上記の実施の形態と同様の効果が得られる。
【0081】
また、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。また、本発明のプログラムの一利用形態は、伝送媒体中を転送し、コンピュータにより読み取られ、コンピュータと協働して動作する態様であっても良い。
また、本発明のデータ構造としては、データベース、データフォーマット、データテーブル、データリスト、データの種類などを含む。
また、記録媒体としては、ROM等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。
また、上述した本発明のコンピュータは、CPU等の純然たるハードウェアに限らず、ファームウェアや、OS、更に周辺機器を含むものであっても良い。
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。
尚、本実施の形態3においては、特性の異なる複数種類の基板領域画像を3種類として説明したが、特性の異なる基板領域画像が何種類あっても同様に実施することができる。
【0082】
【発明の効果】
以上のように、本発明の外観検査方法、外観検査装置、そのプログラム及びその記録媒体によれば、取得した基板の切出し画像中から検査に必要な検査対象物を切出すことにより、分割された検査対象物を貼り合せる画像合成処理時に必要な記憶領域の容量を抑えることができ、また、検査対象物にフォーカスして画像合成処理を行うことができるので、検査対象物に最適な画像合成を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の外観検査装置の構成を示すブロック図
【図2】本発明の実施の形態の外観検査装置における画像の切出し処理について説明する図
【図3】本発明の実施の形態1の切出し画像の合成処理方法を説明する図
【図4】本発明の実施の形態の外観検査方法のフローチャート
【図5】本発明の実施の形態2の切出し画像の合成処理方法を説明する図
【図6】従来例の切出し画像の合成処理を説明するフローチャート
【図7】本発明の実施の形態3の切出し画像の合成処理を説明するフローチャート
【図8】従来例の外観検査装置の構成を示すブロック図
【図9】レーザによる画像の取り込み方法の概要を説明する図
【図10】レーザユニットによる基板の走査を説明する図
【図11】従来例の外観検査装置による画像合成処理方法を説明する図
【符号の説明】
1 基板走査部
2、8 信号処理部
101 基板
102 支持台
103、106 モータ
104、107 ガイド
105 レーザユニット
108 制御部
109 レーザユニットのX軸方向の走査可能幅
110、801 基板領域画像記憶部
111、803 実装データ記憶部
112、804 検査基準データ記憶部
113、802 検査処理部
114 切出し画像生成部
115、805 合成画像生成部
116 切出し画像記憶部
201 基板
202、203、204 検査対象物
203A、203B 検査対象物が分割された切出し画像
206、208 X軸方向の走査領域
207 Y軸方向の走査領域(基板のY軸方向幅)
209 重複領域
210、211、212、213 切出し領域
214、215、216、217 切出し画像
211A、211B マッチング処理を行う範囲
220A、220B マッチング処理を行う範囲
901 レーザ半導体
902 レーザ照射光
903 基板
904 PSDセンサ
905、907 反射光
906 基板上の部品
908 垂直反射光
909 ハーフミラー
910 フォトセンサ
1001 Y軸方向の走査領域(基板のY軸方向幅)
1101 基板
1102、1103、1104 検査対象物
1105 マーカ
1107、1109、1110 走査領域のX軸方向幅
1108 走査領域のY軸方向幅
1111 重複領域[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a visual inspection method, a visual inspection device, a program, and a recording medium for scanning a test object on a substrate to acquire an image and perform a test.
[0002]
[Prior art]
A conventional visual inspection device scans a substrate using a laser unit having a laser and a light receiving sensor that receives the reflected light, acquires information on the substrate surface as an image, and performs a predetermined inspection using the acquired substrate image. Do. The laser unit has a maximum area that can be scanned (scannable area). When scanning a substrate having a size exceeding the scannable region, the substrate is divided into a plurality of regions, and the laser unit scans each region to acquire a divided image of the entire substrate.
[0003]
Hereinafter, a conventional appearance inspection apparatus will be described with reference to FIGS. FIG. 8A is a block diagram showing a configuration of a conventional appearance inspection apparatus. 8 has a substrate scanning unit 1 and a signal processing unit 8. FIG. 8B is a block diagram of the substrate scanning unit 1 as viewed from the right side of FIG. 8A.
8, the substrate scanning unit 1 includes a
The signal processing unit 8 includes an image
[0004]
The
On a
[0005]
The
The
The
[0006]
The signal processing unit 8 of the conventional visual inspection device will be described.
The image
The mounting
[0007]
The inspection reference data storage unit 804 stores, in advance, inspection reference data serving as a pass / fail reference for mounting when inspecting an inspection object. In accordance with an instruction from the
[0008]
The
[0009]
When the image
When the image data of the inspection object to be inspected by the
The composite
[0010]
When all the board region images necessary for the
[0011]
Upon receiving an instruction to create a combined image from the
[0012]
An outline of a method in which the
9A to 9C,
[0013]
FIGS. 9A and 9B are diagrams illustrating a configuration and an operation for the
The
The light receiving position where the
[0014]
For example, as shown in FIG. 9A, when the
As shown in FIG. 9B, when the part on which the
As described above, since the light receiving position of the reflected light changes depending on the height of the substrate surface, the change in the height of the substrate surface can be detected by the position where the
[0015]
FIG. 9C is a diagram illustrating a configuration and operation for the
In FIG. 9C, a
The
[0016]
Next, a method in which the
The
In scanning the
[0017]
When the
[0018]
Since the width that can be scanned by the
The visual inspection device performs a predetermined inspection on the inspection target in the image acquired in this way, and determines whether the inspection target is mounted or not.
[0019]
Next, an operation in which the
FIG. 11A shows a board on which an inspection object such as a component or solder is mounted. In FIG. 11A,
The
[0020]
FIG. 11B shows a substrate region image obtained by scanning a region of
In the board area image shown in FIG. 11B, the entire image of the
As for the
11B is held in the image
[0021]
In the previous scan, the
[0022]
FIG. 11C shows a substrate region image of a region of the
[0023]
The
The
[0024]
When a substrate is scanned by the
[0025]
[Patent Document 1] JP-A-2002-181729
[0026]
[Problems to be solved by the invention]
However, the above-mentioned conventional visual inspection apparatus has the following problems.
When the image data of the inspection object is divided and image synthesis is required, the image information storage unit stores all (a plurality of) substrate region images including the inspection object into which the image is divided, and The composite image generated by the generator must also be stored. Furthermore, when acquiring a plurality of types of substrate region images having different characteristics for each region, the image information storage unit needs to store all (plural) substrate region images and composite images of each type. Was. The image information storage unit required a large storage capacity.
In the conventional visual inspection apparatus, since the image synthesis processing is not focused on the inspection object (one piece of displacement information is obtained in the entire overlapping area), the image of the inspection object is optimized. However, there is a problem that it is difficult to perform position correction and synthesis.
The present invention has been made to solve the above problems, and has a small storage area capacity required to generate a composite image of an inspection target. An object of the present invention is to provide a visual inspection method, a visual inspection device, a program thereof, and a recording medium for generating an image.
"Correcting the position by focusing on the inspection object" means that the matching processing is individually performed for each inspection object, the positional deviation information for each inspection object is acquired, and each This means that the position is corrected so as to be optimal for each inspection object. Position shift information is acquired in the same number as the number of inspection objects in which images are spread over a plurality of board region images.
[0027]
[Means for Solving the Problems]
In order to solve the above problems, the present invention has the following configurations. The visual inspection method according to claim 1 of the present invention divides a substrate on which an inspection object is mounted into a plurality of regions, and uses an image of the region so that a part of the substrate overlaps with an image of the adjacent region. A substrate region image generating step of generating a certain substrate region image, and a cutout image generating step of generating a cutout image that is an image of only the region to be inspected and its vicinity from the substrate region image; Each of the cutout images belonging to the board region image and including the partial image of the inspection object and the other partial image, performs a matching process in an overlapping area, and positions between the cutout images. Misregistration information detecting step of detecting misregistration information, and correcting the positions of the cutout images based on the detected misalignment information, so that the cutout image of a part of the inspection object and the other part of the cutout image A synthesized image generating step of synthesizing the cutout image to generate a synthesized image of the entire inspection object; and an inspection processing step of performing a predetermined inspection based on the synthesized image and outputting an inspection result. .
This makes it possible to reduce the capacity of the storage area required for the image synthesizing process for bonding the divided inspection objects. Further, it is possible to generate a composite image by performing position correction by focusing on the inspection object. It is possible to reduce the deviation when synthesizing the cut-out images.
[0028]
The visual inspection device according to claim 2, wherein the substrate on which the inspection object is mounted is divided into a plurality of regions and scanned, and the region is overlapped with an image of the adjacent region. A substrate region image generation unit that generates a substrate region image that is an image of the inspection object, and a cutout image generation unit that generates a cutout image that is an image of only the inspection object and an area in the vicinity thereof from the substrate region image, Each of the cutout images belonging to each of the plurality of substrate region images and including the partial image of the inspection object and the other partial image, performs a matching process in an overlapping area, and the cutout images thereof A position shift information detecting unit that detects position shift information between, and corrects the positions of the cut-out images based on the detected position shift information, so that the cut-out image of a part of the inspection object and another part A composite image generation unit that combines the cut-out image to generate a composite image of the entire inspection object, and an inspection processing unit that performs a predetermined inspection based on the composite image and outputs an inspection result .
This makes it possible to reduce the capacity of the storage area required for the image synthesizing process for bonding the divided inspection objects. Also, a composite image is generated by focusing on the inspection object and correcting the position. It is possible to reduce the deviation when synthesizing the cut-out images.
[0029]
In the visual inspection device according to claim 3 of the present invention, the substrate region image acquisition unit generates a plurality of types of substrate region images having different characteristics for each region, and the displacement information detection unit includes a plurality of types. For each of the plurality of types of cut-out images generated from the substrate region image, a matching process is performed in an overlapping region to detect the position shift information, and based on the detected plurality of position shift information, unified position shift information. 3. The composite image generation unit according to claim 2, wherein the composite image generation unit corrects the positions of the cut-out images based on the unified positional shift information to generate the composite image. It is a visual inspection device. Image composition can be performed with optimal displacement information when combining inspection objects.
[0030]
The visual inspection device according to claim 4 of the present invention is characterized in that the positional deviation information detecting unit uses positional deviation information obtained by averaging a plurality of the detected positional deviation information as the unified positional deviation information. An appearance inspection apparatus according to claim 3. Image composition can be performed with optimal displacement information when combining inspection objects.
[0031]
In the visual inspection device according to claim 5 of the present invention, the misregistration information detecting unit determines the misregistration information having the highest matching degree derived at the time of a matching process among the plurality of misregistration information detected. The visual inspection apparatus according to claim 3, wherein the unified positional deviation information is used. Thus, it is possible to perform image synthesis with the positional displacement information that is optimal for the inspection object.
The “matching degree” is an index indicating the degree of coincidence of the plurality of cut images in the overlapping area when the positions of the plurality of cut images are corrected based on the positional deviation information. The degree of matching is higher as the plurality of cutout images match.
[0032]
In the visual inspection device according to claim 6 of the present invention, the misregistration information detection unit uses the same type of the board region image used to derive the misregistration information having the highest matching degree during a matching process. Another board mounted with the same configuration as the stored board, or another board mounted with the same configuration, stored in association with the board mounted in the configuration or in association with the board and its area mounted in the same configuration 6. The visual inspection according to claim 5, wherein, when inspecting the same region of the substrate, the positional deviation information is detected using the cut-out image of the type to be stored and is used as the unified positional deviation information. Device. In the present invention, the image of the type having the highest matching degree is stored, and for the same inspection object on the same substrate to be inspected next, the positional deviation information is detected only by the image of the stored type. This makes it possible to omit an extra process of detecting positional displacement information (the process can be executed in a short time), and it is possible to combine images with positional displacement information that is optimal for the inspection object.
[0033]
In the visual inspection device according to claim 7 of the present invention, the displacement information detection unit belongs to each of the plurality of adjacent substrate region images, and a partial image of the inspection object and another partial image of the inspection object. When performing a matching process in an overlapping area between the cutout images each including (i) and (ii), the matching process is performed using only a part of the cutout images, and the positional deviation information is detected. 2. The visual inspection device according to item 2. As a result, the amount of calculation in the process of detecting the displacement information can be reduced, and the calculation processing time can be shortened.
[0034]
The visual inspection device according to claim 8 of the present invention is characterized in that the position shift information detection unit performs the matching process using only the edge peripheral portion where the change in the pixel value of the cut-out image in the overlapping area is large. An appearance inspection apparatus according to claim 7. As a result, the amount of calculation in the process of detecting the displacement information can be reduced, and the calculation processing time can be shortened.
[0035]
The visual inspection device according to claim 9 of the present invention is characterized in that the displacement information detection unit performs the matching process using only the upper and lower edge peripheral portions of the inspection object in the cut-out image in the overlapping area. An appearance inspection apparatus according to claim 8, wherein By limiting the range of the image used for the matching process to the portion around the upper and lower edges of the inspection object that is easy to match, the amount of calculation in the process of detecting the positional displacement information can be reduced, and the calculation processing time can be shortened.
[0036]
The visual inspection device according to claim 10 of the present invention, wherein the positional deviation information detecting unit detects the positional deviation information by performing a matching process using each of the plurality of portions of the cut-out image in the overlapping area, The external appearance according to any one of claims 7 to 9, wherein positional deviation information obtained by averaging a plurality of the positional deviation information detected for each part is output as the positional deviation information. It is an inspection device. Optimum positional deviation information for synthesizing the inspection object can be obtained.
[0037]
The visual inspection device according to claim 11, wherein the misregistration information detecting unit performs a matching process using each of the plurality of portions of the cut-out image in the overlapping area, and a matching degree derived at the time of the matching process. 10. The visual inspection device according to claim 7, wherein the position shift information having the highest value is output as the position shift information. Image composition can be performed with optimal displacement information when combining inspection objects.
[0038]
In the visual inspection device according to claim 12 of the present invention, the position shift information detection unit has the same configuration of the cut-out image portion used to derive the position shift information having the highest matching degree during the matching process. When inspecting the same area of another board mounted with the same configuration as the stored board and storing it in association with the board mounted thereon and the area thereof, the misalignment is performed using the portion of the cutout image to be stored. The visual inspection device according to claim 11, wherein information is detected. It is possible to omit an extra process of detecting positional displacement information (the process can be executed in a short time), and it is possible to combine images with positional displacement information that is optimal for the inspection object.
[0039]
A program according to a thirteenth aspect of the present invention stores the cut-out image generation part, the misalignment information detection part and the composite image according to any one of the second to twelfth aspects on a computer of an inspection apparatus. Function as a generation unit. The above effects can be obtained by causing the computer of the inspection apparatus to execute the program of the present invention.
[0040]
A recording medium according to a fourteenth aspect of the present invention is a computer-readable recording medium storing the program according to the thirteenth aspect. The above effects can be obtained by causing the computer of the inspection apparatus to execute the program recorded on the recording medium of the present invention.
[0041]
BEST MODE FOR CARRYING OUT THE INVENTION
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments that specifically illustrate the best mode for carrying out the present invention will be described below with reference to the drawings.
[0042]
<< Embodiment 1 >>
The appearance inspection apparatus according to the first embodiment of the present invention will be described with reference to FIGS. FIG. 1A is a block diagram illustrating a configuration of a visual inspection apparatus according to Embodiment 1 of the present invention. The visual inspection apparatus according to the first embodiment includes a substrate scanning unit 1 and a signal processing unit 2. FIG. 1B is a block diagram of the substrate scanning unit 1 as viewed from the right side of FIG.
In FIG. 1, the substrate scanning unit 1 includes a
The signal processing unit 2 includes an inspection reference
[0043]
The substrate scanning unit 1 has the same configuration as the substrate scanning unit 1 of the conventional visual inspection apparatus shown in FIG. The
The signal processing unit 2 according to the present embodiment will be described. The substrate area
The mounting
[0044]
The cut-out
[0045]
The cut-out image storage unit 116 stores a cut-out image output by the composite
When the cutout image including only a part of the inspection target is input from the cutout
[0046]
The combined
The composite
[0047]
The
As described above, in the appearance inspection apparatus according to the first embodiment of the present invention, the substrate scanning unit 1 is basically the same as the configuration of the conventional appearance inspection apparatus (FIG. 8), and the substrate scanning method and the like are the same. The configuration is the same as that of the apparatus, and a part of the configuration of the cut-out
[0048]
A process in which the cut-out
The
FIG. 2B shows a board area image obtained by scanning a rectangular area of
[0049]
The cut-out
For example, when the board region image in FIG. 2B is obtained, the cut-out
[0050]
FIG. 2D shows cut-out
2D, reference numeral 214 denotes a cut-out image obtained by cutting out the region 210 in FIG. 2B, and
Since the cutout image 214 in FIG. 2D includes the
[0051]
Since the
[0052]
In order to inspect the
The
[0053]
FIG. 2C shows a board area image obtained by scanning a rectangular area of
The cutout
[0054]
FIG. 2E is a diagram showing a cut-out image (image data of an area including only the inspection object and its vicinity (periphery)) generated from the substrate area image of FIG. 2C. In FIG. 2E,
Since the
[0055]
Since the cut-out
When the cut-out
[0056]
Next, an image combining process of the combined
[0057]
FIG. 3 is a diagram for explaining a method of combining a
An
[0058]
Hereinafter, a board inspection method of the appearance inspection apparatus of the present embodiment will be described with reference to FIG. In
In
[0059]
In
In
[0060]
In
In
In
[0061]
In
In
[0062]
In
If it is determined in
[0063]
In
In
According to the present embodiment, the mounting of the inspection target is inspected by using the cutout image obtained by cutting out only the portion including the inspection target. As a result, it is possible to reduce the capacity of the storage area necessary for the subsequent image synthesis processing, and to focus on the inspection target (by performing matching processing individually for each inspection target, Image synthesis processing is performed by acquiring positional deviation information and correcting the position of each inspection object so as to be optimal in synthesizing the inspection object. Can be.
[0064]
<< Embodiment 2 >>
Hereinafter, an appearance inspection apparatus according to Embodiment 2 of the present invention will be described with reference to FIG. The configuration of the visual inspection device of the present embodiment is the same as the configuration of the visual inspection device of the first embodiment shown in FIG. The appearance inspection apparatus of the present embodiment differs from the appearance inspection apparatus of the first embodiment only in the method of synthesizing the cut-out image, and therefore, only the method of synthesizing the cut-out image will be described.
[0065]
The synthetic
Hereinafter, this method will be described with reference to FIG. FIG. 5 illustrates a case where the composite
The cut-out
[0066]
The composite
When the region of the image used for the matching process is a plurality of portions of the overlap region of the cut-out image, the combined
[0067]
When performing image matching processing, it is preferable to use a portion where the change in pixel value is large. Therefore, as one method of limiting the region of the image used for the matching process, the matching process is performed by using a portion around an edge where a change in pixel value is large in the image of the overlapping region.
Upper side or lower side of the image of the inspection object in the overlapping region (in this specification and in the claims, the substrate region image is adjacent to another substrate region image on the left or right side. The boundary between adjacent substrate region images A side or an edge extending in a direction substantially perpendicular to the line) is a boundary between the inspection object and the substrate and is an edge. The region of the image used for the matching process may be a portion around the upper and lower edges of the inspection object in the overlap region image.
As a result, the amount of calculation in the detection processing of the positional deviation information can be reduced, and the positional deviation information can be detected efficiently. For example, in the case of FIG. 5, the
[0068]
When limiting the area of the image used for the above-mentioned matching processing to a plurality of parts in the overlapping area image, matching processing is performed on each of the plurality of parts of the image to detect a plurality of pieces of displacement information. As one method for determining the final displacement information from the plurality of displacement information, the displacement information derived as a result of averaging the plurality of displacement information is used as the final displacement information. This makes it possible to obtain the optimum displacement information.
For example, in FIG. 5, the
[0069]
As another method of determining the final displacement information from the plurality of displacement information, among the plurality of displacement information, the displacement information having the highest matching degree derived at the time of the respective matching processes is finally determined. This is assumed to be positional deviation information. This makes it possible to obtain the optimum displacement information. For example, in FIG. 5, the degree of matching between the
[0070]
As another method of synthesizing an image, first, among a plurality of pieces of misalignment information, a region of a cutout image used to derive the misalignment information having the highest matching degree, and unique information of the inspection object, A board mounted with the same configuration is stored in association with the board. Then, when another board mounted with the same configuration is scanned, and a cutout image of the inspection object having the same unique information is acquired and the positional deviation information is detected, this time, the cutout image is stored in the cutout image. Position shift information is detected using only the area, and is used as final position shift information between cutout images. The specific information of the inspection object corresponding to the region of the cut-out image is stored in the cut-out image storage unit 116 in FIG. As a result, it is possible to omit the process of detecting extra positional displacement information, and it is possible to correct the position of the image data of the inspection object with the optimal positional displacement information and perform image synthesis in a short time.
[0071]
<< Embodiment 3 >>
Hereinafter, an appearance inspection apparatus according to Embodiment 3 of the present invention will be described with reference to FIGS. The configuration of the visual inspection device of the present embodiment is the same as the configuration of the visual inspection device of the first embodiment shown in FIG.
The visual inspection apparatus according to the present embodiment inspects the mounting of the inspection target for each inspection target using a plurality of types of image information (substrate region images) having different characteristics. For example, the mounting of each inspection object is inspected by using a plurality of types of substrate region images including a substrate region image relating to substrate height information and a substrate region image relating to incident light information (described with reference to FIG. 9 of the conventional example). I do.
In the present embodiment,
[0072]
The cutout
The composite
A conventional board appearance inspection method using a plurality of types of board area images having different characteristics will be described with reference to the flowchart of FIG. In the conventional appearance inspection method shown in FIG. 6, three types of cutout images having different characteristics are combined to create a combined image.
[0073]
In
In step 602, the composite
In step 603, the composite
[0074]
Similarly, in
[0075]
A method for inspecting the appearance of a substrate according to the third embodiment using a plurality of types of substrate region images having different characteristics will be described with reference to the flowchart in FIG. In the appearance inspection method according to the third embodiment shown in FIG. 7, three types of cutout images having different characteristics are combined to create a combined image.
The synthesized
[0076]
In step 701, a cut-out image of the characteristic 1 to be image-combined (for example, a cut-out image relating to height information of a substrate) is obtained. 1 reads out a cut-out image of the characteristic 1 of the inspection object output from the cut-out
Hereinafter, in
[0077]
In step 707, in
In
[0078]
As one method for determining unified displacement information using the plurality of types of displacement information, an average of the plurality of types of displacement information is used as unified displacement information. As a result, it is possible to obtain the optimum positional deviation information for the inspection object. In step 707 of the flowchart in FIG. 7, the displacement information obtained by averaging the displacement information of the characteristics 1 to 3 is used as unified displacement information.
Another method of determining unified positional deviation information using a plurality of types of positional deviation information is a positional deviation with the highest matching degree derived during each matching process among a plurality of types of positional deviation information. The information is unified positional deviation information. As a result, it is possible to obtain the optimum positional deviation information for the inspection object. In
[0079]
When detecting positional displacement information between cutout images, as described in the second embodiment, by performing a matching process using a part or a plurality of portions of an overlapping region between cutout images, Position shift information may be detected.
Another method of determining unified positional deviation information using plural types of positional deviation information is to first derive the positional deviation information having the highest matching degree from the plural types of positional deviation information. The stored image type, the unique information of the inspection object, and the board mounted with the same configuration are stored in association with each other. Then, when another board mounted with the same configuration is scanned, and a cutout image of the inspection object having the same unique information is acquired and the positional deviation information is detected, a cutout of the stored image type is performed. The displacement information is detected using only the image, and is used as unified displacement information. The unique information of the inspection object corresponding to the image type is stored in the cut-out image storage unit 116 in the configuration of FIG. This makes it possible to omit an extra process of detecting misregistration information, and to synthesize an image with misalignment information that is optimal for the inspection object.
Among a plurality of types of misalignment information, the image type used to derive the misalignment information with the highest matching degree, the unique information of the inspection object, the board mounted with the same configuration, and the area They may be stored in association with each other. Then, when another board mounted with the same configuration is scanned to obtain a cut-out image of the inspection object having the same unique information in the same region and to detect positional deviation information, the information is stored this time. The displacement information is detected using only the cutout image of the image type, and is used as unified displacement information.
[0080]
The program that causes the computer of the inspection apparatus to function as the cut-out image generation unit, the misregistration information detection unit, and the composite image generation unit in the above embodiment is executed by causing the computer of the inspection apparatus to execute the program. The same effect can be obtained.
By loading the program from the recording medium on which the program is recorded into the computer of the inspection apparatus and causing the computer to execute the program, the same effects as in the above-described embodiment can be obtained.
[0081]
Further, one usage form of the program of the present invention may be a mode in which the program is recorded on a computer-readable recording medium and operates in cooperation with the computer. Further, one usage form of the program of the present invention may be a mode in which the program is transferred in a transmission medium, read by a computer, and operates in cooperation with the computer.
Further, the data structure of the present invention includes a database, a data format, a data table, a data list, a type of data, and the like.
The recording medium includes a ROM and the like, and the transmission medium includes a transmission medium such as the Internet, light, radio waves, and sound waves.
Further, the above-described computer of the present invention is not limited to pure hardware such as a CPU, but may include firmware, an OS, and peripheral devices.
Note that, as described above, the configuration of the present invention may be realized by software or hardware.
In the third embodiment, a plurality of types of substrate region images having different characteristics have been described as three types. However, the present invention can be similarly applied to any number of substrate region images having different characteristics.
[0082]
【The invention's effect】
As described above, according to the appearance inspection method, the appearance inspection apparatus, the program, and the recording medium of the present invention, the inspection object necessary for the inspection is cut out from the obtained cut-out image of the board, and thus the image is divided. It is possible to reduce the amount of storage area required during the image synthesis processing for attaching the inspection object, and to perform the image synthesis processing by focusing on the inspection object. It can be carried out.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a visual inspection device according to an embodiment of the present invention.
FIG. 2 is a view for explaining image cutout processing in the appearance inspection device according to the embodiment of the present invention;
FIG. 3 is a view for explaining a method of synthesizing a cut-out image according to the first embodiment of the present invention;
FIG. 4 is a flowchart of an appearance inspection method according to the embodiment of the present invention;
FIG. 5 is a view for explaining a method of synthesizing a cut-out image according to the second embodiment of the present invention;
FIG. 6 is a flowchart for explaining a cutout image synthesizing process according to a conventional example.
FIG. 7 is a flowchart illustrating a process of synthesizing a cut-out image according to the third embodiment of the present invention;
FIG. 8 is a block diagram showing a configuration of a conventional appearance inspection apparatus.
FIG. 9 is a view for explaining an outline of a method of capturing an image by a laser.
FIG. 10 illustrates scanning of a substrate by a laser unit.
FIG. 11 is a view for explaining an image synthesizing processing method by a conventional appearance inspection apparatus.
[Explanation of symbols]
1 Substrate scanning unit
2, 8 signal processing unit
101 substrate
102 support
103, 106 motor
104, 107 guide
105 Laser unit
108 control unit
109 Scannable width of laser unit in X-axis direction
110, 801 substrate area image storage unit
111, 803 mounting data storage unit
112, 804 inspection reference data storage unit
113, 802 inspection processing unit
114 Cutout image generation unit
115,805 Synthetic image generation unit
116 cut-out image storage unit
201 substrate
202, 203, 204 Inspection object
203A, 203B Cut-out image of inspection object divided
206, 208 Scanning area in X-axis direction
207 Y-axis scanning area (width of substrate in Y-axis direction)
209 Overlap area
210, 211, 212, 213 Cut-out area
214, 215, 216, 217 Cutout image
211A, 211B Range of matching processing
220A, 220B Range of matching process
901 Laser semiconductor
902 Laser irradiation light
903 substrate
904 PSD sensor
905, 907 reflected light
906 Parts on board
908 Vertically reflected light
909 Half mirror
910 Photo Sensor
1001 Scanning area in Y-axis direction (width of substrate in Y-axis direction)
1101 substrate
1102, 1103, 1104 Inspection object
1105 Marker
1107, 1109, 1110 X-axis width of scanning area
1108 Y-axis width of scanning area
1111 Overlapping area
Claims (14)
前記基板領域画像から、前記検査対象物及びその近傍の領域のみの画像である切出し画像を生成する切出し画像生成工程と、
隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行い、それらの前記切出し画像間の位置ずれ情報を検出する位置ずれ情報検出工程と、
検出した前記位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記検査対象物の一部の前記切出し画像と他の一部の前記切り出し画像とを合成し、前記検査対象物の全体の合成画像を生成する合成画像生成工程と、
前記合成画像に基づいて所定の検査を行い、検査結果を出力する検査処理工程と、
を有することを特徴とする外観検査方法。Dividing the substrate on which the inspection object is mounted into a plurality of regions, and partially overlapping the image of the adjacent region, a substrate region image generating step of generating a substrate region image that is an image of the region,
From the substrate region image, a cut-out image generation step of generating a cut-out image that is an image of only the inspection object and an area in the vicinity thereof,
Each of the plurality of adjacent substrate region images, each of the cutout images including the partial image of the inspection object and the other partial image, performs a matching process in an overlapping region, and performs the matching process. A misregistration information detecting step of detecting misregistration information between cutout images,
The positions of the cut-out images are corrected based on the detected positional deviation information, and the cut-out image of a part of the inspection object and the cut-out image of the other part are combined to synthesize the inspection object. A composite image generation step of generating an overall composite image of
An inspection processing step of performing a predetermined inspection based on the composite image and outputting an inspection result;
A visual inspection method comprising:
前記基板領域画像から、前記検査対象物及びその近傍の領域のみの画像である切出し画像を生成する切出し画像生成部と、
隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行い、それらの前記切出し画像間の位置ずれ情報を検出する位置ずれ情報検出部と、
検出した前記位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記検査対象物の一部の前記切出し画像と他の一部の前記切り出し画像とを合成し、前記検査対象物の全体の合成画像を生成する合成画像生成部と、
前記合成画像に基づいて所定の検査を行い、検査結果を出力する検査処理部と、
を有することを特徴とする外観検査装置。A substrate area image generation for generating a substrate area image which is an image of the area by scanning the substrate on which the inspection object is mounted by dividing the area into a plurality of areas and partially overlapping an image of the adjacent area. Department and
From the substrate region image, a cut-out image generating unit that generates a cut-out image that is an image of only the inspection object and an area in the vicinity thereof,
Each of the plurality of adjacent substrate region images, each of the cutout images including the partial image of the inspection object and the other partial image, performs a matching process in an overlapping region, and performs the matching process. A misregistration information detecting unit for detecting misregistration information between cutout images,
The positions of the cut-out images are corrected based on the detected positional deviation information, and the cut-out image of a part of the inspection object and the cut-out image of the other part are combined to synthesize the inspection object. A composite image generation unit that generates an overall composite image of
An inspection processing unit that performs a predetermined inspection based on the composite image and outputs an inspection result;
A visual inspection device characterized by having:
前記位置ずれ情報検出部は、複数種類の前記基板領域画像から生成された複数種類の前記切出し画像毎に、重複領域においてマッチング処理を行って前記位置ずれ情報を検出し、検出した複数の前記位置ずれ情報に基づいて、統一の位置ずれ情報を決定し、
前記合成画像生成部は、前記統一の位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記合成画像を生成する、
ことを特徴とする請求項2に記載の外観検査装置。The substrate region image acquisition unit generates a plurality of types of the substrate region images having different characteristics for each region,
The misregistration information detection unit detects the misregistration information by performing a matching process in an overlapping area for each of a plurality of types of cutout images generated from a plurality of types of the substrate region images, and detects the plurality of detected positions. Based on the displacement information, determine unified displacement information,
The composite image generating unit corrects the positions of the cut-out images based on the unified displacement information to generate the composite image.
The visual inspection device according to claim 2, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003133426A JP2004333446A (en) | 2003-05-12 | 2003-05-12 | Appearance inspection method, appearance inspection apparatus, program therefor, and recording medium therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003133426A JP2004333446A (en) | 2003-05-12 | 2003-05-12 | Appearance inspection method, appearance inspection apparatus, program therefor, and recording medium therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004333446A true JP2004333446A (en) | 2004-11-25 |
Family
ID=33507971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003133426A Pending JP2004333446A (en) | 2003-05-12 | 2003-05-12 | Appearance inspection method, appearance inspection apparatus, program therefor, and recording medium therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004333446A (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007139666A (en) * | 2005-11-21 | 2007-06-07 | Sumitomo Chemical Co Ltd | Sheet film inspection device and sheet film inspection method |
JP2009273005A (en) * | 2008-05-09 | 2009-11-19 | Omron Corp | Storage method and restoration method of image for visual inspection for component mount substrate, and image storage processing apparatus |
US8577125B2 (en) | 2007-12-26 | 2013-11-05 | Hitachi High-Technologies Corporation | Method and apparatus for image generation |
JP2014212235A (en) * | 2013-04-19 | 2014-11-13 | 富士機械製造株式会社 | Electronic component mounting apparatus |
JP2015032948A (en) * | 2013-08-01 | 2015-02-16 | キヤノン株式会社 | Image processing apparatus, control method thereof and control program |
KR101575289B1 (en) * | 2009-12-10 | 2015-12-10 | 한화테크윈 주식회사 | Parts registration device and method that use fiducial mark |
JP5846549B1 (en) * | 2015-02-06 | 2016-01-20 | 株式会社リコー | Image processing system, image processing method, program, imaging system, image generation apparatus, image generation method and program |
US9996762B2 (en) | 2014-06-11 | 2018-06-12 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
EP3407598A1 (en) | 2017-05-25 | 2018-11-28 | Canon Kabushiki Kaisha | Image capturing apparatus, system, and method |
JP2019096803A (en) * | 2017-11-27 | 2019-06-20 | ヤマハ発動機株式会社 | Component recognition device and component mounting device |
CN111150396A (en) * | 2018-11-07 | 2020-05-15 | 通用电气公司 | Method and system for whole body imaging |
US11317019B2 (en) | 2017-05-25 | 2022-04-26 | Canon Kabushiki Kaisha | Image capturing apparatus, system, and method |
CN114746232A (en) * | 2019-12-16 | 2022-07-12 | Towa株式会社 | Statistical data generation method, cutting device and system |
-
2003
- 2003-05-12 JP JP2003133426A patent/JP2004333446A/en active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007139666A (en) * | 2005-11-21 | 2007-06-07 | Sumitomo Chemical Co Ltd | Sheet film inspection device and sheet film inspection method |
US8577125B2 (en) | 2007-12-26 | 2013-11-05 | Hitachi High-Technologies Corporation | Method and apparatus for image generation |
JP2009273005A (en) * | 2008-05-09 | 2009-11-19 | Omron Corp | Storage method and restoration method of image for visual inspection for component mount substrate, and image storage processing apparatus |
KR101575289B1 (en) * | 2009-12-10 | 2015-12-10 | 한화테크윈 주식회사 | Parts registration device and method that use fiducial mark |
JP2014212235A (en) * | 2013-04-19 | 2014-11-13 | 富士機械製造株式会社 | Electronic component mounting apparatus |
JP2015032948A (en) * | 2013-08-01 | 2015-02-16 | キヤノン株式会社 | Image processing apparatus, control method thereof and control program |
US9996762B2 (en) | 2014-06-11 | 2018-06-12 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
US10104287B2 (en) | 2015-02-06 | 2018-10-16 | Ricoh Company, Ltd. | Image processing system, image generation apparatus, and image generation method |
JP5846549B1 (en) * | 2015-02-06 | 2016-01-20 | 株式会社リコー | Image processing system, image processing method, program, imaging system, image generation apparatus, image generation method and program |
EP3407598A1 (en) | 2017-05-25 | 2018-11-28 | Canon Kabushiki Kaisha | Image capturing apparatus, system, and method |
US11317019B2 (en) | 2017-05-25 | 2022-04-26 | Canon Kabushiki Kaisha | Image capturing apparatus, system, and method |
JP2019096803A (en) * | 2017-11-27 | 2019-06-20 | ヤマハ発動機株式会社 | Component recognition device and component mounting device |
CN111150396A (en) * | 2018-11-07 | 2020-05-15 | 通用电气公司 | Method and system for whole body imaging |
CN111150396B (en) * | 2018-11-07 | 2024-02-27 | 通用电气公司 | Method and system for whole body imaging |
CN114746232A (en) * | 2019-12-16 | 2022-07-12 | Towa株式会社 | Statistical data generation method, cutting device and system |
CN114746232B (en) * | 2019-12-16 | 2024-03-19 | Towa株式会社 | Statistical data generation method, cutting device and system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101141345B1 (en) | Three-dimensional shape measuring device, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium | |
US8355044B2 (en) | Reticle defect inspection apparatus and reticle defect inspection method | |
JP2004333446A (en) | Appearance inspection method, appearance inspection apparatus, program therefor, and recording medium therefor | |
JP4715944B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and three-dimensional shape measuring program | |
JP4166585B2 (en) | Appearance inspection apparatus and appearance inspection method | |
JPH03117965A (en) | Original reader | |
US20100289891A1 (en) | Apparatus for inspecting object under inspection | |
JP2011033449A (en) | Method and apparatus for defect inspection of wafer | |
JPH08193816A (en) | Method and apparatus for automatic focusing as well as method and apparatus for detecting three-dimensional shape | |
US7893416B2 (en) | Detecting printing plate edge alignment | |
JPH01191003A (en) | Mark position detecting device and mark arranging method | |
KR20180038964A (en) | Method for confirming reference image, method for inspecting mask, and apparatus for inspecting mask | |
KR20210136005A (en) | laser repair method, laser repair device | |
JP4387900B2 (en) | Mounting board inspection method and inspection apparatus | |
JP2004109094A (en) | Surface inspection apparatus and method | |
JP2008241716A (en) | Device and method for surface inspection | |
JP4382315B2 (en) | Wafer bump appearance inspection method and wafer bump appearance inspection apparatus | |
JP4083854B2 (en) | Image detection device | |
KR101665764B1 (en) | Drawing apparatus, substrate processing system and drawing method | |
JPH0384441A (en) | Inspection method for reticle | |
JP2674526B2 (en) | Bonding wire inspection device and its inspection method | |
JP2986130B2 (en) | Mark detection processing method | |
JP2825344B2 (en) | Image input device | |
JP2006266725A (en) | Device for optical measurement | |
JP3216123B2 (en) | Bump inspection apparatus and bump inspection method for integrated circuit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050527 |