JP2004333446A

JP2004333446A - Appearance inspection method, appearance inspection apparatus, program therefor, and recording medium therefor

Info

Publication number: JP2004333446A
Application number: JP2003133426A
Authority: JP
Inventors: Hidehiko Watanabe; 秀彦渡辺
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-05-12
Filing date: 2003-05-12
Publication date: 2004-11-25

Abstract

<P>PROBLEM TO BE SOLVED: To provide an appearance inspection apparatus and an appearance inspection method which requires less capacity for a memory area, and conducts image composition which is optimum for an object to be inspected. <P>SOLUTION: The appearance inspection apparatus comprises: a substrate area image formation section which scans a substrate with dividing it into a plurality of areas and forms a substrate area image, which is an image of an area, so that a part of the image overlaps the image of a neighboring area; a cut-out image formation section which forms a cut-out image which is an image of only the object to be inspected and its vicinity; a misregistration information detection section which conducts matching processing in an overlapped area between cut-out images including the image of the object to be inspected and detects misregistration information; a composite image formation section which corrects the position of the cut-out image based on the detected misregistration information, combines a segmented image of a part of the object to be inspected with a segmented image of another part, and forms a composite image of the entire object to be inspected; and an inspection processing section which conducts predetermined inspection based on the composite image, and outputs inspection results. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、基板上の検査対象物を走査して画像を取得し、検査を行う外観検査方法、外観検査装置、そのプログラム及びその記録媒体に関する。
【０００２】
【従来の技術】
従来の外観検査装置は、レーザとその反射光を受ける受光センサを備えたレーザユニットを用いて基板を走査して基板面の情報を画像として取得し、取得した基板画像を用いて所定の検査を行う。レーザユニットは走査できる最大の領域（走査可能領域）がある。走査可能領域を超える大きさを有する基板を走査する場合は、基板を複数の領域に分割し、レーザユニットは各領域を走査し基板全面の分割画像を取得する。
【０００３】
以下では、図８から図１１を用いて従来例の外観検査装置について説明する。図８（ａ）は従来例の外観検査装置の構成を示すブロック図である。図８の外観検査装置は基板走査部１、信号処理部８を有する。図８（ｂ）は、基板走査部１を図８（ａ）の右側から見たブロック図である。
図８において、基板走査部１は、支持台１０２、モータ１０３、１０６、ガイド１０４、１０７、レーザユニット１０５、制御部１０８を有する。１０１は、検査対象である基板である。１０９はレーザユニット１０５が単体で（モータ１０３により駆動されない場合に）Ｘ軸方向に走査可能な幅を示している。
信号処理部８は、画像情報記憶部８０１、検査処理部８０２、実装データ記憶部８０３、検査基準データ記憶部８０４、合成画像生成部８０５を有する。
【０００４】
基板１０１には、部品や半田等、様々な検査対象物が実装（装着）されているプリント基板である。支持台１０２は、基板１０１を上に載せて固定するものであり、Ｙ軸方向に動くことができる。モータ１０３は、ガイド１０４に沿って支持台１０２をＹ軸方向に移動させ、支持台１０２のＹ軸方向の位置を決定する。レーザユニット１０５は、基板１０１にレーザ光を照射して基板１０１からの反射光を受光し、受光した反射光を電気信号に変換して基板面の情報を画像データとして出力する。
通常の大きさの基板１０１において、外観検査装置のレーザユニット１０５は検査対象となる基板１０１全体の情報を一枚の画像として取得することはできず、基板１０１を複数の領域に分割し、各領域毎に画像データを取得する。本明細書では、レーザユニット１０５が取得する基板１０１の各領域の画像データを基板領域画像と呼ぶ。
【０００５】
レーザユニット１０５は取得した基板領域画像を、画像情報記憶部８０１へ出力する。
モータ１０６は、ガイド１０７に沿ってレーザユニット１０５を移動させ、レーザユニット１０５の基板１０１に対するＸ軸方向の位置を決定する。
制御部１０８は、モータ１０３、モータ１０６を駆動することにより、レーザユニットが照射するレーザ光の基板１０１への照射位置を制御し、レーザユニット１０５による基板１０１の走査を制御し、走査した基板の位置や領域などの走査情報を検査処理部８０２へ出力する。レーザユニット１０５が単体ではＸ軸方向に１０９で示す領域の基板面しか一度に走査できない。制御部１０８は、モータ１０６を駆動してレーザユニット１０５をＸ方向に移動させ、モータ１０３を駆動して支持台１０２をＹ方向に移動させ、レーザユニット１０５の走査領域をそれぞれＸ方向及びＹ方向に移動させる。これを繰り返して、レーザユニット１０５は基板１０１全面を走査する。制御部１０８は、検査処理部８０２に走査した基板１０１の位置及び領域（範囲）の情報を伝送する。
【０００６】
従来例の外観検査装置の信号処理部８の説明をする。
画像情報記憶部８０１は、レーザユニット１０５から出力される基板１０１の各領域の基板領域画像、及び合成画像生成部８０５が合成した合成画像を記憶する。画像情報記憶部８０１は、必要に応じて検査処理部８０２及び合成画像生成部８０５からランダムにアクセスすることが可能になっている。
実装データ記憶部８０３は、基板１０１上の検査対象物が実装される位置の情報等の実装データを予め記憶している。
【０００７】
検査基準データ記憶部８０４は、検査対象物を検査するときに実装の合否基準となる検査基準データを予め記憶している。合成画像生成部８０５は、検査処理部８０２の指示に従い、画像情報記憶部８０１に記憶されている基板１０１の複数の分割領域の基板領域画像を貼りあわせて合成する。合成画像生成部８０５は、分割画像の画像間の位置ずれをマッチング処理により検出し、検出した位置ずれ情報から画像間の位置ずれを補正し、貼り合わて一枚の画像に合成する。画像情報記憶部８０１は、合成画像生成部８０５が生成した合成画像を記憶する。
【０００８】
検査処理部８０２は、実装データ記憶部８０３に記憶されている検査対象物の実装データを参照して、画像情報記憶部８０１に記憶されている基板１０１の画像データ（基板領域画像）のうち、検査対象物を中心とする一部の領域の画像データ（検査に必要な領域の画像データ）を読み込み、読み込んだ検査対象物の画像データに対して所定の検査処理を行い、検査基準データ記憶部８０４に記憶されている検査対象物の実装の合否基準となる基準データとその検査結果とを比較し、検査対象物の実装の合否を判定する。
【０００９】
画像情報記憶部８０１が、検査処理部８０２が検査をしようとする検査対象物の画像を完全に含む基板領域画像を記憶している場合、検査処理部８０２は、その基板領域画像を読み出して検査処理を実行し、合否判定結果を出力する。
検査処理部８０２が検査をしようとする検査対象物の画像データが画像情報記憶部８０１に記憶される複数の基板領域画像に、分割された状態で記憶されている場合、検査処理部８０２は、合成画像生成部８０５にそれらの複数の基板領域画像の合成を指示する。
合成画像生成部８０５は、画像情報記憶部８０１に記憶されている複数の基板領域画像を貼りあわせて合成画像を生成する。合成画像は、各基板領域画像に含まれる検査対象物の部分の画像を貼り合わせて生成された、検査対象物全体の画像を含む。検査処理部８０２は、合成画像を使用して検査処理を実行し、合否判定結果を出力する。
【００１０】
検査処理部８０２が検査をしようとする検査対象物を完全に含む合成画像を合成するために必要な基板領域画像が全て画像情報記憶部８０１に記憶されていない場合（検査対象物の一部分の画像データしか記憶していない場合）、検査処理部８０２は制御部１０８に、レーザユニット１０５が前回の走査領域と一部重畳するようにして、検査対象物の残る部分を含む領域を次に走査するように指示する。レーザユニット１０５は指示された領域を走査し、画像情報記憶部８０１はその領域の基板領域画像を取り込む。合成画像生成部８０５は、既に保持していた基板領域画像と新たに取得した基板領域画像とを合成し、合成画像を生成する。検査処理部８０２は、合成画像を使用して検査処理を実行し、合否判定結果を出力する。
【００１１】
合成画像生成部８０５は、検査処理部８０２から合成画像を作成する指示を受けると、画像情報記憶部８０１から合成画像を作成するための基板領域画像（分割された検査対象物を含む基板領域画像）を読み出し、読み出した基板領域画像を貼り合わせて合成し、画像情報記憶部８０１へ出力する。合成画像生成部８０５は、隣接する複数の基板領域画像の間の重複領域における位置ずれをマッチング処理により検出し、検出した位置ずれ情報から基板領域画像間の位置ずれを補正し、複数の基板領域画像を貼り合わて一枚の画像に合成する。
【００１２】
レーザユニット１０５がレーザにより画像情報（基板領域画像）を取得する方法の概要について図９を用いて説明する。図９（ａ）〜（ｃ）は、レーザが基板にレーザ光を照射し、ＰＳＤ（ＰｏｓｉｔｏｎＳｅｎｓｉｔｉｖｅＤｅｔｅｃｔｏｒ）センサ及びフォトセンサ９１０が基板からの反射光を受光する様子を模式的に示す図である。従来例のレーザユニット１０５は、図９（ａ）及び（ｂ）の構成と、図９（ｃ）の構成とを合わせた構成を有し、２種類の画像データを入力する。
図９（ａ）〜（ｃ）において、９０１はレーザ半導体、９０２はレーザ照射光、９０３は基板、９０４はＰＳＤセンサ、９０５及び９０７は反射光、９０６は基板上の部品、９０８は垂直反射光、９０９はハーフミラー、９１０はフォトセンサである。レーザ半導体９０１、ＰＳＤセンサ９０４、ハーフミラー９０９、フォトセンサ９１０は、レーザユニット１０５の内部に設置されている。
【００１３】
図９（ａ）及び（ｂ）は、レーザユニット１０５が１つの種類の画像データを取得するための構成及び動作を説明する図である。レーザ半導体９０１は、基板９０３に垂直にレーザ照射光９０２を照射する。レーザ照射光９０２は、基板９０３に垂直に入射され、反射光９０５として斜め方向に反射される。
ＰＳＤセンサ９０４は、基板９０３により斜め方向に反射された反射光９０５を受光し、反射光９０５の受光量（ＰＳＤセンサ９０４の位置に応じて変化する）に応じた電気信号を出力する。
ＰＳＤ９０４が反射光９０５を受光する受光位置は、レーザ照射光９０２が基板９０３上で反射される高さに応じて変わる。このためＰＳＤセンサ９０４の出力信号とその位置情報とから、基板上の高さ情報（基板に実装された部品及び半田等に起因して生じた基板の凹凸の情報）を検出し、高さの情報を含む画像を作ることができる。
【００１４】
例えば、図９（ａ）に示したように基板９０３上の部品が実装されていない部分にレーザ照射光９０２が照射されている場合は、ＰＳＤセンサ９０４が反射光９０５を受光する位置（受光位置）はＡの位置となる。
図９（ｂ）に示したように、基板９０３上の部品９０６が実装されている部分にレーザ照射光９０２が照射されている場合は、レーザ照射光９０２が反射される位置が部品のない場合に比べて高くなるので、ＰＳＤセンサ９０４がその反射光９０７を受光する受光位置はＢの位置となる。
このように反射光の受光位置が基板面の高さにより変わるためＰＳＤセンサ９０４が反射光を受光する位置により、基板面の高さの変化を検出することができる（三角測量法）。外観検査装置は、基板面の高さのデータを各画素のデータとする基板領域画像を生成し、画像情報記憶部８０１に格納する。
【００１５】
図９（ｃ）は、レーザユニット１０５が他の１つの種類の画像データを取得するための構成及び動作を説明する図である。
図９（ｃ）において、レーザ半導体９０１は基板９０３に対して垂直にレーザ照射光９０２を照射する。ハーフミラー９０９は垂直に反射した反射光９０８を入力し、その進行方向を変える。フォトセンサ９１０は、ハーフミラー９０９により進行方向を変えられた垂直反射光９０８を受光し、受光量に応じた電気信号を出力する。フォトセンサ９１０で垂直反射光９０８の光量を測定することにより基板面の落射情報を検出できる。外観検査装置は、落射画像（基板の表面、実装部品、半田等の反射率に応じた輝度を有する画像）である基板領域画像を生成し、画像情報記憶部８０１に格納する。
図８のレーザユニット１０５は、異なる受光センサを用いることにより基板の高さ画像や落射画像などの特性の異なる複数の種類の画像を取得することができる。
【００１６】
次に、レーザユニット１０５が支持台１０２上の基板１０１にレーザ光を照射して走査する方法について図１０を用いて説明する。
基板１０１をのせた支持台１０２は、図１０のＹ軸方向に動くことができる。レーザユニット１０５は、Ｘ軸方向に動くことができる。
基板１０１の走査において、レーザユニット１０５は単体でＸ軸方向に１０９で示す直線範囲しか走査することができない。レーザユニット１０５がＸ軸方向に１０９で示す直線範囲を走査する毎に、モータ１０３は支持台１０２を移動させてレーザユニット１０５のＹ軸方向の走査位置を１ラインずらす。これを繰り返す。
【００１７】
基板１０１のＹ軸方向の全幅についてレーザユニット１０５が１０９で示す直線範囲を走査し終えると（１領域の走査を終えると）、外観検査装置は、（Ｘ軸方向：レーザユニット走査可能幅（幅１０９））×（Ｙ軸方向：基板のＹ軸方向幅１００１）の矩形領域の基板領域画像を取得することができる。
【００１８】
レーザユニット１０５が単体でＸ軸方向に走査可能な幅は幅１０９に限定されている故に、基板１０１のＸ軸方向幅がレーザユニット１０５の走査可能幅より大きい場合は、１領域の走査を終える毎に、モータ１０３がレーザユニット１０５をＸ軸方向に移動させる。レーザユニット１０５は、次のＸ軸方向の位置で、幅１０９で基板１０１の走査を開始する。上記と同様に、レーザユニット１０５がＸ軸方向に１０９で示す直線範囲を走査する毎に、モータ１０３は支持台１０２を移動させてレーザユニット１０５のＹ軸方向の走査位置を１ラインずらす。外観検査装置は、次の矩形領域の基板領域画像を取得する。これを繰り返すことにより、外観検査装置は基板１０１全面を分割した複数の基板領域画像を取得することができる。
外観検査装置は、このようにして取得した画像中の検査対象物に対して所定の検査を行い検査対象物の実装の合否を判定する。
【００１９】
次に、検査処理部８０２が合成画像生成部８０５に基板領域画像の合成を指示する動作、及び合成画像生成部８０５が、基板領域画像を合成する画像合成処理について図１１を用いて説明する。
図１１（ａ）は、部品や半田などの検査対象物が実装されている基板を示している。図１１（ａ）において、１１０１は基板である。１１０２、１１０３、１１０４は部品や半田などの検査対象物である。１１０５は、画像合成処理を分かりやすくするために仮に示しているマーカである。
Ｘ軸方向の幅１１０７、１１０９、１１１０は、レーザユニット１０５が単体でＸ軸方向に走査可能な幅を示し、Ｙ軸方向の幅１１０８は基板１１０１のＹ軸方向の幅を示す。幅１１０７×長さ１１０８の領域、及び幅１１１０×長さ１１０８の領域は、それぞれレーザユニット１０５が走査する１領域を示し、外観検査装置は、それぞれの矩形領域の基板領域画像を取得する。
【００２０】
図１１（ｂ）は、基板１１０１の幅１１０７×長さ１１０８の領域を走査して取得した基板領域画像を示している。図１１（ｂ）の基板領域画像は、検査対象物１１０２、検査対象物１１０３の一部である１１０３Ａとマーカ１１０５の画像データを含む。
図１１（ｂ）に示す基板領域画像において、検査対象物１１０２に関しては、全体の画像が得られているので、検査処理部８０２は所定の検査をしてその実装の合否を判定する。
検査対象物１１０３に関しては、その一部である１１０３Ａの画像データしか得られていないため、検査処理部８０２はそのままでは検査できない。検査処理部８０２が検査対象物１１０３を検査するためには、検査対象物１１０３の残りの画像データを含んだ基板領域画像を取得し、それらを貼り合わせて検査対象物１１０３全体を含む画像を作る必要がある。
図１１（ｂ）の基板領域画像は画像情報記憶部８０１に保持される。
【００２１】
先の走査で、レーザユニット１０５は幅１１０７×長さ１１０８の領域を走査して、その領域の基板領域画像を取得した。この領域内に、画像データが分割された検査対象物がない場合は、次にレーザユニッ１０５はＸ軸方向に移動し、幅１１０９×長さ１１０８の領域を走査する。幅１１０７×長さ１１０８の領域内に、画像データが分割された検査対象物がある場合は（図１１（ｂ）に示すように分割されて走査された検査対象物１１０３がある場合は）、レーザユニット１０５は、Ｘ軸方向の幅１１０７と一部重複する幅１１１０×長さ１１０８の領域を走査して、その領域の基板領域画像を取得する。この領域の基板領域画像が画像情報記憶部８０１に出力される。
【００２２】
図１１（ｃ）は、基板１１０１の幅１１１０×長さ１１０８の領域の基板領域画像を示している。図１１（ｂ）及び（ｃ）において、それぞれ破線１１１１の右側の領域及び破線１１１１の左側の領域は、図１１（ｂ）と図１１（ｃ）の基板領域画像が重複している領域（１１０７と１１１０との重複領域。以下、重複領域１１１１と呼ぶ。）を示している。図１１（ｃ）の基板領域画像では、検査対象物１１０３の一部である１１０３Ｂ、検査対象物１１０４とマーカ１１０５の画像データが得られている。マーカ１１０５は重複領域１１１１内に入っているために同じ画像データが取得される。図１１（ｃ）の検査対象物１１０４については、その画像が分割されていないので、検査処理部８０２は所定の検査をしてその実装の合否を判定する。図１１（ｃ）の基板領域画像において、検査対象物１１０３についてはその一部である１１０３Ｂの画像データしか得られていない。しかし、これと、先に画像情報記憶部８０１に保持している図１１（ｂ）の基板領域画像の１１０３Ａとを貼り合せて、検査対象物１１０３の合成画像を作ることができる。
【００２３】
検査処理部８０２は、図１１（ｂ）と（ｃ）の基板領域画像を合成するように合成画像生成部８０５に指示する。合成画像生成部８０５は、図１１（ｂ）と（ｃ）の基板領域画像を貼り合せ、図１１（ｄ）に示す合成画像を生成し、生成した合成画像を画像情報記憶部８０１へ出力する。
検査処理部８０２は、合成画像生成部８０５により合成された合成画像（図１１（ｄ））に含まれている検査対象物１１０３の全体の画像１１０３Ｃを検査し、その実装の合否を判定する。
【００２４】
図８のレーザユニット１０５による基板の走査時には温度条件などにより機械的な走査誤差が発生するので、取得された基板領域画像間には数画素程度の位置ずれがある。このため、基板領域画像を貼り合わせて一枚の画像に合成する場合には基板領域画像間の位置ずれを補正する必要がある。基板領域画像間の位置ずれ情報は、基板領域画像の重複領域の画像データを用いてマッチング処理により検出する。図１１（ｂ）と（ｃ）においては、重複領域１１１１の画像データ（例えばマーカ１１０５、及び１１０３Ａと１１０３Ｂとの重複部分）を用いてマッチングにより比較し、図１１（ｂ）と（ｃ）の基板領域画像の位置ずれ情報を検出する。そして検出された位置ずれ情報を基に図１１（ｂ）と（ｃ）の基板領域画像の位置を補正して貼り合わせ一枚の画像（図１１（ｄ））に合成する。図１１（ｂ）と（ｃ）の基板領域画像の重複領域にあるマーカ１１０５は、図１１（ｄ）の合成画像においては１つに重なる。
【００２５】
【特許文献１】特開２００２−１８１７２９号公報
【００２６】
【発明が解決しようとする課題】
しかしながら、上記従来の外観検査装置では、以下に示すような問題があった。
検査対象物の画像データが分割され、画像合成を必要とする場合、画像情報記憶部は、画像が分割された検査対象物を含む全ての（複数の）基板領域画像を記憶し、且つ合成画像生成部が生成する合成画像も記憶しなければならなかった。さらに、それぞれの領域について特性の異なる複数種類の基板領域画像を取得する場合は、画像情報記憶部は、それぞれの種類毎の全ての（複数の）基板領域画像及び合成画像を記憶する必要があった。画像情報記憶部は、大きな記憶容量を必要とした。
従来の外観検査装置では、検査対象物にフォーカスして画像合成処理をしているわけではない故（重複領域全体で１つの位置ずれ情報を取得していた。）、検査対象物の画像を最適に位置補正して合成することが困難であるという問題点を有していた。
本発明は、上記問題点を解決しようとするものであり、検査対象物の合成画像を生成する上で必要な記憶領域の容量が少なく、検査対象物にフォーカスして位置補正をして、合成画像を生成する外観検査方法、外観検査装置、そのプログラム及びその記録媒体を提供することを目的とする。
「検査対象物にフォーカスして位置補正をする」とは、検査対象物毎に個別にマッチング処理をして、検査対象物毎の位置ずれ情報を取得し、検査対象物を合成する上で各検査対象物毎に最適になるように位置補正をしての意味である。複数の基板領域画像に画像がまたがる検査対象物の数と同数の位置ずれ情報を取得する。
【００２７】
【課題を解決するための手段】
上記課題を解決するため、本発明は以下の構成を有する。本発明の請求項１に記載の外観検査方法は、検査対象物が装着された基板を複数の領域に分割し、隣接する前記領域の画像と一部が重複するように、前記領域の画像である基板領域画像を生成する基板領域画像生成工程と、前記基板領域画像から、前記検査対象物及びその近傍の領域のみの画像である切出し画像を生成する切出し画像生成工程と、隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行い、それらの前記切出し画像間の位置ずれ情報を検出する位置ずれ情報検出工程と、検出した前記位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記検査対象物の一部の前記切出し画像と他の一部の前記切り出し画像とを合成し、前記検査対象物の全体の合成画像を生成する合成画像生成工程と、前記合成画像に基づいて所定の検査を行い、検査結果を出力する検査処理工程と、を有する。
これにより、分割された検査対象物を貼り合せる画像合成処理に必要な記憶領域の容量を少なくすることができる。また、検査対象物にフォーカスして位置補正をして合成画像を生成することができる。切出し画像を合成する際のずれを少なくすることができる。
【００２８】
本発明の請求項２に記載の外観検査装置は、検査対象物が装着された基板を複数の領域に分割して走査し、隣接する前記領域の画像と一部が重複するように、前記領域の画像である基板領域画像を生成する基板領域画像生成部と、前記基板領域画像から、前記検査対象物及びその近傍の領域のみの画像である切出し画像を生成する切出し画像生成部と、隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行い、それらの前記切出し画像間の位置ずれ情報を検出する位置ずれ情報検出部と、検出した前記位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記検査対象物の一部の前記切出し画像と他の一部の前記切り出し画像とを合成し、前記検査対象物の全体の合成画像を生成する合成画像生成部と、前記合成画像に基づいて所定の検査を行い、検査結果を出力する検査処理部と、を有する。
これにより、分割された検査対象物を貼り合せる画像合成処理に必要な記憶領域の容量を少なくすることができる。また、検査対象物にフォーカスして位置補正をして合成画像を生成する。切出し画像を合成する際のずれを少なくすることができる。
【００２９】
本発明の請求項３に記載の外観検査装置は、前記基板領域画像取得部は、各領域につき特性の異なる複数種類の前記基板領域画像を生成し、前記位置ずれ情報検出部は、複数種類の前記基板領域画像から生成された複数種類の前記切出し画像毎に、重複領域においてマッチング処理を行って前記位置ずれ情報を検出し、検出した複数の前記位置ずれ情報に基づいて、統一の位置ずれ情報を決定し、前記合成画像生成部は、前記統一の位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記合成画像を生成する、ことを特徴とする請求項２に記載の外観検査装置である。検査対象物を合成する上で最適な位置ずれ情報で画像合成を行うことができる。
【００３０】
本発明の請求項４に記載の外観検査装置は、前記位置ずれ情報検出部は、検出した複数の前記位置ずれ情報を平均した位置ずれ情報を前記統一の位置ずれ情報とすることを特徴とする請求項３に記載の外観検査装置である。検査対象物を合成する上で最適な位置ずれ情報で画像合成を行うことができる。
【００３１】
本発明の請求項５に記載の外観検査装置は、前記位置ずれ情報検出部は、検出した複数の前記位置ずれ情報のうち、マッチング処理時に導出されるマッチング度が一番高い前記位置ずれ情報を前記統一の位置ずれ情報とすることを特徴とする請求項３に記載の外観検査装置である。これにより、検査対象物に最適な位置ずれ情報で画像合成を行うことができる。
「マッチング度」は、位置ずれ情報を基に複数の切出し画像の位置を補正した時、重複領域における複数の切出し画像の一致具合を示す指標である。複数の切出し画像が一致している程、マッチング度は高い。
【００３２】
本発明の請求項６に記載の外観検査装置は、前記位置ずれ情報検出部は、マッチング処理時にマッチング度が一番高い前記位置ずれ情報を導出するのに用いた前記基板領域画像の種類を同じ構成で実装された基板と対応付けて又は同じ構成で実装された基板及びその領域と対応付けて記憶し、記憶した基板と同じ構成で実装された他の基板、又は同じ構成で実装された他の基板の同一の領域を検査する場合、記憶する種類の前記切出し画像を用いて前記位置ずれ情報を検出して前記統一の位置ずれ情報とすることを特徴とする請求項５に記載の外観検査装置である。本発明においては、マッチング度が一番高い種類の画像を記憶して、次に検査する同一基板の同一検査対象物については、記憶した種類の画像のみでその位置ずれ情報を検出する。これにより、余分な位置ずれ情報検出の処理を省略でき（処理を短時間で実行できる。）、検査対象物に最適な位置ずれ情報で画像合成することができる。
【００３３】
本発明の請求項７に記載の外観検査装置は、前記位置ずれ情報検出部は、隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行う時、それらの前記切出し画像の一部のみを用いてマッチング処理を行い、前記位置ずれ情報を検出することを特徴する請求項２に記載の外観検査装置である。これにより、位置ずれ情報の検出処理の演算量を少なくでき、演算処理時間を短くできる。
【００３４】
本発明の請求項８に記載の外観検査装置は、前記位置ずれ情報検出部は、重複領域における前記切出し画像の画素値の変化が大きいエッジ周辺部分のみを用いてマッチング処理を行うことを特徴とする請求項７に記載の外観検査装置である。これにより、位置ずれ情報の検出処理の演算量を少なくでき、演算処理時間を短くできる。
【００３５】
本発明の請求項９に記載の外観検査装置は、前記位置ずれ情報検出部は、重複領域における前記切出し画像の前記検査対象物の上下のエッジ周辺部分のみを用いてマッチング処理を行うことを特徴とする請求項８に記載の外観検査装置である。マッチング処理に用いる画像の範囲をマッチングし易い検査対象物の上下のエッジ周辺の部分に限定することにより、位置ずれ情報の検出処理の演算量を少なくでき、演算処理時間を短くできる。
【００３６】
本発明の請求項１０に記載の外観検査装置は、前記位置ずれ情報検出部は、重複領域における前記切出し画像の複数の部分のそれぞれを用いてマッチング処理を行って前記位置ずれ情報を検出し、各部分毎に検出された複数の前記位置ずれ情報を平均した位置ずれ情報を、前記位置ずれ情報として出力することを特徴とする請求項７から請求項９の何れかの請求項に記載の外観検査装置である。検査対象物を合成する上で最適な位置ずれ情報を求めることができる。
【００３７】
本発明の請求項１１に記載の外観検査装置は、前記位置ずれ情報検出部は、重複領域における前記切出し画像の複数の部分のそれぞれを用いてマッチング処理を行い、マッチング処理時に導出されるマッチング度が一番高い前記位置ずれ情報を前記位置ずれ情報として出力することを特徴とする請求項７から請求項９の何れかに記載の外観検査装置である。検査対象物を合成する上で最適な位置ずれ情報で画像合成を行うことができる。
【００３８】
本発明の請求項１２に記載の外観検査装置は、前記位置ずれ情報検出部は、マッチング処理時にマッチング度が一番高い前記位置ずれ情報を導出するのに用いた前記切出し画像の部分を同じ構成で実装された基板及びその領域と対応付けて記憶し、記憶した基板と同じ構成で実装された他の基板の同一の領域を検査する場合、記憶する前記切出し画像の部分を用いて前記位置ずれ情報を検出することを特徴とする請求項１１に記載の外観検査装置である。余分な位置ずれ情報検出の処理を省略でき（処理を短時間で実行できる。）、検査対象物に最適な位置ずれ情報で画像合成することができる。
【００３９】
本発明の請求項１３に記載のプログラムは、検査装置のコンピュータに、請求項２から請求項１２のいずれかの請求項に記載の前記切出し画像生成部、前記位置ずれ情報検出部及び前記合成画像生成部として機能させる。本発明のプログラムを検査装置のコンピュータに実行させることにより、上記の効果が得られる。
【００４０】
本発明の請求項１４に記載の記録媒体は、請求項１３に記載のプログラムを記録したコンピュータにより読み取り可能な記録媒体である。本発明の記録媒体に記録されたプログラムを検査装置のコンピュータに実行させることにより、上記の効果が得られる。
【００４１】
【発明の実施の形態】
以下本発明の実施をするための最良の形態を具体的に示した実施の形態について図面とともに記載する。
【００４２】
《実施の形態１》
図１〜４を用いて、本発明の実施の形態１の外観検査装置を説明する。図１（ａ）は本発明の実施の形態１の外観検査装置の構成を示すブロック図である。実施の形態１の外観検査装置は、基板走査部１、信号処理部２を有する。図１（ｂ）は、基板走査部１を図１（ａ）の右側から見たブロック図である。
図１において、基板走査部１は、支持台１０２、モータ１０３、１０６、ガイド１０４、１０７、レーザユニット１０５、制御部１０８を有する。１０１は、検査対象である基板である。１０９はレーザユニット１０５が単体で（モータ１０３により駆動されない場合に）Ｘ軸方向に走査可能な幅を示している。
信号処理部２は、検査基準データ記憶部１１２、検査処理部１１３、切出し画像生成部１１４、合成画像生成部１１５、切出し画像記憶部１１６を有する。
【００４３】
基板走査部１は、図８で示した従来例の外観検査装置の基板走査部１と同一の構成を有する。本実施の形態の制御部１０８は、信号処理部２の切出し画像生成部１１４からの指令を受けて、モータ１０３及びモータ１０６を駆動し、レーザユニット１０５の走査位置を調節する。実施の形態１において、従来例（図８）と同一のブロックには同一の符号を付している。同一のブロックの説明を省略する。
本実施の形態の信号処理部２について説明する。基板領域画像記憶部１１０は、レーザユニット１０５から出力される基板１０１の基板領域画像を記憶する。切出し画像生成部１１４は、必要に応じて基板領域画像記憶部１１０にランダムアクセスできる。
実装データ記憶部１１１は、基板１０１上の検査対象物が実装されている位置などの実装データを予め記憶している。
【００４４】
切出し画像生成部１１４は、実装データ記憶部１１１に記憶されている検査対象物の実装データを参照して、検査をしようとする検査対象物を含む基板領域画像を読み取るように制御部１０８に指示する。切出し画像生成部１１４は、基板領域画像記憶部１１０に記憶されている基板１０１の基板領域画像から、検査対象物及びその近傍の領域の基板領域画像のみの画像である切出し画像を生成し、検査対象物の種別や切出し位置などの検査に必要な付加情報を付加する。切出し画像生成部１１４は、切出し画像が検査対象物の全ての画像データを含んでいる場合はその切出し画像を検査処理部１１３に出力し、切出し画像が検査対象物の一部のみを含んでいる場合にはその切出し画像を合成画像生成部１１５に出力する。切出し画像生成部１１４は、得られた切出し画像が検査対象物の一部のみを含み、検査対象物の他の一部の切出し画像を未だ取得していない場合は、レーザユニット１０５が、次回の走査領域が前回の走査領域と一部重畳するように、走査をすることを制御部１０８に指示する。
【００４５】
切出し画像記憶部１１６は、合成画像生成部１１５が出力する切出し画像を記憶する。合成画像生成部１１５は、必要に応じて切出し画像記憶部１１６にランダムアクセスできる。
合成画像生成部１１５は、切出し画像生成部１１４から検査対象物の一部のみを含む切出し画像を入力すると、その検査対象物（切出し画像に一部のみが含まれている。）の残りの部分を含む切出し画像を切出し画像記憶部１１６から検索し、その検査対象物の全体を完全に含む画像を合成することができる場合は、それらの切出し画像を貼り合わせて、その検査対象物を完全に含む合成画像を作成する。
【００４６】
合成画像生成部１１５は、切出し画像生成部１１４から入力した検査対象物の一部のみを含む切出し画像と、切出し画像記憶部１１６に記憶されている切出し画像を貼り合わせても、その検査対象物の全体を完全に含む合成画像を作成することができない場合は、切出し画像生成部１１４から入力した切出し画像を切出し画像記憶部１１６に記憶して後の画像合成のために保持する。
合成画像生成部１１５は、それぞれ検査対象物の一部のみ及び他の一部のみを含む複数の切出し画像の重複領域における位置ずれを、マッチング処理により検出する。合成画像生成部１１５は、検出した位置ずれ情報に基づいて複数の切出し画像間の位置ずれを補正し、複数の切出し画像を貼り合わて（合成して）一枚の合成画像を生成する。生成した検査対象物の合成画像を検査処理部１１３に出力する。
【００４７】
検査処理部１１３は、切出し画像生成部１１４又は合成画像生成部１１５が出力する検査対象物を含んだ切出し画像を入力し、入力したそれらの画像に対して所定の検査処理を行い、検査結果と、検査基準データ記憶部１１２に記憶されている検査対象物の実装の合否基準となる基準データとを比較して、検査対象物の実装の合否を判定する。
以上のように本発明の実施の形態１の外観検査装置は、基板走査部１は基本的に従来の外観検査装置の構成（図８）と変わらず、基板の走査方法などは従来の外観検査装置と同じであり、信号処理部２の切出し画像生成部１１４、切出し画像記憶部１１６などの一部の構成と、合成画像生成部１１５の処理方法が、従来の外観検査装置と異なる。
【００４８】
図２を用いて、本実施の形態の切出し画像生成部１１４が検査対象物の切出し画像を生成する処理を説明する。図２（ａ）は部品や半田などの検査対象物が実装されている基板を示す図である。図２（ａ）において、２０１は基板であり、２０２、２０３、２０４は基板２０１上に実装されている検査対象物である。
Ｘ軸方向の幅２０６、２０８は、レーザユニット１０５が単体でＸ軸方向に走査可能な幅を示し、Ｙ軸方向の幅２０７は基板２０１のＹ軸方向の幅を示す。幅２０６×長さ２０７の領域、及び幅２０８×長さ２０７の領域は、それぞれレーザユニット１０５が走査する１領域を示し、外観検査装置は、それぞれの矩形領域の基板領域画像を取得する。
図２（ｂ）は、基板２０１の幅２０６×長さ２０７の矩形領域を走査して取得した基板領域画像を示している。図２（ｂ）の基板領域画像は、検査対象物２０２及び検査対象物２０３の一部である２０３Ａの画像データを含む。
【００４９】
切出し画像生成部１１４は、図１の実装データ記憶部１１１に記憶されている検査対象物の基板上の実装データを参照して検査対象物の実装位置を中心とした検査に必要な領域（検査対象物及びその近傍（周辺）のみを含む領域）を切出して切出し画像を作成する。
例えば、図２（ｂ）の基板領域画像が得られた場合、切出し画像生成部１１４は、検査対象物２０２に関する領域２１０の画像データを切出した切出し画像と、検査対象物２０３の一部である２０３Ａに関する領域２１１の画像データを切出した切出し画像と、を生成する。切出し画像生成部１１４は、これらの切出し画像に画像の種別や切出した位置などの、後の画像合成処理や検査処理に必要な固有情報を画像データの付加情報として付加する。
【００５０】
図２（ｄ）は、図２（ｂ）の基板領域画像から検査対象物を中心とする部分（検査対象物及びその近傍（周辺）のみを含む領域）を切出した切出し画像２１４、２１５を示す図である。
図２（ｄ）において、２１４は図２（ｂ）の領域２１０を切出した切出し画像であり、２１５は図２（ｂ）の領域２１１を切出した切出し画像である。
図２（ｄ）の切出し画像２１４は検査対象物２０２の全体を含んでいるので、切出し画像生成部１１４は、切出し画像２１４を検査処理部１１３に出力する。検査処理部１１３は、切出し画像２１４を入力すると、切出し画像２１４を検査して検査対象物２０２の実装の合否を判定する。
【００５１】
図２（ｄ）の切出し画像２１５は、検査対象物２０３の一部である２０３Ａしか含んでいないので、そのままでは検査できない。切出し画像生成部１１４は、切出し画像２１５を合成画像生成部１１５に出力する。合成画像生成部１１５は、切出し画像２１５を入力すると、切出し画像２１５と貼り合わせるための切出し画像を切出し画像記憶部１１６から検索する。切出し画像２１５と貼り合わせる為の切出し画像は、切出し画像記憶部１１６に記憶されていないので、合成画像生成部１１５は切出し画像２１５を切出し画像記憶部１１６に格納する。
【００５２】
検査対象物２０３を検査するためには、検査対象物２０３を完全に含む合成画像を作成しなければならない。そのためには検査対象物２０３の残りの画像データが必要である。切出し画像生成部１１４は、次の基板走査において、レーザユニット１０５が先の走査領域（幅２０６×長さ２０７の領域）と一部重複した幅２０８×長さ２０７の領域を走査して、基板領域画像を取得するように、制御部１０８に指示を出す。
制御部１０８は、切出し画像生成部１１４の指示に従い、レーザユニット１０５に基板１０１を走査させる。
【００５３】
図２（ｃ）は、基板２０１の幅２０８×長さ２０７の矩形領域を走査して取得した基板領域画像を示している。図２（ｃ）の基板領域画像は、検査対象物２０４と検査対象物２０３の一部である２０３Ｂの画像データを含む。
切出し画像生成部１１４は、図２（ｂ）の基板領域画像から切出し画像を生成したのと同様に、図２（ｃ）の基板領域画像について画像切出し処理を行い、検査対象物２０４に関する領域２１３の画像データを切出した切出し画像と、検査対象物２０３の一部である２０３Ｂに関する領域２１２の領域の画像データを切出した切出し画像と、を生成する。
【００５４】
図２（ｅ）は、図２（ｃ）の基板領域画像から生成した切出し画像（検査対象物及びその近傍（周辺）のみを含む領域の画像データ）を示す図である。図２（ｅ）において、２１６は図２（ｃ）の領域２１３の領域を切出した切出し画像であり、２１７は図２（ｃ）の２１２の領域を切出した切出し画像である。切出した切出し画像には、後の画像合成処理や検査処理に必要な固有情報が画像の付加情報として付加される。
図２（ｅ）の切出し画像２１６は、検査対象物２０４の全体を含んでいるので、切出し画像生成部１１４は、切出し画像２１６を検査処理部１１３に出力する。検査処理部１１３は、切出し画像２１６を入力すると、切出し画像２１６を検査して検査対象物２０４の実装の合否を判定する。
【００５５】
図２（ｅ）の切出し画像２１７は、検査対象物２０３の一部である２０３Ｂしか含んでいないので、そのままでは検査できない。切出し画像生成部１１４は、切出し画像２１７を合成画像生成部１１５に出力する。切出し画像記憶部１１６には、先に取得された切出し画像２１５が記憶されている。
合成画像生成部１１５は、切出し画像生成部１１４から切出し画像２１７を入力すると、切出し画像２１７と貼り合わせるべき画像データを切出し画像記憶部１１６から検索し、切出し画像２１５を読み込む。合成画像生成部１１５は、切出し画像２１５と切出し画像２１７とを貼り合わせて合成画像を生成し、生成した合成画像を検査処理部１１３へ出力する。検査処理部１１３は、合成画像を入力すると、合成画像を検査して検査対象物２０３の実装の合否を判定する。
【００５６】
次に図３を用いて、合成画像生成部１１５の画像合成処理を説明する。画像合成処理は、基本的に検査対象物の一部と他の一部とを含む複数の切出し画像の重複領域の画像データを用いて、複数の切出し画像の位置ずれ情報をマッチング処理により検出し、検出した位置ずれ情報を基に複数の切出し画像間の位置ずれを補正して、貼り合わせ、一枚の合成画像を生成することにより行う。
【００５７】
図３は検査対象物２０３の一部２０３Ａを含む切出し画像２１５と、査対象物２０３の他の一部２０３Ｂを含む切出し画像２１７とを合成する方法を説明するための図である。
図３の領域２０９は切出し画像２１５と切出し画像２１７の画像とが重複する領域を示している。切出し画像２１５と切出し画像２１７の合成処理を行う場合は、重複領域２０９の画像データどうしをマッチングにより比較して、切出し画像２１５と切出し画像２１７の位置ずれ情報を検出する。検出した位置ずれ情報を基に切出し画像２１５と切出し画像２１７との間の位置ずれを補正して、合成画像生成部１１５は両者を貼り合せることにより、一枚の合成画像を作る。
【００５８】
以下、本実施の形態の外観検査装置の基板検査方法について図４を用いて説明する。ステップ４０１で、レーザーユニット１０５が最初に走査する基板上の走査領域を設定する。ステップ４０２で、レーザーユニット１０５が設定された走査領域を走査して、その走査領域の基板領域画像を取得する。
ステップ４０３で、切出し画像生成部１１４は、前ステップで取得した基板領域画像から検査対象物とその周辺のみを切出した切出し画像を生成する。このとき、一つの基板領域画像から一又は複数の切出し画像が切出される。複数の切出し画像が切出された場合は一つ一つの切出し画像につき以下のステップ４０４からステップ４０８を実行する。
【００５９】
ステップ４０４で、切出し画像が検査対象物の全てを含んでいるか否かを判定する。切出し画像が検査対象物の全てを含んでいる場合はステップ４０８へ進み、切出し画像が検査対象物の一部のみを含んでいる場合は、ステップ４０５へ進む。
ステップ４０５で、合成画像生成部１１５は、ステップ４０４で検査対象物の一部のみを含んでいると判断された切出し画像と、それ以前に取得された検査対象物の他の一部を含む切出し画像とを貼り合わせることにより検査対象物を完全に含む合成画像を生成することができるか否かを調べる。合成画像を生成できると判断した場合は、ステップ４０６へ進み、合成画像を作成できないと判断した場合は、ステップ４０７へ進む。
【００６０】
ステップ４０７で、合成画像生成部１１５は、ステップ４０４で検査対象物の一部のみを含んでいると判断した切出し画像を記憶しステップ４０９へ進む。
ステップ４０６で、合成画像生成部１１５は、切出し画像を貼り合わせて検査対象物を完全に含む合成画像を作成する。
ステップ４０８で、検査処理部１１３は、ステップ４０４で検査対象物を全て含んでいると判断された切出し画像、又はステップ４０６で生成された合成画像から検査対象物の実装の合否を検査する。
【００６１】
ステップ４０９にて、ステップ４０３で切出りだされた切出し画像の全てについてステップ４０４からステップ４０８の処理をしたか否かを調べる。全ての切出し画像について処理をしていた場合はステップ４１０へ進み、全ての切出し画像について処理をしていなかった場合は、次の切出し画像についてステップ４０４からステップ４０８を実行する。
ステップ４１０にて、検査をしている基板の全ての検査対象物についてステップ４０８の検査をしたか否かを判定する。全ての検査対象物について検査がされていた場合は処理を終了し、全ての検査対象物について検査がされていなかった場合は、ステップ４１１へ進む。
【００６２】
ステップ４１１にて、切り出し画像生成部１１４は、ステップ４０３で切出された１又は複数の切出し画像の中に、検査対象物の一部のみを含んでおり且つ次の走査領域にその検査対象物の残りの部分があると考えられる切り出し画像があるか否かを調べる。例えば図２（ｂ）において、検査対象物の画像データが基板領域画像の右端で断ち切られていれば（検査対象物２０３）、次の走査領域にその検査対象物の残りの部分があると判断し、画像データが基板領域画像の右端で断ち切られている検査対象物がなければ、次の走査領域（図２（ｃ））に、図２（ｂ）の基板領域画像に含まれる検査対象物の一部である画像データはないと判断する。
ステップ４１１で、検査対象物の一部のみを含んでおり且つ次の走査領域にその検査対象物の残りの部分があると考えられる切り出し画像がある場合は、ステップ４１３へ進み、そのような切り出し画像がない場合はステップ４１２へ進む。
【００６３】
ステップ４１２にて、前回走査した領域に隣接する領域をレーザーユニット１０５の次の走査領域として設定し、ステップ４０２へ戻る。
ステップ４１３にて、レーザーユニット１０５の前回走査した領域と一部重複する領域を次の走査領域として設定し、ステップ４０２へ戻る。
本実施の形態によると、検査対象物を含む部分のみを切出した切出し画像により、検査対象物の実装を検査する。これにより、後の画像合成処理に必要な記憶領域の容量を少なくすることができ、また、検査対象物にフォーカスして（検査対象物毎に個別にマッチング処理をして、検査対象物毎の位置ずれ情報を取得し、検査対象物を合成する上で各検査対象物毎に最適になるように位置補正をして）画像合成処理を行うので、検査対象物に最適な画像合成を行うことができる。
【００６４】
《実施の形態２》
以下、本発明の実施の形態２の外観検査装置について図５を用いて説明する。本実施の形態の外観検査装置の構成は、図１で示した実施の形態１の外観検査装置の構成と同一である。本実施の形態の外観検査装置は、切出し画像を合成する方法においてのみ実施の形態１の外観検査装置と異なるので、切出し画像の合成方法についてのみ説明する。
【００６５】
本実施の形態の合成画像生成部１１５は、複数の切出し画像の重複領域の画像データをマッチング処理して切出し画像の間の位置ずれ情報を検出する際に、マッチング処理に用いる領域を切出し画像の重複領域全体ではなく、重複領域の一部分又は複数の部分に限定する。本実施の形態では、これにより位置ずれ情報の検出処理の演算量を少なくすることができる。
以下、この方法について図５を用いて説明する。図５は、本実施の形態の合成画像生成部１１５が、検査対象物２０３の一部である２０３Ａを含む切出し画像２１５と、同じく検査対象物の一部である２０３Ｂを含む切出し画像２１７を合成する動作を説明する図である。
切出し画像２１５及び２１７はそれぞれ、検査対象物２０３の一部である２０３Ａと２０３Ｂを含んだ画像データである。図５の２０９で示した領域は切出し画像２１５及び２１７の重複領域を示している。
【００６６】
本実施の形態の合成画像生成部１１５は、切出し画像２１５及び２１７をマッチング処理する際に用いる領域を、切出し画像の重複領域２０９の一部分に限定する。例えば、切出し画像２１５においてマッチング処理に用いる画像の領域を重複領域２０９内の２１１Ａの領域に限定し、切出し画像２１７においてもマッチング処理に用いる画像の領域を重複領域２０９内の２１１Ｂの領域に限定し、領域２１１Ａと領域２１１Ｂ内の画像データをマッチング処理することにより切出し画像２１５と切出し画像２１７の位置ずれ情報を検出する。
また、マッチング処理に用いる画像の領域を切出し画像の重複領域の複数部分とする場合は、合成画像生成部１１５は、図５の領域２１１Ａと領域２１１Ｂの他に、例えば切出し画像２１５の２２０Ａの領域と、対応する切出し画像２１７の２２０Ｂに領域とを設定し、領域２２０Ａと領域２２０Ｂ内の画像データをマッチング処理することにより切出し画像２１５と切出し画像２１７のもう１つの位置ずれ情報を検出する。
【００６７】
画像のマッチング処理をする際には、画素値の変化が大きい部分を用いるのが好ましい。そこで、マッチング処理に用いる画像の領域を限定する１つの方法として、重複領域の画像中で画素値の変化が大きいエッジ周辺の部分を用いてマッチング処理をする。
重複領域の検査対象物の画像の上辺又は下辺（本明細書及び特許請求の範囲において、基板領域画像は、左側又は右側で他の基板領域画像と隣接する。隣接する基板領域画像の間の境界線とほぼ直角方向に延びる辺又はエッジ）は、検査対象物と基板との境目でありエッジとなっている。マッチング処理に用いる画像の領域を重複領域画像中の検査対象物の上下のエッジ周辺の部分とすることもできる。
これにより位置ずれ情報の検出処理の演算量を少なくし、効率良く位置ずれ情報の検出をすることができる。例えば図５の場合では２０３Ａの上下の境目を囲む領域２１１Ａと領域２２０Ａとがエッジ周辺の領域となっており、２０３Ｂの上下の境目を囲む領域２１１Ｂと領域２２０Ｂとがエッジ周辺の領域となっている。領域２１１Ａ及び対応する領域２１１Ｂと、領域２２０Ａ及び対応する領域２２０Ｂとに、マッチング処理に用いる画像の領域を限定することができる。
【００６８】
上記のマッチング処理に用いる画像の領域を、重複領域画像中の複数の部分に限定する際に、複数の部分の画像それぞれでマッチング処理して複数の位置ずれ情報を検出する。複数の位置ずれ情報から最終的な位置ずれ情報を決定する１つの方法としては、複数の位置ずれ情報を平均した結果導かれた位置ずれ情報を最終的な位置ずれ情報とする。これにより最適な位置ずれ情報を求めることができる。
例えば図５では領域２１１Ａと対応する領域２１１Ｂをマッチング処理して位置ずれ情報を検出し、領域２２０Ａと対応する領域２２０Ｂをマッチング処理して別の位置ずれ情報を検出して２つの位置ずれ情報を検出した場合は、２つの位置ずれ情報を平均した位置ずれ情報を２１５と２１７の画像データの位置ずれ情報とする。
【００６９】
複数の位置ずれ情報から最終的な位置ずれ情報を決定する別の方法としては、複数の位置ずれ情報のうち、それぞれのマッチング処理時に導かれたマッチング度が一番高い位置ずれ情報を最終的な位置ずれ情報とする。これにより最適な位置ずれ情報を求めることができる。例えば図５では領域２１１Ａと２１１Ｂとのマッチング度、及び領域２２０Ａと２２０Ｂとのマッチング度を求め、２つのマッチング度のうち高い方のマッチング度のマッチング処理において検出された位置ずれ情報を切出し画像２１５と２１７の画像データの位置ずれ情報とする。
【００７０】
画像の合成方法の他の方法としては、まず複数の位置ずれ情報のうち、マッチング度が一番高い位置ずれ情報を導出するのに用いた切出し画像の領域と、検査対象物の固有情報と、同じ構成で実装された基板とを対応させて記憶する。そして、同じ構成で実装された別の基板を走査し、同じ固有情報を持つ検査対象物の切出し画像を取得して位置ずれ情報を検出する際には、今度は切出し画像中の記憶されている領域のみを用いて位置ずれ情報を検出し、切出し画像間の最終的な位置ずれ情報とする。切出し画像の領域と対応する検査対象物の固有情報については、図１の切出し画像記憶部１１６に記憶する。これにより余分な位置ずれ情報を検出する処理を省略でき、短時間の処理で、最適な位置ずれ情報で検査対象物の画像データを位置補正し、画像合成を行うことができる。
【００７１】
《実施の形態３》
以下、本発明の実施の形態３の外観検査装置について図６及び図７を用いて説明する。本実施の形態の外観検査装置の構成は、図１で示した実施の形態１の外観検査装置の構成と同一である。
本実施の形態の外観検査装置は、各々の検査対象物について、特性の異なる複数種類の画像情報（基板領域画像）を用いて検査対象物の実装を検査する。例えば、基板の高さ情報に関する基板領域画像と落射情報に関する基板領域画像と（従来例の図９で説明した。）を含む複数種類の基板領域画像を用いて各々の検査対象物の実装を検査する。
本実施の形態においては、レーザユニット１０５は、特性の異なる複数種類の基板領域画像を生成して出力する。例えば、高さ情報に関する基板領域画像、落射情報に関する基板領域画像を含む特性の異なる３種類の基板領域画像を基板領域画像記憶部１１０に記憶する。
【００７２】
切出し画像生成部１１４は、基板領域画像記憶部１１０に記憶されている特性の異なる複数種類の基板領域画像から、検査対象物周辺の部分のみを切出して、切出し画像を出力する。
合成画像生成部１１５は、検査対象物の一部のみを含む切出し画像について同一の種類の（同一の特性の）基板領域画像から生成された切り出し画像（以下、「同一の特性の切出し画像」と呼ぶ。）毎に、位置ずれ情報を検出し、合成し、各々の種類の合成画像を作成する。
図６のフローチャートを用いて、特性の異なる複数種類の基板領域画像を用いた従来例の基板の外観検査方法を説明する。図６に示す従来例の外観検査方法では、特性の異なる３種類の切出し画像を合成して合成画像を作成する。
【００７３】
ステップ６０１にて、合成画像生成部１１５は画像合成に用いる複数の特性１の切出し画像を取得する。合成画像生成部１１５は、切出し画像生成部１１４から出力される検査対象物の特性１の切出し画像と、それに対応する特性１の切出し画像を切出し画像記憶部１１６から読み出す。
ステップ６０２にて、合成画像生成部１１５は、前ステップで読み出した特性１の複数の切出し画像の間の位置ずれを示す位置ずれ情報１を検出する。合成画像生成部１１５は、特性１の切出し画像間の位置ずれ情報１をマッチング処理により比較して検出する。
ステップ６０３にて、合成画像生成部１１５は、前ステップにて検出された特性１の切出し画像間の位置ずれ情報１を基に特性１の切出し画像間の位置ずれを補正して、切出し画像を貼り合わせ、一枚の画像に合成し、特性１の合成画像を検査処理部１１３に出力する。
【００７４】
以下同様にして、ステップ６０４からステップ６０６では、特性２の切出し画像の画像合成処理を行い、ステップ６０７からステップ６０９では、特性３の切出し画像の画像合成処理を行う。
【００７５】
図７のフローチャートを用いて、特性の異なる複数種類の基板領域画像を用いた実施の形態３の基板の外観検査方法を説明する。図７に示す実施の形態３の外観検査方法では、特性の異なる３種類の切出し画像を合成して合成画像を作成する。
本実施の形態の合成画像生成部１１５は、１つの検査対象物の特性の異なる複数種類の切出し画像については、特性が同種の切出し画像間でそれぞれ位置ずれ情報を検出し、検出した複数種類の位置ずれ情報から統一の位置ずれ情報を決定し、その統一の位置ずれ情報を基に複数種類の切出し画像を合成する。これにより検査対象物に最適な位置ずれ情報で画像合成を行うことができる。本発明の外観検査方法は、統一の位置ずれ情報を生成する点において、従来の外観検査方法と異なる。
【００７６】
ステップ７０１にて、画像合成する特性１の切出し画像（例えば基板の高さ情報に関する切出し画像）を取得する。図１の合成画像生成部１１５は、切出し画像生成部１１４から出力される検査対象物の特性１の切出し画像と、それに対応する切出し画像記憶部１１６に記憶されている特性１の切出し画像を読み出す。ステップ７０２にて、合成画像生成部１１５は、前ステップで読み出した特性１の切出し画像間の位置ずれを示す位置ずれ情報１を検出する。
以下、ステップ７０３及び７０４にて、合成画像生成部１１５は、特性２の切出し画像（例えば落射情報に関する切出し画像）間のずれ情報を示す位置ずれ情報２を検出し、ステップ７０５及び７０６にて、特性３の切出し画像間のずれ情報を示す位置ずれ情報３を検出する。
【００７７】
ステップ７０７にて、ステップ７０２、ステップ７０４、ステップ７０６で、合成画像生成部１１５は、検出した特性１〜特性３の切出し画像の位置ずれ情報１〜３を用いて統一の位置ずれ情報を決定する。
ステップ７０８にて、合成画像生成部１１５は、前ステップで求めた統一の位置ずれ情報を用いて特性１の切出し画像間の位置ずれを補正して画像を貼り合わせ、一枚の画像に合成する。同様にステップ７０９では特性２の切出し画像を統一の位置ずれ情報を基に合成し、ステップ７１０では特性３の切出し画像を統一の位置ずれ情報を基に合成する。
【００７８】
上記の複数種類の位置ずれ情報を用いて統一の位置ずれ情報を決定する１つの方法としては、複数種類の位置ずれ情報を平均したものを統一の位置ずれ情報とする。これにより検査対象物に最適な位置ずれ情報を求めることができる。図７のフローチャートのステップ７０７において特性１〜特性３の位置ずれ情報を平均した位置ずれ情報を統一の位置ずれ情報とする。
また、複数種類の位置ずれ情報を用いて統一の位置ずれ情報を決定する別の方法としては、複数種類の位置ずれ情報のうち、それぞれのマッチング処理時に導かれたマッチング度が一番高い位置ずれ情報を統一の位置ずれ情報とする。これにより検査対象物に最適な位置ずれ情報を求めることができる。図７のフローチャートの、ステップ７０２、７０４、７０６において特性１〜特性３の位置ずれ情報検出時に特性１〜特性３のマッチング度が導出されるので、そのマッチング度が一番高い位置ずれ情報を特性１〜特性３の切出し画像の統一の位置ずれ情報とする。
【００７９】
尚、切出し画像間の位置ずれ情報を検出する際には、実施の形態２で説明したように、切出し画像間の重複領域の一部、又は複数の部分を用いてマッチング処理を行うことにより、位置ずれ情報を検出してもよい。
また、複数種類の位置ずれ情報を用いて統一の位置ずれ情報を決定する別の方法としては、まず複数種類の位置ずれ情報のうち、マッチング度が一番高い位置ずれ情報を導出するのに用いた画像種類と、検査対象物の固有情報と、同じ構成で実装された基板とを対応させて記憶する。そして、同じ構成で実装された別の基板を走査し、同じ固有情報を持つ検査対象物の切出し画像を取得して位置ずれ情報を検出する際には、今度は記憶されている画像種類の切出し画像のみを用いて位置ずれ情報を検出し、統一の位置ずれ情報とする。画像種類と対応する検査対象物の固有情報については、図１の構成では切出し画像記憶部１１６に記憶する。これにより余分な位置ずれ情報検出の処理を省略でき、検査対象物に最適な位置ずれ情報で画像合成することができる。
複数種類の位置ずれ情報のうち、マッチング度が一番高い位置ずれ情報を導出するのに用いた画像種類と、検査対象物の固有情報と、同じ構成で実装された基板と、その領域とを対応させて記憶しても良い。そして、同じ構成で実装された別の基板を走査し、同じ領域で、同じ固有情報を持つ検査対象物の切出し画像を取得して位置ずれ情報を検出する際には、今度は記憶されている画像種類の切出し画像のみを用いて位置ずれ情報を検出し、統一の位置ずれ情報とする。
【００８０】
検査装置のコンピュータに、上記の実施の形態における切出し画像生成部、位置ずれ情報検出部及び合成画像生成部として機能させるプログラムは、これを検査装置のコンピュータに実行させることにより、上記の実施の形態と同様の効果が得られる。
そのプログラムを記録した記録媒体から、プログラムを検査装置のコンピュータにロードし、コンピュータに実行させることにより、上記の実施の形態と同様の効果が得られる。
【００８１】
また、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。また、本発明のプログラムの一利用形態は、伝送媒体中を転送し、コンピュータにより読み取られ、コンピュータと協働して動作する態様であっても良い。
また、本発明のデータ構造としては、データベース、データフォーマット、データテーブル、データリスト、データの種類などを含む。
また、記録媒体としては、ＲＯＭ等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。
また、上述した本発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。
尚、本実施の形態３においては、特性の異なる複数種類の基板領域画像を３種類として説明したが、特性の異なる基板領域画像が何種類あっても同様に実施することができる。
【００８２】
【発明の効果】
以上のように、本発明の外観検査方法、外観検査装置、そのプログラム及びその記録媒体によれば、取得した基板の切出し画像中から検査に必要な検査対象物を切出すことにより、分割された検査対象物を貼り合せる画像合成処理時に必要な記憶領域の容量を抑えることができ、また、検査対象物にフォーカスして画像合成処理を行うことができるので、検査対象物に最適な画像合成を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の外観検査装置の構成を示すブロック図
【図２】本発明の実施の形態の外観検査装置における画像の切出し処理について説明する図
【図３】本発明の実施の形態１の切出し画像の合成処理方法を説明する図
【図４】本発明の実施の形態の外観検査方法のフローチャート
【図５】本発明の実施の形態２の切出し画像の合成処理方法を説明する図
【図６】従来例の切出し画像の合成処理を説明するフローチャート
【図７】本発明の実施の形態３の切出し画像の合成処理を説明するフローチャート
【図８】従来例の外観検査装置の構成を示すブロック図
【図９】レーザによる画像の取り込み方法の概要を説明する図
【図１０】レーザユニットによる基板の走査を説明する図
【図１１】従来例の外観検査装置による画像合成処理方法を説明する図
【符号の説明】
１基板走査部
２、８信号処理部
１０１基板
１０２支持台
１０３、１０６モータ
１０４、１０７ガイド
１０５レーザユニット
１０８制御部
１０９レーザユニットのＸ軸方向の走査可能幅
１１０、８０１基板領域画像記憶部
１１１、８０３実装データ記憶部
１１２、８０４検査基準データ記憶部
１１３、８０２検査処理部
１１４切出し画像生成部
１１５、８０５合成画像生成部
１１６切出し画像記憶部
２０１基板
２０２、２０３、２０４検査対象物
２０３Ａ、２０３Ｂ検査対象物が分割された切出し画像
２０６、２０８Ｘ軸方向の走査領域
２０７Ｙ軸方向の走査領域（基板のＹ軸方向幅）
２０９重複領域
２１０、２１１、２１２、２１３切出し領域
２１４、２１５、２１６、２１７切出し画像
２１１Ａ、２１１Ｂマッチング処理を行う範囲
２２０Ａ、２２０Ｂマッチング処理を行う範囲
９０１レーザ半導体
９０２レーザ照射光
９０３基板
９０４ＰＳＤセンサ
９０５、９０７反射光
９０６基板上の部品
９０８垂直反射光
９０９ハーフミラー
９１０フォトセンサ
１００１Ｙ軸方向の走査領域（基板のＹ軸方向幅）
１１０１基板
１１０２、１１０３、１１０４検査対象物
１１０５マーカ
１１０７、１１０９、１１１０走査領域のＸ軸方向幅
１１０８走査領域のＹ軸方向幅
１１１１重複領域[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a visual inspection method, a visual inspection device, a program, and a recording medium for scanning a test object on a substrate to acquire an image and perform a test.
[0002]
[Prior art]
A conventional visual inspection device scans a substrate using a laser unit having a laser and a light receiving sensor that receives the reflected light, acquires information on the substrate surface as an image, and performs a predetermined inspection using the acquired substrate image. Do. The laser unit has a maximum area that can be scanned (scannable area). When scanning a substrate having a size exceeding the scannable region, the substrate is divided into a plurality of regions, and the laser unit scans each region to acquire a divided image of the entire substrate.
[0003]
Hereinafter, a conventional appearance inspection apparatus will be described with reference to FIGS. FIG. 8A is a block diagram showing a configuration of a conventional appearance inspection apparatus. 8 has a substrate scanning unit 1 and a signal processing unit 8. FIG. 8B is a block diagram of the substrate scanning unit 1 as viewed from the right side of FIG. 8A.
8, the substrate scanning unit 1 includes a support 102, motors 103 and 106, guides 104 and 107, a laser unit 105, and a control unit 108. Reference numeral 101 denotes a substrate to be inspected. Reference numeral 109 denotes a width in which the laser unit 105 can scan alone (when not driven by the motor 103) in the X-axis direction.
The signal processing unit 8 includes an image information storage unit 801, an inspection processing unit 802, a mounting data storage unit 803, an inspection reference data storage unit 804, and a composite image generation unit 805.
[0004]
The board 101 is a printed board on which various inspection objects such as components and solder are mounted (mounted). The support base 102 is for fixing the substrate 101 thereon, and can move in the Y-axis direction. The motor 103 moves the support base 102 along the guide 104 in the Y-axis direction, and determines the position of the support base 102 in the Y-axis direction. The laser unit 105 irradiates the substrate 101 with laser light, receives reflected light from the substrate 101, converts the received reflected light into an electric signal, and outputs information on the substrate surface as image data.
On a substrate 101 having a normal size, the laser unit 105 of the appearance inspection apparatus cannot acquire information on the entire substrate 101 to be inspected as a single image, and divides the substrate 101 into a plurality of regions. Image data is acquired for each area. In this specification, the image data of each area of the substrate 101 acquired by the laser unit 105 is called a substrate area image.
[0005]
The laser unit 105 outputs the acquired substrate region image to the image information storage unit 801.
The motor 106 moves the laser unit 105 along the guide 107, and determines the position of the laser unit 105 in the X-axis direction with respect to the substrate 101.
The control unit 108 controls the irradiation position of the laser beam irradiated by the laser unit on the substrate 101 by driving the motor 103 and the motor 106, controls the scanning of the substrate 101 by the laser unit 105, and The scanning information such as the position and the area is output to the inspection processing unit 802. The laser unit 105 alone can scan only the substrate surface in the region indicated by 109 in the X-axis direction at a time. The control unit 108 drives the motor 106 to move the laser unit 105 in the X direction, drives the motor 103 to move the support base 102 in the Y direction, and moves the scanning area of the laser unit 105 in the X direction and the Y direction, respectively. Move to By repeating this, the laser unit 105 scans the entire surface of the substrate 101. The control unit 108 transmits information on the position and area (range) of the scanned substrate 101 to the inspection processing unit 802.
[0006]
The signal processing unit 8 of the conventional visual inspection device will be described.
The image information storage unit 801 stores a substrate region image of each region of the substrate 101 output from the laser unit 105 and a combined image combined by the combined image generation unit 805. The image information storage unit 801 can be randomly accessed from the inspection processing unit 802 and the composite image generation unit 805 as necessary.
The mounting data storage unit 803 stores in advance mounting data such as information on a position on the substrate 101 where the inspection target is mounted.
[0007]
The inspection reference data storage unit 804 stores, in advance, inspection reference data serving as a pass / fail reference for mounting when inspecting an inspection object. In accordance with an instruction from the inspection processing unit 802, the combined image generation unit 805 combines and combines the board area images of the plurality of divided areas of the board 101 stored in the image information storage unit 801. The composite image generation unit 805 detects the positional deviation between the images of the divided images by matching processing, corrects the positional deviation between the images based on the detected positional deviation information, and combines the images into one image. The image information storage unit 801 stores the composite image generated by the composite image generation unit 805.
[0008]
The inspection processing unit 802 refers to the mounting data of the inspection object stored in the mounting data storage unit 803, and outputs the image data (substrate area image) of the substrate 101 stored in the image information storage unit 801. Image data of a partial area around the inspection object (image data of an area required for inspection) is read, a predetermined inspection process is performed on the read image data of the inspection object, and an inspection reference data storage unit Reference data, which is stored in 804 and is used as a pass / fail reference for mounting the inspection target, is compared with the inspection result, and whether the mounting of the inspection target is successful is determined.
[0009]
When the image information storage unit 801 stores a board area image completely including the image of the inspection object to be inspected by the inspection processing unit 802, the inspection processing unit 802 reads out the board area image and performs inspection. Executes the process and outputs the pass / fail judgment result.
When the image data of the inspection object to be inspected by the inspection processing unit 802 is stored in a divided state in a plurality of substrate region images stored in the image information storage unit 801, the inspection processing unit 802 The composite image generation unit 805 is instructed to composite the plurality of board region images.
The composite image generation unit 805 generates a composite image by pasting a plurality of substrate region images stored in the image information storage unit 801. The composite image includes an image of the entire inspection object, which is generated by pasting together the image of the inspection object portion included in each substrate region image. The inspection processing unit 802 performs an inspection process using the composite image, and outputs a pass / fail determination result.
[0010]
When all the board region images necessary for the inspection processing unit 802 to synthesize a composite image completely including the inspection object to be inspected are not stored in the image information storage unit 801 (an image of a part of the inspection object) If only the data is stored), the inspection processing unit 802 causes the control unit 108 to scan the area including the remaining part of the inspection target next so that the laser unit 105 partially overlaps the previous scanning area. To instruct. The laser unit 105 scans the designated area, and the image information storage unit 801 captures a substrate area image of the designated area. The combined image generation unit 805 combines the already held board region image with the newly acquired board region image to generate a combined image. The inspection processing unit 802 performs an inspection process using the composite image, and outputs a pass / fail determination result.
[0011]
Upon receiving an instruction to create a combined image from the inspection processing unit 802, the combined image generation unit 805 receives a board area image for creating a combined image from the image information storage unit 801 (a board area image including a divided inspection object). ) Is read, the read substrate area images are pasted together and combined, and output to the image information storage unit 801. The composite image generation unit 805 detects a position shift in an overlapping region between a plurality of adjacent substrate region images by matching processing, corrects a position shift between the substrate region images based on the detected position shift information, and Combine the images and combine them into a single image.
[0012]
An outline of a method in which the laser unit 105 acquires image information (substrate region image) by using a laser will be described with reference to FIG. FIGS. 9A to 9C are diagrams schematically illustrating a state in which a laser irradiates a substrate with laser light, and a PSD (Positive Sensitive Detector) sensor and a photosensor 910 receive light reflected from the substrate. . The laser unit 105 of the conventional example has a configuration obtained by combining the configurations of FIGS. 9A and 9B and the configuration of FIG. 9C, and inputs two types of image data.
9A to 9C, reference numeral 901 denotes a laser semiconductor, 902 denotes laser irradiation light, 903 denotes a substrate, 904 denotes a PSD sensor, 904 and 907 denote reflected light, 905 denotes components on the substrate, 906 denotes components on the substrate, and 908 denotes vertical reflected light. , 909 is a half mirror, and 910 is a photo sensor. The laser semiconductor 901, the PSD sensor 904, the half mirror 909, and the photo sensor 910 are installed inside the laser unit 105.
[0013]
FIGS. 9A and 9B are diagrams illustrating a configuration and an operation for the laser unit 105 to acquire one type of image data. The laser semiconductor 901 irradiates the substrate 903 with laser irradiation light 902 vertically. The laser irradiation light 902 is perpendicularly incident on the substrate 903 and is reflected obliquely as reflected light 905.
The PSD sensor 904 receives the reflected light 905 reflected in the oblique direction by the substrate 903, and outputs an electric signal corresponding to the amount of the reflected light 905 (which changes according to the position of the PSD sensor 904).
The light receiving position where the PSD 904 receives the reflected light 905 changes according to the height at which the laser irradiation light 902 is reflected on the substrate 903. For this reason, from the output signal of the PSD sensor 904 and its position information, height information on the substrate (information on unevenness of the substrate caused by components mounted on the substrate, solder, etc.) is detected, and the height is detected. Images containing information can be created.
[0014]
For example, as shown in FIG. 9A, when the laser irradiation light 902 is irradiated on a portion of the board 903 where the components are not mounted, the position where the PSD sensor 904 receives the reflected light 905 (light receiving position) ) Is the position of A.
As shown in FIG. 9B, when the part on which the component 906 on the board 903 is mounted is irradiated with the laser irradiation light 902, the position where the laser irradiation light 902 is reflected is when there is no component. Therefore, the light receiving position at which the PSD sensor 904 receives the reflected light 907 is the position B.
As described above, since the light receiving position of the reflected light changes depending on the height of the substrate surface, the change in the height of the substrate surface can be detected by the position where the PSD sensor 904 receives the reflected light (triangulation method). The visual inspection apparatus generates a board area image using data of the height of the board surface as data of each pixel, and stores the board area image in the image information storage unit 801.
[0015]
FIG. 9C is a diagram illustrating a configuration and operation for the laser unit 105 to acquire another type of image data.
In FIG. 9C, a laser semiconductor 901 irradiates a substrate 903 with laser irradiation light 902 vertically. The half mirror 909 receives the vertically reflected light 908 and changes its traveling direction. The photo sensor 910 receives the vertically reflected light 908 whose traveling direction has been changed by the half mirror 909, and outputs an electric signal corresponding to the amount of received light. By measuring the amount of the vertically reflected light 908 with the photo sensor 910, it is possible to detect incident light information on the substrate surface. The visual inspection apparatus generates a board area image which is an incident image (an image having a luminance according to the reflectance of the surface of the board, mounted components, solder, and the like) and stores the image in the image information storage unit 801.
The laser unit 105 in FIG. 8 can acquire a plurality of types of images having different characteristics such as a height image of a substrate and an incident light image by using different light receiving sensors.
[0016]
Next, a method in which the laser unit 105 scans the substrate 101 on the support base 102 by irradiating the substrate 101 with laser light will be described with reference to FIG.
The support 102 on which the substrate 101 is placed can move in the Y-axis direction in FIG. The laser unit 105 can move in the X-axis direction.
In scanning the substrate 101, the laser unit 105 alone can scan only the linear range indicated by 109 in the X-axis direction. Each time the laser unit 105 scans the linear range indicated by 109 in the X-axis direction, the motor 103 moves the support 102 to shift the scanning position of the laser unit 105 in the Y-axis direction by one line. Repeat this.
[0017]
When the laser unit 105 scans the linear range indicated by 109 with respect to the entire width of the substrate 101 in the Y-axis direction (ends scanning of one area), the visual inspection apparatus sets (X-axis direction: laser unit scannable width (width) 109)) × (Y-axis direction: substrate width in the Y-axis direction 1001) A substrate area image of a rectangular area can be acquired.
[0018]
Since the width that can be scanned by the laser unit 105 alone in the X-axis direction is limited to the width 109, if the width of the substrate 101 in the X-axis direction is larger than the scannable width of the laser unit 105, scanning of one region is completed. Each time, the motor 103 moves the laser unit 105 in the X-axis direction. The laser unit 105 starts scanning the substrate 101 with the width 109 at the next position in the X-axis direction. As described above, every time the laser unit 105 scans the linear range indicated by 109 in the X-axis direction, the motor 103 moves the support 102 to shift the scanning position of the laser unit 105 in the Y-axis direction by one line. The visual inspection device acquires a substrate area image of the next rectangular area. By repeating this, the visual inspection apparatus can acquire a plurality of substrate region images obtained by dividing the entire surface of the substrate 101.
The visual inspection device performs a predetermined inspection on the inspection target in the image acquired in this way, and determines whether the inspection target is mounted or not.
[0019]
Next, an operation in which the inspection processing unit 802 instructs the combined image generation unit 805 to combine the board region images and an image combining process in which the combined image generation unit 805 combines the board region images will be described with reference to FIG.
FIG. 11A shows a board on which an inspection object such as a component or solder is mounted. In FIG. 11A, reference numeral 1101 denotes a substrate. Reference numerals 1102, 1103, and 1104 denote inspection objects such as components and solder. A marker 1105 is tentatively shown for easy understanding of the image synthesizing process.
The widths 1107, 1109, and 1110 in the X-axis direction indicate widths that the laser unit 105 can scan in the X-axis direction by itself, and the width 1108 in the Y-axis direction indicates the width of the substrate 1101 in the Y-axis direction. An area of width 1107 × length 1108 and an area of width 1110 × length 1108 each indicate one area scanned by the laser unit 105, and the visual inspection apparatus acquires a substrate area image of each rectangular area.
[0020]
FIG. 11B shows a substrate region image obtained by scanning a region of width 1107 × length 1108 of the substrate 1101. 11B includes image data of the inspection object 1102, 1103A which is a part of the inspection object 1103, and the marker 1105.
In the board area image shown in FIG. 11B, the entire image of the inspection object 1102 has been obtained, so the inspection processing unit 802 performs a predetermined inspection and determines whether or not the mounting is successful.
As for the inspection object 1103, only the image data of 1103A, which is a part of the inspection object 1103, is obtained, so that the inspection processing unit 802 cannot inspect it as it is. In order for the inspection processing unit 802 to inspect the inspection target 1103, an image including the entire image of the inspection target 1103 is created by obtaining substrate region images including the remaining image data of the inspection target 1103 and pasting them. There is a need.
11B is held in the image information storage unit 801.
[0021]
In the previous scan, the laser unit 105 scanned an area of width 1107 × length 1108, and obtained a substrate area image of the area. If there is no inspection object in which image data is divided in this area, then the laser unit 105 moves in the X-axis direction and scans an area of width 1109 × length 1108. When there is an inspection object into which image data is divided in an area of width 1107 × length 1108 (when there is an inspection object 1103 divided and scanned as shown in FIG. 11B), The laser unit 105 scans an area of width 1110 × length 1108 that partially overlaps the width 1107 in the X-axis direction, and acquires a substrate area image of the area. The substrate area image of this area is output to the image information storage unit 801.
[0022]
FIG. 11C shows a substrate region image of a region of the substrate 1101 of width 1110 × length 1108. In FIGS. 11B and 11C, a region on the right side of the broken line 1111 and a region on the left side of the broken line 1111 are regions (1107) where the substrate region images of FIGS. 11B and 11C overlap. And an overlap region of 1110. Hereinafter, the overlap region will be referred to as an overlap region 1111.) In the board region image of FIG. 11C, image data 1103B, which is a part of the inspection object 1103, the inspection object 1104, and the marker 1105 are obtained. Since the marker 1105 is within the overlapping area 1111, the same image data is obtained. Since the image of the inspection object 1104 in FIG. 11C is not divided, the inspection processing unit 802 performs a predetermined inspection and determines whether or not to mount the inspection object. In the board region image of FIG. 11C, only the image data of 1103B which is a part of the inspection object 1103 is obtained. However, by combining this with the substrate area image 1103A of FIG. 11B previously stored in the image information storage unit 801, a composite image of the inspection object 1103 can be created.
[0023]
The inspection processing unit 802 instructs the combined image generation unit 805 to combine the board region images of FIGS. 11B and 11C. The composite image generation unit 805 combines the board region images of FIGS. 11B and 11C to generate a composite image shown in FIG. 11D, and outputs the generated composite image to the image information storage unit 801. .
The inspection processing unit 802 inspects the entire image 1103C of the inspection object 1103 included in the combined image (FIG. 11D) combined by the combined image generation unit 805, and determines whether or not the mounting is successful.
[0024]
When a substrate is scanned by the laser unit 105 in FIG. 8, a mechanical scanning error occurs due to a temperature condition or the like. Therefore, there is a displacement of about several pixels between the acquired substrate region images. For this reason, when combining the board region images and combining them into one image, it is necessary to correct the positional displacement between the board region images. The positional displacement information between the board region images is detected by a matching process using the image data of the overlapping region of the board region image. In FIGS. 11B and 11C, comparison is performed by matching using the image data of the overlapping area 1111 (for example, a marker 1105 and an overlapping portion of 1103A and 1103B), and FIG. 11B and FIG. Detecting displacement information of the substrate area image. Then, the positions of the substrate region images shown in FIGS. 11B and 11C are corrected based on the detected positional deviation information, and combined into one image (FIG. 11D). The markers 1105 in the overlapping area of the board area images in FIGS. 11B and 11C overlap in the composite image in FIG. 11D.
[0025]
[Patent Document 1] JP-A-2002-181729
[0026]
[Problems to be solved by the invention]
However, the above-mentioned conventional visual inspection apparatus has the following problems.
When the image data of the inspection object is divided and image synthesis is required, the image information storage unit stores all (a plurality of) substrate region images including the inspection object into which the image is divided, and The composite image generated by the generator must also be stored. Furthermore, when acquiring a plurality of types of substrate region images having different characteristics for each region, the image information storage unit needs to store all (plural) substrate region images and composite images of each type. Was. The image information storage unit required a large storage capacity.
In the conventional visual inspection apparatus, since the image synthesis processing is not focused on the inspection object (one piece of displacement information is obtained in the entire overlapping area), the image of the inspection object is optimized. However, there is a problem that it is difficult to perform position correction and synthesis.
The present invention has been made to solve the above problems, and has a small storage area capacity required to generate a composite image of an inspection target. An object of the present invention is to provide a visual inspection method, a visual inspection device, a program thereof, and a recording medium for generating an image.
"Correcting the position by focusing on the inspection object" means that the matching processing is individually performed for each inspection object, the positional deviation information for each inspection object is acquired, and each This means that the position is corrected so as to be optimal for each inspection object. Position shift information is acquired in the same number as the number of inspection objects in which images are spread over a plurality of board region images.
[0027]
[Means for Solving the Problems]
In order to solve the above problems, the present invention has the following configurations. The visual inspection method according to claim 1 of the present invention divides a substrate on which an inspection object is mounted into a plurality of regions, and uses an image of the region so that a part of the substrate overlaps with an image of the adjacent region. A substrate region image generating step of generating a certain substrate region image, and a cutout image generating step of generating a cutout image that is an image of only the region to be inspected and its vicinity from the substrate region image; Each of the cutout images belonging to the board region image and including the partial image of the inspection object and the other partial image, performs a matching process in an overlapping area, and positions between the cutout images. Misregistration information detecting step of detecting misregistration information, and correcting the positions of the cutout images based on the detected misalignment information, so that the cutout image of a part of the inspection object and the other part of the cutout image A synthesized image generating step of synthesizing the cutout image to generate a synthesized image of the entire inspection object; and an inspection processing step of performing a predetermined inspection based on the synthesized image and outputting an inspection result. .
This makes it possible to reduce the capacity of the storage area required for the image synthesizing process for bonding the divided inspection objects. Further, it is possible to generate a composite image by performing position correction by focusing on the inspection object. It is possible to reduce the deviation when synthesizing the cut-out images.
[0028]
The visual inspection device according to claim 2, wherein the substrate on which the inspection object is mounted is divided into a plurality of regions and scanned, and the region is overlapped with an image of the adjacent region. A substrate region image generation unit that generates a substrate region image that is an image of the inspection object, and a cutout image generation unit that generates a cutout image that is an image of only the inspection object and an area in the vicinity thereof from the substrate region image, Each of the cutout images belonging to each of the plurality of substrate region images and including the partial image of the inspection object and the other partial image, performs a matching process in an overlapping area, and the cutout images thereof A position shift information detecting unit that detects position shift information between, and corrects the positions of the cut-out images based on the detected position shift information, so that the cut-out image of a part of the inspection object and another part A composite image generation unit that combines the cut-out image to generate a composite image of the entire inspection object, and an inspection processing unit that performs a predetermined inspection based on the composite image and outputs an inspection result .
This makes it possible to reduce the capacity of the storage area required for the image synthesizing process for bonding the divided inspection objects. Also, a composite image is generated by focusing on the inspection object and correcting the position. It is possible to reduce the deviation when synthesizing the cut-out images.
[0029]
In the visual inspection device according to claim 3 of the present invention, the substrate region image acquisition unit generates a plurality of types of substrate region images having different characteristics for each region, and the displacement information detection unit includes a plurality of types. For each of the plurality of types of cut-out images generated from the substrate region image, a matching process is performed in an overlapping region to detect the position shift information, and based on the detected plurality of position shift information, unified position shift information. 3. The composite image generation unit according to claim 2, wherein the composite image generation unit corrects the positions of the cut-out images based on the unified positional shift information to generate the composite image. It is a visual inspection device. Image composition can be performed with optimal displacement information when combining inspection objects.
[0030]
The visual inspection device according to claim 4 of the present invention is characterized in that the positional deviation information detecting unit uses positional deviation information obtained by averaging a plurality of the detected positional deviation information as the unified positional deviation information. An appearance inspection apparatus according to claim 3. Image composition can be performed with optimal displacement information when combining inspection objects.
[0031]
In the visual inspection device according to claim 5 of the present invention, the misregistration information detecting unit determines the misregistration information having the highest matching degree derived at the time of a matching process among the plurality of misregistration information detected. The visual inspection apparatus according to claim 3, wherein the unified positional deviation information is used. Thus, it is possible to perform image synthesis with the positional displacement information that is optimal for the inspection object.
The “matching degree” is an index indicating the degree of coincidence of the plurality of cut images in the overlapping area when the positions of the plurality of cut images are corrected based on the positional deviation information. The degree of matching is higher as the plurality of cutout images match.
[0032]
In the visual inspection device according to claim 6 of the present invention, the misregistration information detection unit uses the same type of the board region image used to derive the misregistration information having the highest matching degree during a matching process. Another board mounted with the same configuration as the stored board, or another board mounted with the same configuration, stored in association with the board mounted in the configuration or in association with the board and its area mounted in the same configuration 6. The visual inspection according to claim 5, wherein, when inspecting the same region of the substrate, the positional deviation information is detected using the cut-out image of the type to be stored and is used as the unified positional deviation information. Device. In the present invention, the image of the type having the highest matching degree is stored, and for the same inspection object on the same substrate to be inspected next, the positional deviation information is detected only by the image of the stored type. This makes it possible to omit an extra process of detecting positional displacement information (the process can be executed in a short time), and it is possible to combine images with positional displacement information that is optimal for the inspection object.
[0033]
In the visual inspection device according to claim 7 of the present invention, the displacement information detection unit belongs to each of the plurality of adjacent substrate region images, and a partial image of the inspection object and another partial image of the inspection object. When performing a matching process in an overlapping area between the cutout images each including (i) and (ii), the matching process is performed using only a part of the cutout images, and the positional deviation information is detected. 2. The visual inspection device according to item 2. As a result, the amount of calculation in the process of detecting the displacement information can be reduced, and the calculation processing time can be shortened.
[0034]
The visual inspection device according to claim 8 of the present invention is characterized in that the position shift information detection unit performs the matching process using only the edge peripheral portion where the change in the pixel value of the cut-out image in the overlapping area is large. An appearance inspection apparatus according to claim 7. As a result, the amount of calculation in the process of detecting the displacement information can be reduced, and the calculation processing time can be shortened.
[0035]
The visual inspection device according to claim 9 of the present invention is characterized in that the displacement information detection unit performs the matching process using only the upper and lower edge peripheral portions of the inspection object in the cut-out image in the overlapping area. An appearance inspection apparatus according to claim 8, wherein By limiting the range of the image used for the matching process to the portion around the upper and lower edges of the inspection object that is easy to match, the amount of calculation in the process of detecting the positional displacement information can be reduced, and the calculation processing time can be shortened.
[0036]
The visual inspection device according to claim 10 of the present invention, wherein the positional deviation information detecting unit detects the positional deviation information by performing a matching process using each of the plurality of portions of the cut-out image in the overlapping area, The external appearance according to any one of claims 7 to 9, wherein positional deviation information obtained by averaging a plurality of the positional deviation information detected for each part is output as the positional deviation information. It is an inspection device. Optimum positional deviation information for synthesizing the inspection object can be obtained.
[0037]
The visual inspection device according to claim 11, wherein the misregistration information detecting unit performs a matching process using each of the plurality of portions of the cut-out image in the overlapping area, and a matching degree derived at the time of the matching process. 10. The visual inspection device according to claim 7, wherein the position shift information having the highest value is output as the position shift information. Image composition can be performed with optimal displacement information when combining inspection objects.
[0038]
In the visual inspection device according to claim 12 of the present invention, the position shift information detection unit has the same configuration of the cut-out image portion used to derive the position shift information having the highest matching degree during the matching process. When inspecting the same area of another board mounted with the same configuration as the stored board and storing it in association with the board mounted thereon and the area thereof, the misalignment is performed using the portion of the cutout image to be stored. The visual inspection device according to claim 11, wherein information is detected. It is possible to omit an extra process of detecting positional displacement information (the process can be executed in a short time), and it is possible to combine images with positional displacement information that is optimal for the inspection object.
[0039]
A program according to a thirteenth aspect of the present invention stores the cut-out image generation part, the misalignment information detection part and the composite image according to any one of the second to twelfth aspects on a computer of an inspection apparatus. Function as a generation unit. The above effects can be obtained by causing the computer of the inspection apparatus to execute the program of the present invention.
[0040]
A recording medium according to a fourteenth aspect of the present invention is a computer-readable recording medium storing the program according to the thirteenth aspect. The above effects can be obtained by causing the computer of the inspection apparatus to execute the program recorded on the recording medium of the present invention.
[0041]
BEST MODE FOR CARRYING OUT THE INVENTION
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments that specifically illustrate the best mode for carrying out the present invention will be described below with reference to the drawings.
[0042]
<< Embodiment 1 >>
The appearance inspection apparatus according to the first embodiment of the present invention will be described with reference to FIGS. FIG. 1A is a block diagram illustrating a configuration of a visual inspection apparatus according to Embodiment 1 of the present invention. The visual inspection apparatus according to the first embodiment includes a substrate scanning unit 1 and a signal processing unit 2. FIG. 1B is a block diagram of the substrate scanning unit 1 as viewed from the right side of FIG.
In FIG. 1, the substrate scanning unit 1 includes a support 102, motors 103 and 106, guides 104 and 107, a laser unit 105, and a control unit 108. Reference numeral 101 denotes a substrate to be inspected. Reference numeral 109 denotes a width in which the laser unit 105 can scan alone (when not driven by the motor 103) in the X-axis direction.
The signal processing unit 2 includes an inspection reference data storage unit 112, an inspection processing unit 113, a cut-out image generation unit 114, a composite image generation unit 115, and a cut-out image storage unit 116.
[0043]
The substrate scanning unit 1 has the same configuration as the substrate scanning unit 1 of the conventional visual inspection apparatus shown in FIG. The control unit 108 of the present embodiment drives the motor 103 and the motor 106 in response to a command from the cut-out image generation unit 114 of the signal processing unit 2 to adjust the scanning position of the laser unit 105. In the first embodiment, the same blocks as those in the conventional example (FIG. 8) are denoted by the same reference numerals. The description of the same block is omitted.
The signal processing unit 2 according to the present embodiment will be described. The substrate area image storage unit 110 stores a substrate area image of the substrate 101 output from the laser unit 105. The cut-out image generation unit 114 can randomly access the substrate area image storage unit 110 as needed.
The mounting data storage unit 111 stores in advance mounting data such as a position on the substrate 101 where the inspection target is mounted.
[0044]
The cut-out image generation unit 114 instructs the control unit 108 to read the board area image including the inspection target to be inspected with reference to the mounting data of the inspection target stored in the mounting data storage unit 111. I do. The cut-out image generation unit 114 generates a cut-out image that is an image of only the board area image of the inspection object and the area in the vicinity thereof from the board area image of the board 101 stored in the board area image storage unit 110, and performs the inspection. Additional information necessary for inspection such as the type of the target object and the cutout position is added. When the cut-out image includes all the image data of the inspection target, the cut-out image generation unit 114 outputs the cut-out image to the inspection processing unit 113, and the cut-out image includes only a part of the inspection target. In this case, the cut-out image is output to the composite image generation unit 115. The cut-out image generation unit 114 sets the laser unit 105 to the next cut-out when the obtained cut-out image includes only a part of the inspection object and has not yet obtained another part of the inspection object. The control unit 108 is instructed to perform scanning so that the scanning area partially overlaps the previous scanning area.
[0045]
The cut-out image storage unit 116 stores a cut-out image output by the composite image generation unit 115. The composite image generation unit 115 can randomly access the cut-out image storage unit 116 as needed.
When the cutout image including only a part of the inspection target is input from the cutout image generation unit 114, the composite image generation unit 115 outputs the remaining portion of the inspection target (the cutout image includes only a part). Is searched from the cut-out image storage unit 116, and if an image including the entirety of the inspection object can be completely synthesized, the cut-out images are pasted together to completely remove the inspection object. Create a composite image that includes
[0046]
The combined image generation unit 115 may attach the cutout image including only a part of the inspection object input from the cutout image generation unit 114 to the cutout image stored in the cutout image storage unit 116, If it is not possible to create a composite image that completely includes the entire image, the extracted image input from the extracted image generation unit 114 is stored in the extracted image storage unit 116 and held for later image synthesis.
The composite image generation unit 115 detects a positional shift in an overlapping region of a plurality of cut-out images including only a part of the inspection target object and only another part of the inspection object by a matching process. The composite image generation unit 115 corrects the positional deviation between the plurality of cut-out images based on the detected positional deviation information, and combines (combines) the plurality of cut-out images to generate one composite image. The generated composite image of the inspection object is output to the inspection processing unit 113.
[0047]
The inspection processing unit 113 inputs a cut-out image including the inspection target output from the cut-out image generation unit 114 or the composite image generation unit 115, performs predetermined inspection processing on the input images, Then, the pass / fail of the mounting of the inspection target is determined by comparing the reference data stored in the inspection reference data storage unit 112 and serving as a pass / fail reference for mounting the inspection target.
As described above, in the appearance inspection apparatus according to the first embodiment of the present invention, the substrate scanning unit 1 is basically the same as the configuration of the conventional appearance inspection apparatus (FIG. 8), and the substrate scanning method and the like are the same. The configuration is the same as that of the apparatus, and a part of the configuration of the cut-out image generation unit 114 and the cut-out image storage unit 116 of the signal processing unit 2 and the processing method of the composite image generation unit 115 are different from those of the conventional visual inspection apparatus.
[0048]
A process in which the cut-out image generation unit 114 according to the present embodiment generates a cut-out image of the inspection object will be described with reference to FIG. FIG. 2A is a diagram illustrating a substrate on which an inspection target such as a component or solder is mounted. In FIG. 2A, reference numeral 201 denotes a substrate, and reference numerals 202, 203, and 204 denote test objects mounted on the substrate 201.
The widths 206 and 208 in the X-axis direction indicate widths that the laser unit 105 can scan alone in the X-axis direction, and the width 207 in the Y-axis direction indicates the width of the substrate 201 in the Y-axis direction. An area of width 206 × length 207 and an area of width 208 × length 207 each indicate one area scanned by the laser unit 105, and the visual inspection apparatus acquires a substrate area image of each rectangular area.
FIG. 2B shows a board area image obtained by scanning a rectangular area of width 206 × length 207 of the board 201. The substrate region image in FIG. 2B includes image data of the inspection object 202 and 203A that is a part of the inspection object 203.
[0049]
The cut-out image generation unit 114 refers to the mounting data on the board of the inspection target stored in the mounting data storage unit 111 of FIG. A cutout image is created by cutting out the target object and an area including only the vicinity (periphery) thereof.
For example, when the board region image in FIG. 2B is obtained, the cut-out image generation unit 114 is a cut-out image obtained by cutting out the image data of the region 210 relating to the inspection target 202 and a part of the inspection target 203. And a cut-out image obtained by cutting out the image data of the area 211 related to 203A. The cut-out image generation unit 114 adds, to these cut-out images, unique information required for a later image synthesizing process and an inspection process, such as an image type and a cut-out position, as additional information of the image data.
[0050]
FIG. 2D shows cut-out images 214 and 215 obtained by cutting out a portion centered on the inspection target (a region including only the inspection target and its vicinity (periphery)) from the substrate region image of FIG. 2B. FIG.
2D, reference numeral 214 denotes a cut-out image obtained by cutting out the region 210 in FIG. 2B, and reference numeral 215 denotes a cut-out image obtained by cutting out the region 211 in FIG. 2B.
Since the cutout image 214 in FIG. 2D includes the entire inspection object 202, the cutout image generation unit 114 outputs the cutout image 214 to the inspection processing unit 113. When the cutout image 214 is input, the inspection processing unit 113 checks the cutout image 214 to determine whether the inspection object 202 is mounted.
[0051]
Since the cutout image 215 in FIG. 2D includes only the part 203A that is a part of the inspection target 203, the inspection cannot be performed as it is. The cut-out image generation unit 114 outputs the cut-out image 215 to the composite image generation unit 115. Upon input of the cut-out image 215, the composite image generation unit 115 searches the cut-out image storage unit 116 for a cut-out image to be combined with the cut-out image 215. Since the cut-out image to be combined with the cut-out image 215 is not stored in the cut-out image storage unit 116, the composite image generation unit 115 stores the cut-out image 215 in the cut-out image storage unit 116.
[0052]
In order to inspect the inspection object 203, it is necessary to create a composite image that completely includes the inspection object 203. For that purpose, the remaining image data of the inspection object 203 is required. In the next substrate scanning, the cut-out image generating unit 114 scans the laser unit 105 over an area of width 208 × length 207 that partially overlaps the previous scanning area (area of width 206 × length 207), and scans the substrate. The control unit 108 is instructed to acquire a region image.
The control unit 108 causes the laser unit 105 to scan the substrate 101 according to the instruction of the cut-out image generation unit 114.
[0053]
FIG. 2C shows a board area image obtained by scanning a rectangular area of width 208 × length 207 of the board 201. The substrate region image in FIG. 2C includes image data of the inspection object 204 and 203B which is a part of the inspection object 203.
The cutout image generation unit 114 performs image cutout processing on the board region image in FIG. 2C in the same manner as in the case where a cutout image is generated from the board region image in FIG. Is generated, and a cut-out image obtained by cutting out image data of the area 212 of the area 203B that is a part of the inspection object 203 is generated.
[0054]
FIG. 2E is a diagram showing a cut-out image (image data of an area including only the inspection object and its vicinity (periphery)) generated from the substrate area image of FIG. 2C. In FIG. 2E, reference numeral 216 denotes a cut-out image obtained by cutting out the area 213 in FIG. 2C, and 217 denotes a cut-out image obtained by cutting out the area 212 in FIG. 2C. Specific information necessary for the subsequent image synthesizing process and inspection process is added to the cut-out image as additional information of the image.
Since the cutout image 216 in FIG. 2E includes the entire inspection object 204, the cutout image generation unit 114 outputs the cutout image 216 to the inspection processing unit 113. When the cutout image 216 is input, the inspection processing unit 113 checks the cutout image 216 to determine whether the inspection object 204 is mounted or not.
[0055]
Since the cut-out image 217 in FIG. 2E includes only the part 203B that is a part of the inspection target 203, it cannot be inspected as it is. The cut-out image generation unit 114 outputs the cut-out image 217 to the composite image generation unit 115. The cut-out image storage unit 116 stores the cut-out image 215 obtained earlier.
When the cut-out image 217 is input from the cut-out image generating unit 114, the composite image generating unit 115 searches the cut-out image storage unit 116 for image data to be combined with the cut-out image 217, and reads the cut-out image 215. The composite image generation unit 115 generates a composite image by pasting the cut image 215 and the cut image 217 together, and outputs the generated composite image to the inspection processing unit 113. Upon receiving the composite image, the inspection processing unit 113 inspects the composite image to determine whether or not the inspection target 203 is mounted.
[0056]
Next, an image combining process of the combined image generation unit 115 will be described with reference to FIG. The image synthesizing process basically detects misalignment information of a plurality of cut-out images by a matching process using image data of an overlapping area of a plurality of cut-out images including a part of an inspection object and another part. This is performed by correcting the positional deviation between the plurality of cut-out images based on the detected positional deviation information, joining the images, and generating one composite image.
[0057]
FIG. 3 is a diagram for explaining a method of combining a cutout image 215 including a part 203A of the inspection target 203 and a cutout image 217 including another part 203B of the inspection target 203.
An area 209 in FIG. 3 indicates an area where the cut-out image 215 and the cut-out image 217 overlap. When performing the combining process of the cut-out image 215 and the cut-out image 217, the image data of the overlapping area 209 is compared with each other by matching to detect positional deviation information between the cut-out image 215 and the cut-out image 217. Based on the detected positional deviation information, the positional deviation between the cut-out image 215 and the cut-out image 217 is corrected, and the combined image generating unit 115 creates a single composite image by bonding the two.
[0058]
Hereinafter, a board inspection method of the appearance inspection apparatus of the present embodiment will be described with reference to FIG. In step 401, the scanning area on the substrate on which the laser unit 105 scans first is set. In step 402, the laser unit 105 scans the set scanning area to acquire a substrate area image of the scanning area.
In step 403, the cut-out image generation unit 114 generates a cut-out image in which only the inspection object and its surroundings are cut out from the board region image acquired in the previous step. At this time, one or a plurality of cut-out images are cut out from one substrate region image. When a plurality of cutout images are cut out, the following steps 404 to 408 are executed for each cutout image.
[0059]
In step 404, it is determined whether or not the cut-out image includes all the inspection objects. When the cut-out image includes all of the inspection target, the process proceeds to step 408. When the cut-out image includes only a part of the inspection target, the process proceeds to step 405.
In step 405, the composite image generation unit 115 cuts out the cutout image determined to include only a part of the inspection target in step 404 and the cutout including the other part of the inspection target obtained before that. It is checked whether or not a composite image completely including the inspection object can be generated by bonding the image and the image. If it is determined that a composite image can be generated, the process proceeds to step 406. If it is determined that a composite image cannot be generated, the process proceeds to step 407.
[0060]
In step 407, the composite image generation unit 115 stores the cutout image determined to include only a part of the inspection target in step 404, and proceeds to step 409.
In step 406, the composite image generation unit 115 creates a composite image completely including the inspection object by pasting the cut-out images.
In step 408, the inspection processing unit 113 inspects whether or not the mounting of the inspection target is successful from the cutout image determined to include all the inspection targets in step 404 or the composite image generated in step 406.
[0061]
In step 409, it is checked whether or not the processing in steps 404 to 408 has been performed on all of the cut-out images cut out in step 403. If all the cutout images have been processed, the process proceeds to step 410. If all the cutout images have not been processed, steps 404 to 408 are executed for the next cutout image.
In step 410, it is determined whether or not the inspection in step 408 has been performed on all the inspection objects of the substrate under inspection. If all the inspection objects have been inspected, the process ends. If all the inspection objects have not been inspected, the process proceeds to step 411.
[0062]
In step 411, the cut-out image generation unit 114 includes only a part of the inspection target in one or a plurality of cut-out images extracted in step 403, and includes the inspection target in the next scanning area. It is determined whether or not there is a cut-out image that is considered to have the remaining portion of. For example, in FIG. 2B, if the image data of the inspection target is cut off at the right end of the substrate region image (the inspection target 203), it is determined that the remaining portion of the inspection target exists in the next scanning area. If there is no inspection object whose image data is cut off at the right end of the board area image, the inspection object included in the board area image of FIG. 2B is included in the next scanning area (FIG. 2C). It is determined that there is no image data that is part of.
If it is determined in step 411 that there is a cutout image that includes only a part of the inspection target and that there is a remaining portion of the inspection target in the next scanning area, the process proceeds to step 413 and such a cutout is performed. If there is no image, the process proceeds to step 412.
[0063]
In step 412, an area adjacent to the area scanned last time is set as the next scanning area of the laser unit 105, and the process returns to step 402.
In step 413, an area that partially overlaps the area previously scanned by the laser unit 105 is set as the next scanning area, and the process returns to step 402.
According to the present embodiment, the mounting of the inspection target is inspected by using the cutout image obtained by cutting out only the portion including the inspection target. As a result, it is possible to reduce the capacity of the storage area necessary for the subsequent image synthesis processing, and to focus on the inspection target (by performing matching processing individually for each inspection target, Image synthesis processing is performed by acquiring positional deviation information and correcting the position of each inspection object so as to be optimal in synthesizing the inspection object. Can be.
[0064]
<< Embodiment 2 >>
Hereinafter, an appearance inspection apparatus according to Embodiment 2 of the present invention will be described with reference to FIG. The configuration of the visual inspection device of the present embodiment is the same as the configuration of the visual inspection device of the first embodiment shown in FIG. The appearance inspection apparatus of the present embodiment differs from the appearance inspection apparatus of the first embodiment only in the method of synthesizing the cut-out image, and therefore, only the method of synthesizing the cut-out image will be described.
[0065]
The synthetic image generation unit 115 according to the present embodiment matches the image data of the overlapping region of the plurality of cut-out images with each other when detecting positional displacement information between the cut-out images, and sets the region used for the matching process as the cut-out image. It is not limited to the entire overlapping area, but to a part or a plurality of parts of the overlapping area. In the present embodiment, this makes it possible to reduce the amount of calculation in the process of detecting the displacement information.
Hereinafter, this method will be described with reference to FIG. FIG. 5 illustrates a case where the composite image generation unit 115 according to the present embodiment combines a cutout image 215 including 203A that is a part of the inspection target 203 and a cutout image 217 that includes 203B that is also a part of the inspection target. FIG.
The cut-out images 215 and 217 are image data including 203A and 203B which are parts of the inspection object 203, respectively. An area indicated by 209 in FIG. 5 indicates an overlapping area of the cut-out images 215 and 217.
[0066]
The composite image generation unit 115 according to the present embodiment limits an area used when performing matching processing on the cut-out images 215 and 217 to a part of the overlapping area 209 of the cut-out images. For example, the region of the image used for the matching process in the cutout image 215 is limited to the region of 211A in the overlap region 209, and the region of the image used for the matching process in the cutout image 217 is also limited to the region of 211B in the overlap region 209. By performing matching processing on the image data in the area 211A and the image data in the area 211B, positional deviation information between the cutout image 215 and the cutout image 217 is detected.
When the region of the image used for the matching process is a plurality of portions of the overlap region of the cut-out image, the combined image generation unit 115 may use, for example, the region 220A of the cut-out image 215 in addition to the region 211A and the region 211B of FIG. Then, a region is set in 220B of the corresponding cutout image 217, and another positional displacement information of the cutout image 215 and the cutout image 217 is detected by performing a matching process on the image data in the region 220A and the image data in the region 220B.
[0067]
When performing image matching processing, it is preferable to use a portion where the change in pixel value is large. Therefore, as one method of limiting the region of the image used for the matching process, the matching process is performed by using a portion around an edge where a change in pixel value is large in the image of the overlapping region.
Upper side or lower side of the image of the inspection object in the overlapping region (in this specification and in the claims, the substrate region image is adjacent to another substrate region image on the left or right side. The boundary between adjacent substrate region images A side or an edge extending in a direction substantially perpendicular to the line) is a boundary between the inspection object and the substrate and is an edge. The region of the image used for the matching process may be a portion around the upper and lower edges of the inspection object in the overlap region image.
As a result, the amount of calculation in the detection processing of the positional deviation information can be reduced, and the positional deviation information can be detected efficiently. For example, in the case of FIG. 5, the area 211A and the area 220A surrounding the upper and lower boundary of 203A are the area around the edge, and the area 211B and the area 220B surrounding the upper and lower boundary of 203B are the area around the edge. I have. The region of the image used for the matching process can be limited to the region 211A and the corresponding region 211B and the region 220A and the corresponding region 220B.
[0068]
When limiting the area of the image used for the above-mentioned matching processing to a plurality of parts in the overlapping area image, matching processing is performed on each of the plurality of parts of the image to detect a plurality of pieces of displacement information. As one method for determining the final displacement information from the plurality of displacement information, the displacement information derived as a result of averaging the plurality of displacement information is used as the final displacement information. This makes it possible to obtain the optimum displacement information.
For example, in FIG. 5, the area 211B corresponding to the area 211A is subjected to matching processing to detect positional deviation information, and the area 220B corresponding to the area 220A is subjected to matching processing to detect another positional deviation information, and two pieces of positional deviation information are detected. When the position information is detected, the position shift information obtained by averaging the two position shift information is set as the position shift information of the image data 215 and 217.
[0069]
As another method of determining the final displacement information from the plurality of displacement information, among the plurality of displacement information, the displacement information having the highest matching degree derived at the time of the respective matching processes is finally determined. This is assumed to be positional deviation information. This makes it possible to obtain the optimum displacement information. For example, in FIG. 5, the degree of matching between the areas 211A and 211B and the degree of matching between the areas 220A and 220B are obtained, and the positional displacement information detected in the matching processing of the higher degree of matching between the two degrees of matching is extracted and the cutout image 215 is obtained. , And 217 as positional information of the image data.
[0070]
As another method of synthesizing an image, first, among a plurality of pieces of misalignment information, a region of a cutout image used to derive the misalignment information having the highest matching degree, and unique information of the inspection object, A board mounted with the same configuration is stored in association with the board. Then, when another board mounted with the same configuration is scanned, and a cutout image of the inspection object having the same unique information is acquired and the positional deviation information is detected, this time, the cutout image is stored in the cutout image. Position shift information is detected using only the area, and is used as final position shift information between cutout images. The specific information of the inspection object corresponding to the region of the cut-out image is stored in the cut-out image storage unit 116 in FIG. As a result, it is possible to omit the process of detecting extra positional displacement information, and it is possible to correct the position of the image data of the inspection object with the optimal positional displacement information and perform image synthesis in a short time.
[0071]
<< Embodiment 3 >>
Hereinafter, an appearance inspection apparatus according to Embodiment 3 of the present invention will be described with reference to FIGS. The configuration of the visual inspection device of the present embodiment is the same as the configuration of the visual inspection device of the first embodiment shown in FIG.
The visual inspection apparatus according to the present embodiment inspects the mounting of the inspection target for each inspection target using a plurality of types of image information (substrate region images) having different characteristics. For example, the mounting of each inspection object is inspected by using a plurality of types of substrate region images including a substrate region image relating to substrate height information and a substrate region image relating to incident light information (described with reference to FIG. 9 of the conventional example). I do.
In the present embodiment, laser unit 105 generates and outputs a plurality of types of substrate region images having different characteristics. For example, three types of substrate region images having different characteristics including a substrate region image relating to height information and a substrate region image relating to incident light information are stored in the substrate region image storage unit 110.
[0072]
The cutout image generation unit 114 cuts out only a portion around the inspection target from a plurality of types of board region images having different characteristics stored in the board region image storage unit 110, and outputs a cutout image.
The composite image generation unit 115 generates a cutout image (hereinafter, “cutout image having the same characteristics”) generated from the same type (having the same characteristics) of the substrate region image for the cutout image including only a part of the inspection object. Each time, the positional deviation information is detected and combined to create a composite image of each type.
A conventional board appearance inspection method using a plurality of types of board area images having different characteristics will be described with reference to the flowchart of FIG. In the conventional appearance inspection method shown in FIG. 6, three types of cutout images having different characteristics are combined to create a combined image.
[0073]
In step 601, the composite image generation unit 115 acquires a plurality of cut-out images of characteristic 1 used for image composition. The composite image generation unit 115 reads out the cutout image of the characteristic 1 of the inspection object output from the cutout image generation unit 114 and the cutout image of the characteristic 1 corresponding to the cutout image from the cutout image storage unit 116.
In step 602, the composite image generation unit 115 detects positional deviation information 1 indicating a positional deviation between a plurality of cut-out images of the characteristic 1 read in the previous step. The composite image generation unit 115 compares and detects the positional deviation information 1 between the cut-out images of the characteristic 1 by the matching processing.
In step 603, the composite image generation unit 115 corrects the positional shift between the cut-out images of the characteristic 1 based on the positional shift information 1 between the cut-out images of the characteristic 1 detected in the previous step, and converts the cut-out image. The images are pasted together and combined into one image, and the combined image of the characteristic 1 is output to the inspection processing unit 113.
[0074]
Similarly, in Steps 604 to 606, the image combining process of the cut-out image of the characteristic 2 is performed, and in Steps 607 to 609, the image combining process of the cut-out image of the characteristic 3 is performed.
[0075]
A method for inspecting the appearance of a substrate according to the third embodiment using a plurality of types of substrate region images having different characteristics will be described with reference to the flowchart in FIG. In the appearance inspection method according to the third embodiment shown in FIG. 7, three types of cutout images having different characteristics are combined to create a combined image.
The synthesized image generation unit 115 according to the present embodiment detects misalignment information between cut-out images having different characteristics of one inspection target object among the cut-out images having different characteristics, and detects the detected plural types of cut-out images. The unified displacement information is determined from the displacement information, and a plurality of types of cut-out images are synthesized based on the unified displacement information. As a result, it is possible to perform the image synthesis with the displacement information that is optimal for the inspection object. The appearance inspection method of the present invention differs from the conventional appearance inspection method in that unified positional deviation information is generated.
[0076]
In step 701, a cut-out image of the characteristic 1 to be image-combined (for example, a cut-out image relating to height information of a substrate) is obtained. 1 reads out a cut-out image of the characteristic 1 of the inspection object output from the cut-out image generating unit 114 and a cut-out image of the characteristic 1 stored in the cut-out image storage unit 116 corresponding to the cut-out image. . In step 702, the composite image generation unit 115 detects positional deviation information 1 indicating a positional deviation between the cut-out images of the characteristic 1 read in the previous step.
Hereinafter, in Steps 703 and 704, the composite image generation unit 115 detects the positional shift information 2 indicating the shift information between the cut-out images of characteristics 2 (for example, a cut-out image related to the incident light information), and in Steps 705 and 706, The position shift information 3 indicating the shift information between the cut-out images of the characteristic 3 is detected.
[0077]
In step 707, in steps 702, 704, and 706, the composite image generation unit 115 determines unified positional deviation information using the detected positional deviation information 1 to 3 of the extracted images of the characteristics 1 to 3. .
In step 708, the composite image generation unit 115 corrects the positional deviation between the cut-out images of the characteristic 1 by using the unified positional deviation information obtained in the previous step, pastes the images together, and combines them into one image. . Similarly, in step 709, the cutout image of the characteristic 2 is synthesized based on the unified displacement information, and in step 710, the cutout image of the characteristic 3 is synthesized based on the unified displacement information.
[0078]
As one method for determining unified displacement information using the plurality of types of displacement information, an average of the plurality of types of displacement information is used as unified displacement information. As a result, it is possible to obtain the optimum positional deviation information for the inspection object. In step 707 of the flowchart in FIG. 7, the displacement information obtained by averaging the displacement information of the characteristics 1 to 3 is used as unified displacement information.
Another method of determining unified positional deviation information using a plurality of types of positional deviation information is a positional deviation with the highest matching degree derived during each matching process among a plurality of types of positional deviation information. The information is unified positional deviation information. As a result, it is possible to obtain the optimum positional deviation information for the inspection object. In steps 702, 704, and 706 of the flowchart of FIG. 7, the matching degree of the characteristic 1 to the characteristic 3 is derived when the positional deviation information of the characteristic 1 to the characteristic 3 is detected. It is assumed that unified positional deviation information of the cutout images 1 to 3 is used.
[0079]
When detecting positional displacement information between cutout images, as described in the second embodiment, by performing a matching process using a part or a plurality of portions of an overlapping region between cutout images, Position shift information may be detected.
Another method of determining unified positional deviation information using plural types of positional deviation information is to first derive the positional deviation information having the highest matching degree from the plural types of positional deviation information. The stored image type, the unique information of the inspection object, and the board mounted with the same configuration are stored in association with each other. Then, when another board mounted with the same configuration is scanned, and a cutout image of the inspection object having the same unique information is acquired and the positional deviation information is detected, a cutout of the stored image type is performed. The displacement information is detected using only the image, and is used as unified displacement information. The unique information of the inspection object corresponding to the image type is stored in the cut-out image storage unit 116 in the configuration of FIG. This makes it possible to omit an extra process of detecting misregistration information, and to synthesize an image with misalignment information that is optimal for the inspection object.
Among a plurality of types of misalignment information, the image type used to derive the misalignment information with the highest matching degree, the unique information of the inspection object, the board mounted with the same configuration, and the area They may be stored in association with each other. Then, when another board mounted with the same configuration is scanned to obtain a cut-out image of the inspection object having the same unique information in the same region and to detect positional deviation information, the information is stored this time. The displacement information is detected using only the cutout image of the image type, and is used as unified displacement information.
[0080]
The program that causes the computer of the inspection apparatus to function as the cut-out image generation unit, the misregistration information detection unit, and the composite image generation unit in the above embodiment is executed by causing the computer of the inspection apparatus to execute the program. The same effect can be obtained.
By loading the program from the recording medium on which the program is recorded into the computer of the inspection apparatus and causing the computer to execute the program, the same effects as in the above-described embodiment can be obtained.
[0081]
Further, one usage form of the program of the present invention may be a mode in which the program is recorded on a computer-readable recording medium and operates in cooperation with the computer. Further, one usage form of the program of the present invention may be a mode in which the program is transferred in a transmission medium, read by a computer, and operates in cooperation with the computer.
Further, the data structure of the present invention includes a database, a data format, a data table, a data list, a type of data, and the like.
The recording medium includes a ROM and the like, and the transmission medium includes a transmission medium such as the Internet, light, radio waves, and sound waves.
Further, the above-described computer of the present invention is not limited to pure hardware such as a CPU, but may include firmware, an OS, and peripheral devices.
Note that, as described above, the configuration of the present invention may be realized by software or hardware.
In the third embodiment, a plurality of types of substrate region images having different characteristics have been described as three types. However, the present invention can be similarly applied to any number of substrate region images having different characteristics.
[0082]
【The invention's effect】
As described above, according to the appearance inspection method, the appearance inspection apparatus, the program, and the recording medium of the present invention, the inspection object necessary for the inspection is cut out from the obtained cut-out image of the board, and thus the image is divided. It is possible to reduce the amount of storage area required during the image synthesis processing for attaching the inspection object, and to perform the image synthesis processing by focusing on the inspection object. It can be carried out.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a visual inspection device according to an embodiment of the present invention.
FIG. 2 is a view for explaining image cutout processing in the appearance inspection device according to the embodiment of the present invention;
FIG. 3 is a view for explaining a method of synthesizing a cut-out image according to the first embodiment of the present invention;
FIG. 4 is a flowchart of an appearance inspection method according to the embodiment of the present invention;
FIG. 5 is a view for explaining a method of synthesizing a cut-out image according to the second embodiment of the present invention;
FIG. 6 is a flowchart for explaining a cutout image synthesizing process according to a conventional example.
FIG. 7 is a flowchart illustrating a process of synthesizing a cut-out image according to the third embodiment of the present invention;
FIG. 8 is a block diagram showing a configuration of a conventional appearance inspection apparatus.
FIG. 9 is a view for explaining an outline of a method of capturing an image by a laser.
FIG. 10 illustrates scanning of a substrate by a laser unit.
FIG. 11 is a view for explaining an image synthesizing processing method by a conventional appearance inspection apparatus.
[Explanation of symbols]
1 Substrate scanning unit
2, 8 signal processing unit
101 substrate
102 support
103, 106 motor
104, 107 guide
105 Laser unit
108 control unit
109 Scannable width of laser unit in X-axis direction
110, 801 substrate area image storage unit
111, 803 mounting data storage unit
112, 804 inspection reference data storage unit
113, 802 inspection processing unit
114 Cutout image generation unit
115,805 Synthetic image generation unit
116 cut-out image storage unit
201 substrate
202, 203, 204 Inspection object
203A, 203B Cut-out image of inspection object divided
206, 208 Scanning area in X-axis direction
207 Y-axis scanning area (width of substrate in Y-axis direction)
209 Overlap area
210, 211, 212, 213 Cut-out area
214, 215, 216, 217 Cutout image
211A, 211B Range of matching processing
220A, 220B Range of matching process
901 Laser semiconductor
902 Laser irradiation light
903 substrate
904 PSD sensor
905, 907 reflected light
906 Parts on board
908 Vertically reflected light
909 Half mirror
910 Photo Sensor
1001 Scanning area in Y-axis direction (width of substrate in Y-axis direction)
1101 substrate
1102, 1103, 1104 Inspection object
1105 Marker
1107, 1109, 1110 X-axis width of scanning area
1108 Y-axis width of scanning area
1111 Overlapping area

Claims

検査対象物が装着された基板を複数の領域に分割し、隣接する前記領域の画像と一部が重複するように、前記領域の画像である基板領域画像を生成する基板領域画像生成工程と、
前記基板領域画像から、前記検査対象物及びその近傍の領域のみの画像である切出し画像を生成する切出し画像生成工程と、
隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行い、それらの前記切出し画像間の位置ずれ情報を検出する位置ずれ情報検出工程と、
検出した前記位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記検査対象物の一部の前記切出し画像と他の一部の前記切り出し画像とを合成し、前記検査対象物の全体の合成画像を生成する合成画像生成工程と、
前記合成画像に基づいて所定の検査を行い、検査結果を出力する検査処理工程と、
を有することを特徴とする外観検査方法。Dividing the substrate on which the inspection object is mounted into a plurality of regions, and partially overlapping the image of the adjacent region, a substrate region image generating step of generating a substrate region image that is an image of the region,
From the substrate region image, a cut-out image generation step of generating a cut-out image that is an image of only the inspection object and an area in the vicinity thereof,
Each of the plurality of adjacent substrate region images, each of the cutout images including the partial image of the inspection object and the other partial image, performs a matching process in an overlapping region, and performs the matching process. A misregistration information detecting step of detecting misregistration information between cutout images,
The positions of the cut-out images are corrected based on the detected positional deviation information, and the cut-out image of a part of the inspection object and the cut-out image of the other part are combined to synthesize the inspection object. A composite image generation step of generating an overall composite image of
An inspection processing step of performing a predetermined inspection based on the composite image and outputting an inspection result;
A visual inspection method comprising:

検査対象物が装着された基板を複数の領域に分割して走査し、隣接する前記領域の画像と一部が重複するように、前記領域の画像である基板領域画像を生成する基板領域画像生成部と、
前記基板領域画像から、前記検査対象物及びその近傍の領域のみの画像である切出し画像を生成する切出し画像生成部と、
隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行い、それらの前記切出し画像間の位置ずれ情報を検出する位置ずれ情報検出部と、
検出した前記位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記検査対象物の一部の前記切出し画像と他の一部の前記切り出し画像とを合成し、前記検査対象物の全体の合成画像を生成する合成画像生成部と、
前記合成画像に基づいて所定の検査を行い、検査結果を出力する検査処理部と、
を有することを特徴とする外観検査装置。A substrate area image generation for generating a substrate area image which is an image of the area by scanning the substrate on which the inspection object is mounted by dividing the area into a plurality of areas and partially overlapping an image of the adjacent area. Department and
From the substrate region image, a cut-out image generating unit that generates a cut-out image that is an image of only the inspection object and an area in the vicinity thereof,
Each of the plurality of adjacent substrate region images, each of the cutout images including the partial image of the inspection object and the other partial image, performs a matching process in an overlapping region, and performs the matching process. A misregistration information detecting unit for detecting misregistration information between cutout images,
The positions of the cut-out images are corrected based on the detected positional deviation information, and the cut-out image of a part of the inspection object and the cut-out image of the other part are combined to synthesize the inspection object. A composite image generation unit that generates an overall composite image of
An inspection processing unit that performs a predetermined inspection based on the composite image and outputs an inspection result;
A visual inspection device characterized by having:

前記基板領域画像取得部は、各領域につき特性の異なる複数種類の前記基板領域画像を生成し、
前記位置ずれ情報検出部は、複数種類の前記基板領域画像から生成された複数種類の前記切出し画像毎に、重複領域においてマッチング処理を行って前記位置ずれ情報を検出し、検出した複数の前記位置ずれ情報に基づいて、統一の位置ずれ情報を決定し、
前記合成画像生成部は、前記統一の位置ずれ情報を基にそれらの前記切出し画像の位置を補正して、前記合成画像を生成する、
ことを特徴とする請求項２に記載の外観検査装置。The substrate region image acquisition unit generates a plurality of types of the substrate region images having different characteristics for each region,
The misregistration information detection unit detects the misregistration information by performing a matching process in an overlapping area for each of a plurality of types of cutout images generated from a plurality of types of the substrate region images, and detects the plurality of detected positions. Based on the displacement information, determine unified displacement information,
The composite image generating unit corrects the positions of the cut-out images based on the unified displacement information to generate the composite image.
The visual inspection device according to claim 2, wherein:

前記位置ずれ情報検出部は、検出した複数の前記位置ずれ情報を平均した位置ずれ情報を前記統一の位置ずれ情報とすることを特徴とする請求項３に記載の外観検査装置。4. The visual inspection apparatus according to claim 3, wherein the displacement information detection unit sets displacement information obtained by averaging a plurality of the detected displacement information as the unified displacement information.

前記位置ずれ情報検出部は、検出した複数の前記位置ずれ情報のうち、マッチング処理時に導出されるマッチング度が一番高い前記位置ずれ情報を前記統一の位置ずれ情報とすることを特徴とする請求項３に記載の外観検査装置。The position shift information detecting unit, wherein, among the plurality of detected position shift information, the position shift information having the highest matching degree derived during a matching process is used as the unified position shift information. Item 4. An appearance inspection apparatus according to Item 3.

前記位置ずれ情報検出部は、マッチング処理時にマッチング度が一番高い前記位置ずれ情報を導出するのに用いた前記基板領域画像の種類を同じ構成で実装された基板と対応付けて又は同じ構成で実装された基板及びその領域と対応付けて記憶し、記憶した基板と同じ構成で実装された他の基板、又は同じ構成で実装された他の基板の同一の領域を検査する場合、記憶する種類の前記切出し画像を用いて前記位置ずれ情報を検出して前記統一の位置ずれ情報とすることを特徴とする請求項５に記載の外観検査装置。The position shift information detection unit, the type of the substrate region image used to derive the position shift information having the highest matching degree at the time of the matching process is associated with a board mounted in the same configuration or in the same configuration. When inspecting another board mounted with the same configuration as the stored board or the same area of another board mounted with the same configuration, the type to be stored is stored in association with the mounted board and its area. 6. The visual inspection apparatus according to claim 5, wherein the position shift information is detected using the cut-out image and is used as the unified position shift information.

前記位置ずれ情報検出部は、隣接する複数の前記基板領域画像にそれぞれ属し、前記検査対象物の一部の画像と他の一部の画像とをそれぞれ含む前記切出し画像の間で、重複領域においてマッチング処理を行う時、それらの前記切出し画像の一部のみを用いてマッチング処理を行い、前記位置ずれ情報を検出することを特徴する請求項２に記載の外観検査装置。The displacement information detection unit belongs to each of the plurality of adjacent substrate region images, between the cutout images each including a partial image of the inspection object and another partial image, in an overlapping region 3. The visual inspection apparatus according to claim 2, wherein when performing the matching process, the matching process is performed using only a part of the cut-out images to detect the positional displacement information.

前記位置ずれ情報検出部は、重複領域における前記切出し画像の画素値の変化が大きいエッジ周辺部分のみを用いてマッチング処理を行うことを特徴とする請求項７に記載の外観検査装置。8. The visual inspection apparatus according to claim 7, wherein the misalignment information detection unit performs the matching process using only an edge peripheral portion where a change in pixel value of the cut-out image in the overlapping area is large.

前記位置ずれ情報検出部は、重複領域における前記切出し画像の前記検査対象物の上下のエッジ周辺部分のみを用いてマッチング処理を行うことを特徴とする請求項８に記載の外観検査装置。9. The visual inspection apparatus according to claim 8, wherein the misalignment information detection unit performs the matching process using only the upper and lower edge peripheral portions of the inspection object in the cut-out image in the overlapping area.

前記位置ずれ情報検出部は、重複領域における前記切出し画像の複数の部分のそれぞれを用いてマッチング処理を行って前記位置ずれ情報を検出し、各部分毎に検出された複数の前記位置ずれ情報を平均した位置ずれ情報を、前記位置ずれ情報として出力することを特徴とする請求項７から請求項９の何れかの請求項に記載の外観検査装置。The misregistration information detection unit detects the misalignment information by performing a matching process using each of the plurality of portions of the cut-out image in the overlapping area, and calculates the plurality of misalignment information detected for each portion. The visual inspection device according to claim 7, wherein the average positional deviation information is output as the positional deviation information.

前記位置ずれ情報検出部は、重複領域における前記切出し画像の複数の部分のそれぞれを用いてマッチング処理を行い、マッチング処理時に導出されるマッチング度が一番高い前記位置ずれ情報を前記位置ずれ情報として出力することを特徴とする請求項７から請求項９の何れかに記載の外観検査装置。The misregistration information detection unit performs a matching process using each of the plurality of portions of the cut-out image in the overlapping area, and uses the misalignment information having the highest matching degree derived during the matching process as the misalignment information. The visual inspection device according to claim 7, wherein the visual inspection device outputs the output.

前記位置ずれ情報検出部は、マッチング処理時にマッチング度が一番高い前記位置ずれ情報を導出するのに用いた前記切出し画像の部分を同じ構成で実装された基板及びその領域と対応付けて記憶し、記憶した基板と同じ構成で実装された他の基板の同一の領域を検査する場合、記憶する前記切出し画像の部分を用いて前記位置ずれ情報を検出することを特徴とする請求項１１に記載の外観検査装置。The misregistration information detection unit stores a portion of the cutout image used to derive the misregistration information having the highest matching degree at the time of the matching process in association with the board and the region mounted in the same configuration. 12. The method according to claim 11, wherein when inspecting the same area of another board mounted with the same configuration as the stored board, the position shift information is detected using a portion of the cut-out image to be stored. Appearance inspection equipment.

検査装置のコンピュータに、請求項２から請求項１２のいずれかの請求項に記載の前記切出し画像生成部、前記位置ずれ情報検出部及び前記合成画像生成部として機能させるためのプログラム。13. A program for causing a computer of an inspection apparatus to function as the cut-out image generation unit, the displacement information detection unit, and the composite image generation unit according to any one of claims 2 to 12.

請求項１３に記載のプログラムを記録したコンピュータにより読み取り可能な記録媒体。A computer-readable recording medium on which the program according to claim 13 is recorded.