JP4788549B2 - 外観検査用の画像の保存方法および画像保存処理装置 - Google Patents

Description

この発明は、検査対象物を撮像し、生成された画像を処理することによって、検査対象物の良否を判定する外観検査において、検査に使用された画像を所定の記憶媒体に保存するための方法、およびこの方法を実行する装置に関する。

近年、部品実装基板を対象とする外観検査について、検査に使用された画像を検査後も保存して、不良内容を確認したり、不良の原因を詳細に分析するのに利用することが提案されている。

たとえば下記の特許文献１には、クリームはんだの印刷工程、部品の実装工程、およびリフロー工程にそれぞれ検査装置を配備し、各検査装置において、検査に使用された画像データを基板の識別情報に対応づけてメモリに蓄積することが記載されている（段落００４０，００４２，００４３）。また各検査装置にはサーバー（情報処理装置）がオンライン接続され、いずれかの検査装置で不良判定された部位について、各検査装置で生成した画像データをサーバー側に保存することも記載されている（段落００５６，００５７）。

また特許文献２には、特許文献１と同種のシステムにおいて、各検査装置における検査結果や検査に使用された画像を、サーバー（中央管理装置）内のメモリに蓄積することが記載されている（段落０００８，００２２，００２７、図２）。

特開２００５−３０３２６９号公報 特開２００６−２１０７２９号公報

近年の製造現場では、出荷された個々の製品について、もし不備が生じたときに製造工程における原因を追求するために、トレーサビリティ情報を蓄積するようにしている。このトレーサビリティ情報を充実させるには、検査に使用された画像データを保存するのが望ましいと考えられる。

しかし、画像データの保存には大容量の記憶媒体が必要となるため、コスト面を考えると、すべての画像データを長期間保存するのは困難である。勿論、圧縮技術を利用して各画像を圧縮することは可能であるが、単に各種の静止画像データを圧縮しても、画像毎に圧縮ファイルを作成し、全画素のデータを対象とする圧縮処理を行わなければならないため、データ容量を十分に削減できない。また、多数のファイルが作成されるため、データの管理が煩雑になるという問題もある。

この発明は上記の問題に着目してなされたもので、検査に使用された各種の静止画像データを大幅に容量を削減して圧縮できるようにするとともに、圧縮後のデータを容易に管理できるようにすることを課題とするものである。

上記の課題を解決するための外観検査用の画像の保存方法では、相互に差分演算処理を行った場合に得られる差分データ量が所定の範囲内にある複数の静止画像データを、これらの画像における検査対象物の特徴を表す数値データに基づきソートするステップ；当該ソートにより１番目に位置づけられた画像データまたはあらかじめ準備された基準画像データを第１フレームに割り当て、その他の静止画像データをそれぞれソートされた順序に従って第２フレーム以下の各フレームに順に割り当て、第２フレーム以下の各フレームの画像データがそれぞれ１つ前のフレームに対する差分画像データに変換された圧縮形式の動画像データを生成するステップ；処理対象となった複数の静止画像データと検査対象物との対応関係に基づき、動画像データの各フレームと各検査対象物との対応関係を表す参照情報を作成するステップ；動画像データおよび参照情報をそれぞれ所定の記憶媒体に保存するステップ；の各ステップを実行する。

上記の方法によれば、保存対象の静止画像データを、これらの画像における検査対象物の特徴を表す数値データに基づきソートした上で、そのソートにより１番目に位置づけられた画像データを除く各画像データ、または全ての画像データを、差分画像データに変換することによって、データの容量を大幅に削減することができる。また複数の静止画像データを１つの動画像データファイルとして圧縮することができるので、ファイルの数が抑えられ、データ管理も容易になる。さらに、動画像データとともに、このデータの各フレームと各検査対象物との対応関係を表す参照情報が保存されるので、検査対象物の画像を復元する必要が生じた場合には、その対象物の参照情報に基づき対応するフレームを特定し、目的の画像データを問題なく復元することができる。

上記方法では、検査対象物毎に生成された静止画像データを処理対象としても良いし、複数の検査対象物を含む静止画像データを処理対象としてもよい。処理対象となる静止画像データ間において許容できる差分データ量は、画像データの数や保存対象の記憶媒体の容量などに応じて定めることができる。ただし、できる限り画像データ間の差が小さくなるように、外観が同一または類似する検査対象物の静止画像データを集めて処理するのが望ましい。たとえば、一群の部品実装基板を検査する間に得られた同一種の部品の静止画像データや、同一構成の部品実装基板の同一領域の静止画像データなどを、処理対象とすることができる。

「基準画像データ」は、保存対象の画像データではないが、保存対象の各画像データに似た構成の画像データであるのが望ましい。たとえば、検査時に各画像データのモデルとして登録された静止画像データを基準画像データとすることができる。勿論、基準画像データを設定せず、保存対象の画像データの中のソートにより１番目に位置づけられた画像データを第１フレームに設定してもよい。

参照情報は、たとえば保存対象の各画像データに対応する検査対象物を特定するための情報（対象物特定情報）と、各画像データが動画像データの何番目のフレームに割り当てられているかを示す情報とを対応づけたものとなる。

上記方法の好ましい一態様では、検査のための計測対象となったパラメータが共通する複数の検査対象物毎に生成された複数の静止画像データを対象として、ソートのステップにおいて、各静止画像データを共通のパラメータにかかる計測値に基づいてソートする。

上記のソート処理では、いずれの検査対象物についても計測されたパラメータにかかる計測値をキーとして、各静止画像データをソートすることになる。たとえば、各検査対象物について位置が計測された場合であれば、所定の基準位置に対する距離が近い検査対象物から順番に並ぶように、各画像データを順序づけることができる。

このようなソート処理の結果に基づき各静止画像データを配列すれば、隣り合う画像データ間の差分データ量を小さくすることができるので、第２フレーム以降の各フレームのデータ量を抑えることができる。よって、元の静止画像データの集合に対し、容量が大幅に削減された動画像データを生成することができる。

より好ましい態様では、検査対象物の位置、ずれ量（位置ずれ量、または回転ずれ量）、大きさ、濃度、色彩のうちの少なくとも１つが、ソート処理に使用される共通のパラメータとして設定される。２つ以上のパラメータによるソート処理を行う場合にはパラメータ間に優先順位を設定し、優先順位の高いパラメータから順にソートを実行するのが望ましい。

上記方法では、部品実装基板に搭載される部品、またはその部品が実装される基板側電極もしくはその電極と部品との間に形成されるはんだフィレットを、検査対象とすることができる。たとえば、同一の部品種に属する部品の画像データを対象に、位置や大きさなどの計測値に基づきソート処理を実行し、上記した圧縮形式の動画像データを生成することができる。

上記の方法を実行する外観検査用の画像の保存装置は、検査対象物の外観検査に用いられた静止画像データを入力するための画像入力手段；画像入力手段が入力した複数の静止画像データにつき、それぞれ撮像対象の検査対象物を特定する対象物特定情報を入力するための情報入力手段；画像入力手段が入力した複数の静止画像データを、これらの画像における検査対象物の特徴を表す数値データに基づきソートするソート手段；当該ソートにより１番目に位置づけられた静止画像データまたはあらかじめ登録された基準画像データを第１フレームに割り当て、その他の静止画像データをそれぞれソートされた順序に従って第２フレーム以下の各フレームに順に割り当て、第２フレーム以下の各フレームの画像データがそれぞれ１つ前のフレームの画像データに対する差分画像データに変換された圧縮形式の動画像データを生成する動画像データ生成手段；情報入力手段が入力した対象物特定情報に基づき、動画像データの各フレームと各検査対象物との対応関係を表す参照情報を作成する参照情報作成手段；動画像データ生成手段により生成された動画像データおよび参照情報作成手段により作成された参照情報を、それぞれ所定の記憶媒体に保存する保存処理手段；の各手段を具備する。

上記の装置において、入力手段は、たとえば、外観検査を行う検査装置から画像データの送信を受け付ける手段として構成することができる。また、外観検査に使用された画像データが圧縮されずに保存された装置または記憶媒体から、画像データを読み出す手段として構成することもできる。

保存処理手段は、記憶媒体として、たとえばハードディスク装置などの画像保存処理装置に属するメモリ装置、またはＤＶＤなどのリムーバブル記憶媒体を使用して、動画像データおよび参照情報を保存する。あるいは、各情報を外部の装置に送信し、その装置に保存処理を行わせる手段を、保存処理手段としてもよい。また、２種類の情報の保存先は同一の記憶媒体に限らず、異なる記憶媒体であってもよい。

好ましい態様の画像保存処理装置では、ソート手段は、検査のための計測対象となったパラメータが共通する複数の検査対象物毎に生成された静止画像データを対象に、各静止画像データを前記共通のパラメータにかかる計測値に基づいてソートするように構成される。

上記の画像の保存方法および画像保存処理装置によれば、検査対象物の外観検査に使用された複数の静止画像データの集合を、容量が大幅に削減された動画像データに変換して保存することができるので、大容量の静止画像データを長期間保存する場合のメモリ容量やコストを大幅に削減することができる。よって、画像データの長期保存が容易になる。

また、動画像データとともに、各検査対象物が動画像データ中のどのフレームに対応するかを示す参照情報が保存されるので、画像を復元する必要が生じた場合にも、容易に対応することができる。

図１は、この発明が適用された基板検査システムの構成例を示す。
この基板検査システムは、２台の基板検査装置１Ｚ，１Ｓと情報処理装置２とを、通信回線３を介して接続した構成のものである。検査装置１Ｚは、図示しないマウンタによる部品実装工程を経た基板を対象に、部品の位置ずれや部品の実装の有無などを検査する。他方の検査装置１Ｓは、図示しないリフロー炉によるはんだ付け工程を経た基板を対象に、各部品のランド上に形成されたフィレットを検査する。各検査装置１Ｚ、１Ｓの前面には、液晶パネル１１や各種操作のためのスイッチ１２などが設けられる。

前記情報処理装置２には、コンピュータによる本体部２０のほか、モニタ２１や、キーボードなどによる入力部２２が含まれる。
情報処理装置２では、各検査装置１Ｚ，１Ｓから検査結果や検査に使用された画像データなどの配信を受け、これらを本体部２０内に保存する。さらに、情報処理装置２では、所定の経過期間を経た画像について、後記する圧縮処理を実行し、圧縮後の画像データを長期保存用のデータとして管理する。

なお、図１の基板検査システムには、部品実装後基板の検査装置１Ｚとはんだ付け後基板の検査装置１Ｓとが含まれているが、検査装置は、最終のはんだ付け工程の検査装置１Ｓのみとしてもよい。反対に、検査装置１Ｚ，１Ｓに加え、クリームはんだの印刷状態を検査するための検査装置をシステムに含めるなど、３台以上の検査装置を接続してもよい。さらに、情報処理装置２に加えて画像保存処理専用のサーバーコンピュータを通信回線３に接続し、このコンピュータ内のメモリに長期保存用の画像データを保存するようにしてもよい。

図２は、前記検査装置１Ｚ，１Ｓの光学系の構成および主要な電気的構成を示す。
この検査装置１Ｚ，１Ｓには、カメラ４、照明部５、基板ステージ６、コントローラ７が設けられる。図１に示した液晶パネル１１やスイッチ１２は、コントローラ７内の制御部１０に接続される。

基板ステージ６には、検査対象の基板８を支持するためのテーブル部６１や、Ｘ軸ステージおよびＹ軸ステージ（いずれも図示せず。）を含む移動機構６２などが含まれる。

カメラ４および照明部５は、「カラーハイライト方式」と呼ばれる光学系を構成する。カメラ４は、検査対象である部品のカラー静止画像を生成するもので、基板ステージ６の上方に撮像面を下方に向け、かつ光軸を鉛直方向に合わせた状態で配備される。照明部５は、基板ステージ６とカメラ４との間に配置された３個の円環状光源５Ｒ，５Ｇ，５Ｂにより構成される。これらの光源５Ｒ，５Ｇ，５Ｂは、それぞれ、赤色、緑色、青色の色彩光を発するもので、各中心部をカメラ５の光軸に位置合わせした状態で配備されている。また、各光源５Ｒ，５Ｇ，５Ｂは、基板Ｓに対しそれぞれ異なる方向から光を照射できるように、互いに異なる大きさの径を有するように設定される。

上記構成の光学系によれば、はんだ付け後の基板のフィレットについて、赤、緑、青の各色彩領域がフィレットの傾斜状態を反映して分布する画像を生成することができる。

コントローラ７には、コンピュータによる制御部１０のほか、画像入力部１３、撮像制御部１４、照明制御部１５、ＸＹステージ制御部１６、メモリ１７、検査結果出力部１８などが設けられる。

画像入力部１３には、カメラ４に対するインターフェース回路などが含まれる。撮像制御部１４は、カメラ４に対し、撮像を指示するタイミング信号を出力するためのものである。

照明制御部１５は、前記照明部５の各光源５Ｒ，５Ｇ，５Ｂの点灯・消灯動作の制御や光量の調整などを行う。ＸＹステージ制御部１６は、基板ステージ６の移動タイミングや移動量を制御する。

メモリ１７には、各被検査部位の検査に用いられるプログラムや検査基準データなどが格納される。制御部１０は、これらのプログラムや検査基準データを用いて、検査に関する一連の処理を実行する。大まかに説明すると、基板ステージ６の移動を制御することにより、カメラ４の視野を基板８の複数位置に順に合わせながらカメラ４に撮像を行わせる。さらに生成された各画像に検査領域を設定して、被検査部位の検出、位置や面積などの計測、計測値の適否判定などの処理を実行する。

さらに、制御部１０は、検査に使用された画像データから個々の部品毎の画像データを切り分ける処理を実行する。切り分けられた画像データは検査結果データ（良／不良の判定結果のほか、その判定に使用された計測値も含む。）とともに、検査結果出力部１８を介して情報処理装置２に送信される。

情報処理装置２への送信データには、送信データがどの基板のどの部品に関するものであるかを特定するための情報（以下、「部品特定情報」という。）として、ロットコード、基板コード、検査ＩＤ、部品コードなどの情報が含まれる。ロットコードは、生産対象の一群の基板に対して設定されるロット番号（後記する図６の場合、「１０００１」である。）に工程の種類を示す記号（部品実装工程ではＺ、はんだ付け工程ではＳ）を付したものである。基板コードは、同じロット内の個々の基板を識別するためのコードである。このコードは、基板の適所に２次元コードやバーコードなどによりマーキングされており、検査の前の読み取り処理により検査装置１Ｚ，１Ｓに認識される。

検査ＩＤは、検査の順序を示すが、検査により生成された各画像データを識別する情報としても機能する。部品コードは、同一基板上の個々の部品を識別するためのものであり、あらかじめ検査装置１Ｚ，１Ｓにティーチングされている。

図３は、情報処理装置２の機能ブロック図である。
この情報処理装置２の本体部２０には、大容量のハードディスク２０２やＣＰＵを含む制御部２０１が設けられる。ハードディスク２０２には、原画像保存部２２１、検査結果保存部２２２、圧縮画像保存部２２３、参照情報保存部２２４の４つの保存部が設けられる。

制御部２０１には、指定受付部２１１、画像圧縮処理部２１２、画像復元処理部２１３、復元画像表示部２１４が設けられる。これらは、いずれもプログラムによって、ＣＰＵに設定されたものである。

上記において、原画像保存部２２１、検査結果保存部２２２には、それぞれ検査装置１Ｚ，１Ｓから送信された画像データや検査結果データが部品特定情報に対応づけられて格納される。

指定受付部２１１は、入力部２２において画像データの圧縮または復元を指定する操作が行われたとき、その指定内容を受け付けて、画像圧縮処理部２１２または画像復元処理部２１３に連絡する。画像の圧縮指定では、ロットコードにより圧縮対象の画像データが指定される。一方、画像の復元指定では、ロットコード、基板コード、および部品コードの組み合わせにより、特定の部品が復元対象として指定される。

画像の圧縮指定は画像圧縮処理部２１２に伝達される。画像圧縮処理部２１２は、指定されたロットコードに対応する一群の静止画像データを原画像保存部２２１から読み出すとともに、各画像データに対応する部品の計測値を検査結果保存部２２２から読み出す。そして後記する手順により、一群の静止画像データを部品の種毎にひとまとまりの動画像データファイルに変換し、この変換後のファイルを圧縮画像保存部２２３に格納する。さらに、画像圧縮処理部２２３は、処理対象とした各画像データについて、変換後の動画像データから元の画像データを復元するのに必要な参照情報を作成する。この参照情報は、参照情報保存部２２４に格納される。

画像の復元指定は画像復元処理部２１３に伝達される。画像復元処理部２１３は、参照情報保存部２２４から指定された画像データの復元に必要な参照情報を読み出し、この参照情報に基づき、圧縮画像保存部２２３内の処理対象の動画像データファイルを特定し、後記する手順で画像の復元処理を行う。ここで復元された画像データは、復元画像表示部２１４に渡される。復元画像表示部２１４は、この復元後の画像データを、図示しないＤ／Ａ変換回路を介してモニタ２１に出力する。これにより復元後の画像がモニタ２１に表示され、復元指定操作を行ったユーザーによる確認作業が行われる。

なお、図３には示していないが、情報処理装置２では、復元された画像データを外部の装置に送信したり、ＤＶＤやＭＯ（光磁気ディスク）などのリムーバブル記憶媒体に保存することも可能である。

また、図３の例では、情報処理装置２内のハードディスク２０２に４つの保存部を設定しているが、原画像保存部２２１や検査結果保存部２２２については、検査装置１Ｚ，１Ｓ側のメモリに設けてもよい。また、圧縮画像保存部２２３および参照情報保存部２２４についても、別体のサーバーコンピュータ内に設定しても良い。あるいは上記したリムーバブル記憶媒体を、圧縮画像保存部２２３や参照情報保存部２２４として機能させてもよい。

以下、画像圧縮処理部２１２による圧縮処理について、具体例を用いて説明する。
図４は、検査装置１Ｚによる部品実装検査に使用された一群の画像の例を示す。この例では、説明を簡単にするために、検査対象の部品を２種類に限定し（以下、「部品Ａ」「部品Ｂ」という。）、各基板に部品Ａが３個、部品Ｂが２個実装されているものとする。部品Ａ，Ｂはいずれもチップ部品であって、大きさもほぼ同様であるが、部品本体の色彩（茶色と緑色）によって見分けることができる。

図４では、２枚の基板に実装されている１０個の部品について、それぞれ検査に用いられた画像を検査の実行順に配置している。各画像の上に付した３桁の数値（「００１」など）は、前記した検査ＩＤである。以下の説明で個々の画像に言及する場合には、この検査ＩＤを使用する。

各画像の下方に記載されているのは、検査時の計測処理により得られた部品の位置ずれ量Δｘ，Δｙである。Δｘはｘ軸方向（紙面の左右方向）のずれ量であり、Δｙはｙ軸方向（紙面の上下方向）のずれ量であって、いずれも単位はミクロン（μｍ）である。また、ｘ軸方向においては左方向のずれ量を、ｙ軸方向においては下方向のずれ量を、それぞれ負の値にして示している。

この例では、便宜上、上記１０枚の画像データを圧縮対象に限定して説明を進める。
各画像データには、部品特定情報として、検査ＩＤのほか、ロットコード、基板コード、部品コードが対応づけられている。また図６に示すように、部品コードには、部品種を示す記号Ａ，Ｂが含まれているものとする。

画像圧縮処理部２１２は、部品コード中の記号に基づき圧縮対象の画像データを部品種毎にグループ分けした後、この処理により発生した画像データの集合毎に、その集合を構成する各画像データを、位置ずれ量Δｘ，Δｙに基づいてソートする。さらにそのソートにより２番目以降に位置づけられた各画像データについては、それぞれ１つ前の画像データに対する差分演算を実行し、前の画像データと異なる部分を示す画像データ（差分画像データ）を生成する。また先頭の画像データと各差分画像データとが、ソート順に配置されたＭＰＥＧ形式の動画像データファイルを生成し、これを圧縮処理の結果として圧縮画像保存部２２１に保存する。

図５は、図４に示した１０枚の画像を対象に、部品種毎に画像を分類してソート処理を行った結果を示す。
図中、「集合Ａ」は部品Ａの画像の集合であり、「集合Ｂ」は部品Ｂの画像の集合である、また各画像には、ＩＤ番号とともに、ソート後の順序を示す数値（括弧付き数値）が示されている。

この例では、集合Ａ，Ｂとも、位置ずれ量の少ないものから順に画像データを並べ替えている。ただし、ｙ軸方向の位置ずれ量Δｙよりｘ軸方向の位置ずれ量Δｘを優先し、正の位置ずれ量より負の位置ずれ量を優先している。この結果、集合Ａに含まれる６つの画像データは、００４，００８，００６，００９，００３，００１の順に並べられ、集合Ｂに含まれる４つの画像データは、００７，００５，０１０，００２の順に並べられている。

集合Ａ，Ｂとも、先頭の画像データと、２番目以降の各画像データから生成された差分画像データとを順に連ねた形式の動画像データが生成される。すなわち、各画像データは、それぞれ動画像データの１つのフレームに割り当てられることになる。したがって、生成された動画像データを、ＭＰＥＧ形式の画像の表示制御ルールに基づき表示すると、図５に示すのと同様の順序で各画像が駒送り表示される。

上記のように、同一部品種に属する複数の部品の静止画像データを、位置ずれ量という各部品に共通のパラメータに基づきソートすることにより、隣り合う画像間の差分データ量を小さくすることができる。したがって、元の画像データの集合に比べ、容量が大きく削減された動画像データを生成することができる。

上記の例では、説明の便宜上、処理対象の画像データをわずか１０枚に限定したが、実際には多数の画像データが処理対象となる。したがって、上記の圧縮処理により削減されるデータ容量は相当なものになる。

なお、図４，５の例では、集合毎に画像データの圧縮処理を行っているが、これに限らず、集合Ａ，Ｂの画像データを１つの動画像データとしてまとめてもよい。たとえば、各集合を個別にソートした後、集合Ａの画像データの後に集合Ｂの画像データを配置し、動画像データを生成してもよい。

図６は、上記１０枚の画像データについて画像圧縮処理部２１２が生成した参照情報の内容を、テーブル形式にして示す。この実施例では、各画像データの格納場所を特定する情報として、動画像データファイルのファイル名およびフレーム番号の組み合わせを設定し、この組み合わせを検査装置１Ａから送信された部品特定情報（ロットコード、基板コード、部品コード、検査ＩＤ）に対応づけている。

画像復元処理部２１３は、画像の復元指示を受けると、その指示内容により参照情報保存部２２４を検索して、指示内容に対応するファイル名およびフレーム番号を抽出する。そして、ファイル名に該当する動画像データファイルを圧縮画像保存部２２３から読み出し、フレーム番号に該当するフレームの画像を復元する。詳細については、図１０を用いて後記する。

つぎに、図４〜６の例では、各画像データを、検査において各部品で共通に計測されたパラメータである位置ずれ量に基づいてソートすることによって、差分画像データの容量が小さくなるようにした。ただしソート処理に使用できるパラメータは位置ずれ量に限定する必要はなく、検査対象部位の面積、幅長さ、色彩、濃度値等の計測値をもってソート処理を行うこともできる。

図７および図８は、検査装置１Ｓの検査に使用された画像を圧縮する場合の画像のソート処理方法を示す。

検査装置１Ｓでは、画像中のランド部分に現れた赤、緑、青の色彩領域の面積等を計測して、フィレットの傾斜状態の適否を検査するほか、部品電極の浮き不良の有無検査を行っている。この検査は、画像上のランドの中央部に局所領域ｒを設定して、その領域における赤色領域の割合（面積比）を計測し、その計測値の適否を判別するものである（部品電極が浮いていると、フィレットが正常に形成されないため、傾斜の緩やかな部分を示す赤色領域が大きくなる。）。この実施例では、この赤色領域の面積比をソート処理のキーとして使用する。

図７では、便宜上、４枚の同一部品種の画像データを処理対象として、各データが表す画像を検査ＩＤの順に並べて示すとともに、それぞれの画像中の右側のランドの画像を拡大して示している。また各拡大図の下方には、計測された赤色領域の面積比を示している。なお、便宜上、いずれの部品も位置ずれしていないものとし、左側のランドは右側と同様の状態であるものとする。

図８は、各画像データを、赤色領域の面積比が大きなものから順に並べ替えた例を示す。この結果、画像データは、００３，００１，００２，００４の順に並べられる。

上記の例のように、部品の位置が殆ど同じである場合には、２番目以降の画像について生成される差分画像データでは、ランド部の色彩分布の違いによる差が主要なものになり、その他の部分には、差は生じにくいと考えられる（特に背景、部品、ランドの周縁部など）。よって、この場合にも、差分画像データの容量を小さくできるから、元の画像データの集合に対し、容量が大幅に削減された動画像データを生成することができる。

図９は、画像圧縮処理部による圧縮処理の手順を示す。
この手順は、指定受付部２１１から圧縮指定の連絡を受けたことに応じて開始される。最初のＳＴ１（ＳＴはステップの略である。以下も同じ。）では、圧縮指定に含まれるロットコードにより原画像保存部２２１を検索して、圧縮対象の画像データを特定する。そして、特定した各画像データを所定数の集合にグループ分けする。

このグループ分け処理では、先に説明したように、部品毎に集合を生成するのが妥当と思われるが、特徴の類似する複数種の部品の画像データを１つの集合としてまとめてもよい。たとえば、図４に示した１０個の画像データの場合、部品毎に集合を設定せずに、各画像データによる１つの集合を設定することもできる。

また、ソート処理と同様に、グループ分けのキーを複数設けて、より細かいグループ分けを行ってもよい。たとえば、ある部品に対応する画像データについて、部品の実装方向によって異なるグループを設定したり、判定結果（良／不良）や不良の内容毎に異なる集合を設定することもできる。

グループ分けが終了すると、設定された集合に順に着目し、集合毎にＳＴ２〜１２の処理を実行する。

ＳＴ２では、着目中の集合のソート処理に使用するパラメータを決定する。このパラメータは、圧縮対象の静止画像データにより実行された検査の種類に応じて決められる。たとえば、検査装置１Ａの部品実装検査に使用された画像データであれば、図４，５に示したように、部品の位置ずれ量Δｘ、Δｙをパラメータとすることができる。また検査装置１Ｂの部品電極の浮き検査に使用された画像データであれば、図６，７に示したように、局所領域に対する赤色領域の面積比がパラメータとして定められる。

このほか、部品幅、フィレット長など、被検査部位の大きさを示すパラメータを使用することもできる。また、各種パラメータの中から複数のパラメータを選択することもできる。

上記のパラメータの決定処理は自動的に行うこともできるが、ユーザーに選択させてもよい。たとえば、着目中の集合について、検査結果保存部２２２に保存されている各種計測値に対応するパラメータを一覧表示し、その表示に対するユーザーの選択操作を受け付ける方法が考えられる。

ソート処理に使用するパラメータが決定すると、つぎのＳＴ３では、着目中の集合に属する各画像データについて、それぞれ検査結果保存部２２２から決定したパラメータにかかる計測値を読み出し、これらに基づき画像データをソートする。

ＳＴ４では、上記の集合に対応する動画像データファイルについて、ファイル名等の初期情報を設定する。ファイル名は、たとえば図６に示すように、ロットコードや部品の種類記号を含むものになる。

つぎのＳＴ５では、ソート処理により１番目に位置づけられた画像データを、動画像データの第１フレームに設定する。

つぎに、ＳＴ６では、着目する画像データを示すカウンタｍに初期値の「２」をセットする。ＳＴ７では、ｍ番目の画像データについて、１つ前の画像データ（ｍ−１番目）に対する差分画像データを生成する。ＳＴ８では、生成した差分画像データを、動画像データのｍ番目のフレームに設定する。さらにＳＴ９では、上記ｍ番目の画像データについて、図６に示した参照情報を作成する。具体的には、ｍ番目の画像データに対応する部品特定情報に、ＳＴ４で設定されたファイル名やフレーム番号（ｍの値）を対応づけた構成の情報を作成する。

以下、ｍの値を更新しつつ、集合内の各画像データについて、ＳＴ７〜９の処理を実行する。集合内の全ての画像に対する処理が終了すると、ＳＴ１０が「ＹＥＳ」となってＳＴ１２に進む。ＳＴ１２では、動画像データファイルのヘッダ情報などを整える処理を行った後、生成された動画像データファイルを圧縮画像保存部２２３に、参照情報を参照情報保存部２２４に、それぞれ保存する。

以上の処理が設定されたすべての集合について実行されると、ＳＴ１３が「ＹＥＳ」となり、処理を終了する。これにより、集合毎に、その集合の画像データをまとめた動画像データファイルが生成され、保存されることになる。

なお、上記の例では、ソート処理により集合内で先頭に位置づけられた画像データを第１フレームに設定したが、これに代えて、あらかじめ登録された基準の画像データを第１フレームに設定してもよい。たとえば、検査装置１Ａ，１Ｂでティーチング時に登録される部品のモデルの画像データを基準の画像データとすることができる。

基準の画像データを第１フレームに設定する場合には、ソート処理により先頭に位置づけられた画像データは第２フレームに設定されることになるので、この画像データについても、基準の画像データに対する差分画像データを生成する。

つぎに、画像データを圧縮するにあたっては、原画像データを必ずしもそのまま保存する必要はなく、差分画像データの容量削減を目的とする加工処理を行ってもよい。たとえば、各画像データの背景部分の明度や色調を先頭の画像データに合わせてから差分画像データを生成してもよい。または、差分演算処理で抽出された差のうち、所定値以上のものを用いて差分画像データを生成してもよい。

また、図７，８の例のように、ランド部分の画像に着目する場合には、部品単位ではなくランド単位に画像データを切り出して、ソート処理や動画像データの生成処理を行ってもよい。

また、形状は同じであるが、サイズが異なる複数種の部品（たとえばチップ部品）を同じ集合に含む場合には、各画像中の部品のサイズが均一になるように、画像の拡大または縮小処理を実行した上で、差分画像データを生成してもよい。ただし、この場合には、画像復元時に元のサイズに戻せるように、画像の拡大率や縮小率を示す情報を参照情報に含めておくのが望ましい。

図１０は、画像復元処理部２１４による画像復元処理の手順を示す。
この手順は、指定受付部２１１から復元指定の連絡を受けたことに応じて開始される。最初のＳＴ２１では、復元指定に含まれるロットコード、基板コード、部品コードの組み合わせにより参照情報保存部２２４を検索して、復元処理の対象となる動画像データファイルのファイル名、および復元対象の画像に対応するフレーム番号を特定する。なお、以下では、２番目以降のフレームが特定されているものとして説明する。

つぎに、ＳＴ２２では、ＳＴ２１で特定したファイルから第１フレームの画像データを読み出し、図示しない作業メモリ内に保存する。つぎに、ＳＴ２３において、着目中のフレームを示すカウンタｍに初期値の「２」をセットする。

ＳＴ２４では、カウンタｍが表す番号のフレームから画像データを読み出す。続くＳＴ２５では、読み出した画像データを作業メモリ内の画像データに合成する処理によって、ｍ番目のフレームの全体画像データを復元する。この復元された画像データは、ソート処理によりｍ番目に位置づけられた画像データに該当することになる。

以下、ｍの値が復元対象のフレーム番号を表す値になるまで、ｍをインクリメントし（ＳＴ２７）、毎時のｍについてＳＴ２４、２５を実行する。この間に作業メモリの画像データは、動画像データを順次駒送りしているのと同様の状態で更新されてゆく。そして、ｍが復元対象のフレームを表す値になったとき復元指定により指定された画像データが生成されることになる。

復元対象のフレームまで処理が終了すると、ＳＴ２６が「ＹＥＳ」となってＳＴ２８に進み、復元された画像データをモニタ２１に表示する。さらに、この状態下で、ユーザーによる保存指定操作やデータ出力操作を受け付けた場合には、ＳＴ２９が「ＹＥＳ」となってＳＴ３０に進み、復元された画像データを、所定の記憶媒体に保存または外部装置に出力する。

ところで、上記した実施例は、カメラ４により生成された画像データを部品毎に切り分けて保存した後、長期保存のために集合毎にまとめて圧縮処理しているが、これに限らず、カメラ４により生成された画像データそのものを、圧縮処理の対象としてもよい。特に、クリームはんだの印刷状態の検査に使用された画像データを対象とする場合には、この方法は有用であると思われる。この場合、各画像データの参照情報に、ロットコード、基板コード、および画像の撮像領域に含まれる各部品の部品コードを含めておけば、画像の復元処理も、図１０と同様の手順で実行することができる。

基板検査システムの構成例を示す説明図である。 基板検査装置の光学系の構成とコントローラのブロック図とを対応づけた図である。 情報処理装置の機能ブロック図である。 圧縮対象の画像データの内容を示す説明図である。 図４の各画像データにグループ分けおよびソート処理を行った結果を示す説明図である。 参照情報のデータ構成例を示す説明図である。 圧縮対象の画像データの内容を示す説明図である。 図７の各画像データにソート処理を行った結果を示す説明図である。 画像圧縮処理の手順を示すフローチャートである。 画像復元処理の手順を示すフローチャートである。

符号の説明

１Ｚ，１Ｓ 検査装置
２ 情報処理装置
２０ 本体部
２０１ 制御部
２０２ ハードディスク
２１２ 画像圧縮処理部
２１３ 画像復元処理分
２２１ 原画像保存部
２２２ 検査結果保存部
２２３ 圧縮画像保存部
２２４ 参照情報保存部

Claims (6)

1. 複数の検査対象物の外観検査に用いた静止画像データを保存する方法であって、
   相互に差分演算処理を行った場合に得られる差分データ量が所定の範囲内にある複数の静止画像データを、これらの画像における検査対象物の特徴を表す数値データに基づきソートするステップ、
   前記ソートにより１番目に位置づけられた画像データまたはあらかじめ準備された基準画像データを第１フレームに割り当て、その他の静止画像データをそれぞれソートされた順序に従って第２フレーム以下の各フレームに順に割り当て、第２フレーム以下の各フレームの画像データがそれぞれ１つ前の画像データに対する差分画像データに変換された圧縮形式の動画像データを生成するステップ、
   前記複数の静止画像データと検査対象物との対応関係に基づき、前記動画像データの各フレームと各検査対象物との対応関係を表す参照情報を作成するステップ、
   前記動画像データおよび参照情報をそれぞれ所定の記憶媒体に保存するステップ、
   の各ステップを実行することを特徴とする外観検査用の画像の保存方法。
2. 前記複数の静止画像データは、検査のための計測対象となったパラメータが共通する複数の検査対象物毎に生成された静止画像データであって、前記ソートのステップでは、各静止画像データを前記共通のパラメータにかかる計測値に基づいてソートする請求項１に記載された外観検査用の画像の保存方法。
3. 前記共通のパラメータとして、検査対象物の位置、ずれ量、大きさ、濃度、色彩のうちの少なくとも１つが設定される請求項２に記載された外観検査用の画像の保存方法。
4. 前記検査対象物は、部品実装基板に搭載される部品、またはその部品が実装される基板側電極もしくはその電極と部品との間に形成されるはんだフィレットである請求項１〜３のいずれかに記載された外観検査用の画像の保存方法。
5. 検査対象物の外観検査に用いられた静止画像データを入力するための画像入力手段と、
   前記画像入力手段が入力した複数の静止画像データにつき、それぞれ撮像対象の検査対象物を特定する対象物特定情報を入力するための情報入力手段と、
   前記画像入力手段が入力した複数の静止画像データを、これらの画像における検査対象物の特徴を表す数値データに基づきソートするソート手段と、
   前記ソートにより１番目に位置づけられた静止画像データまたはあらかじめ登録された基準画像データを第１フレームに割り当て、その他の静止画像データをそれぞれソートされた順序に従って第２フレーム以下の各フレームに順に割り当て、第２フレーム以下の各フレームの画像データがそれぞれ１つ前のフレームの画像データに対する差分画像データに変換された圧縮形式の動画像データを生成する動画像データ生成手段と、
   前記情報入力手段が入力した対象物特定情報に基づき、前記動画像データの各フレームと各検査対象物との対応関係を表す参照情報を作成する参照情報作成手段と、
   前記動画像データ生成手段により生成された動画像データおよび前記参照情報作成手段により作成された参照情報を、それぞれ所定の記憶媒体に保存する保存処理手段とを、
   具備することを特徴とする外観検査用の画像保存処理装置。
6. 請求項５に記載された装置であって、
   前記ソート手段は、検査のための計測対象となったパラメータが共通する複数の検査対象物毎に生成された静止画像データを対象に、各静止画像データを前記共通のパラメータにかかる計測値に基づいてソートする外観検査用の画像保存処理装置。

Images