JP4146971B2 - Lead frame inspection equipment - Google Patents
Lead frame inspection equipment Download PDFInfo
- Publication number
- JP4146971B2 JP4146971B2 JP19358399A JP19358399A JP4146971B2 JP 4146971 B2 JP4146971 B2 JP 4146971B2 JP 19358399 A JP19358399 A JP 19358399A JP 19358399 A JP19358399 A JP 19358399A JP 4146971 B2 JP4146971 B2 JP 4146971B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- image
- lead frame
- luminance data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は打ち抜き加工後のリードフレームの打痕、油塊の付着、ばたつき、傷、変色等の表面状態を具体的に特定することが可能なリードフレーム検査装置に関する。
【0002】
【背景技術】
従来、リードフレームを打ち抜きリードフレームを形成するプレス工程において、例えば短冊状リードフレームであれば、プレスより搬送されたところで、大きな打痕やバリ等は作業者が肉眼で確認していた。また、搬送されるリードフレームをプレス後に任意に抜き取り、顕微鏡で検査及び測定を行っていた。
また、リールに巻き取られたリードフレームにおいては、途中で抜き取り検査を行うことができないので、作業者の肉眼に頼るしかなく、精密検査はリールの最後で打痕等の有無を検査するしかなかった。
【0003】
上記リードフレームの検査効率や検査精度を向上させるため、本件出願人は特願平9ー278713号に示すリードフレームの検査装置を提案した。この検査装置は、プレス加工後に搬送されるリードフレームをリング状照明より光照射して、反射光をCCDカメラにより画像入力を行い、入力画像の輝度を解析し、得られた解析値と予めティーチングにより記憶部に記憶させた記憶値との比較を行ってリードフレームの異常を検出するものである。
【0004】
上記検査装置を用いてリードフレームの検査を行うためには、予め正常なリードフレームを用いて画像を取得し、画像解析に必要なパラメータの設定や、解析値との比較に用いる記憶値の設定、画像の明度レベルがほぼ同一になる部分毎に区画を作成するなどのティーチングを行う必要がある。ティーチングにより記憶させる記憶値は、各区画毎に複数画像の解析値の平均値に付加値を加算した値に設定したり(記憶値=平均値+付加値)、或いは解析値の状況によっては、平均値の代わりに最大値或いは最小値などを用いても良い(例えば記憶値=最大値+付加値)。
【0005】
実際の検査を行う場合には、リング状照明よりリードフレームにティーチング時とほぼ同一の明度が得られる照度で光照射してCCDカメラにより画像入力を行う。そして、ティーチングされている区画毎に輝度の解析を実行し、解析データを複数画像に渡って記憶する。得られた複数画像を各区画毎の平均値を算出しこの平均値を解析値として記憶する。この解析値とティーチングにより記憶させた記憶値とを比較し、解析値がこの記憶値より大きくなった場合にエラーが生じたものと判定して、リードフレーム検査装置を停止させて、リードフレームの点検を行っていた。
【0006】
【発明が解決しようとする課題】
上記リードフレーム検査装置においては、油塊の付着、フレームのばたつき、傷、打痕、表面変質、異物付着、加工欠損などの発生を異常として検出することができる。しかしながら、リードフレームの油塊の付着やフレームのばたつきなどは製品化する上で異常とは言えないため、エラー出力させたくないという要望があった。
このように異常状態を具体的に特定することができれば、検査装置を停止する回数も減らすことができ、検査作業の効率化を図ることも可能となる。
【0007】
本発明の目的は、上記従来技術の課題を解決し、リードフレームの状態を具体的に特定して検査性能を向上させ、検査作業を高精度で効率的に行うリードフレーム検査装置を提供することにある。
【0008】
【課題を解決するための手段】
本発明は上記目的を達成するため次の構成を備える。
すなわち、帯状に連続するリードフレームを搬送する搬送手段と、前記搬送手段により搬送される際に前記リードフレームのリード形成領域の画像入力を行う撮像手段と、前記撮像手段の光軸を取り囲むようリング状に配置されかつ前記リードフレームと前記撮像手段との間に前記光軸方向に多段に配置されてなる、前記リードフレームに光を照射する照明手段と、前記撮像手段より先に取り込んだ入力画像と次に取り込んだ入力画像の輝度データを各々解析して各画素毎に比較演算し、演算結果に応じて予め学習させた登録情報に基づいて前記リードフレームの状態を特定するニューロ回路を有し、該ニューロ回路の出力結果に応じて検査続行可能か否かを判定する制御手段と、を備え、前記制御手段は、前記ニューロ回路の出力結果によりリードフレームの状態がばたつき或いは油塊付着と特定した場合には、異常判定せずに検査を続行し、その他の場合には異常判定して検査動作を停止するように制御することを特徴とする。
【0009】
具体的には制御手段は、撮像手段より取り込んだ複数入力画像に前処理を施して、検査画像領域の輝度データの変動量Δtを各画素毎に算出して記憶し、前処理に続く入力画像Pを取得して解析し検査画像領域に対応する検査画像P1を位置補正して記憶し、入力画像Pに続く入力画像Qを取得して解析し検査画像領域に対応する検査画像Q1を位置補正して記憶し、検査画像Q1と検査画像P1との輝度データq,pの変化量dをデータ変動量Δtを考慮して各画素毎にd=q−p−Δtを演算し、次に検査画像P1の輝度データpを検査画像Q1の輝度データqへ置き換えて記憶し、入力画像Qに続く入力画像Rを取得して解析し検査画像領域に対応する検査画像R1を位置補正して記憶し、該検査画像R1と検査画像Q1との輝度データr,qの変化量dをデータ変動量Δtを考慮して各画素毎にd=r−q−Δtを演算するという作業を繰り返して行い、各演算結果がd≧0であればニューロ回路の出力結果によりリードフレームの状態を特定して検査続行可能か否かを判定しながら検査を行うようにしても良い。
或いは、撮像手段より取り込んだ入力画像Pを取得して解析し検査画像領域に対応する検査画像P1を位置補正して記憶し、入力画像Pに続く入力画像Qを取得して解析し検査画像領域に対応する検査画像Q1を位置補正して記憶し、検査画像Q1と検査画像P1との輝度データq,pの変化量d=q−pを各画素毎に演算し、次に検査画像P1の輝度データpを検査画像Q1の輝度データqへ置き換えて記憶し、入力画像Qに続く入力画像Rを取得して解析し検査画像領域に対応する検査画像R1を位置補正して記憶し、該検査画像R1と検査画像Q1との輝度データr,qの変化量d=r−qを各画素毎に演算するという作業を繰り返して行い、各演算結果がd≠0であればニューロ回路の出力結果によりリードフレームの状態を特定して検査続行可能か否かを判定しながら検査を行うようにしても良い。
【0010】
また、他の構成として、制御手段は、前記撮像手段より取り込んだX番目からX+n番目(X≧1,n≧1;X,nは自然数)までの入力画像の輝度を解析し、得られたn画像分の輝度データの平均値を算出して該平均値に許容値を加えて第1の比較値pとして記憶させ、X+(n+1)番目の入力画像の解析値qと前記第1の比較値pとの変化量d=q−pを各画素毎に演算し、次にX+1番目からX+(n+1)番目までのn画像分の輝度データの平均値を算出して該平均値に許容値を加えて第2の比較値rとして更新して記憶させ、X+(n+2)番目の入力画像の解析値sと前記第2の比較値rとの輝度データの変化量d=s−rを各画素毎に演算する動作を繰り返し行い、各演算結果がd≧0であれば前記ニューロ回路の出力結果により前記リードフレームの状態を特定して検査続行可能か否かを判定しながら検査を行うようにしても良い。
この場合に、撮像手段より取り込んだX番目からX+n番目の入力画像を画像処理の1単位となる複数の区画に分割して各区画毎に各々輝度を解析し、各区画毎にn画像分の輝度データの平均値を算出して該平均値に各々許容値を加えて第1の比較値pとして各々記憶し、X+(n+1)番目の入力画像の解析値qと第1の比較値pとの変化量d=q−pを各区画毎に演算し、次にX+1番目からX+(n+1)番目までの各区画毎のn画像分の輝度データの平均値を算出して該平均値に許容値を加えて第2の比較値rとして各々更新して記憶し、X+(n+2)番目の入力画像の解析値sと第2の比較値rとの変化量d=s−rを各区画毎に演算する動作を繰り返すようにしても良い。
【0011】
上記構成によれば、撮像手段より取り込んだ入力画像と次に取り込んだ入力画像どうしの輝度データを各画素毎にこれらの変化量を演算して演算結果が所定変化量に到達すると、予め学習させた登録情報に基づいてニューロ回路の出力結果によりリードフレームの状態を具体的に特定して検査続行可能か否かを判定しながら検査を行うことができる。例えば油塊の付着、フレームのばたつき、傷、打痕、表面変質、異物付着、加工欠損などのリードフレームの状態を具体的に特定できるので、これらのうち少なくともリードフレームの油塊の付着やばたつきなどはエラー出力しないようニューロ回路に学習させておくことでリードフレーム検査装置を停止する回数も減らすことができ、検査作業を高精度で効率的に行うことができる。
【0012】
【発明の実施の形態】
以下、本発明に係るリードフレームの検査装置の好適な実施例を添付図面に基づいて詳細に説明する。
図1はリードフレーム検査装置を含むリードフレーム製造装置の全体構成を示す説明図、図2はリードフレーム検査装置の構成を示すブロック説明図、図3はリードフレーム検査装置の断面説明図、図4はリング状照明の構成を示す説明図、図5及び図6はリング状照明による画像入力状態を示す説明図、図7(a)(b)は入力データのピークカット検出を示す説明図、図8はリードフレームの輪郭にマスクを施した状態を示す比較説明図、図9はリードフレームの検査画像領域を示す説明図、図10はニューロ回路の説明図、図11はニューロ回路による解析可能な画像例を示す説明図、図12(a)〜(c)はニューロ回路に学習させる登録情報を示す説明図、図13はニューラルネットワークの構成例を示す説明図、図14及び図15はリードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャート、図16はリードフレーム検査装置のニューロ回路を用いた検査動作の流れの一部を示すフローチャート、図17は前処理で取得した入力画像の輝度データの変動量を示すグラフ図、図18は検査画像領域の前後の入力画像の輝度データの差分を示すグラフ図、図19は本実施例の検査結果を示すグラフ図である。
【0013】
先ず図1を参照してリードフレーム検査装置を含むリードフレーム製造装置の全体構成について説明する。
1,2は帯状に連続するリードフレーム3を繰り出し、巻き取り用のリールである。本実施例では図面左側の繰り出し用リール1よりリードフレーム1を繰り出し、図面右側に配置された巻き取り用リール2に巻き取るように構成されている。
【0014】
4はレベラーであり、繰り出し用リール1より繰り出されたリードフレーム3の巻きぐせを平坦化する装置である。5は上型5a,下型5bを装備してプレスによりリードを形成するプレス装置である。
6はリードフレーム検査装置であり、プレス装置5により打ち抜かれたリードフレーム3の表面状態に打痕,傷,変色等の異常がないかどうかを検査するものである。上記リードフレーム検査装置6には、搬送手段としての搬送ローラ6a,照明手段の一部を構成する複数のリング状照明6b,撮像手段としてのCCD(電荷結合素子)カメラ6c,リング状照明6bやCCDカメラ6cが一体に搭載された可動テーブル6d等を装備している。
7は層間紙であり、巻き取り用リール2に巻き取られるリードフレーム3間に介在させて巻き取らせ、リードフレーム相互間の摺擦より保護をしている。
なお、本実施例では、リードフレーム検査装置6はプレス装置5の後に配置されているが、リードフレーム1の洗浄装置の後やその他の処理後に配置することも可能である。
【0015】
次に図2を参照してリードフレーム検査装置6の全体構成についてブロック図を参照して説明する。8は制御手段であり、制御プログラムにしたがって装置全体の動作を制御するCPU8a、外部より入力されたデータの一時保存を行ったり、CPU8aのワーキングエリアとして使用されるRAMやCPU8aの制御プログラムを記憶したROM等を備えた記憶部8b、データの入出力を行う入出力部(I/O部)8c、リング状照明6bの光源装置9の照度を制御する照度コントローラ8d、CCDカメラ6cにより撮影した画像にマスク処理を施す画像処理ボード8e等を装備している。上記画像処理ボード8eには、CCDカメラ6cより後述するモニター表示用の画像が入力される。
【0016】
また10は駆動手段としてのコントローラであり、リードフレーム3を搬送する搬送ローラ6aを駆動させる駆動モータ(図示せず)や可動テーブル6dを走査させる駆動モータ(図示せず)を作動/停止させるドライバー回路を有する。また、上記CPU8aには、I/O部8cを介してリードフレーム3の搬送量を検出するためのフレーム搬送センサ11からの検出信号が入力し、プレス装置5を作動/停止させる制御信号が出力される。
【0017】
上記制御手段8のCPU8aは、照度コントローラ8dにより光源装置9の照度を制御してリング状照明6bによりリードフレーム3のをほぼ同一明度となるように光照射する。本実施例ではIC1ピース分をほぼ同一明度となる領域として一括してCCDカメラ6cにより撮影して画像処理ボード8eを介して輝度データとして取り込み記憶部8bに記憶する。このとき、リードフレーム3を搬送しながら画像を取り込む際に検査を必要としない部分(例えば孔など)に必要に応じて画像処理ボード8eによりマスク処理を施して輝度データを取り込む。
CPU8aは検査画像ポイントを中心とした検査画像領域を指定した場合に当該領域を各画素毎に検査し、特に検査画像領域を指定しない場合には画面全体を各画素毎に検査する。そして、検査状態に応じて入出力部8cを介してコントローラ10により搬送ローラ6aの駆動を制御して搬送動作を停止させる。
【0018】
次に図3を参照してリードフレーム検査装置6の具体的な装置構成について説明する。以下、プレス後のリードフレーム3の搬送経路にしたがって説明する。リードフレーム3は図面左側より下方にU字状に垂れ下がって検査装置6に進入し、リードフレームばたつき防止機構12に沿って鉛直上方に向かって搬送される。
リードフレーム3のリードフレーム検査装置6への進入位置には複数のセンサが設けられている。6eは検査側停止センサであり、リードフレーム3のたるみ部分を検出すると搬送ローラ6aの動作を停止するようになっている。即ち、プレス装置5に異常が生じて停止した場合、搬送ローラ6aが回転し続けると、リードフレーム3のたるみ部分の巻き取りが進行してA位置に到達する。このとき、検査側停止センサ6eがリードフレーム3のたるみ部分を検出すると、検査装置6は搬送ローラ6aの回転を停止させる。
6f,6gは速度制御センサであり、リードフレーム3のたるみ部分が所定範囲に保たれるように搬送ローラ6aの回転速度を制御するようになっている。即ち、リードフレーム3のたるみ部分が速度制御センサ6fに検出されると、プレス装置5の搬送速度より搬送ローラ6aの巻き取り速度が速過ぎるので、搬送ローラ6aの回転速度を遅くするようにコントローラ10により速度制御して、リードフレーム3のたるみ部分が速度制御センサ6f,6g間のB位置にあるように保たれる。
6hはプレス側停止センサであり、リードフレーム3のたるみ部分を検出するとプレス装置5の動作を停止するようになっている。即ち、検査装置6に異常が生じて搬送ローラ6aが回転停止或いは回転動作が遅延すると、リードフレーム3が巻き取られずたるみ部分が多くなりC位置に到達する。このときプレス側停止センサ6hがリードフレーム3のたるみ部分を検出すると、プレス装置5はプレス動作を停止させる。
【0019】
また、リードフレーム3は、リードフレームばたつき防止機構12により幅方向及び高さ方向の位置決めがなされ、図の矢印に示すYZ軸方向に移動可能な可動テーブル6dに取り付けられたリング状照明6bによりリードフレーム3の所定領域に光照射されてその表面画像がCCDカメラ6cにより取り込まれる。
リング状照明6bは、CCDカメラ6cの光軸を取り囲み、かつリードフレーム3とCCDカメラ6cとの間に光軸方向に沿って多段(本例では2段であるが、3段以上でも良い)に配置されている。また、可動テーブル6dは図示しない駆動モータにより図3のYZ軸方向に走査可能に構成されている。リング状照明6bの照度は、リードフレーム3のリード形成領域の輝度に応じて可動テーブル6dの下方に設けられた光源装置9により調整される。また、上記CCDカメラ6cの焦点は、可動テーブル6dの後端側にあるノブ6jにより手動で調整する。なお、図3において、Y軸方向とは紙面に対して垂直方向をいう。
【0020】
また、リードフレーム3は、連続搬送されながらCCDカメラ6cより画像入力を行い全数検査が行われる。この際、CCDカメラ6cによる画像入力は、フレーム搬送センサ11から出力される検出信号(許可フラグ)に同期して1ピース単位で行うようにすると良い。
搬送ローラ6aは、図示しない駆動モータにより回転駆動され、リードフレーム3をその円弧面の一部に巻き付けて搬送する。上記フレーム搬送センサ11の検出信号に基づいて駆動モータの動作を制御して、搬送ローラ6aによるリードフレーム3の搬送動作が制御される。
【0021】
13は搬送ガイドであり、搬送ローラ6aを経たリードフレーム3の搬送をガイドするものである。上記搬送ガイド13の搬送路には、リードフレーム3の上下一方或いは双方に当接して従動回転する複数の補助ローラ14が設けられている。上記搬送ガイド13を経たリードフレーム3は装置外へ導かれ、巻き取り側に搬送される。
【0022】
また、装置下部には、制御手段8や電源部等を配置した制御パネル15が配置されている。また、装置上部には制御データコントロール用制御用モニター16a、CCDカメラ6cより取り込んだ画像をリアルタイムで表示するための表示用モニター16bが装備されている。なお、モニターは1台とし、切り換えながら制御データコントロール用の制御用として、また画像表示用として使用するようにしても良い。
【0023】
ここで、リードフレーム検査装置6の各部の構成及び機能について詳細に説明する。
先ず、複数設けられたリング状照明6bの構成について詳述する。各リング状照明6bは同じ構成であり、図4に示すようにリング状照明6bのリング6p内には光源としての光ファイバー6qが装備されている。また上記リング6pには支持部材6rが設けられており、該支持部材6rには半透明フィルム6sがリング6pの発光面と対向するように配置されている。また半透明フィルム6sのうち高輝度部分には遮光用のマスク6tが設けられている。
【0024】
上述のようにリング状の照明を用いたのは、リードフレーム3と照明手段との間隔が狭いためフレーム面に明暗が生じ易いので、リードフレーム3の各領域をできるだけ均一に光照射するためである。また、リング6pの発光面に対向する位置に半透明フィルム6sを設けたのは、光の拡散を良くするためであり、更にはマスク6tを設けたのは、高輝度部分を遮光してフレーム面を均一な照度で光照射して、CCDカメラ6cにより打痕,傷等を鮮明に見るためである。なお、リング状照明6bの発光面の外径を検査対象フレーム面の長さに比較して大きくする(一例として2倍以上)ことにより、リング状照明6bからの直接光の影響を少なくすることができ、この場合には半透明フィルム6sは不要である。
また、リング状照明6bを多段に設けた理由について図5と図6を用いて説明すると、CCDカメラ6cにより直接検査される図6中のリードフレーム3の検査面(打ち抜き時に下面となるバリ面)に打痕が存在する場合には打痕の表面が急激にへこんでいるため、リング状照明6bが1段でもそこから照射される光が打痕の表面のいずれかの部分でCCDカメラ6cのレンズ方向へ反射する(光路は実線で示す)。よって反射部分は打痕がない状態の正常の輝度よりも高くなってCPU8aでは打痕として認識できる。
【0025】
しかしながら、図5に示すようにリードフレーム3の検査裏面(打ち抜き時に上面となるダレ面)に打痕が存在する場合には、その打痕の裏面側、つまり検査面側の突出部の変形量は小さく、しかも突出部の表面は緩やかな曲面となるために、リング状照明6bが1段しかない場合には、リング状照明6bの光源1からの光(光路は実線で示す)は当該曲面で反射してもCCDカメラ6cのレンズ内へは入光しない。このため、CPU8aでは打痕なしと判断してしまう可能性が高い。
そこで、上述したようにこの第1段目のリング状照明6bの他に、第2段目のリング状照明6bを光軸G方向に沿って第1段目のリング状照明6bと離間して設けると、第2段目のリング状照明6bの光源2からの光の打痕により検査面側に生じた突出部への入射角が変わり(この場合には小さくなり)、その反射光はCCDカメラ6cに入光することになり(光路は点線で示す)、CPU8aにおいて突出部の存在を認識でき、その結果リードフレーム3の検査裏面の打痕の存在を検出することができる。
【0026】
しかし、このリードフレーム3の検査裏面(ダレ面)の打痕は、プレス加工を行った際に発生する抜きカスやゴミが該リードフレーム3の上に残り、この抜きカス等により生ずるものであり、実際には上記リードフレーム3の上に抜きカス等は入り込み難い。そのため、検査裏面の打痕の発生率は検査面の打痕の発生率と比べて著しく低い(約10分の1程度)。また、リードフレーム3はダイ上を所定の速度で移動しているため、小さな抜きカス等はダイ上から飛び散ってしまいリードフレーム3の検査裏面に付着する抜きカス等は比較的大きく重いものが殆どである。このため、リードフレーム3の検査裏面の打痕により検査面に生ずる突出部はその変形量が比較的大きなものが多く、リング状照明6bを多段に設けることで検出できるものが多いのである(図5参照)。
【0027】
また、照度コントローラ8dは、リードフレーム3の面粗度の違いにより、同一照度でのフレームの明度に違いが生ずる場合に、できるだけ均一な明度になるように調整するものである。この調整は、CCDカメラ6cにより一括して画像入力される領域毎に、画像を取り込む際に照度コントロールを行う。
【0028】
また、リードフレーム3の表面の明度のピーク値を観察していると、図7(a)に示すように、正常なフレームでも面粗度の違いによりピーク値が上昇する場合がある(相違量a)。そこで、図7(b)に示すように、ピークレベルからある一定量だけカットしたところの輝度レベルを記憶しておき、検査時においても一定量だけカットしたところの輝度レベルで比較している(相違量b)。
【0029】
また、図8(a)に示すように、プレス装置5によりプレス後のリードフレーム3の輪郭部3aや打ち抜き部分3bには、ダレ,カエリ,バリ等が存在する。このダレ,カエリ,バリ等が検査領域内に存在すると、ダレ,カエリ,バリ等で照射された光をCCDカメラ6c方向へ反射し、ダレ等が存在しない場合に比べて輝度データが極端に大きな値となり誤って打痕と認識してしまう。このため、他のリードフレーム面と同じ輝度として認識するように、一旦リードフレーム3の画像を例えば1ピース分サンプルとして取り込み、リードフレーム3の輪郭に沿ってエアブラシ,ボカシ等を使用して画像編集し、マスク画像として記憶部8bに記憶させる。そして、図8(b)に示すように、リードフレーム3の輪郭部3aや打ち抜き部分3bに画像処理ボード8eにおいてマスク画像を重ね合わせて輝度を補正しダレ,バリ等の影響を抑えている。
【0030】
また、照度コントローラ8dにより照度を制御する単位となるリードフレーム3の検査画像領域は、一例として図9に示すように、▲1▼〜▲6▼に示す任意の検査画像ポイントを含むようにパイロット孔3cからのX−Y座標を指定して行われる。
また、CCDカメラ6cより取り込んだ画像を輝度データに解析する画像処理ボード8eの解析能力は、受光素子の数や解像度によっても左右されるが、本実施例では1ピースを一括して画像入力し、最大で1画面当たり512×480ピクセル分の画素毎に輝度データを解析できるようになっている。また、検査画像ポイントを含む検査画像領域が指定された場合には当該指定領域毎に、検査画像領域指定されない場合には1画面全体に渡って画像処理を行うようになっている。
【0031】
また、制御手段8は、入力画像どうしの輝度データを各画素毎に比較して異常を検出すると、予め学習させた登録情報に基づいて異常状態を特定するニューロ回路17を備えている(図10参照)。ニューロ回路17は、初期状態では入力Iiにデータを入力しただけでは関連のない出力結果Ojが現れる。そこで、異常状態を示す入力画像データIiに対応した出力結果Ojを例えば以下に示す表1のように設定登録する。
【表1】
【0032】
入力データIiとしては、図11に示すリードフレームの入力画像において、異常部分Nが検出された場合、該異常部分Nには図12(a)〜(c)に示すように異常状態に応じて特徴がある。ちなみに図12(a)は打痕、同図(b)は油塊、同図(c)はリードフレーム3のばたつきを示すものとする。
これらの異常部分Nの拡大画像において、×印を中心に破線に示す範囲で入力データIiを取り込む。
このときの、入力画像の異常状態毎に入力データIiに対応した出力結果Ojの登録数を例えば以下に示す表2のように設定登録する。
【表2】
このとき、先に登録された状態と同じ評価をすべき入力画像があった場合には、出力が先に登録された状態と同じになるように設定し追加登録する。そして、各評価項目毎の登録数が設定数に達した後、登録を終了する。登録が終了した後、バックプロバゲーション法を用いて、学習を行う。
【0033】
次にこの学習作業を経て形成された登録情報に基づいて、図13に示すニューラルネットワークを形成する。入力層1〜10は異常状態を特定すべき検査画像からのデータ数、中間層1〜5はニューラルネットワークにおいて、解を導き出すのに必要な層であり、出力層1〜5は油塊、打痕、ばたつき、欠損、正常などの評価結果を示す。尚、入力層は例えば入力画像の検査画像領域を縦,横10画素分とした場合には、入力層の入力数は10×10=100となる。
上記入力層、中間層、出力層はシナプス18により結ばれる。出力結果O1〜O5のいずれかの出力がON状態の90%を超えた場合に出力結果をONとして判定するように判定用パラメータを設定することにより異常状態が特定できる。
【0034】
次に、上述のように構成されたリードフレーム検査装置6の制御動作について図14〜図16に示すフローチャートに沿って説明する。本実施例では、リードフレーム3を連続搬送しながらIC1ピース毎に表面状態の検出を行う場合の流れについて説明するものとする。
【0035】
先ず、リードフレーム全体の検査の流れについて概略説明すると、プレス装置5を経て連続的に加工され搬送されるリードフレーム3をリードフレーム検査装置6に進入させ、リードフレーム3のIC1ピース単位でCCDカメラ6cより画像を取り込む。このとき、入力画像に前処理を施して、検査画像ポイントを中心に指定された検査画像領域の輝度データの変動量Δtを各画素毎に算出して記憶する。次に検査を開始すると、前処理に続く入力画像Pを取得して検査画像領域に対応する検査画像P1を位置補正して記憶し、入力画像Pに続く入力画像Qを取得して検査画像領域に対応する検査画像Q1を位置補正して記憶し、検査画像Q1と検査画像P1との輝度データq,pの変化量dをデータ変動量Δtを考慮して各画素毎にd=q−p−Δtを演算する。次に検査画像P1の輝度データpを検査画像Q1の輝度データqへ置き換えて記憶し、入力画像Qに続く入力画像Rを取得して解析し検査画像領域に対応する検査画像R1を位置補正して記憶し、該検査画像R1と検査画像Q1との輝度データr,qの変化量dをデータ変動量Δtを考慮してd=r−q−Δtを各画素毎に演算するという作業を繰り返して行う。そして、各演算結果がd≧0であればニューロ回路17の出力結果によりリードフレーム3の状態を特定して検査続行可能か否かを判定しながら検査を行う。
【0036】
次に制御手段8による具体的手順について説明する。
先ず、ニューロ回路17に登録情報を記憶させて学習させるプロセスについて図14及び図15を参照して説明する。
図14において、ステップS1において、検査装置の電源を投入すると、ステップS2に進行して初期パラメータが設定されているか否かを判定する。この初期パラメータには、図9の▲1▼〜▲6▼に示す任意の検査画像ポイントを含む検査画像領域を特定するためのパイロット孔3cを基準とするX−Y方向の位置決め情報、リング状照明6bの光源装置9の照度設定などの検査前処理がある。
【0037】
初期パラメータが設定してある場合には、ステップS3に進行して検査開始スイッチの入力を待ってステップS6に進行して前処理画像Tを取得する。
また、初期パラメータが設定してない場合には、ステップS4に進行して位置決め情報を入力し、ステップS5に進行して検査画像領域を指定する場合には当該指定した領域、或いは検査画像領域を指定しない場合には画面全域で検査を行う。また、検査画像領域において必要に応じてマスク処理を施す。このマスク処理は、リードフレーム3のダレ,バリ部分は他の面と光の反射が異なるため、この部分は検査しないようにしたり或いは、特に検査させない部分(例えば刻印部)があればマスクを施すものである。このマスク処理は、各検査画像領域において1回目の入力画像において行えば足りる。この後、ステップS3に戻って検査開始スイッチの入力を待ってステップS6に進行して前処理画像Tを取得する。このとき、入力画像はリアルタイムで表示用モニター16bに写し出され、その表面状態を視認することができる。
【0038】
前処理画像Tは、IC1ピース単位で複数画像分、本実施例では10ピース分取得して検査画像領域の各画素ごとの輝度を解析して輝度データとして記憶する。次に、ステップS7に進行して検査画像領域内の各画素ごとの輝度データの変動量Δtを求める(図17参照)。Δtの値は、各画素毎の輝度データの最大値と最小値の差分に相当する。
【0039】
次にステップS8に進行して、CCDカメラ6cより次の画像Pを画像処理ボード8eを介して輝度データとして取り込み記憶部8bに記憶する。次いでステップS9に進行して、画像Pの輝度データのうち、ステップS2で入力した図9の▲1▼〜▲6▼のうち所定の検査画像ポイントを含む位置決め情報に従って検査画像領域に相当する検査画像P1を読み出して位置補正する移動処理を行う。検査画像と前処理工程の記憶画像間に位置ずれが生じている場合に輝度データ間の正確な比較ができないからである。
【0040】
次にステップS10に進行して、CCDカメラ6cより次の画像Qを画像処理ボード8eを介して輝度データとして取り込み記憶部8bに記憶する。次いでステップS11に進行して、画像Qの輝度データのうち、ステップS2で入力した位置決め情報に従って検査画像P1に対応する検査画像Q1を読み出して位置補正する移動処理を行う。
【0041】
次にステップS12に進行して、CPU8aは検査画像Q1,P1と前処理画像Tとの輝度データ間でQ1−P1−Tの演算処理を行う。具体的には、対応する各画素間において変動量を加味した輝度データの変化量d=q−p−Δtの演算処理を行い結果を記憶部8bに記憶する。この検査画像Q1,P1の特定の画素の輝度データq,pと前処理画像Tより得られた輝度データの変動量Δt(>0)及び輝度データq,p間の変化量q−pの関係を図18に示す。
【0042】
次にステップS13に進行して、検査画像Q1 ,P1の全ての対応する画素間で演算結果がd<0か否かを判定する。演算結果がd<0であれば、検査画像Q1 ,P1間で輝度データが正常範囲と判断してステップS14に進行して、記憶部8bに記憶した検査画像P1のデータを検査画像Q1のデータに置き換える。次にステップS15に進行してリードフレーム3からの入力画像があるか否かを判定し、検査画像がない場合には検査終了するものと判断してステップS16に進行して検査装置の動作を停止する。また、更に入力画像がある場合には、ステップS10に戻って、CCDカメラ6cより画像Qの次の画像Rを画像処理ボード8eを介して輝度データとして取り込み記憶部8bに記憶する。次いでステップS11に進行して、画像Rの輝度データのうち、ステップS2で入力した図9の▲1▼〜▲6▼のうち所定の検査画像ポイントを含む位置決め情報に従って検査画像Q1に対応する検査画像R1を記憶部8b内で読み出す移動処理を行う。以後同様に検査画像Q1,R1と前処理画像Tとの輝度データ間でR1−Q1−Tの演算処理を行うという検査動作を繰り返し行う。
【0043】
また演算結果がd≧0であれば、ステップS17に進行してCPU8aは異常と判定して、ステップS18に進行して検査装置の動作を停止させる。
このとき、演算結果d<0の判定について詳細に説明すると、検査画像Q1,P1の特定画素の輝度データq,p間に変動がない場合(q=pの場合)、d=q−p−Δt=−Δt<0となって、q−p<Δtとなる。よって、輝度データq,pの変化量が変動量Δtより小さいので正常範囲と判定する。
また輝度データq,p間に変動がある場合(q≠pの場合)、q<pとすると、q−p<0であるからd=q−p−Δt<0となってq−p<Δtとなる。よって、輝度データq,pの差が変動量Δtより小さいので正常範囲と判定する。また、q>pとすると、d=q−p−Δt<0の場合にはq−p<Δtとなるため正常範囲と判定できるが、d=q−p−Δt>0の場合にはq−p>Δtとなるため、輝度データq,pの差が変動量Δtより大きいので異常有りと判定する。
【0044】
このようにして得られたある入力画像の検査画像ポイント▲1▼〜▲6▼を含む輝度データの解析値(破線部分)と、直前に得られた入力画像の輝度データの記憶値+画像間変動量(実線部分)との関係を図19に示す。図19において、検査画像ポイント▲4▼においては、当該検査画像の解析値が直前の検査画像の記憶値+画像間変動量の値を超えているため、異常が生じたものと判定できる。
【0045】
次にステップS19に進行して、検査画像を確認して異常原因を判定して、ニューロ回路17の出力結果Ojを決定する。次にステップS20に進行して、検査画像から異常部分Nを取り出してニューロ回路17の入力画像Iiを取得する。そして、ステップS21に進行して、ニューロ回路17の入力画像Ii及び出力結果Ojを登録する。
次にステップS22に進行して、各出力結果Ojに対する登録数を確認する。次にステップS23において、いずれかの出力結果Ojの登録数が出力設定数に達したか否かを判定し、出力設定数に達していなければステップS24に進行して、一旦停止した装置を再スタートさせてステップS10に戻って、次の画像Rを取り込んで検査を続行し、出力設定数に達していればステップS25に進行して、学習作業を行う。
【0046】
次に、学習済みのニューロ回路17を用いて実際にリードフレームの検査を行う場合には、図16に示すように、前述したステップS13において、演算結果がd≧0であれば、ステップS17´に進行してニューロ回路17の出力結果よりリードフレーム3の状態を特定する。そして、ステップS18´において、リードフレーム3の状態がばたつき或いは油塊付着と特定した場合には、異常判定せずにステップS10に戻って、次の画像Rを取り込んで検査を続行し、その他の場合には異常判定してステップS19´に進行して検査装置の動作を停止させ、ステップS20´に進行してリードフーム3の異常を確認して回復処理した後、リードフレーム検査装置6を再スタートさせる。
【0047】
尚、上記検査において、ステップS13において、演算結果がd≧0の場合にのみニューロ回路17の出力結果によりリードフレーム3の状態を判定したが、d<0の場合にもリードフーム3の正常状態(ばたつきや油塊付着など)を具体的に特定すべくニューロ回路17を用いて検査を行っても良い。
【0048】
また、検査画像領域内の各画素ごとの輝度データの変動量Δtを求めることなく、直接検査画像を取得して、検査画像領域の輝度データどうしを比較してニューロ回路17の出力結果よりリードフレーム3の状態を特定するようにしても良い。
図20において、ステップS1〜S5において、初期パラメータの設定が完了し、検査開始スイッチが入力されて検査がスタートすると、ステップS´6に進行してCCDカメラ6cより画像Pを画像処理ボード8eを介して輝度データとして取り込み記憶部8bに記憶する。次いでステップS´7に進行して、画像Pの輝度データのうち、ステップS2で入力した図9の▲1▼〜▲6▼のうち所定の検査画像ポイントを含む位置決め情報に従って検査画像領域に相当する検査画像P1を読み出して位置補正する移動処理を行う。
【0049】
次にステップS´8に進行して、CCDカメラ6cより次の画像Qを画像処理ボード8eを介して輝度データとして取り込み記憶部8bに記憶する。次いでステップS´9に進行して、画像Qの輝度データのうち、ステップS2で入力した位置決め情報に従って検査画像P1に対応する検査画像Q1を読み出して位置補正する移動処理を行う。
【0050】
次にステップS´10に進行して、CPU8aは検査画像Q1,P1と前処理画像Tとの輝度データ間でQ1−P1の演算処理を行う。具体的には、対応する各画素間において輝度データの変化量d=q−pの演算処理を行い結果を記憶部8bに記憶する。次にステップS´11に進行して、検査画像Q1 ,P1の全ての対応する画素間で演算結果がd=0か否かを判定する。演算結果がd=0であれば、検査画像Q1 ,P1間で輝度データが正常範囲と判断してステップS´12に進行して、記憶部8bに記憶した検査画像P1のデータを検査画像Q1のデータに置き換える。
次にステップS´13に進行してリードフレーム3からの入力画像があるか否かを判定し、検査画像がない場合には検査終了するものと判断してステップS´14に進行して検査装置の動作を停止する。また、更に入力画像がある場合には、ステップS´8に戻って、CCDカメラ6cより画像Qの次の画像Rを画像処理ボード8eを介して輝度データとして取り込み記憶部8bに記憶する。次いでステップS´11に進行して、画像Rの輝度データのうち、ステップS2で入力した図9の▲1▼〜▲6▼のうち所定の検査画像ポイントを含む位置決め情報に従って検査画像Q1に対応する検査画像R1を記憶部8b内で読み出す移動処理を行う。以後同様に検査画像Q1,R1と前処理画像Tとの輝度データ間でR1−Q1の演算処理を行うという検査動作を繰り返し行う。
【0051】
また演算結果がd≠0であれば、ステップS´15に進行してニューロ回路17の出力結果によりリードフレーム3の状態を特定する。ステップS´16において、リードフレーム3の状態がばたつき或いは油塊付着と特定した場合には、異常判定せずにステップS´8に戻って、次の画像Rを取り込んで検査を続行し、その他の場合には異常判定してステップS´17に進行してリードフレーム検査装置6の動作を停止させ、ステップS´18に進行してリードフーム3の異常を確認して回復処理した後、再度リードフレーム検査装置6を再スタートさせる。
【0052】
上記構成によれば、制御手段8は、CCDカメラ6cより先に取り込んだ入力画像Pと次に取り込んだ入力画像Qの輝度データを各々解析して各画素毎に比較演算し、演算結果に応じて予め学習させた登録情報に基づいてニューロ回路17の出力結果によりリードフレーム3の状態を具体的に特定して検査続行可能か否かを判定しながら検査を行うことができる。例えば油塊の付着、フレームのばたつき、傷、打痕、表面変質、異物付着、加工欠損などリードフレーム3の状態を具体的に特定できるので、これらのうち少なくともリードフレーム3の油塊の付着やばたつきなどはエラー出力しないようニューロ回路17に学習させておくことでリードフレーム検査装置6を停止する回数も減らすことができ、検査作業を高精度で効率的に行える。
【0053】
次に、制御手段8にニューロ回路17を用いて異常状態を特定する他例について図21〜図24を参照して説明する。尚、リードフレーム検査装置6の構成は前述した実施例と同様であるので同一番号を付して説明を援用するものとし、制御手段8の制御内容を中心に説明する。
本実施例は、撮像手段より取り込んだX番目からX+n番目(X≧1,n≧1;X,nは自然数)までの入力画像の輝度を解析し、得られたn画像分の輝度データの平均値を算出して該平均値に許容値を加えて第1の比較値pとして記憶させ、X+(n+1)番目の入力画像の解析値qと前記第1の比較値pとの変化量d=q−pを各画素毎に演算し、次にX+1番目からX+(n+1)番目までのn画像分の輝度データの平均値を算出して該平均値に許容値を加えて第2の比較値rとして更新して記憶させ、X+(n+2)番目の入力画像の解析値sと第2の比較値rとの輝度データの変化量d=s−rを各画素毎に演算する作業を繰り返し行い、各演算結果がd≧0であればニューロ回路17の出力結果によりリードフレーム3の状態を特定して検査続行可能か否かを判定しながら検査を行うものである。
実際には、リードフレーム3を搬送しながら画像を取り込む際に必要に応じて画像処理ボード8eによりマスク処理を施して輝度データを取り込み、取り込んだデータを区画単位で解析し、得られた解析値と記憶部8bに記憶させた比較値と比較して異常を検出するようにしている。CPU8aは入出力部8cを介してコントローラ10により搬送ローラ6aの駆動を制御して搬送動作を停止させたり、可動テーブル6dをリードフレーム3の区画ごとに走査させ、当該領域全体の画像を取り込むことも可能である。
【0054】
また、リードフレーム3の区画は、明度レベルが同一と思料される領域に区分されており、照度コントローラ8dにより同一の照度となるように制御される。このリードフレーム3の区画とは、一例として図21に示すように、単位IC(1ピース)を5分割した1/5ピースが相当する。この1/5ピース内では明度レベルがほぼ同一と観測される。なお、この領域は、リング状照明6bの直径やリードフレーム3との距離によってその広さは左右されるため、所定領域は1/2ピースの場合もあり、また1ピース全体の場合もある。
また、CCDカメラ6cの画像入力できる面積はその受光画素数により、また必要とする解像度によっても左右されるが、本例では一例として1ピースを一括して画像入力し、さらにこれを5区画に分割して画像処理を行うようにしている。
【0055】
次に、リードフレーム検査装置6の制御動作について図22〜図24に示すフローチャートに沿って説明する。本実施例では、リードフレーム3の任意の検査位置においてIC1ピースの表面状態を検出する動作について説明するものする。
【0056】
先ず、リードフレーム全体の検査の流れについて概略説明すると、プレス装置5を経て連続的に加工され搬送されるリードフレーム3を検査装置6に進入させ、リードフレーム3のIC1ピースに対し、多分割した位置へ若しくは多分割していない時は必要であれば一度CCDカメラ6cを移動させて画像を取り込む。上記取り込んだ画像を解析指示データに従い各区画毎に輝度を解析し、その輝度データ(解析値)と記憶部8bに記憶されている複数画像の平均値に許容値を加えたティーチングデータ(比較値)とを比較する。この作業は明部及び暗部両方において行っても良いが、高速化を図るためには明部のみ若しくは暗部のみの解析を行うのが望ましい。解析値と比較値の両者を比較した結果、比較値より解析値のほうが大きい場合には、エラーとして出力される。
【0057】
次に具体的な検査方法について説明する。
先ず、ニューロ回路17に登録情報を記憶させて学習させるプロセスについて図22及び図23のフローチャートを参照して説明する。
図22において、ステップS31において、マスク画像Eの入力を行う。このマスク画像の入力は、制御手段8の記憶部8bにティーチングにより▲1▼マスクの作成、▲2▼リードフレーム3のIC1ピースの区画設定(N0.1〜N0.5)、▲3▼カメラ入力レベルの設定等が行われる。尚、上記▲1▼〜▲3▼の作業は本実施例では明部検出用のみについて行われるが、暗部検出用について行っても良い。また、上記ティーチングによるデータ入力は、リードフレームの品種,材質の相違などにより随時行われる。
【0058】
以下、具体的に説明すると、▲1▼上記マスク画像Eの入力は、前述したように、リードフレーム3のダレ,バリ部分は他の面と光の反射が異なるため、この部分は検査しないようにマスクを作成する。或いは、特に検査させない部分(例えば刻印部)があればマスクする。
また、▲2▼IC1ピース内の区画設定は、図21に示すように、例えばIC1ピース全体を1入力画像とし、入力画像の明度レベルがほぼ同一と観測される区画に細分化(本実施例では5区画に区分)し、1区画を設定する。
また、▲3▼カメラ入力レベルの設定は、入力画像の輝度データのピークレベルを検出するために必要なカメラ入力の範囲設定を行う。
【0059】
次に、ステップS32に進行して搬送ローラ6aを回転駆動させてリードフレーム3を連続搬送を開始する。また、同時にリードフレーム3を検査装置6より巻き取りリール2側に巻き取らせる。
次に、ステップS33に進行して、フレーム搬送センサ11はリードフレーム3の1ピース分のリード形成領域を検出すると許可フラグを立てる。上記許可フラグを立てると、ステップS34に進行してCCDカメラ6cより画像入力Fが行われる。
【0060】
次に、ステップS34に進行して、リードフレーム3のIC1ピース全体の画像入力が一括して行われる。上記許可フラグが立てられる度に、同様にリードフレーム3の画像入力が行われる。これにより、リードフレーム3の全ピースの検査が可能となる。一括して入力した画像は画像処理の一単位となる複数の区画(一例として5区画等)に細分化される。
なお、画像入力の単位が1ピース全体ではなく、例えば複数ピース等の所定の長さの領域である場合には、フレーム搬送センサ11により検出するリードフレーム3の移動量を当該所定の長さの範囲とすることによって、同様にリードフレーム3の全ピースの検査が可能となる。
【0061】
次に、ステップS35に進行してCPU8aは記憶部8bにティーチングで記憶させたマスク画像Eに関するデータを読み出す。そしてステップS36に進行して、マスク処理の有無を判断する。ここでマスク処理するのであれば、ステップS37に進行し、画像処理ボード8eにより入力画像Fにマスク画像Eをマスクする。また、マスク処理しない場合には直接ステップS38へ移行する。このとき、上記入力画像Fはリアルタイムで表示用モニター16bに写し出され、その表面状態を視認することができる。
【0062】
次にステップS38において各区画領域毎に解析指示データに基づき輝度を解析して、ステップS39に進行してX番目からX+n番目のn個分の画像データ(X≧1,n≧1;X,nは自然数)について解析データを一時保存する。本実施例では、各区画につき第1番目から第10番目の10画像分のデータを解析して一時保存可能になっている。そして、ステップS40に進行して全区画につき画像データの解析が終了したか否かを判断し、終了していなければステップS38に戻って全区画の画像解析を行う。次にステップS41に進行して全区画につきn画像分(本実施例では10画像分)の解析データが存在するか否かを判断する。10画像分の解析データがない場合には、ステップS33に戻って更に画像を取り込みながら各区画毎に輝度データが10画像分になるまで解析を続行する。そしてステップS42に進行して、CPU8aは各区画毎に10画像分の解析データの平均値を算出する。この平均値に許容値を加えた値を各々第1の比較値として記憶部8bに記憶する。上記許容値の設定は、各区画毎にフレームの面粗度、母材の圧延状態、加工油の付着状況などによりフレームの明るさが変化することから、各区画毎に行う。
【0063】
次に、ステップS43に進行してX+(n+1)番目のリード形成領域の入力画像の輝度を解析指示データに従い解析する。本実施例では第11番目のリード形成領域の画像を入力して各区画毎に輝度データの解析を行う。そして、ステップS44に進行して上記第11番目の解析値qと記憶部8bに記憶されている第1の比較値(=平均値+許容値)pとを各区画毎に比較する。即ち解析値qと第1の比較値pとの差d=q−pを算出する。このとき、各区画毎に解析指示データを変えながら解析することができる。例えば光源の照度が変化して取り込む画像の明るさが変動しても、取り込むべき対象物(リードフレーム)の形状が同じになるようにピータイル値(面積)を調整する。また、例えば区画内にリード部等の島(オブジェクション)が存在する場合、2値化したときの島(オブジェクション)の数と重心位置をピータイル値(面積)を変更してIC1ピースの区画形状に応じた画像を取り込む。また、各区画の許容値を明度レベルの変化に合わせて調整する場合もある。
【0064】
次に、ステップS45において演算結果がd<0であるか否かを判定し、演算結果がd<0であれば、検査画像間で輝度データが正常範囲と判断してステップS46に進行し、d≧0であれば図23に示すステップS49に進行する。ステップS46において、全区画の処理が終了したか否かを判定し、終了していなければステップS43に戻って残りの区画の輝度データを解析して記憶値との比較演算を続行する。また、全区画の演算が終了していれば、ステップS47に進行してリードフレーム3の検査が終了したか否かを判定し、検査すべきリードフレーム3がない場合には装置を停止して検査を終了する。また検査すべきリードフレーム3がある場合には、ステップS48に進行して、n=n+1に置き換えてステップS42に戻ってn+1番目の入力画像を含む輝度データの各区画毎の平均値を新たに算出して記憶値pを更新する。これは、解析データの平均値が緩やかに変化するため、前後のデータを入れ換えて比較値を更新するだけで十分精度の良い検査が行えるからである。
そして、ステップS43以降に進行してn+2番目の入力画像の輝度データを区画毎に解析して検査動作を続行する。
【0065】
また、演算結果がd≧0であれば、図23においてステップS49に進行してCPU8aは異常と判定して、ステップS50に進行して検査装置の動作を停止させる。次にステップS51に進行して、検査画像を確認して異常原因を判定して、ニューロ回路17の出力結果Ojを決定する。次にステップS52に進行して、検査画像から異常部分N(図12参照)を取り出してニューロ回路17の入力画像Iiを取得する。そして、ステップS53に進行して、ニューロ回路17の入力画像Ii及び出力結果Ojを登録する。
次にステップS54に進行して、各出力結果Ojに対する登録数を確認する。このとき、出力結果O1〜O5のいずれかの出力がON状態の90%を超えた場合に出力結果をONとして判定するように判定用パラメータが設定されている。次にステップS55において、いずれかの出力結果Ojの登録数が出力設定数に達したか否かを判定し、出力設定数に達していなければステップS56に進行して、一旦停止した装置を再スタートさせてステップS46に戻って、他の全区画において検査を続行し、出力設定数に達していればステップS57に進行して、出力結果を登録する。この登録済み入力・出力パターンを用い、バックプロバゲーション法を用いて学習を行う。
【0066】
次に、学習済みのニューロ回路17を用いて実際にリードフレームの検査を行う場合には、図24に示すように、前述したステップS45において、演算結果がd<0であれば、検査画像間で輝度データが正常範囲と判断してステップS46´に進行し、d≧0であればステップS51´に進行する。
ステップS46´においては、全区画(5区画)の輝度データの解析が終了したか否かを判定し、終了していなければステップS43に戻って残りの区画の輝度データを解析して記憶値との比較演算を続行する。ステップS51´においては、ニューロ回路17の出力結果よりリードフレーム3の状態を特定する。ステップS52´において、リードフレームのばたつき或いは油塊付着と特定した場合には、異常判定せずにステップS46´に戻って、その他の場合には異常判定してステップS53´に進行してエラー登録をした後でステップS46´に戻る。
【0067】
次に、ステップS47´に進行してエラー登録が有るか否かを判定し、エラー登録が有る場合にはステップS49´に進行してリードフレーム検査装置6の動作を停止させてリードフーム3の異常を確認して回復処理を行う。
また、エラー登録がない場合には、ステップS48´に進行して次のリードフレーム3の検査ピースが有るか否かを判断し、検査ピースがない場合にはリードフレーム3の巻き取りを行い、検査を終了する。また、検査ピースが有る場合には、ステップS50´に進行して、n=n+1に置き換えて再びステップS42に戻ってn+1番目の入力画像を含む輝度データの各区画毎の平均値を新たに算出して記憶値pを更新する。そして、ステップS43以降に進行してn+2番目の入力画像の輝度データを区画毎に解析して同様の検査動作を続行する。
【0068】
尚、上記検査動作においても、ステップS45において、演算結果がd≧0の場合にのみニューロ回路17の出力結果よりリードフレーム3の状態を判定したが、d<0の場合にもリードフレーム3の正常状態(ばたつきや油塊付着など)を具体的に特定すべくニューロ回路17を用いて検査を行っても良い。
また、本実施例では、例えば第1番目の入力画像(1ピース分)から第10番目の入力画像を取り込んで第1の比較値を算出して第11番目の入力画像解析に使用していたが、各比較値の算出には10画像分の解析データに限らず任意のデータ数より算出することが可能である。また、本実施例では第1番目から第10番目までの入力画像については、リードフレーム検査装置6を用いて比較値との比較が行えないが、リードフレーム3の打痕等は作業者が目視により確認できる範囲であるので、検査上支障となることはない。
【0069】
以上、本発明の好適な実施例について種々述べてきたが、本発明はこの実施例に限定されるものではなく、ニューロ回路17による検査は、制御手段8の性能が向上すれば、リードフレーム3が異常状態のみならず、正常状態においてもすべて状態を具体的に特定しながら検査を行っても良い。またリードフレーム検査装置6の設置箇所はリードフレーム3のプレス後に限らず、洗浄後またはその他の処理後に設置しても良い等、発明の精神を逸脱しない範囲内でさらに多くの改変を施し得るのはもちろんのことである。
【0070】
【発明の効果】
本発明は前述したように、撮像手段より先に取り込んだ入力画像と次に取り込んだ入力画像どうしの輝度データを各画素毎に比較演算し、演算結果に応じて予め学習させた登録情報に基づいてニューロ回路の出力結果によりリードフレームの状態を具体的に特定して検査続行可能か否かを判定しながら検査を行うことができる。例えば油塊の付着、フレームのばたつき、傷、打痕、表面変質、異物付着、加工欠損などのリードフレームの状態を具体的に特定できるので、これらのうち少なくともリードフレームの油塊の付着やばたつきなどはエラー出力しないようニューロ回路に学習させておくことでリードフレーム検査装置を停止する回数も減らすことができ、検査作業を高精度で効率的に行うことができる。
【図面の簡単な説明】
【図1】リードフレーム検査装置を含むリードフレーム製造装置の全体構成を示す説明図である。
【図2】リードフレーム検査装置の構成を示すブロック説明図である。
【図3】リードフレーム検査装置の断面説明図である。
【図4】リング状照明の構成を示す説明図である。
【図5】リング状照明による画像入力状態を示す説明図である。
【図6】リング状照明による画像入力状態を示す説明図である。
【図7】入力データのピークカット検出を示す説明図である。
【図8】リードフレームの輪郭にマスクを施した状態を示す比較説明図である。
【図9】リードフレームの検査画像領域を示す説明図である。
【図10】ニューロ回路の説明図である。
【図11】ニューロ回路による解析可能な画像例を示す説明図である。
【図12】ニューロ回路に学習させる登録情報を示す説明図である。
【図13】ニューラルネットワークの構成例を示す説明図である。
【図14】リードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャートである。
【図15】リードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャートである。
【図16】リードフレーム検査装置のニューロ回路を用いた検査動作の流れの一部を示すフローチャートである。
【図17】前処理で取得した入力画像の輝度データの変動量を示すグラフ図である。
【図18】検査画像領域の前後の入力画像の輝度データの差分を示すグラフ図である。
【図19】本実施例の検査結果を示すグラフ図である。
【図20】他例に係るリードフレーム検査装置のニューロ回路を用いた検査動作の流れを示すフローチャートである。
【図21】他例に係るニューロ回路による解析可能な画像例を示す説明図である。
【図22】他例に係るリードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャートである。
【図23】他例に係るリードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャートである。
【図24】他例に係るリードフレーム検査装置のニューロ回路を用いた検査動作の流れの一部を示すフローチャートである。
【符号の説明】
1 繰り出し用リール
2 巻き取り用リール
3 リードフレーム
4 レベラー
5 プレス装置
6 リードフレーム検査装置
6a 搬送ローラ
6b リング状照明
6c CCDカメラ
6d 可動テーブル
6e 検査側停止センサ
6f,6g 速度制御センサ
6h プレス側停止センサ
6j ノブ
6p リング
6q 光ファイバー
6r 支持部材
6s 半透明フィルム
6t マスク
7 層間紙
8 制御手段
8a CPU
8b 記憶部
8c 入出力部
8d 照度コントローラ
8e 画像処理ボード
9 光源装置
10 コントローラ
11 フレーム搬送センサ
12 リードフレームばたつき防止機構
13 搬送ガイド
14 補助ローラ
15 制御パネル
16a 制御用モニター
16b 表示用モニター
17 ニューロ回路
18 シナプス
G 光軸[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a lead frame inspection apparatus capable of specifically specifying surface conditions such as dents, oil mass adhesion, flapping, scratches, and discoloration after punching.
[0002]
[Background]
Conventionally, in a pressing process for punching a lead frame to form a lead frame, for example, in the case of a strip-shaped lead frame, a worker has confirmed large dents, burrs, and the like with the naked eye when conveyed from the press. Moreover, the lead frame to be conveyed was arbitrarily extracted after pressing, and inspection and measurement were performed with a microscope.
In addition, since the lead frame wound on the reel cannot be subjected to a sampling inspection in the middle, the worker must rely on the naked eye of the operator, and the precise inspection must be inspected for the presence of a dent or the like at the end of the reel. It was.
[0003]
In order to improve the inspection efficiency and accuracy of the lead frame, the present applicant has proposed a lead frame inspection apparatus shown in Japanese Patent Application No. 9-278713. This inspection device irradiates the lead frame conveyed after press processing with light from a ring-shaped illumination, inputs the reflected light with a CCD camera, analyzes the luminance of the input image, and pre-teaches the obtained analysis value with the obtained analysis value. Thus, the abnormality of the lead frame is detected by comparing with the stored value stored in the storage unit.
[0004]
In order to inspect a lead frame using the above-described inspection apparatus, an image is acquired in advance using a normal lead frame, setting of parameters necessary for image analysis and setting of storage values used for comparison with analysis values It is necessary to perform teaching such as creating a section for each portion where the brightness levels of the images are substantially the same. The stored value to be stored by teaching is set to a value obtained by adding an additional value to the average value of the analytical values of a plurality of images for each section (memory value = average value + added value), or depending on the state of the analytical value, A maximum value or a minimum value may be used instead of the average value (for example, stored value = maximum value + additional value).
[0005]
In the actual inspection, the lead frame is irradiated with light with an illuminance that provides almost the same lightness as teaching, and image input is performed by a CCD camera. Then, luminance analysis is performed for each teaching section, and the analysis data is stored over a plurality of images. An average value for each section is calculated from the obtained plurality of images, and this average value is stored as an analysis value. The analysis value is compared with the stored value stored by teaching, and when the analysis value becomes larger than the stored value, it is determined that an error has occurred, the lead frame inspection device is stopped, and the lead frame We were checking.
[0006]
[Problems to be solved by the invention]
In the lead frame inspection apparatus, it is possible to detect the occurrence of oil mass adhesion, flapping of the frame, scratches, dents, surface alteration, adhesion of foreign matter, processing defects, and the like as abnormalities. However, the adhesion of oil lumps on the lead frame and flapping of the frame cannot be said to be abnormal in commercialization, and there is a demand for not outputting an error.
If the abnormal state can be specifically identified in this way, the number of times the inspection apparatus is stopped can be reduced, and the inspection work can be made more efficient.
[0007]
An object of the present invention is to provide a lead frame inspection apparatus that solves the above-described problems of the prior art, improves the inspection performance by specifically specifying the state of the lead frame, and performs inspection work with high accuracy and efficiency. It is in.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the present invention comprises the following arrangement.
That is, a conveying unit that conveys a continuous lead frame in a belt shape, an imaging unit that inputs an image of a lead formation region of the lead frame when being conveyed by the conveying unit, and a ring that surrounds the optical axis of the imaging unit Illuminating means for irradiating the lead frame with light arranged in multiple stages in the optical axis direction between the lead frame and the imaging means, and an input image captured before the imaging means And a neuro circuit for analyzing the luminance data of the input image taken next and performing a comparison operation for each pixel and identifying the state of the lead frame based on registration information learned in advance according to the operation result Control means for determining whether or not the inspection can be continued according to the output result of the neurocircuit.The control means continues the inspection without judging the abnormality when the state of the lead frame is specified as flapping or oil lump adhesion based on the output result of the neuro circuit, and in other cases, the abnormality judgment is carried out. Control to stop operationIt is characterized by that.
[0009]
Specifically, the control means preprocesses the plurality of input images captured from the imaging means, calculates and stores the variation amount Δt of the luminance data in the inspection image region for each pixel, and inputs the input image following the preprocessing. P is acquired and analyzed, and the inspection image P1 corresponding to the inspection image region is corrected and stored, and the input image Q following the input image P is acquired and analyzed, and the inspection image Q1 corresponding to the inspection image region is corrected. The change amount d of the luminance data q and p between the inspection image Q1 and the inspection image P1 is calculated for each pixel in consideration of the data variation amount Δt, and then the inspection is performed. The luminance data p of the image P1 is replaced with the luminance data q of the inspection image Q1 and stored. The input image R following the input image Q is acquired and analyzed, and the inspection image R1 corresponding to the inspection image region is corrected and stored. , Luminance data of the inspection image R1 and the inspection image Q1 , Q, d = r−q−Δt is repeatedly calculated for each pixel in consideration of the data variation amount Δt, and if each calculation result is d ≧ 0, the output of the neuro circuit is performed. The inspection may be performed while specifying the state of the lead frame based on the result and determining whether the inspection can be continued.
Alternatively, the input image P captured from the imaging means is acquired and analyzed, the inspection image P1 corresponding to the inspection image region is corrected and stored, and the input image Q following the input image P is acquired and analyzed to obtain the inspection image region. The inspection image Q1 corresponding to the position of the inspection image Q1 is corrected and stored, the amount of change d = q−p in the luminance data q and p between the inspection image Q1 and the inspection image P1 is calculated for each pixel, and then the inspection image P1 The luminance data p is replaced with the luminance data q of the inspection image Q1 and stored. The input image R following the input image Q is acquired and analyzed, and the inspection image R1 corresponding to the inspection image region is corrected and stored. The operation of calculating the variation d = r−q of the luminance data r and q between the image R1 and the inspection image Q1 is repeated for each pixel, and if each calculation result is d ≠ 0, the output result of the neuro circuit To identify the state of the lead frame While it is determining whether test continuability may be inspected.
[0010]
Further, as another configuration, the control means obtained by analyzing the luminance of the input images from the Xth to the X + nth (X ≧ 1, n ≧ 1; X and n are natural numbers) captured from the imaging means. An average value of luminance data for n images is calculated, an allowable value is added to the average value, and the result is stored as a first comparison value p. The analysis value q of the X + (n + 1) th input image is compared with the first comparison value. A change amount d = q−p with respect to the value p is calculated for each pixel, and then an average value of luminance data for n images from the (X + 1) th to the (X + 1) th (n + 1) th is calculated, and the average value is an allowable value And updated and stored as the second comparison value r, and the luminance data variation d = s−r between the X + (n + 2) th input image analysis value s and the second comparison value r Repeat the operation for each pixel, and if each calculation result is d ≧ 0, the output result of the neuro circuit More said may be the state of the lead frame to perform inspection while determining whether particular to inspection proceed possible.
In this case, the Xth to X + nth input images captured from the imaging means are divided into a plurality of sections as one unit of image processing, the luminance is analyzed for each section, and n images for each section are analyzed. An average value of the luminance data is calculated, an allowable value is added to the average value, and the result is stored as a first comparison value p. The analysis value q of the X + (n + 1) th input image, the first comparison value p, Change amount d = q−p is calculated for each section, and then the average value of luminance data for n images for each section from the (X + 1) th to the X + (n + 1) th is calculated and allowed for the average value The value is added and updated and stored as the second comparison value r, and the change amount d = s−r between the analysis value s of the X + (n + 2) th input image and the second comparison value r is determined for each section. It is also possible to repeat the operation to calculate.
[0011]
According to the above configuration, the luminance data between the input image captured from the imaging means and the next captured input image is calculated for each pixel, and when the calculation result reaches a predetermined change amount, the luminance data is learned in advance. The inspection can be performed while specifically determining the lead frame state based on the output result of the neuro circuit based on the registered information and determining whether the inspection can be continued. For example, it is possible to specifically identify the state of the lead frame such as oil block adhesion, frame flapping, scratches, dents, surface alteration, adhesion of foreign matter, processing defects, etc. For example, the number of times the lead frame inspection apparatus is stopped can be reduced by learning the neurocircuit so as not to output an error, and the inspection work can be performed efficiently with high accuracy.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of a lead frame inspection apparatus according to the present invention will be described below in detail with reference to the accompanying drawings.
FIG. 1 is an explanatory view showing the overall structure of a lead frame manufacturing apparatus including a lead frame inspection apparatus, FIG. 2 is a block explanatory view showing the structure of the lead frame inspection apparatus, FIG. 3 is a cross-sectional explanatory view of the lead frame inspection apparatus, and FIG. Is an explanatory diagram showing the configuration of the ring-shaped illumination, FIGS. 5 and 6 are explanatory diagrams showing an image input state by the ring-shaped illumination, and FIGS. 7A and 7B are explanatory diagrams showing peak cut detection of input data. 8 is a comparative explanatory view showing a state where the outline of the lead frame is masked, FIG. 9 is an explanatory view showing an inspection image area of the lead frame, FIG. 10 is an explanatory view of a neuro circuit, and FIG. FIGS. 12A to 12C are explanatory diagrams illustrating registration information to be learned by the neurocircuit, FIG. 13 is an explanatory diagram illustrating a configuration example of a neural network, and FIGS. 14 and 1. Is a flowchart showing a flow of an inspection operation for causing a neuro circuit of the lead frame inspection device to learn, FIG. 16 is a flowchart showing a part of a flow of an inspection operation using the neuro circuit of the lead frame inspection device, and FIG. FIG. 18 is a graph showing the difference between the luminance data of the input images before and after the inspection image region, and FIG. 19 is a graph showing the inspection result of this embodiment. It is.
[0013]
First, an overall configuration of a lead frame manufacturing apparatus including a lead frame inspection apparatus will be described with reference to FIG.
[0014]
A lead
In the present embodiment, the lead
[0015]
Next, the overall configuration of the lead
[0016]
[0017]
The CPU 8a of the control means 8 controls the illuminance of the
When the inspection image area centered on the inspection image point is designated, the CPU 8a inspects the area for each pixel. When the inspection image area is not designated, the CPU 8a inspects the entire screen for each pixel. Then, according to the inspection state, the
[0018]
Next, a specific apparatus configuration of the lead
A plurality of sensors are provided at positions where the
[0019]
Further, the
The ring-shaped
[0020]
Further, the
The transport roller 6a is rotationally driven by a drive motor (not shown), and transports the
[0021]
A
[0022]
In addition, a
[0023]
Here, the configuration and function of each part of the lead
First, the structure of the plurality of ring-shaped
[0024]
The reason why the ring-shaped illumination is used as described above is that the space between the
The reason why the ring-shaped
[0025]
However, as shown in FIG. 5, when there is a dent on the inspection back surface (sag surface that becomes the top surface when punched) of the
Therefore, as described above, in addition to the first-
[0026]
However, the dent on the inspection back surface (sag surface) of the
[0027]
The
[0028]
When the peak value of the brightness of the surface of the
[0029]
Further, as shown in FIG. 8A, sagging, burrs, burrs, and the like exist in the contour portion 3a and the punched
[0030]
Further, as shown in FIG. 9, for example, the inspection image area of the
Also, the analysis capability of the
[0031]
Further, the control means 8 includes a
[Table 1]
[0032]
As the input data Ii, when an abnormal portion N is detected in the input image of the lead frame shown in FIG. 11, the abnormal portion N is displayed in accordance with the abnormal state as shown in FIGS. There are features. 12A shows a dent, FIG. 12B shows an oil block, and FIG. 12C shows flapping of the
In the enlarged image of these abnormal portions N, the input data Ii is captured in a range indicated by a broken line centered on the x mark.
At this time, the number of registered output results Oj corresponding to the input data Ii is set and registered as shown in Table 2 below for each abnormal state of the input image.
[Table 2]
At this time, if there is an input image that should be evaluated the same as the previously registered state, the output is set to be the same as the previously registered state and additionally registered. Then, after the number of registrations for each evaluation item reaches the set number, the registration ends. After registration is completed, learning is performed using the back-propagation method.
[0033]
Next, the neural network shown in FIG. 13 is formed based on the registration information formed through this learning work. The input layers 1 to 10 are the number of data from the inspection image whose abnormal state should be specified, the
The input layer, the intermediate layer, and the output layer are connected by a
[0034]
Next, the control operation of the lead
[0035]
First, the flow of inspection of the entire lead frame will be briefly described. The
[0036]
Next, a specific procedure by the control means 8 will be described.
First, a process for storing and learning registration information in the
In FIG. 14, when the inspection apparatus is turned on in step S1, the process proceeds to step S2 to determine whether or not initial parameters are set. The initial parameters include positioning information in the XY directions based on the
[0037]
If the initial parameters have been set, the process proceeds to step S3, waits for the input of the inspection start switch, proceeds to step S6, and acquires the preprocessed image T.
If the initial parameter is not set, the process proceeds to step S4 and positioning information is input. If the process proceeds to step S5 and an inspection image area is specified, the specified area or the inspection image area is set. If not specified, the entire screen is inspected. Further, a mask process is performed in the inspection image area as necessary. In this mask process, since the sagging and burr portions of the
[0038]
The preprocessed image T is acquired for a plurality of images in
[0039]
In step S8, the next image P is acquired from the
[0040]
In step S10, the next image Q is captured from the
[0041]
Next, proceeding to step S12, the CPU 8a performs a calculation process of Q1-P1-T between the luminance data of the inspection images Q1, P1 and the preprocessed image T. Specifically, calculation processing of luminance data variation d = q−p−Δt taking into account variation between corresponding pixels is performed, and the result is stored in the storage unit 8b. The relationship between the luminance data q and p of specific pixels of the inspection images Q1 and P1, the variation Δt (> 0) of the luminance data obtained from the preprocessed image T, and the variation q-p between the luminance data q and p. Is shown in FIG.
[0042]
Next, the process proceeds to step S13, and it is determined whether or not the calculation result is d <0 between all corresponding pixels of the inspection images Q1 and P1. If the calculation result is d <0, the luminance data is determined to be within the normal range between the inspection images Q1 and P1, and the process proceeds to step S14. The data of the inspection image P1 stored in the storage unit 8b is used as the data of the inspection image Q1. Replace with Next, the process proceeds to step S15 to determine whether there is an input image from the
[0043]
If the calculation result is d ≧ 0, the process proceeds to step S17, where the CPU 8a determines that there is an abnormality, and the process proceeds to step S18 to stop the operation of the inspection apparatus.
At this time, the determination of the calculation result d <0 will be described in detail. When there is no variation between the luminance data q and p of the specific pixels of the inspection images Q1 and P1 (when q = p), d = q−p− Δt = −Δt <0 and q−p <Δt. Therefore, since the change amount of the luminance data q and p is smaller than the change amount Δt, the normal range is determined.
Further, when there is a variation between the luminance data q and p (when q ≠ p), if q <p, then q−p <0, so d = q−p−Δt <0 and q−p < Δt. Therefore, since the difference between the luminance data q and p is smaller than the fluctuation amount Δt, the normal range is determined. Further, when q> p, when d = q−p−Δt <0, q−p <Δt, so that it can be determined as a normal range, but when d = q−p−Δt> 0, q Since −p> Δt, the difference between the luminance data q and p is larger than the fluctuation amount Δt, so it is determined that there is an abnormality.
[0044]
An analysis value (dashed line portion) of luminance data including the inspection image points (1) to (6) of an input image obtained in this way, and a stored value of luminance data of the input image obtained immediately before and between the images. FIG. 19 shows the relationship with the fluctuation amount (solid line portion). In FIG. 19, at the inspection image point (4), it can be determined that an abnormality has occurred because the analysis value of the inspection image exceeds the stored value of the immediately previous inspection image + the inter-image variation amount.
[0045]
In step S19, the inspection image is checked to determine the cause of the abnormality, and the output result Oj of the
In step S22, the number of registrations for each output result Oj is confirmed. Next, in step S23, it is determined whether or not the number of registered output results Oj has reached the set number of outputs. If the set number of outputs has not been reached, the process proceeds to step S24, and the once stopped device is restarted. The process is started and the process returns to step S10, the next image R is taken in, and the inspection is continued. If the output set number is reached, the process proceeds to step S25 to perform a learning operation.
[0046]
Next, when the lead frame is actually inspected using the learned
[0047]
In the above inspection, in step S13, the state of the
[0048]
Further, without obtaining the variation amount Δt of the luminance data for each pixel in the inspection image region, the inspection image is directly acquired, the luminance data in the inspection image region is compared, and the lead frame is obtained from the output result of the
In FIG. 20, in Steps S1 to S5, when the initial parameter setting is completed and the inspection start switch is input and the inspection is started, the process proceeds to Step S′6 and the image P is transferred from the
[0049]
In step S'8, the next image Q is captured from the
[0050]
Next, proceeding to step S′10, the CPU 8a performs a calculation process of Q1-P1 between the luminance data of the inspection images Q1, P1 and the preprocessed image T. Specifically, the luminance data change amount d = q−p is calculated between the corresponding pixels, and the result is stored in the storage unit 8b. Next, proceeding to step S'11, it is determined whether or not the calculation result is d = 0 between all the corresponding pixels of the inspection images Q1 and P1. If the calculation result is d = 0, it is determined that the luminance data is within the normal range between the inspection images Q1 and P1, the process proceeds to step S'12, and the data of the inspection image P1 stored in the storage unit 8b is used as the inspection image Q1. Replace with the data.
Next, the process proceeds to step S′13, where it is determined whether or not there is an input image from the
[0051]
If the calculation result is d ≠ 0, the process proceeds to step S′15, and the state of the
[0052]
According to the above configuration, the control means 8 analyzes the luminance data of the input image P captured before the
[0053]
Next, another example of specifying an abnormal state using the
In this embodiment, the luminance of input images from the Xth to the X + nth (X ≧ 1, n ≧ 1; X and n are natural numbers) captured from the imaging means is analyzed, and luminance data for the obtained n images is analyzed. An average value is calculated, an allowable value is added to the average value, and the result is stored as a first comparison value p. A change amount d between the analysis value q of the X + (n + 1) th input image and the first comparison value p. = Q−p is calculated for each pixel, then the average value of luminance data for the n images from the (X + 1) th to the (X + 1) th (n + 1) th is calculated, and an allowable value is added to the average value to perform the second comparison The value r is updated and stored, and the operation of calculating the luminance data variation d = s−r between the analysis value s of the X + (n + 2) th input image and the second comparison value r is repeated for each pixel. If each calculation result is d ≧ 0, the state of the
Actually, when the image is captured while the
[0054]
Further, the section of the
The area of the
[0055]
Next, the control operation of the lead
[0056]
First, the flow of inspection of the entire lead frame will be briefly described. The
[0057]
Next, a specific inspection method will be described.
First, a process for storing and learning registration information in the
In FIG. 22, the mask image E is input in step S31. This mask image is input by teaching the storage unit 8b of the control means 8 by (1) creating a mask, (2) setting the IC1 piece of the lead frame 3 (N0.1 to N0.5), and (3) the camera. The input level is set. The operations (1) to (3) are performed only for the bright portion detection in the present embodiment, but may be performed for the dark portion detection. Further, the data input by the teaching is performed at any time due to the difference in the type and material of the lead frame.
[0058]
Hereinafter, (1) the input of the mask image E will not be inspected because the sagging and burr portions of the
(2) As shown in FIG. 21, the division setting in the IC1 piece is divided into divisions where the entire IC1 piece is, for example, one input image and the brightness level of the input image is observed to be substantially the same (this embodiment Then, it is divided into 5 sections), and 1 section is set.
Also, (3) camera input level is set by setting the camera input range necessary for detecting the peak level of the luminance data of the input image.
[0059]
Next, the process proceeds to step S32, and the conveyance roller 6a is driven to rotate to start continuous conveyance of the
Next, proceeding to step S33, the
[0060]
Next, the process proceeds to step S34, and image input of the
When the unit of image input is not a whole piece but an area of a predetermined length such as a plurality of pieces, for example, the amount of movement of the
[0061]
Next, proceeding to step S35, the CPU 8a reads data relating to the mask image E stored in the storage unit 8b by teaching. In step S36, it is determined whether or not mask processing is performed. If mask processing is to be performed here, the process proceeds to step S37, and the mask image E is masked to the input image F by the
[0062]
Next, in step S38, the luminance is analyzed for each divided area based on the analysis instruction data, and the process proceeds to step S39, where n pieces of image data from Xth to X + nth (X ≧ 1, n ≧ 1; X, Analysis data is temporarily saved for n is a natural number). In this embodiment, the data for the 10th image from the first to the tenth can be analyzed and temporarily stored for each section. Then, the process proceeds to step S40 to determine whether or not the image data analysis has been completed for all the sections. If not completed, the process returns to step S38 to perform the image analysis for all the sections. Next, the process proceeds to step S41, and it is determined whether or not analysis data for n images (10 images in this embodiment) exists for all sections. If there is no analysis data for 10 images, the process returns to step S33, and the analysis is continued until the luminance data reaches 10 images for each section while further capturing images. In step S42, the CPU 8a calculates an average value of analysis data for 10 images for each section. Each value obtained by adding an allowable value to the average value is stored in the storage unit 8b as a first comparison value. The permissible value is set for each section because the brightness of the frame changes depending on the surface roughness of the frame, the rolling condition of the base material, the state of adhesion of processing oil, and the like for each section.
[0063]
In step S43, the luminance of the input image in the X + (n + 1) th lead formation area is analyzed according to the analysis instruction data. In this embodiment, an image of the eleventh lead formation area is input and luminance data is analyzed for each section. In step S44, the eleventh analysis value q is compared with the first comparison value (= average value + allowable value) p stored in the storage unit 8b for each section. That is, the difference d = q−p between the analysis value q and the first comparison value p is calculated. At this time, analysis can be performed while changing the analysis instruction data for each section. For example, even if the illuminance of the light source changes and the brightness of the captured image fluctuates, the peak value (area) is adjusted so that the shape of the target object (lead frame) to be captured is the same. Also, for example, when an island (object) such as a lead portion exists in the partition, the number of islands (objections) and the position of the center of gravity when binarized are changed, and the tile value (area) is changed to partition the
[0064]
Next, in step S45, it is determined whether the calculation result is d <0. If the calculation result is d <0, the luminance data is determined to be within a normal range between the inspection images, and the process proceeds to step S46. If d ≧ 0, the process proceeds to step S49 shown in FIG. In step S46, it is determined whether or not the processing of all the sections has been completed. If not completed, the process returns to step S43 to analyze the luminance data of the remaining sections and continue the comparison operation with the stored value. If the calculation for all sections has been completed, the process proceeds to step S47 to determine whether or not the inspection of the
Then, the process proceeds to step S43 and subsequent steps, the luminance data of the (n + 2) th input image is analyzed for each section, and the inspection operation is continued.
[0065]
If the calculation result is d ≧ 0, the process proceeds to step S49 in FIG. 23, and the CPU 8a determines that there is an abnormality, and the process proceeds to step S50 to stop the operation of the inspection apparatus. In step S51, the inspection image is confirmed to determine the cause of the abnormality, and the output result Oj of the
In step S54, the number of registrations for each output result Oj is confirmed. At this time, the output result O1~ OFiveThe determination parameter is set so that the output result is determined to be ON when any of the outputs exceeds 90% of the ON state. Next, in step S55, it is determined whether or not the number of registered output results Oj has reached the output set number. If the output set number has not been reached, the process proceeds to step S56, and the once stopped device is re-established. The process is started and the process returns to step S46, and the inspection is continued in all other sections. If the output set number is reached, the process proceeds to step S57, and the output result is registered. Learning is performed using the back-propagation method using the registered input / output patterns.
[0066]
Next, in the case of actually inspecting the lead frame using the learned
In step S46 ′, it is determined whether or not the analysis of the luminance data of all the sections (5 sections) has been completed. If not, the process returns to step S43 to analyze the luminance data of the remaining sections and store the stored values. Continue the comparison operation. In step S51 ′, the state of the
[0067]
Next, the process proceeds to step S47 ′ to determine whether or not there is an error registration. If there is an error registration, the process proceeds to step S49 ′ to stop the operation of the lead
If there is no error registration, the process proceeds to step S48 ′ to determine whether or not there is an inspection piece for the
[0068]
Even in the above inspection operation, the state of the
In this embodiment, for example, the tenth input image is taken from the first input image (for one piece), the first comparison value is calculated, and used for the eleventh input image analysis. However, the calculation of each comparison value is not limited to the analysis data for 10 images, but can be calculated from an arbitrary number of data. In the present embodiment, the first to tenth input images cannot be compared with the comparison value using the lead
[0069]
As described above, the preferred embodiment of the present invention has been described in various ways. However, the present invention is not limited to this embodiment, and the inspection by the
[0070]
【The invention's effect】
As described above, according to the present invention, the luminance data between the input image captured before the imaging unit and the input image captured next are compared for each pixel, and based on the registered information learned in advance according to the calculation result. Thus, the inspection can be performed while specifically determining the state of the lead frame from the output result of the neuro circuit and determining whether the inspection can be continued. For example, it is possible to specifically identify the state of the lead frame such as oil block adhesion, frame flapping, scratches, dents, surface alteration, adhesion of foreign matter, processing defects, etc. For example, the number of times the lead frame inspection apparatus is stopped can be reduced by learning the neurocircuit so as not to output an error, and the inspection work can be performed efficiently with high accuracy.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing an overall configuration of a lead frame manufacturing apparatus including a lead frame inspection apparatus.
FIG. 2 is a block diagram illustrating a configuration of a lead frame inspection apparatus.
FIG. 3 is a cross-sectional explanatory view of a lead frame inspection device.
FIG. 4 is an explanatory diagram showing a configuration of ring illumination.
FIG. 5 is an explanatory diagram showing an image input state by ring illumination.
FIG. 6 is an explanatory diagram showing an image input state by ring illumination.
FIG. 7 is an explanatory diagram showing peak cut detection of input data.
FIG. 8 is a comparative explanatory view showing a state where a mask is applied to the outline of the lead frame.
FIG. 9 is an explanatory diagram showing an inspection image area of a lead frame.
FIG. 10 is an explanatory diagram of a neuro circuit.
FIG. 11 is an explanatory diagram illustrating an example of an image that can be analyzed by a neuro circuit.
FIG. 12 is an explanatory diagram showing registration information to be learned by a neuro circuit.
FIG. 13 is an explanatory diagram showing a configuration example of a neural network.
FIG. 14 is a flowchart showing a flow of an inspection operation for causing a neuro circuit of the lead frame inspection apparatus to learn.
FIG. 15 is a flowchart showing a flow of an inspection operation for causing a neuro circuit of the lead frame inspection apparatus to learn.
FIG. 16 is a flowchart showing a part of the flow of the inspection operation using the neuro circuit of the lead frame inspection apparatus.
FIG. 17 is a graph showing a variation amount of luminance data of an input image acquired by preprocessing.
FIG. 18 is a graph showing a difference in luminance data between input images before and after an inspection image region.
FIG. 19 is a graph showing a test result of this example.
FIG. 20 is a flowchart showing a flow of an inspection operation using a neuro circuit of a lead frame inspection apparatus according to another example.
FIG. 21 is an explanatory diagram illustrating an example of an image that can be analyzed by a neuro circuit according to another example.
FIG. 22 is a flowchart showing a flow of an inspection operation for causing a neuro circuit of a lead frame inspection apparatus according to another example to learn.
FIG. 23 is a flowchart showing a flow of an inspection operation for causing a neuro circuit of a lead frame inspection apparatus according to another example to learn.
FIG. 24 is a flowchart showing a part of a flow of an inspection operation using a neuro circuit of a lead frame inspection apparatus according to another example.
[Explanation of symbols]
1 Reel for feeding
2 Reel for take-up
3 Lead frame
4 Leveler
5 Press equipment
6 Lead frame inspection equipment
6a Transport roller
6b Ring lighting
6c CCD camera
6d movable table
6e Inspection stop sensor
6f, 6g speed control sensor
6h Stop sensor on the press side
6j knob
6p ring
6q optical fiber
6r support member
6s translucent film
6t mask
7 Interlayer paper
8 Control means
8a CPU
8b storage unit
8c Input / output section
8d Illuminance controller
8e Image processing board
9 Light source device
10 Controller
11 Frame transport sensor
12 Lead frame flutter prevention mechanism
13 Transport guide
14 Auxiliary roller
15 Control panel
16a Control monitor
16b Display monitor
17 Neurocircuit
18 Synapse
G Optical axis
Claims (5)
前記搬送手段により搬送される際に前記リードフレームのリード形成領域の画像入力を行う撮像手段と、
前記撮像手段の光軸を取り囲むようリング状に配置されかつ前記リードフレームと前記撮像手段との間に前記光軸方向に多段に配置されてなる、前記リードフレームに光を照射する照明手段と、
前記撮像手段より先に取り込んだ入力画像と次に取り込んだ入力画像の輝度データを各々解析して各画素毎に比較演算し、演算結果に応じて予め学習させた登録情報に基づいて前記リードフレームの状態を特定するニューロ回路を有し、該ニューロ回路の出力結果に応じて検査続行可能か否かを判定する制御手段と、を備え、
前記制御手段は、前記ニューロ回路の出力結果によりリードフレームの状態がばたつき或いは油塊付着と特定した場合には、異常判定せずに検査を続行し、その他の場合には異常判定して検査動作を停止するように制御することを特徴とするリードフレーム検査装置。A transport means for transporting a continuous lead frame in a strip shape;
Imaging means for inputting an image of a lead formation region of the lead frame when being conveyed by the conveying means;
Illuminating means for irradiating light to the lead frame, arranged in a ring shape so as to surround the optical axis of the imaging means, and arranged in multiple stages in the optical axis direction between the lead frame and the imaging means;
The lead frame is analyzed based on the registration information learned in advance according to the calculation result by analyzing the luminance data of the input image captured before the imaging means and the luminance data of the next captured input image, respectively. And a control means for determining whether or not the inspection can be continued in accordance with an output result of the neurocircuit ,
The control means continues the inspection without judging the abnormality when the lead frame state is specified as flapping or oil lump adhesion based on the output result of the neuro circuit, and in other cases, the abnormality judgment is carried out. A lead frame inspection apparatus, characterized in that control is performed so as to stop .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19358399A JP4146971B2 (en) | 1999-07-07 | 1999-07-07 | Lead frame inspection equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19358399A JP4146971B2 (en) | 1999-07-07 | 1999-07-07 | Lead frame inspection equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001021328A JP2001021328A (en) | 2001-01-26 |
JP4146971B2 true JP4146971B2 (en) | 2008-09-10 |
Family
ID=16310413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19358399A Expired - Fee Related JP4146971B2 (en) | 1999-07-07 | 1999-07-07 | Lead frame inspection equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4146971B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111902712B (en) * | 2018-03-29 | 2023-07-25 | 三菱电机株式会社 | Abnormality inspection device and abnormality inspection method |
-
1999
- 1999-07-07 JP JP19358399A patent/JP4146971B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001021328A (en) | 2001-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5410092B2 (en) | Apparatus and method for inspecting composite structures for inconsistencies | |
EP1070243B1 (en) | Method for the automatic inspection of optically transmissive planar objects | |
KR100938318B1 (en) | Textile fabrics examination method and the device | |
JP4632564B2 (en) | Surface defect inspection equipment | |
US6909502B2 (en) | Method and apparatus for measuring ripple and distortion in a transparent material | |
JP2008170256A (en) | Flaw detection method, flaw detection program and inspection device | |
JP2000193601A (en) | Surface defect inspecting device | |
JP4146971B2 (en) | Lead frame inspection equipment | |
JP2007333732A (en) | Surface inspection system, and diagnositc method of inspection capacity of the surface inspection system | |
JP2000009447A (en) | Apparatus and method for detecting fault of tape carrier | |
JP4099294B2 (en) | Lead frame inspection equipment | |
JP4076343B2 (en) | Positioning method and positioning apparatus for dot mark forming position of semiconductor wafer | |
JP3886205B2 (en) | Lead frame inspection equipment | |
JP3590162B2 (en) | Lead frame inspection equipment | |
KR101015808B1 (en) | Apparatus and method for measuring line width of bonding electrode | |
JP3847425B2 (en) | Lead frame inspection equipment | |
CN112005104B (en) | Measuring method and measuring device | |
JP4272299B2 (en) | Lead frame flutter prevention mechanism and lead frame inspection device | |
JPH10293018A (en) | Device for inspecting lead frame | |
JP2002303581A (en) | Panel inspection device and panel inspection method | |
JP5531405B2 (en) | Periodic pattern unevenness inspection method and inspection apparatus | |
JP4761443B2 (en) | Measuring device for the number of cords | |
JPH06288934A (en) | Method for detecting edge defect of hot-rolled sheet steel | |
JP3017414B2 (en) | Coil inner diameter deviation detection method and its detection device | |
JPH09203622A (en) | Character-reading apparatus and method for automatically recognizing printed character |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |