JP4140218B2 - レーザー溶接部の検査方法及びその装置 - Google Patents

レーザー溶接部の検査方法及びその装置 Download PDF

Info

Publication number
JP4140218B2
JP4140218B2 JP2001258658A JP2001258658A JP4140218B2 JP 4140218 B2 JP4140218 B2 JP 4140218B2 JP 2001258658 A JP2001258658 A JP 2001258658A JP 2001258658 A JP2001258658 A JP 2001258658A JP 4140218 B2 JP4140218 B2 JP 4140218B2
Authority
JP
Japan
Prior art keywords
weld
infrared
laser
welding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001258658A
Other languages
English (en)
Other versions
JP2003065985A (ja
Inventor
良介 三高
長生 ▲濱▼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2001258658A priority Critical patent/JP4140218B2/ja
Publication of JP2003065985A publication Critical patent/JP2003065985A/ja
Application granted granted Critical
Publication of JP4140218B2 publication Critical patent/JP4140218B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Laser Beam Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、本発明は被検査物となる2片の金属を重ね合わせ、その一方の面よりレーザーをスポット照射して溶接したレーザー溶接部の溶接不良を、溶接中のモニタリングではなく、溶接後のオフライン検査により検出する方法、特に電子部品リードなどの薄く小さい部材の微細なレーザー溶接部のオフライン検査方法及びその装置に関するものである。
【0002】
【従来の技術】
従来、レーザー溶接部の検査方法としては、特開平5−71932号記載の検査方法のように、スリット状のレーザー光をレーザー溶接部に投影し、当該レーザー光の反射光をレーザー投影方向とは異なる方向からカメラにより観測することによりレーザー溶接部の立体形状を取得する、いわゆる光切断法による立体形状計測を用いた方法がある。
【0003】
また、赤外線カメラを用いたレーザー溶接部の検査方法としては、特開平5−34204号、特開平8−122051号、特開昭52−59046号記載の検査方法のように、レーザー溶接部に加熱を行う過程あるいは加熱後(溶接熱による加熱を含む)の冷却過程において、赤外線カメラによりレーザー溶接部周辺の温度分布を計測することにより溶着部の大きさを測定する方法がある。
【0004】
【発明が解決しようとする課題】
上記従来の立体形状計測による検査方法は、フィラーを用いた突き合わせ溶接やすみ肉溶接などのようにレーザー溶接部が大きく盛り上がる溶接方法においては有効であるが、レーザーによるスポット溶接、特に電子部品のリード部分などの微細な溶接においては溶接に伴う形状の変化が極めて微小であるため精度の高い3次元形状計測方法が必要となり、適用が困難である問題があった。
【0005】
また後者のレーザースポット溶接されたレーザー溶接部に加熱を行う過程あるいは加熱後(溶接熱による加熱を含む)の冷却過程において、温度分布を測定する従来方法においては、レーザー溶接部がある程度の質量(熱容量)を持つ場合には有効な方法であるが、例えば電子部品のリード部分などの極めて薄く質量の小さい部材のレーザー溶接部においては加熱による温度の変化が極めて短時間の間に起こるため、赤外線画像によって正確に温度分布を計測することが困難になる問題があった。
【0006】
本発明は、上記の従来例の問題点に鑑みて発明したものであって、その目的とするところは、溶接後のオフライン検査により、特に電子部品リードなどの薄く小さい部材の微細なレーザー溶接部の検査を精度良く行うことができ、検査の信頼性を向上させることができると共に、良否判定精度を高めることができるレーザー溶接部の検査方法及びその装置を提供することにある。
【0007】
【課題を解決するための手段】
上記課題を解決するために本発明にあっては、被検査物6となる2片の金属を重ね合わせ、その一方の表面にレーザーをスポット照射して溶接したレーザー溶接部1を溶接後に検査する方法において、溶接後雰囲気温度まで冷却したレーザー溶接部1を赤外線カメラ2で撮像し、得られた赤外線画像における輝度の差を被検査物6表面の赤外線放射率の差を表す指標とみなして溶接部領域3を検出する第1の過程と、上記溶接部領域3の形状、上記溶接部領域3内での赤外線画像の輝度値の分布パターン、上記分布パターンをもとに抽出された特徴量の少なくとも1つをもとに溶接の良否を判定する第2の過程とを有することを特徴としており、このように構成することで、赤外線画像の明るさの差(遠赤外線放射率の差)を利用して、レーザー溶接部1と未溶接部の表面性状の違いを検出することができ、簡易な方法でレーザー溶接部1の溶接状態を検査できるようになる。しかも、溶接中のモニタリングではなく、溶接後のオフライン検査により検出するので、特に電子部品リードなどの薄く小さい部材の微細なレーザー溶接部1の検査を精度良く行うことができる。
【0008】
また、少なくともレーザー溶接部1の外周部では熱の影響により表面粗さが大きくなり、赤外線放射率が高くなることを利用して、赤外線画像において明るく見える部分を検出し、当該部分の外周輪郭より内側を溶接部領域3として検出するので、加熱を行うことなくレーザー溶接部1を検出できるようになる。
【0009】
また、検出された溶接部領域3の大きさを基準値と比較することにより溶接の良否を判定するのが好ましく、この場合、簡易な方法で溶接状態の判定ができるようになる。
【0010】
また、検出された溶接部領域3内部の明るく見える外周輪郭の内側に所定の基準値以上の大きさを持つ暗部4があれば良品と判定するのが好ましく、この場合、十分な入熱量が与えられた時は中央部に鏡面状の特徴を生じることを利用して溶接状態の良否を簡易に判定できるようになる。
【0011】
また、上記赤外線カメラ2により検出された溶接部領域3内部で明るく見える外周輪郭の内側に所定の基準値以上の大きさを持つ暗部4があれば良品候補とし、上記良品候補に赤外線を照射し、上記赤外線源5の正反射を捉える方向に第2の赤外線カメラ2aを配置して観測した時、溶接部領域3中央の輝度が高くなる場合に良品と判定するのが好ましく、この場合、能動的に照射した赤外線光の正反射成分を捉える第2の赤外線カメラ2aを付加するだけで、穴あき欠陥と良品を区別できるようになる。
【0012】
また、被検査物6に赤外線を照射する赤外線源5と被検査物6を撮像する赤外線カメラ2を、上記赤外線源5から照射された赤外線の正反射光を赤外線カメラ2で捉えることができるような位置関係になるように配設し、まず赤外線源5を消灯して撮影した赤外線画像を用いて検出された溶接部領域3内部で明るく見える外周輪郭の内側に所定の基準値以上の大きさを持つ暗部4があれば良品候補とし、次に赤外線源5を点灯して観測した時、溶接部領域3中央の輝度が高くなる場合に良品と判定するのが好ましく、この場合、良品候補を抽出するカメラと良否判定を行うカメラを兼用でき、簡易な装置構成にて穴あき欠陥と良品を区別できるようになる。
【0013】
また、良品候補に複数の方向から赤外線を照射していずれかの正反射光を捉えることができれば良品とするのが好ましく、この場合、赤外線源5を複数用いることで、仮りに溶接部領域3中央の鏡面部分の向きが安定しない場合にも穴あき欠陥と良品を正しく区別できるようになる。
【0014】
また、良品候補を斜め方向から赤外線カメラ2で観測するようにし、赤外線画像において溶接部領域3中央に正反射光が捉えられれば良品とし、溶接部領域3中央からずれた位置に正反射光が捉えられれば不良とするのが好ましく、この場合、上下の溶接片8,9の段差が小さい場合にも特別の装置を付加することなく穴あき欠陥と良品を正しく区別できるようになる。
【0015】
また、被検査物6全体を一様に加熱したうえで検査を行うのが好ましく、この場合、被検査物6を一様に加熱するようにすることで赤外線画像のS/N比が改善される。
【0016】
また、正確に溶接状態の良否判定をするために、上記方法で良品候補と判断された被検査物6について、上下の溶接片8,9の間に電圧を与えることによってレーザー溶接部1にジュール熱を発生させた状態で赤外線カメラ2により撮像し、上記溶接部領域3内での輝度値の変化を基準値と比較することによりレーザー溶接部1の良否を判定するのが好ましい。また、上記方法で良品候補と判断された被検査物6について、下側の溶接片9のみを加熱しながら上方より赤外線カメラ2で撮像し、上記溶接部領域3内での輝度値の変化を基準値と比較することによりレーザー溶接部1の良否を判定するのが好ましい。
【0017】
また、下側の溶接片9に通電することにより下側の溶接片9にジュール熱を発生させるのが好ましく、この場合、下側の溶接片9の下側に発熱体を設置できない構造の検査物でも、検査が可能になる。
【0018】
また、下側の溶接片9に高周波磁界を与えて渦電流を発生させることにより加熱するのが好ましく、この場合、下側の溶接片9の下側に発熱体を設置できない構造の検査物でも、検査が可能になる。
【0019】
また、高さ計測装置により上記レーザー溶接部1近辺の少なくとも2点H1,H2の高さ情報を取得し、上記溶接部領域3の輝度値とともに高さ情報を併用して良否判定を行うのが好ましく、この場合、高さ情報を併用することにより穴あき欠陥と良品の区別など画像情報だけでは分かりにくい溶接状態の判定を高い信頼度で行えるようになる。
【0020】
さらに、本発明に係るレーザー溶接部1の検査装置は、赤外線カメラ2(2a)と、赤外線カメラ2(2a)からの出力信号を量子化して画像として記憶する画像取り込み装置10と、上記のいずれかの検査方法により赤外線画像を処理して溶接欠陥検査を行う画像処理装置11とにより構成されているので、赤外線画像の明るさの差(遠赤外線放射率の差)を利用して、レーザー溶接部1と未溶接部の表面性状の違いを画像処理装置11にて検出することができ、簡易な構造でレーザー溶接部1の溶接状態を検査できるようになる。
【0021】
【発明の実施の形態】
以下、本発明を添付図面に示す実施形態に基づいて説明する。
【0022】
図1は、本発明の方法によりレーザー溶接の良否判定をオフラインで行う検査装置の構成を示す図である。この検査装置は、被検査物6となる2片の金属(溶接片8,9)を重ね合わせ、その一方の表面にレーザーをスポット照射して溶接したレーザー溶接部1の溶接状態を溶接後に検査するものであり、詳しくは、検査対象となる溶接片8,9を溶接後雰囲気温度に冷却し、その後レーザー溶接部1付近を赤外線カメラ2により撮像する。ここで、溶接後雰囲気温度まで冷却とは、充分に放熱された状態のことであり、冷却過程ではない。赤外線カメラ2からの撮像データは、画像取り込み装置10に取り込まれる。画像取り込み装置10は、撮像データを画像に変換するための量子化装置14と、画像を格納する画像メモリ15とで構成されており、画像処理装置11により上記画像を解析することにより検査・判定が行なわれる。具体的には、レーザー溶接部1と未溶接部の表面粗さの違いによって生じる遠赤外線放射率の差を利用することにより赤外線画像から溶接部領域3(図2)を抽出し、さらに上記溶接部領域3内側の輝度値を用いて溶接状態を判別することにより、立体形状の変化が微小で温度分布による検査も困難な微細部品のレーザー溶接部1の検査を行うものである。また、放射率だけでは判別が付きにくい場合であっても、レーザー溶接部1の温度を能動的に変化させたり、3次元計測装置を併用することでさらに正確な溶接状態検査が可能になる。以下、具体的に説明する。
【0023】
図2(a)は、溶接後雰囲気温度まで冷却した被検査物6のレーザー溶接部1を図1のように上方から撮像して得られた赤外線画像の一例を示している。また、レーザー溶接部1の3次元形状を図2(b)に示す。図2(a)(b)中のA部は熱影響をうけていない部分、B部が熱影響を受けたレーザー溶接部1である。図2(b)に示すようにA部は平坦な金属表面であり、表面は鏡面に近い状態であるのに対し、B部は熱影響により金属が溶融し、ヒダ状の立体構造を持った表面となっている。
【0024】
図2に示すレーザー溶接部1は上記B部の直径が数百μm程度の小さなものである。このような微細なレーザースポット溶接を行う上下の溶接片8,9は、それぞれ、厚さ数十〜数百μm程度と薄く熱容量が小さいため、加熱・冷却に伴う温度変化が極めて急激となってしまう。このため、加熱・冷却時の温度分布を利用して溶着部(ナゲット)のサイズを計測することが非常に困難である。また、レーザー溶接部1が微細であるため、レーザー溶接部1の3次元形状の変化も極めて小さく(数μm程度の凹凸)、その3次元形状を計測して良否判定することも困難である。そこで本発明では、このような微細な凹凸の変化を検出するために、赤外線放射率の変化を利用する。すなわち図2(a)および(b)に示すB部では熱影響により表面粗さが大きくなり、A部に比べて赤外線の放射率が高くなっている。そのため、図2(a)に示す赤外線画像においてB部はA部に比べて明るく写る。この現象を利用して、赤外線画像からレーザー溶接部1を抽出し、熱影響の程度を評価することが可能になる。
【0025】
しかして、電子部品などの微細なレーザースポット溶接による熱影響部では表面性状(表面粗さ)が変化するものの、凹凸は極めて微細で3D(3次元)計測による検査は極めて困難であるが、本発明に係るレーザー溶接部1の検査方法によれば、赤外線画像の明るさの差(遠赤外線放射率の差)を利用することにより、また溶接中のモニタリングではなく、溶接後のオフライン検査により検出することにより、レーザー溶接部1と未溶接部の表面性状の違いを検出することができるため、簡易な方法でレーザー溶接部1の溶接状態検査が可能になると共に、画像処理による非破壊検査により、接合不十分な状態の確認作業の自動化が可能になる。従って、例えば、電子部品リードなどの薄く小さい部材の微細なレーザー溶接部1の検査を精度良く行えるようになる。さらに、赤外線カメラ2と、赤外線カメラ2からの出力信号を量子化して画像として記憶する画像取り込み装置10と、赤外線画像を処理して溶接欠陥検査を行う画像処理装置11とにより構成される検査装置を用いることで、簡易な装置構成でレーザー溶接部1の溶接状態検査が可能になる。
【0026】
次に、レーザー溶接部1の溶接部領域の抽出及び検査手順の一例を説明する。図3はレーザー溶接部1の溶接部領域の抽出方法の一例を示し、図4はレーザー溶接部1の抽出手段を含む検査手順を説明するフローチャートである。図4のステップn1で図2(b)の画像を二値化し、ステップn2で図3の連結領域B’を抽出する。この図3の連結領域B’は図2(b)のB部に相当する。その後、図4のステップn3で連結領域B’の外周輪郭より内側の部分を溶接部領域3として設定し、さらにステップn5で当該溶接部領域3内における明度パターンを解析することにより溶接の良否判定を行う。このように赤外線放射率の高い部分を溶接部領域3として抽出することにより、加熱を行うことなくレーザー溶接部1を検出することができる。
【0027】
ここで、図4のステップn4に示す溶接部領域3内部の輝度値をもとに良否判定を行う過程について説明する。まず第1の方法として溶接部領域3の面積を利用する方法が挙げられる。図5にレーザー溶接の際の入熱量と溶接部領域3(熱影響部)の面積の関係を示す。レーザー溶接においては、溶接入熱量が大きいほど溶接部領域3の面積も大きくなることから、図5のグラフを利用して上記過程で抽出された溶接部領域3の面積をもとに入熱量を推定することができる。図5のグラフをもとに、十分な溶接を行うのに必要な入熱量範囲D1に対する熱影響部面積範囲S1を求めておき、レーザー溶接部1の赤外線画像から抽出された溶接部領域3の面積がS1の範囲内であれば良品と判定する。このように、溶接時の入熱量と溶接部領域3の面積との関係をもとに溶接状態の良否を判定することによって、簡易な方法で溶接状態の判定ができる。
【0028】
次に、良否判定を行う第2の方法について説明する。レーザースポット溶接においては、十分な入熱量が与えられた良品においては溶融する金属の量が多いため、図6に示すように溶接部領域3中央において溶融金属が溜まり、中央部が鏡面状となる。このため、良品のレーザー溶接部1を撮影した赤外線画像においては、図7(a)に示すように表面粗さが粗く赤外線放射率が高いため白く写るB部の内側に、上記鏡面状の部分(鏡面であるため赤外線放射率が低いC部)が黒く写る特徴が現れる。そこで、図7(b)に示すように、二値化した赤外線画像において当該溶接部領域3の内側にある基準値以上の大きさを持つ黒色部領域Cが観測される場合には良品であると判断する。しかして、十分な入熱量が与えられた時は中央部に鏡面状の特徴を生じることを利用して溶接状態の良否を判定するので、簡易な方法で溶接状態の判定ができる。
【0029】
ところで、上述した各欠陥検査方法においては、若干の虚報(欠陥を良品と判断する)が発生する可能性がある。上記方法における虚報発生原因とその対策方法について以下に説明する。
【0030】
レーザー溶接時の不良の一つとして、入熱量が不足している場合に、図8(a)の溶接片8,9の断面図に示すように、上側の溶接片8が加熱され、垂れ下がって下側溶接片9に充分接触し、下側溶接片9を加熱溶融させるまでの段階で上側の溶接片8だけが溶融してしまい、中央に穴20があいてしまう穴あき欠陥が存在する。この場合、赤外線画像においては、穴が開くことによりレーザー溶接部1の外周径が大きくなり、また穴から熱影響を受けていない下側の溶接片9が見えるため、図8(b)に示すように溶接部領域3の内側に黒色部21が観測されてしまうことにより、上記のいずれの方法による検査においても良品と誤判断されてしまう。
【0031】
このような虚報をなくすよう構成された装置を図9(a)に示す。図9(a)の装置は、検査対象となる溶接片8,9のレーザー溶接部1付近を上方から撮像する赤外線カメラ2に加えて、当該レーザー溶接部1に指向性のある赤外光を斜め方向から照射する赤外線源5と、赤外線源5に対して溶接片8,9を挟んで対向し、赤外光がレーザー溶接部1で正反射した光を捕捉できる位置に配設された第2の赤外線カメラ2aを設けたものである。ここで図10(a)は上方カメラでは良品と判断されてしまう穴あき欠陥を上記第2の赤外線カメラ2aで撮像した状態を示し、図10(b)は良品を上記第2の赤外線カメラ2aで撮像した状態を示す。図10(a)(b)を比較すればわかるように、穴あき欠陥では図10(a)のように、鏡面状の部分(下側の溶接片9)が下の位置にあるため上記赤外線源5からの光が届かず、図11(a)に示すように撮影した赤外線画像では溶接部領域3中央は暗い暗部4となって写る。これに対して図10(b)の良品の場合はレーザー溶接部1中央の鏡面部で正反射された赤外光が第2の赤外線カメラ2aに入射するので、図11(b)に示すように赤外線画像において溶接部領域3中央が白く写る。この違いを利用し、まず図9(a)に示す赤外線カメラ2により上方からレーザー溶接部1を観測し、溶接部領域3中央で輝度が低い部分があった場合には当該レーザー溶接部1を良品の候補とし、次に当該良品の候補について第2の赤外線カメラ2aによって撮影された画像において溶接部領域3中央で輝度が高くなる場合にはじめて良品として決定することにより、上記虚報を排除することができる。また、能動的に照射した赤外線光の正反射成分を捉える第2の赤外線カメラ2aを付加することによって、穴あき欠陥と良品を区別することができる。
【0032】
また、上記のように第2の赤外線カメラ2aを設ける代わりに、図9(b)に示すように上記第2の赤外線カメラ2aに相当する位置に配設された赤外線カメラ2を1台だけ使用するようにしてもよい。この場合、まず第1回目の撮像時には赤外線源5を消灯して撮影し、溶接部領域3を抽出したのち溶接部領域3中央に暗部4(鏡面部分)が観測されるものを良品候補とする。次に当該良品候補に対して赤外線源5を点灯した状態で撮影を行い、上記検査方法と同様中央部の輝度が高くなった場合に良品として決定する。しかして、1台の赤外線カメラ2で良品候補を抽出するカメラと良否判定を行うカメラを兼用する構成としたので、簡易な装置構成により穴あき欠陥と良品を区別することができる。
【0033】
上記虚報対策方法をさらに発展させた検査方法ついて以下に述べる。図9(a)および(b)の装置では、レーザー溶接部1中央に生じている鏡面部分が傾いていた場合は、第2の赤外線カメラ2aに赤外線光の正反射成分が届かず、誤って不良品と判断してしまう可能性がある。そこで、図12の検査装置では、赤外線源5を複数設けてある。これによりレーザー溶接部1中央に生じている鏡面部分が傾いていた場合にも、いずれかの赤外線源5からの赤外光が当該鏡面部で正反射して上記第2の赤外線カメラ2aへ入射することができるようになり、レーザー溶接部1中央の鏡面部分の向きが安定しない場合にも良品を不良品と判断してしまう誤りが少なくなり、穴あき欠陥と良品を正しく区別することができる。この方法は、第2の赤外線カメラ2aを複数設けたり、赤外線源5と赤外線カメラ2の少なくとも一方を移動させながら撮像し、赤外線源5と赤外線カメラ2の位置関係が変化していく中でいずれかの場所において鏡面部で赤外線源5からの正反射赤外光が赤外線カメラ2に入射するように構成しても構わない。
【0034】
また、上記虚報対策方法をさらに発展させた別の検査方法について以下に説明する。図13(a)のように上側の溶接片8が薄い場合や、同(b)のように上下の溶接片8,9の隙間が狭い場合には、上側の溶接片8上面と穴から見えている下側の溶接片9上面の段差が小さく、斜めから照射した赤外光が下側の溶接片9上面で正反射して第2の赤外線カメラ2aに入射してしまい、良品と誤判断されてしまう可能性がある。ここで図14(a)は段差の小さい穴あき欠陥の赤外線画像を示し、図14(b)は良品の赤外線画像を示す。図13(a)又は(b)に示したような穴あき欠陥品の場合は、下側の溶接片9上面で反射した赤外光の一部が段差で遮られるために、図14(a)のように溶接部領域3の中心からずれた位置に正反射成分Eが観測される。一方これに対して、図14(b)に示した良品の場合には、溶接部領域3とその中央の鏡面部分に段差がないため、図14(b)のように上記正反射成分Eは溶接部領域3の中央に観測される。これを利用し、レーザー溶接部1に赤外線を照射し、第2の赤外線カメラ2aで赤外線の正反射成分を観測することにより良否判定を行うにあたり、溶接部領域3の中央部分で正反射成分が観測された場合のみを良品とすることにより、さらに虚報を発生しにくい検査方法が実現できる。また上下の溶接片8,9の段差が小さい場合にも特別の装置を付加することなく穴あき欠陥と良品を正しく区別することができる。
【0035】
なお、穴あき欠陥と良品を区別するためのより直接的な方法としては、図15に示すように少なくともある2点H1,H2の高さを計測できる3次元計測装置7を併用し、上記レーザー溶接部1において周辺部と中心部のそれぞれ少なくとも2点H1,H2の高さ情報を取得し、両者の差が小さければ良品とし、両者の差が大きければ穴あき欠陥と判定するようにしてもよい。穴あき欠陥の場合は2点H1,H2の差が大きくなるが、良品の場合は小さくなることを利用することにより、穴あき欠陥と良品の区別など画像情報だけでは分かりにくい溶接状態の判定をさらに高い信頼度で行うことができる。勿論、2点H1,H2には限らず、3点以上の高さを計測してもよいものである。
【0036】
以上の検査方法において、対象とする被検査物6は溶接後雰囲気温度まで冷却した状態で撮影を行うようにしていたが、冷却した後で被検査物6全体を一様に加熱してから検査を行うようにしてもよい。ちなみに、熱影響をうけていない未溶接部分は、鏡面に近いため高温にしても赤外線放射の増加量は少ないが、熱影響を受けたレーザー溶接部(熱影響部)では、熱影響により金属が溶融し、ヒダ状の立体構造を持った表面となっているため、高温になるほど多くの赤外線を放射する。そのため、被検査物の温度が高い方が上記検査において赤外線画像におけるS/N比が高くなり、検査の信頼性が向上することがわかる。このことから被検査物6を一様に加熱するようにすることでレーザー溶接部1の明るい部分と、暗部(鏡面部分)との差が大きくなり、明暗パターンがはっきりするようになり、画像処理による検査の信頼性の向上を図ることができる。
【0037】
次に、上記のようにレーザー溶接部1を溶接後雰囲気温度まで冷却した後に、表面性状にともなう赤外線反射特性の差を用いて良否判定を行う方法において、さらにレーザー溶接部1に局所的に熱を与える方法を併用することにより、さらに精度の高い良否判定を行うことができる。以下説明する。
【0038】
先ず図16は局所加熱を伴う第1の検査方法を説明する図である。図16は図1の検査装置のうち溶接片8,9の周辺のみを示す図であり、撮像装置の構成は図1と同一である。本方法においては、上下の溶接片8,9の各々に電極22a,22bが付けられており、電圧が印加できるようになっている。この両電極22a,22b間にある一定時間だけ電圧を印加すると、レーザー溶接部1はその抵抗に応じてジュール熱を発生し温度が上昇するが、レーザー溶接部1がきちんと溶着している良品では上下の溶接片8,9間の電気抵抗が小さいので、温度上昇が小さい。これに対して溶接不良(穴開き欠陥等)の場合は絶縁状態にあって全く温度上昇が生じないか、逆に接触抵抗が大きいため大きな温度上昇を示す。これを利用し、上下の溶接片8,9間に一定時間電圧を印加してレーザー溶接部1の温度上昇(具体的には赤外線画像における溶接部領域3内の輝度値の変化量)を赤外線カメラ2により測定し、それが予め定められた上限値と下限値の間にあれば良品と判断する。なお、上記輝度値の変化の観測においては、まず常温状態で上記方法により溶接部領域3を抽出しておき、当該領域内での輝度の平均値を加熱前後で比較する等の方法により温度上昇の大きさを評価するようにすればよい。このようにレーザー溶接部1に直接通電を行ってジュール熱による温度上昇を観測するようにしたので、外観だけで判断する場合より正確に溶接状態の良否判定ができる。
【0039】
次に、加熱を伴う第2の検査方法を図17に示す。図17は図1の検査装置のうち溶接片8,9の周辺のみを示す図であり、撮像装置の構成は図1と同一である。本例では、下側の溶接片9の下面に発熱体23を接触させ、下側の溶接片9のみを加熱している。これにより発熱体23から下側の溶接片9を経て上側の溶接片8へ熱伝導が生じるが、溶着部では良好な熱伝導を生じるのに対して、非溶着部では隙間があるため熱伝導が起こりにくい。これを利用して、下側の溶接片9を加熱しながら上方に配設された赤外線カメラ2によりレーザー溶接部1の温度変化(具体的には赤外線画像における溶接部領域3内の輝度値の変化量)を観測し、温度上昇がある基準値より大きければ良品であると判断することができる。つまり下側の溶接片9を加熱して上側の溶接片8へ熱伝導が生じる状態を観測するようにしたので、外観だけで判断する場合より正確に溶接状態の良否判定ができる。なお、上記輝度値の変化の観測においては、局所加熱を伴う第1の検査方法と同じようにまず常温状態で上記方法により溶接部領域3を抽出しておき、当該領域内での輝度の時間変化を求めるようにすればよい。なお、下側の溶接片9を加熱するにあたって、下側の溶接片9に発熱体23を接触させる方法以外に、下側から熱風や炎で加熱する方法も可能である。
【0040】
ところで、例えば電子部品などのように下側の溶接片9がすでに構造物に取り付けられた状態にあり、下側の溶接片9を熱伝導によって加熱することができない場合がある。このような場合には、図18に示すように、下側の溶接片9の両端に電極を取り付け、電圧を印加することにより下側の溶接片9自体にジュール熱を発生させる方法、或いは、下側の溶接片9の下部から高周波磁界を与え、渦電流を発生させてIH(induction heating)加熱する方法などにより加熱を行う方法を採用してもよいものである。
【0041】
【発明の効果】
上述のように請求項1記載の発明にあっては、被検査物となる2片の金属を重ね合わせ、その一方の表面にレーザーをスポット照射して溶接したレーザー溶接部を溶接後に検査する方法において、溶接後雰囲気温度まで冷却したレーザー溶接部を赤外線カメラで撮像し、得られた赤外線画像における輝度の差を被検査物表面の赤外線放射率の差を表す指標とみなして溶接部領域を検出する第1の過程と、上記溶接部領域の形状、上記溶接部領域内での赤外線画像の輝度値の分布パターン、上記分布パターンをもとに抽出された特徴量の少なくとも1つをもとに溶接の良否を判定する第2の過程とを有しているので、電子部品などの微細なレーザースポット溶接による熱影響部では表面性状(表面粗さ)が変化するものの、凹凸は極めて微細で3D(3次元)計測による検査は極めて困難であるが、本発明に係るレーザー溶接部の検査方法によれば赤外線画像の明るさの差(遠赤外線放射率の差)を利用することによりレーザー溶接部と未溶接部の表面性状の違いを検出することができるため、簡易な方法でレーザー溶接部の溶接状態検査が可能になる。しかも、溶接中のモニタリングではなく、溶接後のオフライン検査により検出するので、特に電子部品リードなどの薄く小さい部材の微細なレーザー溶接部の検査を精度良く行うことができるものである。
【0042】
た、少なくともレーザー溶接部の外周部では熱の影響により表面粗さが大きくなり、赤外線放射率が高くなることを利用して、赤外線画像において明るく見える部分を検出し、当該部分の外周輪郭より内側を溶接部領域として検出する方法を採用したので、赤外線放射率の高い部分を溶接部領域として抽出することにより、加熱を行うことなくレーザー溶接部を検出することができる。
【0043】
また請求項2記載の発明は、請求項1記載の効果に加えて、検出された溶接部領域の大きさを基準値と比較することにより溶接の良否を判定する方法を採用したので、溶接時の入熱量と溶接部領域の面積との関係をもとに溶接状態の良否を判定することで、簡易な方法で溶接状態の判定ができるものである。
【0044】
また請求項3記載の発明は、請求項1記載の効果に加えて、検出された溶接部領域内部の明るく見える外周輪郭の内側に所定の基準値以上の大きさを持つ暗部があれば良品と判定する方法を採用したので、十分な入熱量が与えられた時は中央部に鏡面状の特徴を生じることを利用して溶接状態の良否を判定することで、簡易な方法で溶接状態の判定ができる。
【0045】
また請求項4記載の発明は、請求項1記載の効果に加えて、上記赤外線カメラにより検出された溶接部領域内部で明るく見える外周輪郭の内側に所定の基準値以上の大きさを持つ暗部があれば良品候補とし、上記良品候補に赤外線を照射し、上記赤外線源の正反射を捉える方向に第2の赤外線カメラを配置して観測した時、溶接部領域中央の輝度が高くなる場合に良品と判定する方法を採用したので、能動的に照射した赤外線光の正反射成分を捉える赤外線カメラを付加することによって、穴あき欠陥と良品を区別することができる。
【0046】
また請求項5記載の発明は、請求項1記載の効果に加えて、被検査物に赤外線を照射する赤外線源と被検査物を撮像する赤外線カメラを、上記赤外線源から照射された赤外線の正反射光を赤外線カメラで捉えることができるような位置関係になるように配設し、まず赤外線源を消灯して撮影した赤外線画像を用いて検出された溶接部領域内部で明るく見える外周輪郭の内側に所定の基準値以上の大きさを持つ暗部があれば良品候補とし、次に赤外線源を点灯して観測した時、溶接部領域中央の輝度が高くなる場合に良品と判定する方法を採用したので、良品候補を抽出するカメラと良否判定を行うカメラを兼用する構成としたので、簡易な装置構成により穴あき欠陥と良品を区別することができる。
【0047】
また請求項6記載の発明は、請求項4又は請求項5記載の効果に加えて、良品候補に複数の方向から赤外線を照射していずれかの正反射光を捉えることができれば良品とする方法を採用したので、赤外線源を複数用いることで、仮りに溶接部領域中央の鏡面部分の向きが安定しない場合にも穴あき欠陥と良品を正しく区別することができる。
【0048】
また請求項7記載の発明は、請求項4又は請求項5記載の効果に加えて、良品候補を斜め方向から赤外線カメラで観測するようにし、赤外線画像において溶接部領域中央に正反射光が捉えられれば良品とし、溶接部領域中央からずれた位置に正反射光が捉えられれば不良とする方法を採用したので、上下の溶接片の段差が小さい場合にも特別の装置を付加することなく穴あき欠陥と良品を正しく区別することができる。
【0049】
また請求項8記載の発明は、請求項1〜7のいずれかに記載の効果に加えて、被検査物全体を一様に加熱したうえで検査を行う方法を採用したので、被検査物を一様に加熱するようにすることで赤外線画像のS/N比を改善し、検査の信頼性を向上させることができる。
【0050】
また請求項9記載の発明は、請求項1記載の効果に加えて、上記方法で良品候補と判断された被検査物について、上下の溶接片の間に電圧を与えることによってレーザー溶接部にジュール熱を発生させた状態で赤外線カメラにより撮像し、上記溶接部領域内での輝度値の変化を基準値と比較することによりレーザー溶接部の良否を判定する方法を採用したので、レーザー溶接部に直接通電を行ってジュール熱による温度上昇を観測するようにしたので、外観だけで判断する場合より正確に溶接状態の良否判定ができる。
【0051】
また請求項10記載の発明は、請求項1記載の効果に加えて、上記方法で良品候補と判断された被検査物について、下側の溶接片のみを加熱しながら上方より赤外線カメラで撮像し、上記溶接部領域内での輝度値の変化を基準値と比較することによりレーザー溶接部の良否を判定する方法を採用したので、下側の溶接片を加熱して上側の溶接片へ熱伝導が生じる状態を観測することにより、外観だけで判断する場合より正確に溶接状態の良否判定ができる。
【0052】
また請求項11記載の発明は、請求項10記載の効果に加えて、下側の溶接片に通電することにより下側の溶接片にジュール熱を発生させる方法を採用したので、下側の溶接片の下側に発熱体を設置できない構造の検査物でも、請求項10の方法による検査が可能になる。
【0053】
また請求項12記載の発明は、請求項10記載の効果に加えて、下側の溶接片に高周波磁界を与えて渦電流を発生させることにより加熱する方法を採用したので、下側の溶接片の下側に発熱体を設置できない構造の検査物でも、請求項10の方法による検査が可能になる。
【0054】
また請求項13記載の発明は、請求項1〜請求項12のいずれかに記載の効果に加えて、高さ計測装置により上記レーザー溶接部近辺の少なくとも2点の高さ情報を取得し、上記溶接部領域の輝度値とともに高さ情報を併用して良否判定を行う方法を採用したので、高さ情報を併用することにより穴あき欠陥と良品の区別など画像情報だけでは分かりにくい溶接状態の判定を高い信頼度で行うことができる。
【0055】
また請求項14記載の発明は、赤外線カメラと、赤外線カメラからの出力信号を量子化して画像として記憶する画像取り込み装置と、請求項1〜請求項13のいずれかの検査方法により赤外線画像を処理して溶接欠陥検査を行う画像処理装置とにより構成されているので、赤外線画像の明るさの差(遠赤外線放射率の差)を利用して、レーザー溶接部と未溶接部の表面性状の違いを画像処理装置にて検出することができ、簡易な構造でレーザー溶接部の溶接状態を検査することができるものである。
【図面の簡単な説明】
【図1】本発明の一実施形態において用いられる検査装置の構成を示す図である。
【図2】(a)は同上の赤外線画像の一例を示す図、(b)はレーザー溶接部の物理的構造を説明する図である。
【図3】同上の溶接部領域の抽出方法を説明する図である。
【図4】同上の検査処理手順を説明するためのフローチャートである。
【図5】同上のレーザー入熱量と熱影響部面積との関係を示すグラフである。
【図6】同上の良品のレーザー溶接部の物理的構造を説明する図である。
【図7】(a)(b)は同上の良否判定方法の原理を説明する図である。
【図8】(a)は同上の穴あき欠陥による虚報の発生を説明する図、(b)はその赤外線画像の一例を示す図である。
【図9】(a)は穴あき欠陥を判別するための装置構成を示す図、(b)は他の装置構成を示す図である。
【図10】同上の穴あき欠陥と良品の判別方法の原理を説明する図である。
【図11】(a)(b)は穴あき欠陥と良品の赤外線画像の違いを説明する図である。
【図12】穴あき欠陥を判別するための他の実施形態の装置構成を示す図である。
【図13】(a)(b)は同上の穴あき欠陥を判別するための他の方法を説明する図である。
【図14】(a)(b)は同上の穴あき欠陥を判別するための更に他の方法を説明する図である。
【図15】(a)は穴あき欠陥を判別するための更に他の実施形態の装置構成を示す図、(b)は溶接部の高さ情報の2点を説明する図である。
【図16】局所加熱を伴う溶接部検査方法の装置構成を示す図である。
【図17】局所加熱を伴う他の溶接部検査方法の装置構成を示す図である。
【図18】下側の溶接片の両側に電圧を与えて下側の溶接片自体を発熱させる場合を説明する図である。
【符号の説明】
1 レーザー溶接部
2 赤外線カメラ
2a 第2の赤外線カメラ
3 溶接部領域
4 暗部
5 赤外線源
6 被検査物
8 上側の溶接片
9 下側の溶接片
10 画像取り込み装置
11 画像処理装置

Claims (14)

  1. 被検査物となる2片の金属を重ね合わせ、その一方の表面にレーザーをスポット照射して溶接したレーザー溶接部を溶接後に検査する方法において、溶接後雰囲気温度まで冷却したレーザー溶接部を赤外線カメラで撮像し、得られた赤外線画像における輝度の差を被検査物表面の赤外線放射率の差を表す指標とみなして溶接部領域を検出する第1の過程と、上記溶接部領域の形状、上記溶接部領域内での赤外線画像の輝度値の分布パターン、上記分布パターンをもとに抽出された特徴量の少なくとも1つをもとに溶接の良否を判定する第2の過程とを有すると共に、少なくともレーザー溶接部の外周部では熱の影響により表面粗さが大きくなり、赤外線放射率が高くなることを利用して、赤外線画像において明るく見える部分を検出し、当該部分の外周輪郭より内側を溶接部領域として検出することを特徴とするレーザー溶接部の検査方法。
  2. 検出された溶接部領域の大きさを基準値と比較することにより溶接の良否を判定することを特徴とする請求項1記載のレーザー溶接部の検査方法。
  3. 検出された溶接部領域内部の明るく見える外周輪郭の内側に所定の基準値以上の大きさを持つ暗部があれば良品と判定することを特徴とする請求項1記載のレーザー溶接部の検査方法。
  4. 上記赤外線カメラにより検出された溶接部領域内部で明るく見える外周輪郭の内側に所定の基準値以上の大きさを持つ暗部があれば良品候補とし、上記良品候補に赤外線を照射し、上記赤外線源の正反射を捉える方向に第2の赤外線カメラを配置して観測した時、溶接部領域中央の輝度が高くなる場合に良品と判定することを特徴とする請求項1記載のレーザー溶接部の検査方法。
  5. 被検査物に赤外線を照射する赤外線源と被検査物を撮像する赤外線カメラを、上記赤外線源から照射された赤外線の正反射光を赤外線カメラで捉えることができるような位置関係になるように配設し、まず赤外線源を消灯して撮影した赤外線画像を用いて検出された溶接部領域内部で明るく見える外周輪郭の内側に所定の基準値以上の大きさを持つ暗部があれば良品候補とし、次に赤外線源を点灯して観測した時、溶接部領域中央の輝度が高くなる場合に良品と判定することを特徴とする請求項1記載のレーザー溶接部の検査方法。
  6. 良品候補に複数の方向から赤外線を照射していずれかの正反射光を捉えることができれば良品とすることを特徴とする請求項4又は請求項5記載のレーザー溶接部の検査方法。
  7. 良品候補を斜め方向から赤外線カメラで観測するようにし、赤外線画像において溶接部領域中央に正反射光が捉えられれば良品とし、溶接部領域中央からずれた位置に正反射光が捉えられれば不良とすることを特徴とする請求項4又は請求項5記載のレーザー溶接部の検査方法。
  8. 被検査物全体を一様に加熱したうえで検査を行うことを特徴とする請求項1〜請求項7のいずれかに記載のレーザー溶接部の検査方法。
  9. 上記方法で良品候補と判断された被検査物について、上下の溶接片の間に電圧を与えることによってレーザー溶接部にジュール熱を発生させた状態で赤外線カメラにより撮像し、上記溶接部領域内での輝度値の変化を基準値と比較することによりレーザー溶接部の良否を判定することを特徴とする請求項1記載のレーザー溶接部の検査方法。
  10. 上記方法で良品候補と判断された被検査物について、下側の溶接片のみを加熱しながら上方より赤外線カメラで撮像し、上記溶接部領域内での輝度値の変化を基準値と比較することによりレーザー溶接部の良否を判定することを特徴とする請求項1記載のレーザー溶接部の検査方法。
  11. 下側の溶接片に通電することにより下側の溶接片にジュール熱を発生させることを特徴とする請求項10記載のレーザー溶接部の検査方法。
  12. 下側の溶接片に高周波磁界を与えて渦電流を発生させることにより加熱することを特徴とする請求項10記載のレーザー溶接部の検査方法。
  13. 高さ計測装置により上記レーザー溶接部近辺の少なくとも2点の高さ情報を取得し、上記溶接部領域の輝度値とともに高さ情報を併用して良否判定を行うことを特徴とする請求項1〜請求項12のいずれかに記載のレーザー溶接部の検査方法。
  14. 赤外線カメラと、赤外線カメラからの出力信号を量子化して画像として記憶する画像取り込み装置と、請求項1〜請求項13のいずれかの検査方法により赤外線画像を処理して溶接欠陥検査を行う画像処理装置とにより構成されていることを特徴とするレーザー溶接部の検査装置。
JP2001258658A 2001-08-28 2001-08-28 レーザー溶接部の検査方法及びその装置 Expired - Fee Related JP4140218B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001258658A JP4140218B2 (ja) 2001-08-28 2001-08-28 レーザー溶接部の検査方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001258658A JP4140218B2 (ja) 2001-08-28 2001-08-28 レーザー溶接部の検査方法及びその装置

Publications (2)

Publication Number Publication Date
JP2003065985A JP2003065985A (ja) 2003-03-05
JP4140218B2 true JP4140218B2 (ja) 2008-08-27

Family

ID=19086137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001258658A Expired - Fee Related JP4140218B2 (ja) 2001-08-28 2001-08-28 レーザー溶接部の検査方法及びその装置

Country Status (1)

Country Link
JP (1) JP4140218B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010508534A (ja) * 2006-11-04 2010-03-18 トルンプフ ヴェルクツォイクマシーネン ゲゼルシャフト ミット ベシュレンクテル ハフツング ウント コンパニー コマンディートゲゼルシャフト 材料加工時にプロセス監視を行うための方法および装置
DE102006061794B3 (de) * 2006-12-21 2008-04-30 Thermosensorik Gmbh Verfahren zur automatischen Prüfung einer Schweißverbindung
JP5305272B2 (ja) * 2007-07-04 2013-10-02 デーツェーゲー システムス ゲーエムベーハー 熱流サーモグラフィを用いた溶接継目の自動検査のための方法
JP4967931B2 (ja) * 2007-08-31 2012-07-04 パナソニック株式会社 キャパシタの検査方法およびその検査方法を用いた製造方法
JP4648373B2 (ja) * 2007-09-13 2011-03-09 有限会社新工 微小金属接合部の検査方法
JP5704454B2 (ja) * 2011-04-28 2015-04-22 スズキ株式会社 画像処理装置及び画像処理方法
JP5920401B2 (ja) * 2013-05-21 2016-05-18 Jfeスチール株式会社 電縫管の超音波探傷装置及び方法ならびに品質保証方法
WO2018074161A1 (ja) * 2016-10-18 2018-04-26 日産自動車株式会社 溶接品質検査方法及び溶接品質検査装置
CN111638127A (zh) * 2020-06-01 2020-09-08 江西优特汽车技术有限公司 一种软包电芯极耳焊接可靠性检测方法
CN113504239B (zh) * 2021-06-10 2022-12-02 上海西信信息科技股份有限公司 一种品质管控数据分析方法
WO2024043006A1 (ja) * 2022-08-26 2024-02-29 パナソニックIpマネジメント株式会社 検査システム、検査装置及び検査方法
CN116399907A (zh) * 2023-06-07 2023-07-07 保融盛维(沈阳)科技有限公司 工业电子***点焊缺陷红外成像无损检测方法

Also Published As

Publication number Publication date
JP2003065985A (ja) 2003-03-05

Similar Documents

Publication Publication Date Title
JP4991893B2 (ja) 微小径ワイヤボンディングの良否判定方法及び判定装置
JP6301951B2 (ja) サーモグラフィを用いた試料の検査方法およびシステム
JP6560220B2 (ja) 表面欠陥の検出のための検査システムを点検する方法及び装置
CN102441737B (zh) 用于确定焊缝端部的形状的设备和方法
US8541746B2 (en) Process and system for the nondestructive quality determination of a weld seam, and a welding device
JP4140218B2 (ja) レーザー溶接部の検査方法及びその装置
US7044634B2 (en) Thermography method
JP4917975B2 (ja) 検査故障解析方法及び検査故障解析装置
EP2102639B1 (en) System and method for the defect analysis of workpieces
JP2007528490A (ja) 反射性および蛍光性の画像を利用した電気回路を検査するためのシステムおよび方法
US6870611B2 (en) Electrical circuit conductor inspection
EP2141489B1 (en) Thermographic inspection apparatus
JP7390680B2 (ja) レーザ溶接品質検査の方法及びレーザ溶接品質検査装置
JP2017078624A (ja) 試料の接合性検査方法及び検査装置
JP5622338B2 (ja) 半導体デバイス製造過程における異物とキズ痕との判別検査方法
JP2008016778A (ja) 半導体検査装置および半導体検査方法
JP2861649B2 (ja) 鋼板の溶接部検査方法
JP7412237B2 (ja) 検査装置及び溶接装置
JPH07191016A (ja) メッキ・スルー・ハンダ接合検査方法及びその装置
JP6232760B2 (ja) 光学非破壊検査方法及び光学非破壊検査装置
JP2016142567A (ja) 検査方法及び装置
JPH1194782A (ja) 非接触半田付け検査方法及びその装置
JP2001269787A (ja) 溶接状態の判定方法
JPH03176654A (ja) はんだ付部の検査方法、及び同装置
JPH0360882A (ja) 溶接状態の良否判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130620

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees