JP3415307B2 - Appearance inspection device - Google Patents

Appearance inspection device

Info

Publication number
JP3415307B2
JP3415307B2 JP33304694A JP33304694A JP3415307B2 JP 3415307 B2 JP3415307 B2 JP 3415307B2 JP 33304694 A JP33304694 A JP 33304694A JP 33304694 A JP33304694 A JP 33304694A JP 3415307 B2 JP3415307 B2 JP 3415307B2
Authority
JP
Japan
Prior art keywords
image
area
inspection
product
dust
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33304694A
Other languages
Japanese (ja)
Other versions
JPH08166357A (en
Inventor
好隆 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ibiden Co Ltd
Original Assignee
Ibiden Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibiden Co Ltd filed Critical Ibiden Co Ltd
Priority to JP33304694A priority Critical patent/JP3415307B2/en
Publication of JPH08166357A publication Critical patent/JPH08166357A/en
Application granted granted Critical
Publication of JP3415307B2 publication Critical patent/JP3415307B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は、化粧板等の製品の外観
について、画像処理を利用して欠けやゴミ等を検査する
外観検査装置に関し、特に、製品の外面について欠けと
ゴミが同時に存在し各々の許容値が異なる場合でも検査
を可能とした外観検査装置に関するものである。 【0002】 【従来の技術】従来より、製品の外面を検査する外観検
査装置が種々提案されている。かかる従来の外観検査装
置においては、例えば、次のような方法により製品の外
面の検査を行なっていた。 【0003】ここで、製品の外面を検査する従来の方法
について、図6と図7に基づいて説明する。図6と図7
は検査状態を模式的に説明する図である。製品Sの外面
を検査するには、先ず、製品Sが搬送方向Tと平行にな
るようにベルトコンベアー等で搬送し、所定の位置に固
定されたカメラで、搬送されている製品Sを撮像する。
これにより図6(a)に1点鎖線で示すように、一部重
複しているが製品Sの撮像箇所は異なる画像A、Bを得
る。このように得られた画像A、Bは、照明むらにより
画素の輝度の値が座標によって異なるが、製品Sの外面
に欠けやゴミ等がなく一様であれば、画像A、Bの同じ
座標に対応する画素の輝度の値は同じとなる。 【0004】しかし、画像A、Bの一方もしくは両方に
ゴミが存在する製品Sの外面を撮像した場合、ゴミが存
在した箇所は、製品Sの外面とは光の反射率が異なるた
めに、ゴミが存在した箇所に該当する画素の輝度は上述
した場合とは異なる。例えば、図6(a)に示すように
ゴミ40が存在する製品Sの外面を撮像した場合、ゴミ
40が存在する箇所に該当する画像A、Bの座標におい
て、画素の輝度が異なることよりゴミ40が画像Aに撮
像されたことが認識できる。 【0005】次に、撮像されたゴミ40を明確にするた
め、画像にゴミ40だけを表示する画像変換を行なう。
即ち、画像A、Bを重ね合わせて差分抽出を行った後に
所定のしきい値で白色と黒色に2値化して、図6(b)
に示すような2値化画像Cを作成する。この画像変換は
同時に、画像A、Bのノイズ成分による検査の誤りを防
止する。撮像したカメラがもつ固有のノイズは、各画像
に共通な特定の座標の画素に現れるので、画像A、Bを
重ね合わせて差分抽出を行うことでノイズ成分を相殺す
ることができる。また、ケーブル等により生じる不特定
なノイズは、経験より得られた所定のしきい値で2値化
することで消滅させることができる。 【0006】この2値化画像Cには、ゴミ40だけが表
示される。即ち、ゴミ40に該当する座標の画素が黒色
になり、黒色の画素が連なって図形41が形成される。
よって、図形41の大きさ、即ち、ゴミ40の面積を測
定するには、この形成された図形41の画素数を数える
ことにより行なう。このように測定されたゴミ40の面
積を、所定の許容値(ゴミが製品Sの外面に存在しても
許される最大の面積に対応する値)と比較することによ
り、製品Sの外面の良否を検査していた。 【0007】 【発明が解決しようとする課題】しかしながら、前記し
た従来の外観検査装置における製品の外面を検査する方
法では、製品の外面について欠けとゴミが同時に存在し
各々の許容値が異なる場合には、画像に撮像された欠け
とゴミを検査できない問題がある。 【0008】例えば、許容値が異なる欠け42とゴミ4
3が同時に存在する製品S´を、図7(a)に示される
ように画像D、Eを撮像した場合、画像変換された2値
化画像Fには欠け42に該当する図形44とゴミ43に
該当する図形45が形成される。しかし、従来の外観検
査装置では、製品の外観検査に関し1つの許容値しか有
しておらず、従って、欠け42とゴミ43を黒色図形4
4、45として2値化画像Fに表示するだけであり、欠
け42とゴミ43のいずれに該当する図形なのか区別す
ることはできない。このように、測定された図形の面積
と比較する許容値を選択できないので、欠けとゴミが同
時に存在し各々の許容値が異なる場合には検査すること
ができない。 【0009】また、製品Sが搬送方向Tとの平行がわず
かでもずれて搬送されたり、そりなどがあると、画像変
換された2値化画像は図7(c)及び図7(d)に示す
ようになる。即ち、画像F´にずれに基づいた図形4
6、47及び図形46´、47´が形成される。このよ
うに形成された図形46、47及び図形46´、47´
の面積は許容値を上回る場合もあり、誤った検査が行わ
れる問題もある。 【0010】本発明は、上述した問題点を解決するため
になされたものであり、製品の外面について欠けやゴミ
等が同時に存在する際に、欠けやゴミの許容値が異なる
場合でも検査することができる検査装置を提供すること
を目的とする。 【0011】 【課題を解決するための手段】搬送方向に対し所定の角
度をつけて製品を搬送する搬送手段と、製品を撮像する
撮像手段と、撮像手段より撮像された画像情報を記憶す
る記憶手段と、所定の第1タイミングで撮像手段により
撮像された第1画像情報を記憶手段へ記憶すると共に所
定の第2タイミングで撮像手段により撮像された第2画
像情報を記憶手段へ記憶する制御手段と、記憶手段に記
憶された第1画像情報と第2画像情報とを差分抽出する
画像変換手段と、画像変換手段より作成された画像情報
中で連なった画素により形成される図形について面積を
測定する画像計測手段と、画像計測手段を介して測定さ
れた図形の面積が搬送手段により所定の角度をつけて製
品を搬送することに起因して発生したかどうかを判断
し、その判断結果に対応する許容値と面積とを比較する
ことより製品の良否を検査する検査手段とを有する構成
とされる。 【0012】 【作用】前記構成を有する外観検査装置では、搬送手段
から搬送方向に対し所定の角度をつけて製品が搬送され
る。次に、制御手段は、所定の第1タイミングで撮像手
段より製品を撮像した第1画像情報を記憶手段へ記憶す
ると共に、所定の第2タイミングで撮像手段より製品を
撮像した第2画像情報を記憶手段へ記憶する。 【0013】更に、画像変換手段が記憶手段に記憶され
た第1画像情報と第2画像情報とを重ねあわせて差分抽
出した後、所定のしきい値に基づき2値化した画像情報
を作成する。 【0014】このように作成された画像情報中で、連な
った画素により形成された図形について、画像計測手段
により面積を測定した後、検査手段により測定された面
積が所定の角度をつけて製品を搬送することに起因して
発生したかどうかを判断し、その判断結果に対応する許
容値と面積とを比較することより製品の良否を検査する
ものである。 【0015】 【実施例】以下、本発明を具体化した一実施例に基づい
て図面を参照しつつ詳細に説明する。先ず、本実施例に
係る外観検査装置の全体構成について図1を参照して説
明する。図1は外観検査装置の斜視図であり、外観検査
装置1は搬送部と検査部の大きく2つの部分で形成され
る。尚、本外観検査装置1は化粧板2の検査に適用した
ものである。 【0016】搬送部について説明すると、搬送部のフレ
ーム3の上部に、化粧板2を検査部に搬送するベルトコ
ンベアー4が平行に数台設けられている。フレーム3に
は、化粧板2の反りをなくすために吸引ブロワー5が取
り付けられ、その吸引口6がベルトコンベアー4後方の
間に設置されている。また、フレーム3には制御盤7、
非常停止ボタン8が取り付けられている。 【0017】尚、ベルトコンベアー4は、図1に示すよ
うに、搬送方向Tに対し前もって設定された所定の角度
をつけて、化粧板2を搬送する。 【0018】検査部は、搬送部の上方に検査部のフレー
ム9が設けられ、ベルトコンベアー4で化粧板2が通過
したことを検出する位置決めセンサ10、化粧板2を撮
像するカメラ11、カメラ11で撮像するために化粧板
2を明るく照らす高周波蛍光灯12、検査の結果を表示
するOK・NGランプ13が取り付けられている。尚、
OK・NGランプ13には、OKランプ13AとNGラ
ンプ13Bが備えられている。 【0019】次に、外観検査装置1の制御系について、
図2に基づいて説明する。図2は外観検査装置1の制御
ブロック図であり、基本的には画像処理部C、カメラ1
1、位置決めセンサ10、OK・NGランプ13から構
成されている。画像処理部Cは、画像入力部20、画像
メモリ21、CPU25、ROM26、RAM27から
構成され、バス28で接続されている。 【0020】カメラ11は、後述するように、位置決め
センサ10からの化粧板2の通過を知らせる検出信号が
出力された時点から所定時間(0.4秒)経過した第1
タイミング、及び、第1タイミングから所定時間(0.
3秒)経過した第2タイミングで、化粧板2を撮像し映
像信号データを画像入力部20へ出力する。画像入力部
20は、前記映像信号データをデジタル化などの処理を
行なった後に、画像データとして画像メモリ21に記憶
する。画像メモリ21は、画像データを記憶するもので
あり各種エリアを有している。即ち、カメラ11からの
画像データを記憶する第1画像メモリ22および第2画
像メモリ23、後述する2値化処理された画像を記憶す
る2値化画像メモリ24、その他に画像処理上必要な各
種の記憶エリアが設けられている。 【0021】制御・演算の主体であるCPU25は、後
述するROM26に記憶されているプログラムに従っ
て、外観検査装置1の制御上必要な各種演算処理を行な
うものである。ROM26には、外観検査装置1の制御
上必要な各種プログラム等が格納されている。特に後述
する図3、図4に示す検査処理プログラムが記憶されて
いる。また、RAM27は、CPU25により実行され
たROM26内の各プログラムによる実行結果を一時的
に記憶して使用するものである。 【0022】尚、OK・NGランプ13は、後述する検
査処理において、化粧板2が検査をパスする時にOKラ
ンプ13Aを、化粧板2が検査をパスしない時にNGラ
ンプ13Bを点灯して、化粧板2の検査結果を表示する
ものである。 【0023】続いて、実施例に係る外観検査装置1の動
作について、図3、図4に基づいて説明する。図3、図
4は、外観検査装置1の検査処理を示すフローチャート
である。このフローチャートによる検査は、検査対象で
ある化粧板2に存在する欠け(許容値y1)とゴミ(許
容値y2)について実行され、特に、化粧板2に欠けと
ゴミとが同時に存在し、各々の許容値が異なる(y1>
y2とする)場合に有益である。尚、化粧板2は搬送方
向Tに対し、前もって設定された所定の角度をつけて搬
送される。 【0024】先ず、図3のスタート時点であるステップ
(以下、「S」という)1において、位置決めセンサ1
0より化粧板2の通過を知らせる検出信号の入力がある
か否かを判断する。信号の入力があると判断された場合
(S1:Yes)、後述するS2へ進む。信号の入力が
ないと判断された場合(S1:No)、S1へ戻り検出
信号待ち状態となる。 【0025】S2は、化粧板2が所定位置に到達する
(第1タイミング)までの待ち時間である。従って、前
もって設定された待ち時間である0.4秒が経過した
後、S3に進む。S3では、カメラ11で化粧板2を撮
像し第1画像として第1画像メモリ22に記憶する。次
のS4は、化粧板2が次の所定位置に到達する(第2タ
イミング)までの待ち時間である。従って、前もって設
定された待ち時間である0.3秒が経過した後、S5に
進む。S5では、カメラ11で化粧板2を撮像し第2画
像として第2画像メモリ22に記憶する。 【0026】その後、S6で第1画像と第2画像を重ね
合わせて差分抽出し、S7に進む。S7では所定のしき
い値により2値化処理し、2値化画像として2値化画像
メモリ24に記憶して、図3のフローチャート中のAか
ら図4のフローチャート中のAに移行し、S8に進む。 【0027】ここで今までの処理を、図5に基づいて具
体的に説明する。図5は、検査状態を模式的に説明する
図である。図5(a)に示すように、S2からS5まで
のステップでは、カメラ11で、第1画像Q1と第2画
像Q2を化粧板2の幅方向が納まるように一部重複して
撮像している。 【0028】得られた画像Q1、Q2は、S6、S7に
おいて画像変換され、図5(b)に示すように2値化画
像Rに変換される。この画像変換は、画像Q1、Q2の
同一座標に対応する画素の輝度について、その差が前記
しきい値以上ではその座標に対応する2値化画像Rの画
素を黒色に表示し、その差が前記しきい値以下ではその
座標に対応する2値化画像Rの画素を白色に表示する処
理である。 【0029】上述したように、撮像された化粧板2は搬
送方向Tに対し所定の角度をつけて搬送されている。ま
た、画像Q1、Q2は、所定の位置に固定されたカメラ
11で撮像される。従って、画像Q1、Q2に撮像され
た化粧板2は、上下方向に平行移動したように撮像され
る。 【0030】従って、画像Q1、Q2を重ね合わせた結
果、撮像された化粧板2が重なり合わない領域が黒色領
域35、36として、図5(b)に示すように2値化画
像Rに現れる。この黒色領域35、36の形成は、化粧
板2を搬送方向Tに対し所定の角度をつけた搬送による
ものであり、即ち画像Q1、Q2上において化粧板2が
上下に平行移動したように撮像された結果である。よっ
て、形成される黒色領域35、36の面積は同一とな
る。また、S2、S4での待ち時間と化粧板2の搬送角
度とを管理することにより、形成される黒色領域35、
36の面積を、前もって設定することができる。以下、
前もって設定することで形成された黒色領域35、36
を設定黒色領域といい、その面積をzとする。 【0031】次に、図5(a)に示すように、第1画像
Q1において欠け31、32とゴミ33、34が存在す
る化粧板2を撮像した場合を説明する。先ず、欠け31
について説明すると、欠け31に該当する座標におけ
る、画像Q1、Q2の画素の輝度において、その差が前
記しきい値以下になるので、その座標に対応する2値化
画像Rの画素を白色に表示する。従って、図5(b)に
示すように、2値化画像Rの設定黒色領域35には欠け
31に該当する白色領域が現れ、前もって設定した面積
zより小さくなる。 【0032】次に、欠け32について説明すると、欠け
32に該当する座標における、画像Q1、Q2の画素の
輝度において、その差が前記しきい値以上であるので、
その座標に対応する2値化画像Rの画素を黒色に表示す
る。従って、図5(b)に示すように、2値化画像Rの
設定黒色領域36には欠け32に該当する黒色領域が連
なり、前もって設定した面積zより大きくなる。 【0033】ところで、欠けは化粧板2の側面にできる
特性がある。この特性と上述した欠け31と欠け32の
ケースを考慮すれば、設定黒色領域35、36の面積が
前もって設定した面積zに対して増減することは、欠け
が化粧板2に存在するとみなすことができる。後述する
S12での許容値y1以内の欠けであるか否かの検査
は、この前提に基づいて行われる。尚、この前提を確実
にするため、設定黒色領域35、36の面積z(>>y
1>y2)は大きく設定され、設定黒色領域35、36
とゴミ33、34に基づき形成される黒色領域37、3
8との区別を明確にしている。 【0034】また、ゴミ33、34について説明する
と、ゴミ33、34に該当する座標における、画像Q
1、Q2の画素の輝度において、その差が前記しきい値
以上になるので、その座標に対応する2値化画像Rの画
素を黒色に表示する。従って、図5(b)に示すよう
に、2値化画像Rにはゴミ33、34の各々に該当する
黒色領域37、38が現れる。 【0035】ここで、図4に従って説明を続けると、S
8では、2値化画像Rにおいて、画素が連なって形成さ
れた黒色領域の各々に対してラベル付けを行ない、S9
に進む。S9では、RAM27内のポインタPに先頭ラ
ベルの値を記憶させ、S10に進む。S10では、ポイ
ンタPで指示される2値化画像Rの黒色領域について、
画素数を数えることにより面積Wを測定し、S11に進
む。 【0036】S11のステップ以降は、化粧板2の欠け
(許容値y1)とゴミ(許容値y2)について、特に、
許容値が異なる場合の検査の良否が判断されるステップ
である。ここでは、判断方法について具体的に説明しな
がら解説する。通常、許容値y1と許容値y2は異な
り、欠けの許容値y1はゴミの許容値y2より大きく設
定される。 【0037】最初はS11において、ゴミの許容値y2
で検査する。黒色領域の面積Wがゴミの許容値y2未満
の場合(S11:Yes)、この黒色領域が許容値y2
より小さいゴミまたは欠けであると判断する。よって、
この黒色領域の検査をパスし、次のラベルの黒色領域の
検査をするため、S13へ進む。 【0038】一方、黒色領域の面積Wがゴミの許容値y
2以上の場合(S11:No)、この黒色領域は設定黒
色領域と仮定して、許容値y1以内の欠けを含む設定黒
色領域であるか否かの判断を行うS12の検査へと進
む。 【0039】ところで、この黒色領域は許容値y2以上
のゴミに基づく黒色領域である可能性もある。しかし、
ここで許容値y2以上のゴミに基づく黒色領域でなく設
定黒色領域と仮定できるのは、上述したように設定黒色
領域の面積zが通常のゴミに基づき形成される黒色領域
の面積(y2付近)よりも大きく設定されているからで
ある。従って、この黒色領域が許容値y2以上のゴミに
基づく黒色領域であるとしても、S12においてこの黒
色領域が許容値y1以内の欠けを含む設定黒色領域であ
ると誤認され、間違った検査の結果になることはない。 【0040】S12では、許容値y1以内の欠けである
か否かの判断を行う。即ち、欠けの許容値y1を用い
て、この黒色領域の面積Wがz±y1の範囲であるか否
かを判断する。上述したように、この判断は設定黒色領
域35、36の面積が前もって設定した面積z(>>y
1>y2)に対して、許容値y1以内で増減することは
許容値y1以内の欠けが化粧板2に存在するという前提
による。 【0041】許容値y1以内の欠けでない、即ち、黒色
領域の面積Wがz±y1の範囲外であると判断した場合
(S12:No)、この黒色領域は許容値y1より大き
い欠け又は許容値y2以上のゴミであると判断できる。
よって、この黒色領域についての検査はパスできず、S
16にてOK・NGランプ13のNGランプ13Bを点
灯させて、化粧板2について検査の「否」を知らせる。
その後、図4のフローチャート中のBから図3のフロー
チャート中のBに移行し、S1に戻り出信号待ち状態と
なり、次の化粧板の検査に備える。 【0042】一方、許容値y1以内の欠けである場合、
即ち、黒色領域の面積Wがz±y1の範囲以内であると
判断した場合(S12:Yes)、黒色領域が所定角度
をつけた化粧板2の搬送に基づき形成される設定黒色領
域であり、且つ欠けが許容値y1より小さいと判断す
る。よって、この黒色領域ついての検査はパスしてS1
3に進む。 【0043】S13では、ポインタPが最終ラベルにな
っているかどうか判断される。最終ラベルでない場合
(S13:No)、S14においてポインタPに1つ加
算された後、S10に戻りポインタPが指示する次のラ
ベルの黒色領域について、上述した検査を行なう。最終
ラベルである場合(S13:Yes)、すべての黒色領
域が検査をパスしたと判断してS15に進み、S15に
てOK・NGランプ13のOKランプ13Aを点灯させ
て、化粧板2について検査の「良」を知らせる。その
後、図4のフローチャート中のBから図3のフローチャ
ート中のBに移行し、S1に戻り出信号待ち状態とな
り、次の化粧板の検査に備える。 【0044】以上詳細に説明した通り本実施に係る外観
検査装置1では、検査対象である化粧板2を搬送方向T
に対し所定の角度をつけて搬送を行うことにより、カメ
ラ11により第1タイミングで撮像された画像Q1と第
2タイミングで撮像された画像Q2とを差分抽出した後
に2値化処理した2値化画像Rに形成される黒色領域に
ついて、化粧板2の外面に欠け(許容値y1)とゴミ
(許容値y2)が同時に存在した場合においても、所定
の角度をつけた搬送に基づき形成される(即ち、面積z
に設定され、欠け31若しくは32が存在すると前提で
きる)設定黒色領域35、36かゴミ33若しくは34
に基づき形成される黒色領域37、38かどうかを判断
できるようにしたので、その判断結果に対応する許容値
(z±y1若しくはy2)と黒色領域の面積Wとを比較
することより、化粧板2の外面に欠けとゴミが同時に存
在し欠けとゴミの許容値が異なる場合でも、化粧板2の
良否の検査を行なうことができる。 【0045】尚、前記実施例は本発明を限定するもので
はなく、本発明の要旨を逸脱しない範囲内において種々
の変形、改良が可能であることは勿論である。例えば、
化粧板2の全域が撮像されるようにカメラを複数設置し
て、各々のカメラで得られる画像について上述の検査を
行えば、化粧板2の全域について外観検査を行うことが
できる。 【0046】また、撮像した画像Q1、Q2のいずれか
に化粧板2の端面を撮像するようにした場合、2値化画
像Rに形成する設定黒色領域35、36は連なり1つの
図形になる。しかし、S2、S4での待ち時間と化粧板
2の搬送角度とを管理することにより、同様に連なった
設定黒色領域35、36の面積を前もって設定すること
ができ、上述した化粧板2の外観検査が行うことができ
る。また、端面を撮像した画像のみ2値化画像処理し、
S2またはS4での待ち時間と化粧板2の搬送角度とを
管理することにより、化粧板2に該当しない領域を設定
黒色領域として面積を前もって設定することができ、上
述した化粧板2の外観検査が行うことができる。 【0047】 【発明の効果】以上説明した通り本発明は、製品の外面
に欠けやゴミ等が同時に存在する際に、欠けやゴミの許
容値が異なる場合でも検査することができる検査装置を
提供し得、その産業上奏する効果は大である。
Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an appearance inspection apparatus for inspecting the appearance of a product such as a decorative board for chipping or dust using image processing. The present invention relates to a visual inspection apparatus capable of performing an inspection even when chips and dust are present simultaneously on an outer surface of a product and respective allowable values are different. 2. Description of the Related Art Conventionally, various appearance inspection apparatuses for inspecting an outer surface of a product have been proposed. In such a conventional appearance inspection apparatus, for example, the outer surface of a product is inspected by the following method. Here, a conventional method for inspecting the outer surface of a product will be described with reference to FIGS. 6 and 7
FIG. 4 is a diagram schematically illustrating an inspection state. In order to inspect the outer surface of the product S, first, the product S is transported by a belt conveyor or the like so as to be parallel to the transport direction T, and the transported product S is imaged by a camera fixed at a predetermined position. .
As a result, as shown by the dashed line in FIG. 6A, images A and B that are partially overlapped but have different imaging locations of the product S are obtained. In the images A and B obtained in this manner, the brightness values of the pixels differ depending on the coordinates due to uneven illumination. However, if the outer surface of the product S is uniform without chipping or dust, the same coordinates of the images A and B are used. Have the same luminance value. However, when the outer surface of the product S where dust is present in one or both of the images A and B is imaged, the portion where the dust is present has a different light reflectance from the outer surface of the product S, and thus the dust is present. The luminance of the pixel corresponding to the location where is present is different from the case described above. For example, as shown in FIG. 6A, when the outer surface of the product S where the dust 40 is present is imaged, the brightness of the pixel is different at the coordinates of the images A and B corresponding to the location where the dust 40 is present. It can be recognized that the image 40 has been captured in the image A. Next, in order to clarify the image of the dust 40, image conversion for displaying only the dust 40 on the image is performed.
That is, after superimposing the images A and B and extracting the difference, the images A and B are binarized into white and black with a predetermined threshold value, and FIG.
A binary image C as shown in FIG. This image conversion also prevents errors in the inspection due to noise components in the images A and B. The inherent noise of the camera that has captured the image appears at a pixel at a specific coordinate common to each image. Therefore, the noise component can be canceled by superimposing the images A and B and extracting the difference. In addition, unspecified noise generated by a cable or the like can be eliminated by binarizing the noise with a predetermined threshold value obtained from experience. In the binarized image C, only dust 40 is displayed. That is, the pixel at the coordinates corresponding to the dust 40 becomes black, and the black pixels continue to form the figure 41.
Therefore, the size of the figure 41, that is, the area of the dust 40 is measured by counting the number of pixels of the formed figure 41. By comparing the area of the dust 40 measured in this way with a predetermined allowable value (a value corresponding to the maximum area allowed even if dust exists on the outer surface of the product S), the quality of the outer surface of the product S is determined. Had been inspected. However, in the above-described method for inspecting the outer surface of a product in the conventional visual inspection apparatus, chipping and dust are present on the outer surface of the product at the same time, and the allowable values are different. However, there is a problem that the chip and the dust captured in the image cannot be inspected. For example, chip 42 and dust 4 having different allowable values
7A, when the images D and E are captured as shown in FIG. 7A, the image 44 and the dust 43 corresponding to the chip 42 are obtained. Is formed. However, the conventional visual inspection apparatus has only one allowable value for the visual inspection of the product.
It is only displayed on the binarized image F as 4, 45, and it is not possible to distinguish which of the chip 42 and the dust 43 the figure corresponds to. As described above, it is not possible to select an allowable value to be compared with the measured area of the graphic, and therefore, it is impossible to perform an inspection when chipping and dust are present at the same time and the allowable values are different. If the product S is transported even if the product S is slightly deviated in parallel with the transport direction T, or if there is a warp or the like, the image-converted binary image is shown in FIGS. 7C and 7D. As shown. That is, FIG.
6, 47 and figures 46 ', 47' are formed. Figures 46 and 47 and figures 46 'and 47' formed in this manner.
May exceed the allowable value, and there is a problem that an erroneous inspection is performed. SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problem, and it is desirable to inspect the outer surface of a product even when the allowable values of the chips or dust are different when chips or dust are present at the same time. It is an object of the present invention to provide an inspection device that can perform the inspection. [0011] A conveying means for conveying a product at a predetermined angle with respect to a conveying direction, an imaging means for imaging the product, and a memory for storing image information imaged by the imaging means. Control means for storing first image information captured by the image capturing means at a predetermined first timing in the storage means, and storing second image information captured by the image capturing means at the predetermined second timing in the storage means; An image conversion unit for extracting a difference between the first image information and the second image information stored in the storage unit; and measuring an area of a figure formed by consecutive pixels in the image information created by the image conversion unit. And determining whether the area of the figure measured via the image measuring means has occurred due to conveying the product at a predetermined angle by the conveying means. Inspection means for inspecting the quality of the product by comparing the allowable value corresponding to the result of the judgment with the area. In the appearance inspection apparatus having the above configuration, the product is conveyed from the conveying means at a predetermined angle with respect to the conveying direction. Next, the control means stores the first image information obtained by imaging the product from the imaging means at a predetermined first timing in the storage means, and stores the second image information obtained by imaging the product from the imaging means at the predetermined second timing. Store in storage means. Further, the image conversion means superimposes the first image information and the second image information stored in the storage means and extracts a difference, and then creates binarized image information based on a predetermined threshold value. . In the image information created in this way, for the figure formed by the series of pixels, the area is measured by the image measuring means, and then the area measured by the inspecting means is set at a predetermined angle to produce the product. This is to judge whether or not the problem has occurred due to the conveyance, and to check the quality of the product by comparing the allowable value and the area corresponding to the judgment result. An embodiment of the present invention will be described below in detail with reference to the drawings. First, the overall configuration of a visual inspection apparatus according to the present embodiment will be described with reference to FIG. FIG. 1 is a perspective view of a visual inspection device. The visual inspection device 1 is formed of two main parts, a transport unit and an inspection unit. The appearance inspection apparatus 1 is applied to the inspection of the decorative board 2. To describe the transport section, several belt conveyors 4 for transporting the decorative board 2 to the inspection section are provided in parallel above the frame 3 of the transport section. A suction blower 5 is attached to the frame 3 to eliminate the warpage of the decorative board 2, and a suction port 6 is provided between the rear of the belt conveyor 4. The frame 3 has a control panel 7,
An emergency stop button 8 is attached. As shown in FIG. 1, the belt conveyor 4 conveys the decorative board 2 at a predetermined angle with respect to the conveying direction T. The inspection section includes a frame 9 of the inspection section provided above the transport section, a positioning sensor 10 for detecting that the decorative board 2 has passed through the belt conveyor 4, a camera 11 for imaging the decorative board 2, and a camera 11 A high-frequency fluorescent lamp 12 for brightly illuminating the decorative board 2 and an OK / NG lamp 13 for displaying the result of the inspection are attached for imaging with the camera. still,
The OK / NG lamp 13 includes an OK lamp 13A and an NG lamp 13B. Next, a control system of the visual inspection apparatus 1 will be described.
A description will be given based on FIG. FIG. 2 is a control block diagram of the visual inspection apparatus 1, which basically includes an image processing unit C and a camera 1.
1, a positioning sensor 10 and an OK / NG lamp 13. The image processing unit C includes an image input unit 20, an image memory 21, a CPU 25, a ROM 26, and a RAM 27, and is connected by a bus 28. As will be described later, the camera 11 outputs a first time (0.4 second) after a predetermined time (0.4 seconds) has passed from the time when a detection signal indicating that the decorative board 2 has passed from the positioning sensor 10 is output.
Timing and a predetermined time (0.
At the second timing when 3 seconds have elapsed, the decorative board 2 is imaged and video signal data is output to the image input unit 20. The image input unit 20 stores the video signal data in the image memory 21 as image data after performing processing such as digitization. The image memory 21 stores image data and has various areas. That is, a first image memory 22 and a second image memory 23 for storing image data from the camera 11, a binarized image memory 24 for storing a binarized image to be described later, and various other types required for image processing. Storage area is provided. The CPU 25, which is the main body of control and calculation, performs various calculation processes required for controlling the appearance inspection apparatus 1 according to a program stored in a ROM 26 described later. The ROM 26 stores various programs and the like necessary for controlling the appearance inspection apparatus 1. Particularly, an inspection processing program shown in FIGS. 3 and 4 described below is stored. The RAM 27 temporarily stores the results of execution of each program in the ROM 26 executed by the CPU 25 and uses the results. In the inspection process described later, the OK / NG lamp 13 turns on the OK lamp 13A when the decorative board 2 passes the inspection, and turns on the NG lamp 13B when the decorative board 2 does not pass the inspection. The inspection result of the board 2 is displayed. Next, the operation of the visual inspection apparatus 1 according to the embodiment will be described with reference to FIGS. 3 and 4 are flowcharts showing the inspection processing of the visual inspection apparatus 1. The inspection according to this flowchart is executed for chipping (permissible value y1) and dust (permissible value y2) present on decorative board 2 to be inspected. Different allowable values (y1>
y2). The decorative board 2 is transported at a predetermined angle set in advance with respect to the transport direction T. First, in step (hereinafter referred to as "S") 1 at the start of FIG.
From 0, it is determined whether there is an input of a detection signal indicating that the decorative board 2 has passed. When it is determined that a signal is input (S1: Yes), the process proceeds to S2 described below. If it is determined that there is no signal input (S1: No), the process returns to S1 and waits for a detection signal. S2 is a waiting time until the decorative board 2 reaches a predetermined position (first timing). Therefore, after 0.4 seconds, which is the previously set waiting time, has elapsed, the process proceeds to S3. In S3, the decorative plate 2 is imaged by the camera 11 and stored in the first image memory 22 as a first image. The next S4 is a waiting time until the decorative board 2 reaches the next predetermined position (second timing). Accordingly, after 0.3 seconds, which is the previously set waiting time, has elapsed, the process proceeds to S5. In S5, the decorative plate 2 is imaged by the camera 11 and stored in the second image memory 22 as a second image. Thereafter, in step S6, the first image and the second image are overlapped to extract a difference, and the process proceeds to step S7. In S7, the image is binarized by a predetermined threshold value, stored as a binarized image in the binarized image memory 24, and the process shifts from A in the flowchart of FIG. 3 to A in the flowchart of FIG. Proceed to. Here, the processing so far will be specifically described with reference to FIG. FIG. 5 is a diagram schematically illustrating an inspection state. As shown in FIG. 5A, in the steps from S2 to S5, the camera 11 captures the first image Q1 and the second image Q2 in a partially overlapping manner so that the width direction of the decorative board 2 fits. I have. The obtained images Q1 and Q2 are image-converted in S6 and S7, and are converted into a binary image R as shown in FIG. This image conversion displays the pixels of the binary image R corresponding to the coordinates in black when the difference between the luminances of the pixels corresponding to the same coordinates of the images Q1 and Q2 is equal to or larger than the threshold value, and the difference is determined. Below the threshold value, the pixel of the binary image R corresponding to the coordinates is displayed in white. As described above, the imaged decorative board 2 is transported at a predetermined angle with respect to the transport direction T. The images Q1 and Q2 are captured by the camera 11 fixed at a predetermined position. Therefore, the decorative board 2 captured in the images Q1 and Q2 is captured as if it were translated in the vertical direction. Therefore, as a result of the superposition of the images Q1 and Q2, the areas where the captured decorative board 2 does not overlap appear as black areas 35 and 36 in the binarized image R as shown in FIG. 5B. . The black regions 35 and 36 are formed by transporting the decorative board 2 at a predetermined angle with respect to the transport direction T, that is, imaging as if the decorative board 2 moved up and down on the images Q1 and Q2. This is the result. Therefore, the areas of the formed black regions 35 and 36 are the same. Further, by managing the waiting time in S2 and S4 and the conveying angle of the decorative board 2, the black area 35 formed
The area of 36 can be set in advance. Less than,
Black areas 35 and 36 formed by setting in advance
Is called a set black area, and its area is set to z. Next, as shown in FIG. 5 (a), a case will be described in which the decorative plate 2 in which the chips 31, 32 and the dusts 33, 34 are present in the first image Q1 is imaged. First, chip 31
The difference between the luminance of the pixels of the images Q1 and Q2 at the coordinates corresponding to the gap 31 is equal to or less than the threshold, and the pixels of the binarized image R corresponding to the coordinates are displayed in white. I do. Therefore, as shown in FIG. 5B, a white area corresponding to the chip 31 appears in the set black area 35 of the binarized image R, which is smaller than the area z set in advance. Next, the chip 32 will be described. Since the difference between the luminances of the pixels of the images Q1 and Q2 at the coordinates corresponding to the chip 32 is greater than the threshold value,
The pixels of the binarized image R corresponding to the coordinates are displayed in black. Therefore, as shown in FIG. 5B, the set black area 36 of the binarized image R is continuous with the black area corresponding to the chip 32, and is larger than the area z set in advance. By the way, there is a characteristic that the chip is formed on the side surface of the decorative plate 2. Considering this characteristic and the above-described case of the chipping 31 and the chipping 32, the fact that the area of the set black regions 35 and 36 increases or decreases with respect to the previously set area z means that the chipping is considered to be present in the decorative board 2. it can. The inspection of whether or not the chip is within the allowable value y1 in S12 described later is performed based on this premise. In order to secure this premise, the area z (>> y) of the set black regions 35 and 36 is set.
1> y2) is set to be large, and the set black areas 35 and 36
And black regions 37 and 3 formed based on dust 33 and 34
8 is clearly distinguished. The dust 33, 34 will be described. The image Q at coordinates corresponding to the dust 33, 34
Since the difference between the luminances of the pixels 1 and Q2 is equal to or larger than the threshold value, the pixels of the binarized image R corresponding to the coordinates are displayed in black. Therefore, as shown in FIG. 5B, black areas 37 and 38 corresponding to the dusts 33 and 34 appear in the binarized image R. Here, the description will be continued with reference to FIG.
In step 8, in the binarized image R, labeling is performed on each of the black regions formed by connecting the pixels, and in step S9
Proceed to. In S9, the value of the head label is stored in the pointer P in the RAM 27, and the process proceeds to S10. In S10, regarding the black area of the binarized image R indicated by the pointer P,
The area W is measured by counting the number of pixels, and the process proceeds to S11. After the step of S11, the chipping (permissible value y1) and the dust (permissible value y2) of the decorative board 2 will be described.
This is a step in which the quality of the inspection when the allowable value is different is determined. Here, the determination method will be described while being specifically described. Usually, the allowable value y1 and the allowable value y2 are different, and the allowable value y1 of the chip is set larger than the allowable value y2 of the dust. First, in S11, the allowable value of dust y2
To inspect. When the area W of the black area is smaller than the allowable value y2 of dust (S11: Yes), the black area is equal to the allowable value y2.
Judge as smaller garbage or chipping. Therefore,
The inspection proceeds to S13 in order to pass the inspection of the black area and to inspect the black area of the next label. On the other hand, the area W of the black region is equal to the dust allowable value y.
In the case of 2 or more (S11: No), assuming that this black area is a set black area, the process proceeds to the inspection of S12 in which it is determined whether or not the set black area includes a chipped area within the allowable value y1. Incidentally, the black area may be a black area based on dust having an allowable value y2 or more. But,
Here, it can be assumed that the set black area is not a black area based on the dust having the allowable value y2 or more, but the area z of the set black area is the area of the black area formed based on the normal dust (around y2) as described above. This is because it is set to be larger than that. Therefore, even if this black area is a black area based on dust having a permissible value y2 or more, this black area is erroneously recognized as a set black area including a chipped portion within the permissible value y1 in S12, resulting in an incorrect inspection result. It will not be. In S12, it is determined whether or not the chip is within the allowable value y1. That is, it is determined whether or not the area W of the black region is in the range of z ± y1, using the allowable value y1 of the chip. As described above, this determination is based on the fact that the area of the set black areas 35 and 36 is the area z (>> y) set in advance.
For 1> y2), the increase or decrease within the allowable value y1 is based on the premise that the decorative board 2 has a chipping within the allowable value y1. If it is determined that the black area is not a chip within the allowable value y1, that is, if the area W of the black area is out of the range of z ± y1 (S12: No), the black area has a chip or an allowable value larger than the allowable value y1. It can be determined that the dust is y2 or more.
Therefore, the inspection for this black area cannot be passed, and S
At 16, the NG lamp 13B of the OK / NG lamp 13 is turned on to notify “no” of the inspection of the decorative board 2.
Thereafter, the process proceeds from B in the flowchart of FIG. 4 to B in the flowchart of FIG. 3, returns to S1, and waits for an outgoing signal to prepare for the inspection of the next decorative panel. On the other hand, if the chip is less than the allowable value y1,
That is, when it is determined that the area W of the black region is within the range of z ± y1 (S12: Yes), the black region is a set black region formed based on the conveyance of the decorative board 2 at a predetermined angle, In addition, it is determined that the lack is smaller than the allowable value y1. Therefore, the inspection for the black area has passed S1.
Proceed to 3. In S13, it is determined whether or not the pointer P is the last label. If the label is not the final label (S13: No), one is added to the pointer P in S14, and the process returns to S10 to perform the above-described inspection on the black area of the next label indicated by the pointer P. If the label is the final label (S13: Yes), it is determined that all the black areas have passed the inspection, the process proceeds to S15, and the OK lamp 13A of the OK / NG lamp 13 is turned on at S15, and the decorative board 2 is inspected. Of "good". Thereafter, the process proceeds from B in the flowchart of FIG. 4 to B in the flowchart of FIG. 3, returns to S1, and waits for an outgoing signal to prepare for the inspection of the next decorative panel. As described in detail above, in the appearance inspection apparatus 1 according to the present embodiment, the decorative plate 2 to be inspected is moved in the transport direction T
Is transported at a predetermined angle with respect to the image, so that a difference between the image Q1 captured at the first timing and the image Q2 captured at the second timing by the camera 11 is extracted and then binarized. The black region formed in the image R is formed based on the conveyance at a predetermined angle even when the chip (permissible value y1) and dust (permissible value y2) are simultaneously present on the outer surface of the decorative plate 2 ( That is, the area z
And it can be assumed that there is a chip 31 or 32). The set black areas 35 and 36 or dust 33 or 34
It is possible to determine whether or not the black regions 37 and 38 are formed based on the above. Therefore, by comparing the allowable value (z ± y1 or y2) corresponding to the determination result with the area W of the black region, the decorative board Even if chip and dust are present simultaneously on the outer surface of No. 2 and the allowable values of chip and dust are different, the quality of the decorative board 2 can be inspected. The above-described embodiment does not limit the present invention, and various modifications and improvements can be made without departing from the scope of the present invention. For example,
If a plurality of cameras are installed so that the entire area of the decorative board 2 is imaged, and the above-described inspection is performed on an image obtained by each camera, an appearance inspection can be performed on the entire area of the decorative board 2. When the end face of the decorative board 2 is picked up in one of the picked-up images Q1 and Q2, the set black areas 35 and 36 formed in the binarized image R are connected to form one figure. However, by managing the waiting time in S2 and S4 and the conveying angle of the decorative board 2, the area of the continuous set black areas 35 and 36 can be set in advance, and the appearance of the decorative board 2 described above can be set. Inspection can be performed. Further, only the image obtained by capturing the end face is subjected to the binarized image processing,
By managing the waiting time in S2 or S4 and the transport angle of the decorative board 2, an area that does not correspond to the decorative board 2 can be set in advance as a set black area, and the above-described appearance inspection of the decorative board 2 can be performed. Can be done. As described above, the present invention provides an inspection apparatus capable of performing an inspection even when chipping and dust have different allowable values when chips and dust are present on the outer surface of the product at the same time. The industrial effect is great.

【図面の簡単な説明】 【図1】外観検査装置の外観図である。 【図2】外観検査装置の制御ブロック図である。 【図3】外観検査の手順を示すフローチャート図であ
る。 【図4】外観検査の手順を示すフローチャート図であ
る。 【図5】本発明の検査状態を模式的に説明する図であ
る。 【図6】従来の検査状態を模式的に説明する図である。 【図7】従来の検査状態を模式的に説明する図である。 【符号の説明】 1 外観検査装置 2 化粧板 4 ベルトコンベアー 10 位置決めセンサ 11 カメラ 13 OK・NGランプ 22 第1画像メモリ 23 第2画像メモリ 24 2値化メモリ 31、32、42 欠け 33、34、40、43 ゴミ 35、36 設定黒色領域 37、38 黒色領域 41、44、45 図形 A、B、E、D 画像 C、F、F′、R 2値化画像 Q1 第1画像 Q2 第2画像 S、S′ 製品 T 搬送方向
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an external view of a visual inspection device. FIG. 2 is a control block diagram of the visual inspection device. FIG. 3 is a flowchart illustrating a procedure of a visual inspection. FIG. 4 is a flowchart illustrating a procedure of a visual inspection. FIG. 5 is a diagram schematically illustrating an inspection state according to the present invention. FIG. 6 is a diagram schematically illustrating a conventional inspection state. FIG. 7 is a diagram schematically illustrating a conventional inspection state. [Description of Signs] 1 Appearance inspection device 2 Decorative board 4 Belt conveyor 10 Positioning sensor 11 Camera 13 OK / NG lamp 22 First image memory 23 Second image memory 24 Binarized memories 31, 32, 42 Chips 33, 34, 40, 43 Dust 35, 36 Set black area 37, 38 Black area 41, 44, 45 Graphic A, B, E, D Image C, F, F ', R Binarized image Q1 First image Q2 Second image S , S 'Product T Transport direction

Claims (1)

(57)【特許請求の範囲】 【請求項1】搬送方向に対し所定の角度をつけて製品を
搬送する搬送手段と、製品を撮像する撮像手段と、撮像
手段より撮像された画像情報を記憶する記憶手段と、所
定の第1タイミングで撮像手段により撮像された第1画
像情報を記憶手段へ記憶すると共に所定の第2タイミン
グで撮像手段により撮像された第2画像情報を記憶手段
へ記憶する制御手段と、記憶手段に記憶された第1画像
情報と第2画像情報とを差分抽出する画像変換手段と、
画像変換手段より作成された画像情報中で連なった画素
により形成される図形について面積を測定する画像計測
手段と、画像計測手段を介して測定された図形の面積が
搬送手段により所定の角度をつけて製品を搬送すること
に起因して発生したかどうかを判断し、その判断結果に
対応する許容値と面積とを比較することより製品の良否
を検査する検査手段とを有することを特徴とする外観検
査装置。
(57) Claims 1. Conveying means for conveying a product at a predetermined angle with respect to the conveying direction, imaging means for imaging a product, and image information imaged by the imaging means are stored. Storage means for storing the first image information captured by the imaging means at a predetermined first timing in the storage means, and storing the second image information captured by the imaging means at a predetermined second timing in the storage means Control means, image conversion means for extracting a difference between the first image information and the second image information stored in the storage means,
Image measuring means for measuring the area of a figure formed by a series of pixels in the image information created by the image converting means, and the area of the figure measured via the image measuring means is given a predetermined angle by the transport means. Inspection means for inspecting the quality of the product by comparing the area with an allowable value corresponding to the result of the determination to determine whether the problem has occurred due to the transport of the product. Appearance inspection device.
JP33304694A 1994-12-13 1994-12-13 Appearance inspection device Expired - Fee Related JP3415307B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33304694A JP3415307B2 (en) 1994-12-13 1994-12-13 Appearance inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33304694A JP3415307B2 (en) 1994-12-13 1994-12-13 Appearance inspection device

Publications (2)

Publication Number Publication Date
JPH08166357A JPH08166357A (en) 1996-06-25
JP3415307B2 true JP3415307B2 (en) 2003-06-09

Family

ID=18261670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33304694A Expired - Fee Related JP3415307B2 (en) 1994-12-13 1994-12-13 Appearance inspection device

Country Status (1)

Country Link
JP (1) JP3415307B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948862B1 (en) * 2007-12-21 2010-03-22 주식회사 에스에프에이 Apparatus for manufacturing polarization film
KR100948861B1 (en) * 2007-12-21 2010-03-22 주식회사 에스에프에이 Apparatus for manufacturing polarization film

Also Published As

Publication number Publication date
JPH08166357A (en) 1996-06-25

Similar Documents

Publication Publication Date Title
JP2012026908A (en) Defect inspection method and defect inspection device
US20040062348A1 (en) Image-based container defects detector
JP3415307B2 (en) Appearance inspection device
JP2008128822A (en) Device and method for inspecting appearance of sheet material having translucency
JPH07332951A (en) Apparatus and method for inspecting image
JP2003262593A (en) Apparatus and method for detection of defect
JP2003329601A (en) Apparatus and method for inspecting defect
JP6623545B2 (en) Inspection system, inspection method, program, and storage medium
JPH10104076A (en) Method and system for inspecting mixture of foreign matter
JP3052493B2 (en) Visual recognition system
JPH06118026A (en) Method for inspecting vessel inner surface
JP2506201B2 (en) Goods inspection equipment
JP2000266514A (en) Method and device for inspecting metallic sheet
JP2003329596A (en) Apparatus and method for inspecting defect
JP4135367B2 (en) Defect detection method
JP2841961B2 (en) Visual recognition device
JPH02163879A (en) Method and device for checking quality of printed matter
JP7300155B2 (en) Teaching device in solid preparation appearance inspection, and teaching method in solid preparation appearance inspection
JP2818347B2 (en) Appearance inspection device
JP2007101415A (en) Inspection device
JPH0643730Y2 (en) Nori inspection device
JP3412732B2 (en) Defect inspection method and apparatus
JP2000348174A (en) Card examination device
JP2001013079A (en) Method and apparatus for inspecting flaw
JPH06148094A (en) Method for inspecting mixture of foreign matter of sheetlike product

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080404

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090404

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100404

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees