JP2000193601A - 表面欠陥検査装置 - Google Patents

表面欠陥検査装置

Info

Publication number
JP2000193601A
JP2000193601A JP10373346A JP37334698A JP2000193601A JP 2000193601 A JP2000193601 A JP 2000193601A JP 10373346 A JP10373346 A JP 10373346A JP 37334698 A JP37334698 A JP 37334698A JP 2000193601 A JP2000193601 A JP 2000193601A
Authority
JP
Japan
Prior art keywords
unit
image
defect
differential
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10373346A
Other languages
English (en)
Other versions
JP3690157B2 (ja
Inventor
Hitoshi Kubota
整 久保田
Yoshihiro Yamahana
義博 山華
Katsuichi Ono
勝一 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Corp
Original Assignee
Suzuki Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Corp filed Critical Suzuki Motor Corp
Priority to JP37334698A priority Critical patent/JP3690157B2/ja
Publication of JP2000193601A publication Critical patent/JP2000193601A/ja
Application granted granted Critical
Publication of JP3690157B2 publication Critical patent/JP3690157B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

(57)【要約】 【課題】 曲面を有するボディ表面の欠陥検査を高速処
理し得る表面欠陥検査装置を提供すること。 【解決手段】 表面欠陥検査装置1では、自動車のボデ
ィ2の表面に照明された被検査面をCCDカメラ8aに
よって撮影してデジタル画像データを取り込み、取り込
まれたデジタル画像データを画像処理部13で微分処理
して微分画像を生成する。同時にこの画像処理部13で
は点灯ラインを順次変えて同様に処理された微分画像の
データを加算する加算回路部13Cを備え、加算した微
分画像のデータが連続してしきい値以上となるか否かを
判別する判別回路部13Dを設け、所定値以上である場
合に欠陥として検出する(S19)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、表面欠陥検査装置
に係り、特に自動車のボディ表面の塗装などの状態を検
査するのに好適な表面欠陥検査装置に関する。
【0002】
【従来の技術】従来より、自動車のボディを塗装する工
程においては、人間が目視によって行っていた塗装表面
の検査作業を光学的に且つ自動的に検査することが可能
な表面欠陥検査装置が種々知られている。
【0003】例えば、特開平8−86634号公報に
は、光源として蛍光灯,レーザ,発光ダイオード(LE
D)などを用い、スリット光やスリットパターンを作り
出してボディ表面に照射し、表面に凹凸があった場合に
生じる明度差や明度変化を受光画像として検出する表面
欠陥検査装置が開示されている。
【0004】また、実際の検査ラインに導入された表面
欠陥検査装置としては、例えば特開平9−184713
号公報に記載のものがある。この表面欠陥検査装置で
は、蛍光灯からなる照明装置およびCCDカメラからな
る撮像装置をアーチ状に検査ラインに設置しておき、検
査ライン上を移動するボディ表面の欠陥を時系列のデー
タとして検出する構成となっている。
【0005】
【発明が解決しようとする課題】しかしながら、上述し
た従来例には、以下に掲げる問題がある。
【0006】例えば、曲面を有する自動車のボディの表
面の欠陥を検査する場合に、上記特開平8−86634
号公報の表面欠陥検査装置では、取り込んだ画像から欠
陥を認識する際に、前処理を施すことによって、曲面の
欠陥に対応する方法や照明装置の明暗の間隔を、場所に
よって変更しておくという方法が提案されている。
【0007】しかしながら、この従来例では、スリット
パターンを用いているので、取り込んだ画像は明ライン
と暗ラインの縞状の画像となり、欠陥検出のための計算
処理が複雑になり、短時間で処理できないという不都合
が生じていた。
【0008】また、明ラインと暗ラインの境界部分で
は、欠陥検出の精度が低下してしまったり、微小な欠陥
を検出できないなどの不都合があった。更に、実際の検
査ラインでは、塗装の色や光沢の違い、メタリックの有
無などによって照明の反射率が異なるので、欠陥検出の
精度にばらつきが生じる不具合があった。
【0009】
【発明の目的】本発明は、かかる従来例の有する不都合
を改善し、特に曲面を有するボディ表面の欠陥検査時に
検知される欠陥検出情報に対する演算処理の高速処理化
を可能とし、且つ欠陥検出の精度を向上させて微小な欠
陥を検出することを可能とし、更に、異なるボディの塗
装に対しても安定して精度の高い欠陥検出を行うことが
できる表面欠陥検査装置を提供することを、その目的と
する。
【0010】
【課題を解決するための手段】上記目的を達成するため
に、請求項1乃至8記載の各発明では、被検査面の異な
る位置を順次照明する照明手段と、この異なる位置の照
明に対応して当該被検査面の画像を複数撮影する撮像手
段と、これら各部の動作を制御する主制御部と、撮像手
段で得られる被検査面の画像情報に基づいて当該被検査
面上の欠陥を算定する画像処理部とを備えている。
【0011】そして、前述した画像処理部が、撮影され
た複数の画像をそれぞれ明るさの階調に応じて記憶する
と共に当該記憶された画像情報を順次微分処理して複数
の微分画像を生成する微分処理回路部と、生成された複
数の微分画像を加算する加算回路部と、この加算された
微分画像に基づいて被検査面上の欠陥を判別する判別回
路部とを備えている、という構成を共通の基本構成とし
て採用している。
【0012】このため、この請求項1乃至8記載の各発
明では、加算された微分画像に基づく被検査面上の欠陥
の判別には、実際上、加算された微分画像をしきい値と
比較して二値化し、連続してしきい値を越える二値化さ
れた部分が所定値を越える場合、欠陥であると判別する
方法が用いられる。しきい値としては、欠陥であると確
実に判別されるもの、欠陥であると疑わしいものなどに
分けて2つ以上設定してもよい。また、加算された微分
画像のピーク値によって或いはピーク値を考慮して欠陥
を判別するようにしてもよい。
【0013】ここで、前述した微分処理回路部が、撮影
された画像情報を縦方向又は横方向に(或いは、縦方向
及び横方向に)微分して微分画像を生成する微分画像生
成機能を備えているようにするとよい。この場合の手法
は、画像処理領域における所定の処理方法(空間微分,
空間フィルタ等の手法)に基づいて演算処理される。こ
の場合、縦方向又は横方向について微分処理を実行する
場合には欠陥検出精度は幾分低くなるが微分処理の迅速
化が可能となり、一方、縦方向及び横方向の両方につい
て微分処理を実行する場合には欠陥検出精度の著しい向
上が期待できる。
【0014】又、前述した判別回路部では、加算された
微分画像を予め特定した所定のしきい値と比較して二値
化する二値化回路を有し、更にこの二値化された部分を
被検査面上の欠陥であると判別する欠陥判別機能を備え
た構成としてもよい。
【0015】このようにすると、加算されることから微
分画像が例えば2倍となり、ノイズとのレベル差を拡大
することができ、欠陥判別の機能を著しく高めることが
できる。
【0016】又、前述した判別回路部は、加算された微
分画像を予め特定した所定のしきい値と比較して二値化
する二値化回路と、前記しきい値を連続して越える二値
化された部分の面積を算出する面積算出回路とを備え、
この面積算出回路で算出される二値化された部分の面積
が所定値を越える場合に当該二値化された部分を被検査
面上の欠陥であると判別する欠陥判別機能を備えた構成
としてもよい。
【0017】このようにすると、欠陥の大きさに応じた
情報が拡大されて得られるためノイズとの識別をより一
層確実にすることができ、判別結果に対する信頼性をよ
り一層高める事が出来る。
【0018】更に、前述した主制御部を、前述した照明
手段の輝度を被検査面の塗装状態に応じて可変設定する
輝度可変制御機能を備えているように構成してもよい。
【0019】このようにすると、塗装色,光沢及びメタ
リックの有無などに合わせて、塗装状態の相違に対応し
た最適の照明輝度を設定することができて都合がよい。
【0020】又、前述した照明手段を複数のラインに配
列された複数の光源で構成すると共に、前述した主制御
部を、前述した照明手段の各ラインを順次選択して当該
各ラインの光源を点灯制御する光源点灯制御機能を備え
た構成としてもよい。ここで、各光源を発光ダイオード
で構成してもよい。
【0021】このようにすると、欠陥の位置及びその大
小を的確に検出することができ、発生のタイミングが不
特定なノイズとの識別性を高めることができて都合がよ
い。
【0022】請求項9記載の発明では、前述した請求項
1記載の表面欠陥検査装置において、被検査面を搬送ラ
イン上を移動し且つ停止する自動車のボディの表面とす
ると共に、この自動車のボディが内側を通過するように
前記搬送ライン上をアーチ状に跨ぐ形で設置されたフレ
ーム機構を備え、このフレーム機構を前述した搬送ライ
ンに沿って移動自在に構成する。そして、このフレーム
機構に前述した照明手段および撮像手段を装備する、と
いう構成を採っている。
【0023】このため、この請求項9記載の発明では、
前述した請求項1記載の発明と同等に機能するほか、更
に、ボディの移動に伴ってフレーム機構を移動すること
ができるので、ボディの移動に合わせた測定が可能とな
り、測定作業の能率向上を図ることができるという利点
がある。
【0024】請求項10記載の発明では、前述した請求
項9記載の表面欠陥検査装置において、主制御部が、前
述したフレーム機構をボディの移動に追従させるボディ
追従制御機能を備えている、という構成を採っている。
【0025】このため、この請求項10記載の発明で
は、前述した請求項9記載の発明と同等の機能を有する
ほか、更に、例えば照明手段および撮像手段とボディと
の相対位置が変化しないようにフレーム部をボディに追
従させる制御が可能となり、この場合、フレーム機構を
ボディの移動方向に沿って移動させると共に、検査時に
ボディの位置を所定時間(撮影および画像処理動作に影
響を与えない時間)おきにセンサにより検出して検査時
のボディの移動量を算出し、算出されたボディの移動量
分だけ次の検査に向けてフレーム部を移動させる等の制
御動作を設定すること可能であり、連続測定を高精度に
且つ円滑に実行することができる。
【0026】
【発明の実施の形態】以下、本発明を自動車生産ライン
の塗装検査工程について実施した場合の実施の形態を、
図面に従って説明する。
【0027】図1乃至図3は、自動車生産ラインに設置
された表面欠陥検査装置の制御回路図および装置全体の
概略構成図を示す。
【0028】まず、図3において、表面欠陥検査装置1
は、自動車のボディ2を搭載したベース5が搬送コンベ
ア4によって運搬される搬送ラインを跨く形でレール7
上に設置された門型のフレーム機構6と、このフレーム
機構6の梁部6aおよび柱部6c,6dに取り付けられ
た撮像手段としての撮像部8と、同様に梁部6bおよび
柱部6c,6dに取り付けられた照明手段としての照明
部9と、これらの各部を制御する主制御部としてのコン
トロール部3とを備えた構成となっている。ここで、コ
ントロール部3は図示しないホストコンピュータに接続
されている。
【0029】この内、撮像部8は、梁部6aおよび柱部
6c,6dに沿ってそれぞれ直線に並べられた複数のC
CDカメラ8aを有する。このCCDカメラ8aは、被
検査面である自動車のボディに向けて装備され、その視
野の広さは、その解像度(例えば、横640ドット×縦
480ドット)および検出したい欠陥の最小サイズによ
って決定される。そして、CCDカメラ8aの視野の広
さおよびボディの幅(或いはボディの高さ)から必要な
CCDカメラ8aの台数が決定される。
【0030】図1乃至図2(A)(B)に、表面欠陥検
査装置の電気的回路構成を示す。
【0031】ここで、撮像部8を構成する複数のCCD
カメラ8aは、図1に示すようにそれぞれ画像取込部1
1および画像処理部13を介して前述したコントロール
部3に接続されている。又、本実施形態では、CCDカ
メラ8aの台数分だけ、画像取込部11および画像処理
部13が設けられている。
【0032】画像取込部11は、CCDカメラ8aから
の画像信号をデジタル画像データに変換して出力する。
又、画像処理部13は、そのデジタル画像データを内部
メモリ(第1のメモリ13A)に格納して後述する画像
処理を行う。そして、複数組からなる画像取込部11お
よび画像処理部13は、組毎に並列に動作する。
【0033】この画像処理部13は、図2(A)に示す
ように、撮像部8によって撮影された複数の画像をそれ
ぞれ明るさの階調に応じて記憶する第1のメモリ13A
と、この第1のメモリ13Aで記憶された画像情報を順
次微分処理して複数の微分画像を生成する微分処理回路
部13Bと、この生成された複数の微分画像を加算する
加算回路部13Cと、この加算された微分画像に基づい
て前述した被検査面上の欠陥を判別する判別回路部13
Dとを備えている。符号13Eは、微分処理した画像情
報を一時的に貯える第2にメモリを示す。
【0034】ここで、前述した微分処理回路部13D
は、詳細は後述するが、撮像部8によって撮影された画
像情報を縦方向又は横方向に微分処理して微分画像を生
成する微分画像生成機能を備えている。又、この場合、
撮像部8によって撮影された画像情報の微分処理に際し
ては、縦方向及び横方向の両方向について微分処理して
微分画像を生成するように構成してもよい。
【0035】更に、この判別回路部13Bについては、
図2(B)に示すように、加算された微分画像を予め特
定した所定のしきい値と比較して二値化する二値化回路
13Daと、前述した所定のしきい値を連続して越える
二値化された部分の面積を算出する面積算出回路13D
bとを備え、更に、この面積算出回路1DEbで算出さ
れる二値化された部分の面積が所定値を越える場合に当
該二値化された部分を前述した被検査面上の欠陥である
と判別する欠陥判別回路13Dcを備え、これによっ
て、欠陥判別機能を実行し得るようになっている。
【0036】ここで、前述した判別回路部13Dは、例
えば面積算出回路1DEbを省略し、加算された微分画
像を予め特定した所定のしきい値と比較して二値化する
と共に、この二値化された部分を被検査面上の欠陥であ
ると判別する欠陥判別機能を前述した欠陥判別回路13
Ecが備えるように構成してもよい。
【0037】また、照明部9は、図1に示すように、照
明制御部15を介して前述したコントロール部3に接続
されている。図4は照明部9の構成を示す説明図であ
る。
【0038】この照明部9は縦横二次元に配列された複
数のLED素子9aから構成されており、縦方向のLE
D素子9a群のライン数(ライン1、ライン2、……ラ
インN)はCCDカメラ8aの視野の広さによって決定
され、横方向のLED素子群の数は検査領域(図3では
ボディ2の幅)によって決定される。
【0039】前述した照明制御部15は、コントロール
部3からの指令にしたがって各LED素子9aの輝度お
よび発光パターンを制御する。ここで、各LED素子9
aの輝度制御については、必要な場合には前述したコン
トロール部3の輝度可変制御機能が作動し、後述するよ
うに照明制御部15を介して輝度レベルの調整を行う
(図14参照)。
【0040】各LED素子9aに対する発光パターンの
制御に際しては、前述したコントローラ部3の光源点灯
制御機能が作動し、例えば、ライン状の発光パターンに
したい場合、照明制御部15を介して所定のラインのL
ED素子群を全て同時に点灯させることによって実現す
る。或いは、ラインの幅を変更したい場合、同時に連続
した複数のラインのLED素子群を点灯させる。例え
ば、図4において、ライン2及び3の同時点灯、ライン
4,5及び6の同時点灯などである。ここで、個々のL
ED素子の形状は丸形に限らず、角形でもよい。
【0041】また、コントロール部3には、図1に示す
ように、ボディ位置検出部18およびフレーム制御部1
9が接続されている。この図1に開示したボディ位置検
出部18は、後述する光電センサ24(図5参照)およ
び位置検出部25(図6参照)を有する。図5は光電セ
ンサ24の配置を示す図である。フレーム機構6の内側
を通過するようにベース5を搬送する搬送コンベア4の
両側には、一方と他方のカバーブロック部21が対向し
て敷設されている。
【0042】一方のカバーブロック部21には直線に並
べられた光電センサ24の受光部が設けられており、他
方のカバーブロック部21に設けられた発光部からの光
が移動するベース5によって遮られることで、光電セン
サ24の出力信号が変化する。位置検出部25は光電セ
ンサ24の出力信号の変化によってボディ2を搭載した
ベース5の位置を検出し、コントロール部3に出力す
る。
【0043】更に、フレーム機構6は、柱部6c,6d
の下部に設けられた直線軸受(図示せず)を介してレー
ル7の上に摺動自在(図1矢印a方向)に支持されてお
り、柱部6c,6dに内蔵されたモータ(図示せず)の
駆動によりレール7上を移動する。
【0044】フレーム制御部19は、コントロール部3
からの指令にしたがって上記モータを駆動し、フレーム
機構6の移動を制御する。例えば、照明部9のライン1
〜ラインNを順番に点灯させてボディ2の被検査面の画
像を、CCDカメラ8aが撮影し終わるまで、被検査面
に対する撮像部8および照明部9の相対位置が変化しな
いように、コントロール部3はボディ位置検出部18に
よりボディ2の位置を検出し、ボディ2の移動にフレー
ム部6が追従するようにフレーム制御部19に対して指
令する。フレーム制御部19は指令にしたがってフレー
ム部6の移動を制御する。
【0045】図6は、フレーム機構6の移動を制御する
コントロール部3の構成を示すブロック図である。
【0046】ここで、コントロール部3は、周知のCP
U,ROM,RAM(図示せず)などを有しており、R
OMに格納された制御プログラムをCPUが実行するこ
とにより、コントロール部3内で移動量計算部31,ク
ロック発生部33,相対位置計算部34およびフレーム
移動指令部35が機能するようになっている。
【0047】そして、コントロール部3がフレーム機構
6の移動を制御する場合、まず光電センサ24からの信
号の変化によって、位置検出部25はベース5の位置を
検出してコントロール部3に通知する。移動量計算部3
1では、クロック発生部33で発生したクロックに従っ
て単位時間当たりのボディ2の移動量を計算する。
【0048】ボディ2の移動量と照明制御部15からの
照明位置の情報に基づき、相対位置計算部34ではボデ
ィ2に対するフレーム部6の相対位置およびライン上の
絶対位置を計算する。計算された相対位置および絶対位
置に基づき、フレーム移動指令部35はフレーム制御部
19に移動指令を出力する。フレーム制御部19は移動
指令にしたがってフレーム部6内のモータを駆動し、フ
レーム部6を移動させる。
【0049】このように、コントロール部3は、任意の
単位時間毎(画像の撮影に支障を来さない時間毎)に検
出されるボディ2の位置情報に基づいてボディ2の移動
量を算出し、ボディ追従制御機能を作動させてボディ2
の移動に遅れないようにフレーム機構6を移動させる。
【0050】これにより、ボディ2を移動させながら、
同時にCCDカメラ8aがボディ2のある領域(被検査
面)の画像を撮影し終わるまで、被検査面に対する撮像
部8および照明部9の相対位置を一定に保つような制御
が実行される。
【0051】また、コントロール部3には、出力部16
が接続されており、後述する表面欠陥検査の結果を出力
する。出力部16としては、印刷装置や表示装置を用い
ることができる。更に、この出力部16はコントロール
部3に接続されているホストコンピュータに結果を通知
するようにしてもよい。
【0052】尚、上記画像取込部11,画像処理部1
3,照明制御部15,出力部16,位置検出部25およ
びフレーム制御部19については、コントロール部3の
筐体内に収納してもよい。
【0053】次に、上記構成を有する表面欠陥検査装置
の動作について説明する。
【0054】図7は表面欠陥検査動作の処理手順を示す
フローチャートである。この処理プログラムはコントロ
ール部3内のROM(図示せず)に格納されており、同
じくコントロール部3内のCPU(図示せず)によって
実行される。
【0055】まず、コントロール部3に接続されている
ホストコンピュータ(図示せず)から車種、塗装色など
の情報を取得する(ステップ1)。続いて、光電センサ
24からの信号を基に位置検出部25から出力される検
出信号によりベース5の位置(ボディ2の位置)を検出
する(ステップS2)。ボディ2の位置が検出されたこ
とにより、フレーム機構6をボディ2の被検査面に移動
する処理を起動する(ステップS3)。一旦、フレーム
機構6を移動する処理を起動させた後は、コントロール
部3内の並列処理動作により、ボディ2の被検査面と撮
像部8および照明部9との相対位置が一定となるよう
に、フレーム機構6をベース5の移動に追従させる制御
が行われる。
【0056】そして、照明制御部15による照明部9の
点灯制御、画像取込部11による撮影画像の取り込み、
画像処理部13による画像処理などを含む欠陥認識処理
を行う(ステップS4)。この処理については後述す
る。
【0057】欠陥認識処理が終了すると、1台のボディ
2の塗装面全体(全領域)の検査が終了したか否かを判
別する(ステップS5)。全領域の検査が終了していな
い場合、つぎの検査領域へのフレーム機構6の移動を指
示し(ステップS6)、ステップS4の処理に戻る。そ
して、次の検査領域にフレーム機構6を移動させた後
は、上記したのと同様にベース5の移動にフレーム機構
6を追従させる制御を継続する。
【0058】一方、ステップS5で全ての検査領域を終
了した場合、検査結果を出力し(ステップS7)、処理
を終了する。検査結果は、表示装置あるいは印刷装置に
出力され、また同時にホストコンピュータに送信され
る。
【0059】図8はステップS4における欠陥認識処理
手順を示すフローチャートである。この図8に示す欠陥
認識処理は、コントロール部3により指示された画像取
込部11,画像処理部13および照明制御部15と共に
行われる。
【0060】まず、LED素子群のライン数を表す変数
Xに初期値1を設定し(ステップS11)、所定のライ
ンXのLED素子群を点灯する(ステップS12)。
【0061】ここで、照明部9の各ラインのLEDの輝
度は、後述するようにボディの塗装状態(色、光沢、メ
タリックの有無など)に応じた最適値になるように設定
される。また、各ボディの塗装状態に最適な輝度は予め
実験により求めておく。
【0062】続いて、CCDカメラ8aで検査面を撮影
し、撮影した画像を画像取込部11でデジタル画像デー
タに変換して画像処理部13に転送した後、画像処理部
13はその内部メモリ(第1のメモリ13A)にデジタ
ル画像データを格納する(ステップS13)。
【0063】図9(A)(B)は:被検査面の撮影動作
および撮影された画像を示す図である。図9(A)に示
すように、照明部9をライン毎に順番に点灯し(ライン
1,2,……,N)、そのときの画像をCCDカメラ8
aで撮影する。CCDカメラ8aで撮影された画像信号
を画像取込部11でデジタル画像データに変換して画像
処理部13に取り込む。
【0064】こうして取り込まれた画像は、1ドットあ
たり2m 階調の濃度値で表される。例えば、m=8であ
る場合、256階調(0〜255)となる。一般に、階
調0が黒であり、階調255が白である。
【0065】このとき取り込まれた画像は、図8(B)
に示すように、照明を点灯させたライン部分51が白く
なり、欠陥部分52は塗装表面53に対して角度が異な
るので、点灯しているラインからの光を反射して白くな
る。
【0066】画像処理部13では、その内部メモリ(第
1のメモリ13A)に格納されたデジタル画像データを
横方向および縦方向に微分処理する(ステップS1
4)。図10(A)(B)はデジタル画像データを横方
向および縦方向に微分する際に用いられるマスクを示す
図である。この内、図9(A)は横方向微分用マスクの
例を示し、デジタル画像データの横方向の演算処理に用
いられる。また、図10(B)は縦方向微分用マスクの
例を示し、デジタル画像データの縦方向の演算処理に用
いられる。
【0067】実際に用いられる最適な微分用マスクのサ
イズおよび重み係数は、予め実験等によって求めておく
ようにする。
【0068】図11は、図9(B)に示す撮影画像を縦
方向に微分する位置を点線部mで示す説明図である。
【0069】又、図12は前述した図11の点線部mに
沿った画像の濃度分布(A),微分処理後の微分画像の
分布(B),および加算した微分画像の分布(C)を示
す線図である。
【0070】この場合、図12(A)はライン2の点灯
時,ライン4の点灯時,及びライン6の点灯時における
点線部mに沿った画像の濃度分布を示している。図11
(B)は同図(A)の各濃度分布を微分処理した後の微
分画像の分布を示している。そして、それぞれのライン
の点灯により得られた微分画像を加算する(ステップS
15)。図12(C)は各微分画像を加算した後の分布
を示している。
【0071】その後、ライン数Xが最大ラインNを越え
たか否かを判別し(ステップS16)、越えていない場
合、ステップS12に戻って同様の処理を繰り返す。こ
のように、ライン1の処理を終えると、次のライン2の
処理を行い、同様にラインNまで順次繰り返す。
【0072】ステップS16でライン数Xが最大ライン
Nを越えた場合、各微分画像を加算した分布をしきい値
Tで二値化する(ステップS17、図12(C)参
照)。ここで、しきい値Tは予め実験により最適な値を
求めておく。尚、ボディ2の塗装状態に応じて最適なし
きい値を設定しておくようにする。
【0073】しきい値Tを越える微分画像のデータを持
つ画素が連結している部分を1つの塊とし(ラベリン
グ)、その塊の画素数、つまりその面積を計算する(ス
テップS18)。ラベリングの結果により得られた塊の
うち、面積が所定値に満たないものをノイズとして除去
し、所定値以上のものを欠陥として抽出する(ステップ
S19)。
【0074】この所定値は予め実験により実際の欠陥と
対比して求めておく。又、この所定値は、ボディの塗装
状態(色、光沢、メタリックの有無など)に応じて最適
な値に設定しておくようにする。
【0075】このように、表面欠陥検査装置では、自動
車のボディ表面に照明された被検査面を、CCDカメラ
8aによって撮影し、撮影されたデジタル画像データを
微分処理して微分画像を生成する。
【0076】そして、点灯ラインを順次変えて、同様に
処理された微分画像のデータを加算した後、しきい値以
上となる加算した微分画像のデータが連続する塊に対応
する画素の数が所定値以上であるか否かを判別する。そ
して、所定値以上である場合、欠陥として検出する。こ
のため、従来のように明ラインおよび暗ラインを含む縞
状の画像を直接計算処理しないで済み、欠陥検査のため
の計算処理を単純化することができる。
【0077】これにより、高速処理を行うことができ、
明ラインと暗ラインの境界部分で欠陥検出の精度が低下
してしまったり、微小な欠陥を検出できないといった従
来の不具合を解消し、欠陥検出の精度を向上させること
ができる。
【0078】図13は、実際にLED素子群を1ライン
おきに同時に点灯させてCCDカメラによって撮影され
た画像を示す図である。又、この図13において、矢印
a,b,c,dで示す部分が欠陥である。
【0079】図14は、LEDの輝度を50,100,
150(相対値)とした際に撮影された各ボディの塗装
色に応じた画像の濃度分布を示すグラフである。この
内、図14(A)は塗装色が赤である場合の画像の濃度
分布を示し、図14(B)は塗装色が白である場合の画
像の濃度分布を示し、図14(C)は塗装色がシルバー
(メタリック)である場合の画像の濃度分布を示し、図
14(D)は塗装色がグリーン(メタリック)である場
合の画像の濃度分布を示している。全体に、LEDの輝
度が高い程、濃度値が高くなっている。
【0080】また、ボディの塗装色によって濃度値が異
なるので、LEDの輝度を変化させることによって、塗
装色に依存しないように補正を行うことが可能である。
例えば、各濃度値のピーク値が「128」になるように
補正しようとすると、同図(A)に示す塗装色が赤の場
合、LEDの輝度を値150に設定する。塗装色が白の
場合、LEDの輝度を値100に設定する。塗装色がシ
ルバー(メタリック)の場合、LEDの輝度を値50に
設定する。塗装色がグリーン(メタリック)の場合、L
EDの輝度を値150に設定する。
【0081】このように、ボディ表面の塗装状態、特に
色、光沢、メタリックの有無などによってLEDの輝度
を変更することで、塗装の影響を受けずに、画像処理を
行うことができる。
【0082】尚、上記実施形態では、加算された微分画
像のデータを1つのしきい値Tと比較することにより欠
陥の有無を判別していたが、しきい値Tは1つに限ら
ず、複数であってもよい。この場合、欠陥が確実である
しきい値レベル、欠陥であると疑わしいしきい値レベル
などに応じて二つ以上設定することが可能である。ま
た、加算された微分画像のデータのピーク値によりある
いはピーク値を考慮して欠陥を判別するようにしてもよ
い。
【0083】又、上記実施形態では、撮像部8にはCC
Dカメラ8aが用いられていたが、ビジコンやサチコン
などの光導電型撮像管を用いてもよく、照明光に適した
ものに選択可能である。
【0084】更に、上記実施形態では、発光ダイオード
をライン毎に点灯させて被検査面に照明していたが、照
明パターンはライン状に限らず、ボックス状、スポット
状にしてもよい。又発光ダイオード以外の発行素子を用
いてもよい。
【0085】又、上記実施形態では、光電センサとして
発光部と受光部からなる光学的センサを用いたが、近接
スイッチなどの磁気的センサ、スイッチなどの機械的セ
ンサを用いてもよい。
【0086】
【発明の効果】本発明は以上のように構成され機能する
ので、これによると、従来のように明ラインと暗ライン
を含む縞状の画像を直接計算処理しないで済み、曲面を
有するボディ表面の欠陥検査のための計算処理を単純化
することができる。これにより、高速処理を行うことが
でき、また、明ラインと暗ラインの境界部分では、欠陥
検出の精度が低下してしまったり、微小な欠陥は検出で
きないといった従来の不具合を解消し、欠陥検出の精度
を向上させることができる。
【0087】更に、異なる位置に照明された被検査面を
撮影して複数の画像を得ると共にこれらを微分処理し且
つ加算するようにしたことから、一度の撮影情報ではノ
イズとの識別が困難な微小欠陥であっても容易に且つ鮮
明に欠陥信号を捕捉処理することが可能となり、又、曲
がった表面であっても欠陥を容易に検出でき、且つ欠陥
有無の自動判定が可能となるという従来にない優れた表
面欠陥検査装置を提供することができる。
【0088】更に、判別回路部で、二値化回路により前
述した加算された微分画像をしきい値と比較して二値化
するように構成することにより、二値化,ラベリング,
しきい値との判別,という単純な演算で高速処理を行う
ことができる。
【0089】前述した微分処理は、撮影された画像を縦
方向又は横方向に微分処理して微分画像を生成するの
で、被検査面上の欠陥を二次元的に且つ迅速に検出する
ことができる。この場合、縦方向及び横方向の両方向に
ついて微分処理するように構成すると、高精度に欠陥情
報を捕捉することができて都合がよい。
【0090】また、前述した照明手段の輝度を被検査面
の塗装状態に応じて可変する輝度可変手段を装備する
と、ボディの異なる塗装状態に応じた輝度を設定するこ
とで、塗装色,光沢,メタリックの有無などによらず安
定して精度の高い検出を行うことができる。
【0091】更に、被検査面は搬送ライン上を移動する
自動車のボディの表面とし、このボディが内側を通過す
るように当該ボディの搬送ラインを跨ぐ形で設置された
フレーム機構を有し、該フレーム機構に照明手段および
撮像手段を装備して、自動車の生産ラインなどに適した
仕様にすることができる。
【0092】即ち、フレーム機構を、搬送ラインに沿っ
て移動自在であり、ボディの移動に伴って、照明手段お
よび撮像手段とを前述したボディとの相対位置が変化し
ないように追従移動させる制御を行う追従制御手段を備
えることにより、搬送ライン上を移動するボディなどを
停止させることなく、連続して検査することが可能とな
る、という従来にない優れた表面欠陥検査装置を提供す
ることができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態における制御系を示すブ
ロック図である。
【図2】図1中に開示した画像処理部の例を示す図で、
図2(A)は画像処理部の具体例を示すブロック図、図
2(B)は図2(A)中に開示した判別回路部の例を示
すブロック図である。
【図3】図1における一実施の形態を自動車生産ライン
に設置された場合の例を示す概略斜視図である。
【図4】図1に開示した照明部の構成例を示す説明図で
ある。
【図5】図1に開示した照明部および光電センサの配置
を示す図で、図5(A)は照明部の配置を示す説明図、
図5(B)は光電センサの配置を示す説明図である。
【図6】図1に開示したフレーム機構の移動を制御する
コントロール部の構成例を示すブロック図である。
【図7】図1に開示した装置により検出された欠陥情報
の処理手順を示すフローチャートである。
【図8】図7におけるステップS4における欠陥認識処
理手順を示すフローチャートである。
【図9】図1に開示した装置の被検査面に対する撮影動
作および撮影された画像を示す図で、図9(A)は撮影
動作を示す説明図、図9(B)は撮影された画像を示す
説明図である。
【図10】デジタル画像データを横方向および縦方向に
微分処理する際に用いられるマスクを示す図で、図10
(A)は横方向に微分処理する際に用いられるマスクの
例を示す説明図、図10(B)は縦方向に微分処理する
際に用いられるマスクの例を示す説明図である。
【図11】図1に開示した装置で撮影した画像を点線部
mの位置で縦方向に微分処理を行う場合の例を示す説明
図である。
【図12】図12は図11で特定した位置(点線部m)
における画像の濃度分布および微分処理等の結果を示す
図で、図12(A)は微分位置(点線部m)における画
像の濃度分布を示す線図、図12(B)は図12(A)
の位置における微分処理で得られる微分画像の分布を示
す線図、図12(C)は図12(B)における微分処理
の結果を加算して得られる微分画像の分布を示す線図で
ある。
【図13】図1に開示した実施形態において実際にLE
D素子群を1ラインおきに同時に点灯させてCCDカメ
ラによって撮影された場合に得られる画像の例を示す説
明図である。
【図14】図14(A)〜(D)は、図13の撮影実施
例に実施され、LEDの輝度を50、100、150
(相対値)とした際に撮影された各ボディの塗装色に応
じた画像の濃度分布を示す線図である。
【符号の説明】
1 表面欠陥検査装置 2 ボディ 3 主制御部としてのコントロール部 6 フレーム機構 8 撮像手段としての撮像部 8a CCDカメラ 9 照明手段としての照明部 9a 光源としての発光ダイオード 11 画像取込部 13 画像処理部 13A 第1のメモリ 13B 微分処理回路部 13C 加算回路部 13D 判別回路部 13Da 二値化回路 13Db 面積算出回路 13Dc 欠陥判別回路 15 照明制御部、 16 出力部 18 ボディ位置検出部 19 フレーム制御部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小野 勝一 神奈川県横浜市都筑区桜並木2番1号 ス ズキ株式会社技術研究所内 Fターム(参考) 2F065 AA50 AA58 CC11 CC31 DD06 FF04 GG07 GG15 JJ03 JJ26 NN01 QQ04 QQ13 QQ27 QQ31 QQ33 TT03 2G051 AA89 AB07 AB12 AC15 BA01 BB01 BC01 CA03 CA07 DA01 DA06 EA08 EA11 EA14 EA16 EA21 EB01 EC02 FA01

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 被検査面の異なる位置を順次照明する照
    明手段と、この異なる位置の照明に対応して当該被検査
    面の画像を複数撮影する撮像手段と、これら各部の動作
    を制御する主制御部と、前記撮像手段で得られる前記被
    検査面の画像情報に基づいて当該被検査面上の欠陥を算
    定する画像処理部とを備え、 前記画像処理部が、前記撮影された複数の画像をそれぞ
    れ明るさの階調に応じて記憶すると共に当該記憶された
    画像情報を順次微分処理して複数の微分画像を生成する
    微分処理回路部と、この生成された複数の微分画像を加
    算する加算回路部と、この加算された微分画像に基づい
    て前記被検査面上の欠陥を判別する判別回路部とを備え
    ていることを特徴とした表面欠陥検査装置。
  2. 【請求項2】 前記微分処理回路部が、前記撮影された
    画像情報を縦方向又は横方向に微分して微分画像を生成
    する微分画像生成機能を備えていることを特徴とした請
    求項1記載の表面欠陥検査装置。
  3. 【請求項3】 前記微分処理回路部は、前記撮影された
    画像情報を縦方向および横方向に微分して微分画像を生
    成する微分画像生成機能を備えていることを特徴とした
    請求項1記載の表面欠陥検査装置。
  4. 【請求項4】 前記判別回路部は、前記加算された微分
    画像を予め特定した所定のしきい値と比較して二値化す
    る二値化回路を備えると共に、この二値化された部分を
    前記被検査面上の欠陥であると判別する欠陥判別回路と
    を備えていることを特徴とした請求項1記載の表面欠陥
    検査装置。
  5. 【請求項5】 前記判別回路部は、前記加算された微分
    画像を予め特定した所定のしきい値と比較して二値化す
    る二値化回路と、前記しきい値を連続して越える二値化
    された部分の面積を算出する面積算出回路と、この面積
    算出回路で算出される二値化された部分の面積が所定値
    を越える場合に当該二値化された部分を前記被検査面上
    の欠陥であると判別する欠陥判別回路とを備えているこ
    とを特徴とした請求項1記載の表面欠陥検査装置。
  6. 【請求項6】 前記主制御部が、前記照明手段の輝度を
    前記被検査面の塗装状態に応じて可変する輝度可変制御
    機能を備えていることを特徴とした請求項1記載の表面
    欠陥検査装置。
  7. 【請求項7】 前記照明手段が複数のラインに配列され
    た複数の光源から成り、前記主制御部が前記ライン毎に
    順次選択して当該各ラインの光源を点灯制御する光源点
    灯制御機能を備えていることを特徴とした請求項1記載
    の表面欠陥検査装置。
  8. 【請求項8】 前記各光源を、発光ダイオードで構成し
    たことを特徴とする請求項7記載の表面欠陥検査装置。
  9. 【請求項9】 前記被検査面を搬送ライン上を移動し且
    つ停止する自動車のボディの表面とすると共に、この自
    動車のボディが内側を通過するように前記搬送ライン上
    をアーチ状に跨ぐ形で設置されたフレーム機構を有し、 このフレーム機構を前記搬送ラインに沿って移動自在に
    構成すると共に、このフレーム機構に前記照明手段およ
    び前記撮像手段を装備したことを特徴とする請求項1記
    載の表面欠陥検査装置。
  10. 【請求項10】 前記主制御部が、前記フレーム機構を
    前記ボディの移動に追従させるボディ追従制御機能を備
    えていることを特徴とした請求項9記載の表面欠陥検査
    装置。
JP37334698A 1998-12-28 1998-12-28 表面欠陥検査装置 Expired - Lifetime JP3690157B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP37334698A JP3690157B2 (ja) 1998-12-28 1998-12-28 表面欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP37334698A JP3690157B2 (ja) 1998-12-28 1998-12-28 表面欠陥検査装置

Publications (2)

Publication Number Publication Date
JP2000193601A true JP2000193601A (ja) 2000-07-14
JP3690157B2 JP3690157B2 (ja) 2005-08-31

Family

ID=18502008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37334698A Expired - Lifetime JP3690157B2 (ja) 1998-12-28 1998-12-28 表面欠陥検査装置

Country Status (1)

Country Link
JP (1) JP3690157B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004510966A (ja) * 2000-10-03 2004-04-08 ルミナス テクノロジーズ リミテッド 発光塗料
JP2005148047A (ja) * 2003-10-21 2005-06-09 Daihatsu Motor Co Ltd 被検査面の検査方法及び装置
JP2006038550A (ja) * 2004-07-26 2006-02-09 Kanto Auto Works Ltd 塗面検査装置
JP2006145484A (ja) * 2004-11-24 2006-06-08 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP2007523333A (ja) * 2004-02-18 2007-08-16 イスラ ヴィズィオーン ジュステーム アーゲー 表面検査方法及びそのシステム
JP2011007711A (ja) * 2009-06-29 2011-01-13 Future Univ-Hakodate 三次元形状計測装置および半導体集積回路
US7935928B2 (en) 2003-02-07 2011-05-03 Robert Bosch Gmbh Device and method for producing images
JP4827744B2 (ja) * 2004-02-18 2011-11-30 イスラ ヴィズィオーン アーゲー 検査路設定及び検査領域決定方法
JP2012026767A (ja) * 2010-07-20 2012-02-09 Sumitomo Metal Ind Ltd エッジ検出方法及び検出システム、帯材の走行状況測定方法及び測定システム、帯材の走行制御方法及び制御システム、並びに、帯材の製造方法及び製造システム
JP2013083571A (ja) * 2011-10-11 2013-05-09 Daiwa Can Co Ltd 表面欠損検査装置およびその方法
WO2018025389A1 (ja) * 2016-08-05 2018-02-08 エヌズエンタープライズ株式会社 不良箇所検出器具及び不良箇所検出方法
JP2018059883A (ja) * 2016-10-07 2018-04-12 株式会社豊田中央研究所 表面検査装置及び表面検査方法
WO2019112040A1 (ja) * 2017-12-08 2019-06-13 パナソニックIpマネジメント株式会社 検査システム、検査方法、プログラム、及び、記憶媒体
WO2020021808A1 (ja) * 2018-07-26 2020-01-30 コニカミノルタ株式会社 表面検査装置および表面検査方法
JP2020169920A (ja) * 2019-04-04 2020-10-15 株式会社ソフト99コーポレーション 傷検査支援システム、画像処理方法、乗り物使用状況表示方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101676333B1 (ko) * 2008-03-28 2016-11-15 후지필름 가부시키가이샤 결함 검출 방법 및 장치

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4879450B2 (ja) * 2000-10-03 2012-02-22 ルミナス テクノロジーズ リミテッド 発光塗料
JP2004510966A (ja) * 2000-10-03 2004-04-08 ルミナス テクノロジーズ リミテッド 発光塗料
US7935928B2 (en) 2003-02-07 2011-05-03 Robert Bosch Gmbh Device and method for producing images
JP2005148047A (ja) * 2003-10-21 2005-06-09 Daihatsu Motor Co Ltd 被検査面の検査方法及び装置
JP4528011B2 (ja) * 2003-10-21 2010-08-18 ダイハツ工業株式会社 被検査面の検査方法及び装置
JP2007523333A (ja) * 2004-02-18 2007-08-16 イスラ ヴィズィオーン ジュステーム アーゲー 表面検査方法及びそのシステム
JP4827744B2 (ja) * 2004-02-18 2011-11-30 イスラ ヴィズィオーン アーゲー 検査路設定及び検査領域決定方法
JP2006038550A (ja) * 2004-07-26 2006-02-09 Kanto Auto Works Ltd 塗面検査装置
JP2006145484A (ja) * 2004-11-24 2006-06-08 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP4550559B2 (ja) * 2004-11-24 2010-09-22 シャープ株式会社 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP2011007711A (ja) * 2009-06-29 2011-01-13 Future Univ-Hakodate 三次元形状計測装置および半導体集積回路
JP2012026767A (ja) * 2010-07-20 2012-02-09 Sumitomo Metal Ind Ltd エッジ検出方法及び検出システム、帯材の走行状況測定方法及び測定システム、帯材の走行制御方法及び制御システム、並びに、帯材の製造方法及び製造システム
JP2013083571A (ja) * 2011-10-11 2013-05-09 Daiwa Can Co Ltd 表面欠損検査装置およびその方法
WO2018025389A1 (ja) * 2016-08-05 2018-02-08 エヌズエンタープライズ株式会社 不良箇所検出器具及び不良箇所検出方法
JPWO2018025389A1 (ja) * 2016-08-05 2018-10-11 株式会社三勢 不良箇所検出器具及び不良箇所検出方法
JP2018059883A (ja) * 2016-10-07 2018-04-12 株式会社豊田中央研究所 表面検査装置及び表面検査方法
WO2019112040A1 (ja) * 2017-12-08 2019-06-13 パナソニックIpマネジメント株式会社 検査システム、検査方法、プログラム、及び、記憶媒体
US11379968B2 (en) 2017-12-08 2022-07-05 Panasonic Intellectual Property Management Co., Ltd. Inspection system, inspection method, program, and storage medium
US20220358638A1 (en) * 2017-12-08 2022-11-10 Panasonic Intellectual Property Management Co., Ltd. Inspection system, inspection method, program, and storage medium
US11727554B2 (en) 2017-12-08 2023-08-15 Panasonic Intellectual Property Management Co., Ltd. Inspection system, inspection method, program, and storage medium
WO2020021808A1 (ja) * 2018-07-26 2020-01-30 コニカミノルタ株式会社 表面検査装置および表面検査方法
JP2020169920A (ja) * 2019-04-04 2020-10-15 株式会社ソフト99コーポレーション 傷検査支援システム、画像処理方法、乗り物使用状況表示方法

Also Published As

Publication number Publication date
JP3690157B2 (ja) 2005-08-31

Similar Documents

Publication Publication Date Title
US5963328A (en) Surface inspecting apparatus
JP2000193601A (ja) 表面欠陥検査装置
CA2615117C (en) Apparatus and methods for inspecting a composite structure for inconsistencies
JP6741173B2 (ja) 形状検査装置及び形状検査方法
JPH0736001B2 (ja) びんの欠陥検査方法
KR20000071087A (ko) 옥외용 거리 계측 장치
JP3751660B2 (ja) 規則的パターンの欠陥検査装置
JPH10318938A (ja) 表面検査装置
JPH0979988A (ja) 表面欠陥検査装置
JP3185599B2 (ja) 表面欠陥検査装置
WO2005100960A1 (ja) 表面欠陥検査装置
CN209745834U (zh) 具有亮度调整的光学式瑕疵检测***
JP4246319B2 (ja) 照明むら測定方法および測定装置
JPH04240555A (ja) 路面のひび計測装置
JP3427248B2 (ja) 異物検出方法
JP3985385B2 (ja) 表面欠陥検出装置
JPH109839A (ja) 表面欠陥検査装置
JP2003156451A (ja) 欠陥検出装置
CN212031322U (zh) 板面材料边缘缺陷检测***
JP2005249503A (ja) パンタグラフのすり板検査装置。
JPH0711414B2 (ja) ガラスびんの偏肉検査方法
JPH1010053A (ja) 表面欠陥検査装置
JP3025562B2 (ja) 明暗照明による表面状態検査方法
JP2000082143A (ja) 表面欠陥検査装置
JP3259624B2 (ja) 表面状態検査装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050606

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080624

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100624

Year of fee payment: 5