JP4392268B2

JP4392268B2 - 表面検査装置

Info

Publication number: JP4392268B2
Application number: JP2004044670A
Authority: JP
Inventors: 純梅村
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 2004-02-20
Filing date: 2004-02-20
Publication date: 2009-12-24
Anticipated expiration: 2024-02-20
Also published as: JP2005233826A

Description

本発明は、表面検査装置に関し、特に表面の有色疵や変色等を検出する表面検査装置に関する。

例えば鋼板製造工程における鋼板表面の疵の検査装置においては、撮像用に白黒のＣＣＤカメラが用いられているが、色のついた疵や広い範囲にわたるコーティング材の変色（以下、変色等も含めて「疵」という。）を検出するためにはカラーカメラを使用することが望ましい。従来から、カラー画像を有効に利用するために、撮像の結果得られたＲＧＢ信号に対して各種の処理を行うことが提案されている。例えば、得られたＲＧＢ信号を個別に使用することによって疵を検出する方法があり、またＲＧＢ信号のうちＲとＧ信号を用い、Ｒ信号とＧ信号及びこれらの信号の和及び積を処理して疵を検出する方法がある（特許文献１及び２参照）。

しかしながら、ＲＧＢ信号及びこれらを合成（和や積）した信号を用いた場合、各信号には、人間の色感覚との直接的な対応がないため、疵を判定するためのロジックの調整が容易ではない。また、判定ロジックを構築した後そのロジックの解釈が困難で、ロジックの再構築が難しい。したがって、新たな疵に対応するロジックを構築するためには、最初から作り直す必要があった。

特許第２６９８６９６号公報

特許第２６９８６９７号公報

本発明の課題は、有色疵や変色等を正確に検出するとともに、疵判定ロジックを構築・調整することが容易な表面検査装置を提供することである。

本発明は、上記課題を解決するために、カラー撮像部と、信号変換部と、疵検出部とを備える表面検査装置であって、カラー撮像部から得られるＲＧＢ信号を均等色空間に変換して疵を検出するようにした。

また、本発明では、疵検出部においては、均等色空間の信号に変換された画像から、均等色空間の色域を互いにオーバーラップを持たせて分割した分割領域の情報に基づいて２値化画像を構成し、該２値化画像から抽出した疵候補に対して特徴量を計算し、該特徴量から、該疵候補が疵であるか否か、疵である場合の有害度、及び疵種を判定するロジックテーブルを使用して疵を検出するようにし、さらに、２値化画像は、均等色空間の信号に変換された画像から、分割領域に含まれる信号成分を有する画素を抽出して構成するようにしてもよい。

ここで、色に関する信号は、色相及び彩度の信号を採用するようにしてもよい。

さらに、疵検出部は、明度の信号により構成される画像を加味して疵を検出するようにもできる。

さらに、信号変換部は、ＲＧＢ信号を標準色に基づく補正情報により変換した信号を用いて均等色空間の信号に変換するようにしてもよい。

本発明では、均等色空間に変換した色に関する信号を用いるので、有色疵や変色を正確に検出することができ、均等色空間の信号は色相又は彩度という人間が感じる色感覚と直接的な関連があるので、疵の色あるいは色の濃さなどとの対応付けが容易にできる。

人間が感じる２色の色差は、均等色空間では２色すなわち空間内の２点のユークリッド距離で表すことができ、疵の色差に基づくロジックが色覚的に正確に数値で表せる。

色相及び彩度は、明度とは異なりシェーディングの影響をほとんど受けることがないので、シェーディング補正の必要がない。したがって、シェーディング補正の結果大面積の変色や疵が消失して、このような疵が検出できないということがなくなる。

キャリブレーション機能を備え、照明色温度やカメラのカラーバランスを補償すると、標準光源下での色情報の基づいた検出処理が可能となる。このため別途用意した標準色からどれくらい離れているかというロジックの記述も可能となる。

本発明の実施の形態を説明する前に理解を容易にするため、図１を参照して本発明の概略を説明する。本発明の表面検査装置は、撮像部１００、信号変換部２００、疵検出部３００を備える。撮像部１００は、検査対象の表面をカラー撮影してＲＧＢ信号を得る。信号変換部２００は、ＲＧＢ信号を均等色空間の信号に変換する。疵検出部３００では、均等色空間の色に関する信号により構成される画像から変色や有色疵のような疵を検出する。本発明の一態様では、信号変換部２００は、ＲＧＢ信号をまず補正情報により変換して、その信号を均等色空間の信号に変換する。また、他の一態様では、疵検出部３００は、均等色空間の色域を分割した分割領域の情報を用いて、分割領域に対応した２値化画像を構成して、これに基づいて疵判定を行うようにしてもよい。さらに、この２値化画像は、均等色空間の信号に変換された画像から、所定の分割領域に含まれる画素を抽出して構成することができる。

以下、図２〜６を参照して本発明の実施の形態を説明する。図２には、本発明の一実施形態の表面検査装置の撮像部の概略を示す。

ここでは、鋼板の疵検出装置を例として説明する。鋼板１は、製造工程中にあって図の矢印方向に通板している。蛍光灯２は、鋼板１の表面を照明するように配置され、通常鋼板の幅より広い幅Ｗを照明可能である。カラーＣＣＤカメラ３は、蛍光灯２により照明された鋼板１表面を撮像可能に配置される。蛍光灯２及びカラーＣＣＤカメラ３は適宜に配置できるが、本例では、蛍光灯２は、鋼板１表面に近接して、２４０ｃｍの幅を照明するように配置し、カラーＣＣＤカメラ３は、鋼板１に垂直な面から２０度の角度θをもって、鋼板１から２００ｃｍの距離Ｌに配置する。カラーＣＣＤカメラ３は、流れてくる鋼板１表面のカラー画像をＲＧＢ信号としてパーソナルコンピュータのような信号処理装置（図示せず）に入力する。本発明では、以下に詳細に説明するように、このＲＧＢ信号を均等色空間の信号に変換して疵判定を行う。本例の場合、ＣＣＤカラーカメラ３はカラーのＣＣＤラインセンサを使用している。

図３に、本実施形態の疵判定フローを示す。
ステップＳ１では、カラーカメラからのＲＧＢ信号を信号処理装置であるパーソナルコンピュータのボードを介して信号処理装置のメモリに読み込む。

ステップＳ２では、読み込まれたＲＧＢ信号に対して、次の（１）式のように事前に求めておいた３×３の変換行列Ｍを用いて線形補正を行い、Ｒ’Ｇ’Ｂ’信号を得る。この補正は、撮像時の照明色温度やカメラのカラーバランスの相違を補償するためのものである。

なお、ここで使用する変換行列Ｍは、市販の標準色チャート（２４色のパッチをもつ）を用いて行うキャリブレーションの結果によって求める。すなわち、実際の疵検査と同じ照明で、同じカメラを用いて標準色チャートを撮像し、得られた各パッチの色が、測色計で予め測っておいた色になるように変換する補正情報である変換行列Ｍ（３×３行列）を求める。具体的には以下の２４次元連立方程式に最小二乗法を適用する。

ステップＳ３では、得られたＲ’Ｇ’Ｂ’信号からＸＹＺおよび均等色空間の一例であるＣＩＥ−Ｌａｂ表色系を経由してＬＣＨ表色系に変換する。ここで、ＸＹＺ、ＣＩＥ−Ｌａｂ及びＬＣＨ表色系はいずれもＣＩＥ（国際照明委員会）で標準化されているもので、ＬＣＨはＣＩＥ−Ｌａｂを極座標変換したものである。次の式（２）は、Ｒ’Ｇ’Ｂ’信号からＸＹＺ表色系への変換を表すもので、式（３）は、ＸＹＺ表色系からＣＩＥ−Ｌａｂ表色系への変換を表す式である。

ここで、均等色空間を図３を参照して説明する。
図４は、均等色空間の一例であるＣＩＥ−Ｌａｂ表色系及びＬＣＨ表色系の概念図である。ＣＩＥ−Ｌａｂ表色系は、Ｌ，ａ，ｂの直交３軸からなり、Ｌ軸は、縦軸であって明度の軸であり、ａ軸は赤（＋ａ）と緑（−ａ）の軸であり、ｃ軸は黄（＋ｂ）と青（−ｂ）の軸である。ａ−ｂ平面では、円周方向に色相が変化し、半径方向に彩度が変化する。彩度は、半径の大きさ（絶対値）が増すと彩度が増すように構成されている。ＬＣＨ表色系は、この均等色空間を直交座標から円筒座標に変換して、明度と彩度と色相により色を指定できるようにしたもので、Ｌはそのまま明度の軸とし、彩度（Ｃ）と色相（Ｈ）について、極座標を用いている。すなわち彩度（Ｃ）は（ａ^２＋ｂ^２）^１／２（Ｌ軸からの距離）、色相（Ｈ）はｔａｎ^−１（ｂ／ａ）（ａ軸からの偏角）と表現される。なお、この空間のすべての点に色が対応しているものではないことはいうまでもない。

このように、ステップ３（図２）でＬＣＨ表色系に変換した後、明度、彩度、色相について、それぞれ疵検出のための信号処理を行う。

まず、明度（Ｌ）については、本発明に必須のものではないが、色のついていない疵を発見しようとする場合には必要で、従来と同様の処理を行う。

すなわち、ステップＳ４では、シェーディング補正を行う。シェーディングとは、カメラを使用して物体を撮影した場合、レンズの周辺部では光量がコサイン４乗則等に従って落ち、画像の中央部から左右に離れるに従って画像が暗くなることをいい、これを補正するには、元画像の低周波成分で元画像を除算又は減算すればよい。

ステップＳ５では、明度に関して、シェーディング補正後の画像を予め決められた閾値で２値化しラベリングして、疵候補とする。

ステップＳ６では、ラベリングで抽出された明度に関する疵候補に対して、それぞれの特徴量を計算する。

以下、彩度と色相についての疵検出処理を説明するが、その前に彩度と色相については、明度についての疵検出処理で必要であったシェーディング補正は必要がないことを説明する。図５（ａ）〜（ｃ）は、均一な鋼板の表面を撮像し、鋼板の横幅方向に亘ってＬａｂの各々の大きさをプロットしたものである。（ａ）がＬ値、（ｂ）がａ値、（ｃ）がｂ値を示す。図から明らかなように、明度（Ｌ）では、中央が最も明度が高く、周辺にいくに従い暗くなり、シェーディングがはっきり見られる。しかしながら、ａ値及びｂ値では、中央部と周辺部との差はほとんど見られない。彩度と色相はａ値及びｂ値から変換して得るものであるから、シェーディングの影響はほとんどない。したがって、シェーディング補正を行う必要はない。これは、色相や彩度を利用して疵を検出する際の利点となる。有色の疵が大面積に広がっている場合、大面積の疵は一般に低周波成分が多く、シェーディング補正は、元画像の低周波成分で元画像を除算（減算）するものであるから、明度だけを利用して疵を検出すると、シェーディング補正の結果大面積疵が消失することがあった。しかしながら、彩度及び色相の情報を利用すると、シェーディング補正を行わないのでこのようなことはなくなる。

色相についての疵検出処理については、ステップＳ７で、均等色空間の色域（色相の場合は色相領域）を分割した分割領域に基づいて画像の２値化及びラベリング処理を行う。色相の分割領域に基づく画像の２値化とは、所定の分割領域の色相成分を、検査画像の画素が含んでいるか否かを基準に２値化するもので、色相を分割しておくことは、色相に関する２値化を行う前提として必要なものである。分割領域の大きさ、形状、数等は、検査対象に応じて決定することができる。

これを、図６を参照して説明する。図６の中央に色相分割の一例を示した。分割方法及び分割数は適宜選択できるが、本例では、全色相領域（０°〜３６０°）を４５°づつ８等分する。

図６の中央の円は、図４に示したａ−ｂ平面にあり、横軸の＋ａは赤、−ａは緑、縦軸の＋ｂは黄、−ｂは青である。＋ａ軸から３６０°を８等分して領域１〜８とする。領域１、８は赤色系、領域２、３は、黄色系、領域４，５は、緑色系、領域６，７は青色系の領域である。実際には、隣接した領域は、若干の重複すなわちオーバーラップを持たせて分割している。

ステップＳ７では、各色相領域１〜８に対して、均等色空間に変換された画像の画素ごとに、各色相領域１〜８に含まれる色相を有するか否かを判定し、該画素を抽出して各領域に対応して２値化画像を構成する。例えば、色相領域１に対応して、色相領域１に含まれる色相を有する画素を画像から抽出することにより、２値化画像を構成する。この２値化画像は、領域１に含まれる信号成分を有する画素と領域１に含まれる信号成分を含まない画素とに２値化したものである。これを領域２〜８に対しても行い、それぞれ２値化画像を得る。

図６に、変色した鋼板を撮像した画像から抽出された２値化画像１〜８の例を示す。前述のように、２値化画像１〜８は、色相領域１〜８に含まれる画素を有するか否かで抽出され構成された２値化画像である。なお、２値化した画像に対しては通常のようにラベリング処理を行っている。図５に示した各色相領域１〜８に対応する８枚の２値化画像は、ラベリング処理を終了したものである。

図６において、色相領域１の横に示した２値化画像１は、撮像され、均等色空間に変換された画像中に色相領域１に含まれる画素が存在するか否かで２値化したものであるから、色相領域１に含まれる画素が存在する部分（図の斜線部）には赤色系の色相が存在することを示し、その他の部分には色相領域１に含まれる赤色系の色相は存在しないことを示す。このことは、他の領域２〜８に対応する２値化画像についてもいえる。例えば、色相領域７に対応する２値化画像７は、当該画像の色相領域７に含まれる色相すなわち青色系を含む画素からなる部分（図の斜線部）と色相領域７に含まれる色相を含まない部分とに分けられていることになる。

この例の鋼板の色は赤色系であることから、例えば、２値化画像１，８に現れている広い面積の部分は、鋼板の地色を示し、２値化画像４〜７に現れている部分は、青又は緑を含む色に変色した領域であると分析できる。

ステップＳ８では、ラベリングで抽出された色相に関する疵候補に対して、それぞれの特徴量を計算する。

彩度については、色相と同様に、ステップＳ９で領域を分割する。分割対象の全彩度領域としては０〜１００程度を考慮すればよく、実際にどの程度の大きさまで含んで分割する領域を構成するかは、検出対象等に応じて適宜決定される。決められた全彩度範囲を本例では、色相と同じ８個の領域に分割する。彩度は、図３に示すように、ａ−ｂ平面の半径方向に変化するので、本例では、半径方向に等間隔に８個の領域に分割する。分割された領域は８個の同心円で区切られた円環状の領域となる。

ステップＳ１０では、色相と同様に、分割して得られた８個の彩度領域に対応して、各彩度領域に含まれる彩度成分を有する画素があるか否かで２値化して８枚の２値化画像を得る。この各領域に対応した２値化画像についてラベリング処理する。

ステップＳ１１では、ラベリングで抽出された彩度に関する疵候補に対して、それぞれの特徴量を計算する。

ステップＳ６、Ｓ８及びＳ１１において計算される特徴量としては、（１）疵候補の外接長方形の幅・長さと、その面積すなわち画素数と、（２）明度、彩度、色相の各場合に応じて、平均明度、最大及び最小明度、明度分散、あるいは平均彩度、最大及び最小彩度、彩度分散、あるいは平均色相、最大色相最小色相、色相分散、（３）標準色（例えば鋼板であれば鋼種により標準色が決まっている）からの距離等がある。

ステップＳ１１では、明度、色相及び彩度に関して得られた各疵候補について算出された特徴量から、ロジックテーブルを使用して、疵か否か、疵の有害度、疵種を判定する。ロジックテーブルは本例ではif-thenルールで構成されている。

なお、本実施形態では、均等色空間として、ＬＣＨ表色系を用いたが、Ｌｕｖ表色系など他の均等色空間を採用してもよく、また彩度及び色相についても、明度情報を持たず彩度及び色相に変換できる情報であれば、どのような信号の形態でも使用できる。

本発明の表面検査装置の概略を示す図である。本発明の一実施形態で使用する表面検査装置の撮像部の概略を示す図である。本発明の一実施形態の動作フローを示す図である。本発明の一実施形態の均等色空間の概略を示す図である。シェーディング補正の必要性を説明する図である。本発明の一実施形態における色相の分割領域及び２値化画像を示す図である。

符号の説明

１…鋼板
２…蛍光灯
３…ＣＣＤカラーカメラ

Claims

検査対象の表面を撮像してＲＧＢ信号を得る撮像部と、
前記ＲＧＢ信号を均等色空間の信号に変換する信号変換部と、
前記信号変換部により変換された信号のうち色に関する信号により構成される画像に基づいて、検査対象の表面の疵を検出する疵検出部と、
を備え、
前記疵検出部は、前記均等色空間の信号に変換された画像から、均等色空間の色域を互いにオーバーラップを持たせて分割した所定の分割領域の情報に基づいて２値化画像を構成して、該２値化画像から抽出した疵候補に対して特徴量を計算し、該特徴量から、該疵候補が疵であるか否か、疵である場合の有害度、及び疵種を判定するロジックテーブルを使用して検査対象の表面の疵を検出する表面検査装置。
前記２値化画像は、前記均等色空間の信号に変換された画像から、前記所定の分割領域に含まれる画素を抽出して構成される請求項１に記載の表面検査装置。
前記色に関する信号は、色相及び彩度に関連する信号である請求項１または２のいずれか１項に記載の表面検査装置。
前記疵検出部は、前記色に関する信号により構成される画像と明度に関する信号により構成される画像に基づいて、検査対象の表面の疵を検出する請求項１〜３のいずれか１項に記載の表面検査装置。
前記信号変換部は、前記ＲＧＢ信号を標準色に基づく補正情報を用いて変換した信号を、均等色空間の信号に変換する請求項１〜４のいずれか１項に記載の表面検査装置。