JP6922539B2 - 表面欠陥判定方法および表面欠陥検査装置 - Google Patents

Description

本発明は、例えば鋳物等の表面欠陥を精度よく検出することが可能な表面欠陥判定方法および表面欠陥検査装置に関するものである。

安価に同一形状の製品を大量に製造する方法として、鋳造が知られている。鋳造は、複雑な形状の製品を、比較的短時間に製造できる一方、鋳物表面に、鋳型不良による転写、差し込み、砂かみ等の、凹部や凸部の欠陥を生じる場合がある。

しかし、このような表面欠陥は、引け巣等の内部欠陥と異なり、発生部位の予測が困難である。特に、複雑形状の鋳物は、欠陥の判定が難しく、欠陥の判定は、多くの場合、作業者の目視判断に頼っていた。

これに対し、表面欠陥の検出を装置により行う方法が提案されている。例えば、複数の位置からワークを撮像し、各画像の部分輝度を比較することにより、ワーク表面の欠陥検出を行う方法が提案されている（特許文献１）。

特開２０１３−１９５３６８号公報

しかし、鋳物の表面は、正常な部分でも微小な凹凸があり、同一の性状にない。このため、欠陥の見逃しを防止しようと、わずかな特異点でも検出するような判定基準にすると、表面性状のばらつきを欠陥と判定してしまい、虚報率が高くなってしまう。特に、複雑形状の鋳物の場合、欠陥の見え方が発生位置に依存するので、判定基準を決めるのが難しく、精度のよい欠陥判定が困難であった。

一方、精度よく合否判定を行う手法として、例えば、機械学習による判定手法が知られている。機械学習の「教師あり学習」による判定手法は、あらかじめ合格と不合格の両方のデータを学習して判定基準を定めることにより、対象物の合否判定を行うものである。この手法によれば、複雑形状の鋳物であっても、精度よく欠陥判定ができると考えられる。

しかし、上記判定方法を、被検査物の表面欠陥の検出に適用しようとすると、被検査物の各部位について、欠陥と非欠陥の両方の学習サンプルを準備する必要があり、現実的では無い。また、一つの被検査物について大量の画像を取得し、各画像の各部位について機械学習による判定手法を行おうとすると、学習時間および判定時間が非常に長くなってしまう。

本発明は、このような問題に鑑みてなされたものであり、被検査物の表面欠陥の判定を、精度よく、かつ、効率よく行うことが可能な、表面欠陥判定方法および表面欠陥検査装置を提供することを目的とする。

前述した目的を達成するため、第１の発明は、照明と撮像角度との組み合わせを変えた複数の撮像条件により被検査物の表面を撮像して複数の画像を取得するステップＡと、前記複数の画像それぞれについて、前記被検査物の表面上の輝度異常部を検出して、輝度異常部の有無を判定するステップＢと、前記複数の画像それぞれを複数の局所領域に分割し、前記輝度異常部を含む複数の局所領域を抽出するステップＣと、前記輝度異常部を含む複数の局所領域それぞれについて、複数の第１の特徴量を抽出するステップＤと、前記第１の特徴量を基に、前記輝度異常部が欠陥起因の可能性を有するか否かを判定するステップＥと、前記ステップＥにより、前記被検査物の表面上における欠陥候補を取得するステップＦと前記欠陥候補について、前記第１の特徴量とは異なる複数の第２の特徴量を抽出するステップＧと、前記第２の特徴量を基に、前記欠陥候補が欠陥か虚報かを判定するステップＨと、を具備し、前記ステップＥの判定には、教師なし学習を用いた判定手法を用い、前記ステップＨの判定に、教師あり学習を用いた判定手法を用いることを特徴とする表面欠陥判定方法である。

前記第２の特徴量を、前記ステップＥで欠陥起因の可能性があると判定された前記輝度異常部からは抽出し、欠陥起因ではないと判定された前記輝度異常部からは抽出しないことが望ましい。

前記教師なし学習を用いた判定手法として、前記第１の特徴量から算出したマハラノビス距離を基に判定する手法を用い、前記第１の特徴量を、グレーレベル同時生起行列に基づいて算出してもよい。

前記ステップＣにおいて、前記複数の画像それぞれの視野に対し、前記被検査物の表面が所定以上の角度となる部位および所定以下の明度となる部位を除く領域について、局所領域に分割することが望ましい。

第１の発明によれば、複数の条件により撮像した複数の画像について、まず、各部位の局所ごとに、異なるパラメータにて設定された、複数の第１の特徴量を用いて、各部位の局所ごとに、欠陥起因の可能性を有する欠陥候補を抽出する。その後、部位による影響が小さい、複数の第２の特徴量を用いて、欠陥候補ごとに欠陥判定を行う。これにより、複雑形状の被検査物でも、精度よく欠陥判定を行うことができる。

そして判定には、非欠陥のサンプルの学習だけを行う「教師なし学習」による判定手法と、欠陥のサンプルと非欠陥のサンプルの両方の学習を行う「教師有り学習」による判定手法とを組み合わせる。このようにすることで、学習に必要となるサンプル数を増やすことなく、複雑形状の被検査物でも、より精度のよい欠陥判定を行うことができる。

特に、ステップＥでは、欠陥起因の可能性があると判定した輝度異常部だけから、複数の第２の特徴量を抽出する。このようにすることで、複数の第２の特徴量を、欠陥起因ではないと判定した輝度異常部から抽出してしまうことを避けることができ、検査に必要な処理時間等を短縮して、効率よく欠陥判定を行うことができる。

また、「教師なし学習」による判定手法では、複数の第１の特徴量から算出したマハラノビス距離を基に判定を行う。そして、複数の第１の特徴量は、グレーレベル同時生起行列に基づいて算出する。このようにすることで、例えば鋳肌表面の凹凸を表現するような複雑な特徴量を、１つの特徴量（マハラノビス距離）で表すことができ、欠陥判定を精度よく、より簡単に行うことができる。

また、複数の画像は、それぞれの画像視野にて、被検査物の表面が所定以上の角度となる部位、および、所定以下の明度となる部位を除いて、局所領域に分割する。このようにすることで、輝度異常部を精度よく検出できる部位から欠陥候補を抽出できるので、欠陥判定を精度よく行うことができるとともに、検査に必要な処理時間等を短縮して、欠陥判定を効率よく行うことができる。

第２の発明は、照明装置と、撮像装置と、被検査物を保持するステージと、前記照明装置、前記撮像装置および前記ステージを制御する制御装置と、を具備し、前記制御装置によって、前記照明装置、前記撮像装置および前記ステージを動作させて、照明と撮像角度との組み合わせを変えた複数の撮像条件により被検査物の表面を撮像する画像取得手段と、前記画像取得手段によって得られた複数の画像それぞれについて、前記被検査物の表面上の輝度異常部を検出する輝度異常部検出手段と、前記複数の画像それぞれを複数の局所領域に分割し、前記輝度異常部を含む局所領域を抽出する局所領域抽出手段と、前記輝度異常部を含む局所領域それぞれについて、複数の第１の特徴量を抽出する第１特徴量取得手段と、教師なし学習を用いた判定手法を用いて、前記第１の特徴量を基に、前記輝度異常部が欠陥起因の可能性を有するか否かを判定する第１判定手段と、前記第１判定手段により、前記被検査物の表面上における欠陥候補を取得する欠陥候補取得手段と、前記欠陥候補取得手段により得られたそれぞれの欠陥候補について、前記第１の特徴量とは異なる複数の第２の特徴量を抽出する第２特徴量取得手段と、教師あり学習を用いた判定手法を用いて、前記第２の特徴量を基に、前記欠陥候補が欠陥か虚報かを判定する第２判定手段と、を具備することを特徴とする表面欠陥検査装置である。

第２の発明によれば、複雑形状の鋳物表面であっても、欠陥判定を精度よく行うことが可能な装置にすることができる。

本発明によれば、被検査物の表面欠陥の判定を、精度よく、かつ、効率よく行うことが可能な、表面欠陥判定方法および表面欠陥検査装置を提供することができる。

表面欠陥検査装置１の全体概略図。 表面欠陥検査装置１による表面欠陥検査のフローチャート。 表面欠陥検査装置１による表面欠陥検査のフローチャート。 撮像画像３０の概念図。 処理画像３０ａの概念図。 局所領域３３の概念図。 （ａ）、（ｂ）は、輝度異常部３１ａ、３１ｂの概念図。

以下、本発明の表面欠陥検査装置１について説明する。図１は、表面欠陥検査装置１の全体概略図である。表面欠陥検査装置１は、主に、照明装置３、撮像装置５、ステージ７およびこれらを制御する制御装置１０等を備えている。なお、配線等については図示を省略する。表面欠陥検査装置１は、被検査物９として、例えば、タービンホイール等の複雑形状の鋳物表面の欠陥を検出する装置である。

照明装置３は、例えばキセノン管によるストロボである。複数の照明装置３は、互いに位置および照射方向が異なり、それぞれ、ステージ７上の被検査物９に向けて光を照射できるようにしている。すなわち、それぞれの照明装置３によって、被検査物９にあらゆる方向（例えば、後述する被検査物９の中心軸に対して、複数の周方向位置および仰俯角）から光を照射できるようにしている。

なお、各照明装置３から被検査物９への光の照射条件を一定とするため、表面欠陥検査装置１は、外部からの光が被検査物９へ当たらないように、遮光することが望ましい。すなわち、被検査物９には、照明装置３からの光だけを照射することが望ましい。

撮像装置５は、例えばデジタルカメラであり、それぞれ撮像方向を異なる方向に向けている。図示の装置では、撮像装置５を、同一の鉛直線上に、水平方向に対してそれぞれ異なる仰俯角で設置していて、図示を省略したレンズを介して、それぞれ異なる方向からステージ７上の被検査物９を撮像できるようにしている。なお、撮像装置５および照明装置３の台数および配置は、図示の例だけでなく、例えば、３台の撮像装置５および９台の照明装置３を用いて、それらの組合せの２７通りの条件で被検査物９を撮像してもよい。

ステージ７は、被検査物９を保持し、鉛直方向を回転軸として任意の角度に回転できるようにしている。これにより、被検査物９の全周を撮像装置５に向けることができるので、被検査物９の全周を撮像装置５によりあらゆる方向から撮像することができる。

ここで、被検査物９が一軸対称形状（中心軸を回転軸として、所定の角度だけ回転させると、見た目上同一の形態となる形状）である場合、ステージ７の回転軸と被検査物９の中心軸とを一致させて、被検査物９をステージ７に固定することが好ましい。このようにすることで、被検査物９を効率よく撮像できる撮像装置５および照明装置３の配置にすることができる。

照明装置３、撮像装置５、ステージ７は、図示を省略した配線により、制御装置１０と接続している。制御装置１０は、例えばコンピュータであり、各種条件の設定や処理の開始等の指示を入力するキーボードやタッチパネル等の入力部と、事前に各部の動作や合否判定基準等が記憶されたメモリ、ＨＤＤ、ＳＳＤ等の記憶部と、あらかじめ入力されたプログラムに基づいて各種の演算や処理を行うＣＰＵ等の演算・処理部等を有している。また、制御装置１０は、通信制御部により撮像装置５から画像を取得できるとともに、取得した画像や検査結果を記憶部に記憶することもできる。また、制御装置１０は、検査結果等をディスプレイやプリンタ、またはスピーカやライト等の出力部に出力することができる。

より具体的には、制御装置１０の演算・処理部は、ステージ７を所定の角度に回転して停止し、照明装置３を順次個別に発光させる。そして、制御装置１０の演算・処理部は、それぞれの照明装置３の発光と同期して、被検査物９を撮像装置５により各方向から撮像する。さらに、制御装置１０は、照明装置３の発光と撮像とが終了すると、ステージ７を所定の角度に回転することができる。これを、被検査物９の全周について繰り返し行うことにより、各種撮像条件による複数の画像を撮像することができる。

なお、前述したように、被検査物９が、例えば、タービンホイールのように、中心軸に対して、所定角度毎に、見た目上、同一の形態になる場合には、ステージ７の一回の回転角度を、被検査物９の形状に応じて設定する。このようにすることで、例えば、フィンが９枚のタービンホイールでは、それぞれのフィンが正面に来る位置で、見た目上、全て同一の形態の画像を撮像することができる。

このような場合、例えば、ステージ７を２０度毎回転させることで、全フィンについて、フィンが正面の視野と、フィン間が正面の視野を撮像することができる。すなわち、被検査物９が、タービンホイールのように周方向に同一形状が繰り返される形状の場合には、当該繰り返し角度またはその半角をステージ７の一回の回転角度に設定する。このようにすることで、画像形態の種類を少なくして、欠陥判定に用いる画像の数を少なくすることができる。

次に、被検査物９の表面欠陥判定方法について説明する。図２、図３は、表面欠陥検査装置１により被検査物９の合否判定をする、表面欠陥判定方法のフローチャートである。まず、被検査物９をステージ７に固定する。この際、被検査物９の中心軸とステージ７の回転軸とを合わせて、被検査物９の向きを所定の向きに合わせる。

次に、制御装置１０により、各照明装置３を順次個別に発光させて、被検査物９に対して各方面から光を照射する。また、同時に、制御装置１０の演算・処理部（画像取得手段を含む）により、それぞれの照明装置３を発光させ、各撮像装置５により、それぞれの方向から被検査物９を撮像する。前述したように、９台の照明装置３と３台の撮像装置５を用いることにより、ステージ７の一つの回転位置において、撮像条件の異なる２７枚の画像を取得することができる。

そして、制御装置１０により、ステージ７を所定の角度回転させるたびに、同一の撮像動作を繰り返す。例えば、ステージ７を２０度ずつ回転させることにより、１８回転位置×２７枚で４８６枚の画像を取得する。このように、照明方向と撮像角度とを組み合わせた複数の撮像条件により、被検査物９の表面を複数の方向から撮像し、複数の画像を取得する（ステップ１０１）。

次に、制御装置１０の演算・処理部（輝度異常部検出手段を含む）により、ステップ１０１で取得した複数の画像を基に、被検査物９表面の輝度異常部を検出する（ステップ１０２）。輝度異常部は、例えば、取得した画像に所定の処理を行ったものを、基準画像（健全な面性状の画像）と比較することにより検出することができる。これは、被検査物９の表面に欠陥があれば、被検査物９の当該部位に特有な影や光の反射が生じ、画像上における当該部位の輝度が、基準画像上における当該部位の輝度と異なることを利用して検出するもので、制御装置１０の演算・処理部は、当該輝度の異なる部位を輝度異常部として検出する。

なお、前述した例のように、各撮像装置５により、被検査物９のフィンの正面位置とフィン間位置の２通りの形態（視野）の画像を取得する場合、３台の撮像装置５によれば、６通りの形態（視野）の画像を取得することができる。そして、各撮像に９台の照明装置を用いれば、それぞれの照明条件によって表面の輝度分布が異なる画像を取得することができる。すなわち、正面位置、撮像角度、照明角度がそれぞれ異なる２×３×９＝５４通りの画像を取得し、これらを判定に用いることができる。

また、輝度異常部の判定は、制御装置１０の記憶部に、基準画像に所定の画像処理（例えばコントラスト調整や二値化処理等）を行った基準処理画像を記憶しておき、制御装置１０の演算・処理部により、ステップ１０１で得た画像にも同様の画像処理を施し、必要に応じて記憶部に保存するとともに、対応する基準処理画像（同一の回転位置、撮像角度、照明角度の基準画像）と比較し、両者に所定以上の差が生じた部位を、輝度異常部と判定することもできる。なお、ステップ１０２における輝度異常部の検出は、上述の方法以外にも、公知の表面異常部の検出手法を適用することができる。

なお、本実施形態において輝度異常部を検出する場合、基準画像との微小な差を検出できるような「厳しめな」判定基準とする。例えば、事前に複数の不合格製品を用いて判定を行い、全ての欠陥を確実に輝度異常部として検出できるような判定基準にする。このようにすることで、ステップ１０２での欠陥の見落しを抑制することができ、欠陥検出を精度よく行うことができる。

なお、ステップ１０２において、欠陥見逃し率を０％に近づけようとすると、鋳物特有の表面性状のばらつき等も、輝度異常部として検出さしてしまうので、虚報率が高くなる。しかし、本発明では、以降のステップにより、輝度異常部が本当の欠陥であるか否かを判定するので、ステップ１０２では、虚報率がある程度高くなってもよいこととする。

次のステップ１０３では、ステップ１０２の検出結果に基づき、被検査物９を全画像について輝度異常部が発見されたか否かを判定する。そして、被検査物８の全画像について輝度異常部が発見されなかった場合には、ステップＡに進み、被検査物９を合格とする。

一方、ステップ１０２の検出結果に基づき、被検査物９のある画像から輝度異常部を検出した場合には、ステップＢに進み、制御装置１０の演算・処理部（局所領域抽出手段を含む）により、ステップ１０１で得た複数の画像を複数の局所領域に分割し、輝度異常部を含む複数の局所領域を抽出する（ステップ１０４）。

図４は、ステップ１０１で得た画像の一例（概念図）であり、輝度異常部３１ａ、３１ｂを検出した、撮像画像３０を示したものである。ステップ１０４では、撮像画像３０のような輝度異常部を含む画像を複数の局所領域に分割する。

図５は、撮像画像３０を局所領域３３に分割した処理画像３０ａ（概念図）である。局所領域３３のサイズは、想定される欠陥のサイズや、被検査物９のサイズにより設定する。例えば、鋳物の表面欠陥を検出する場合には、概ね１ｍｍ角程度の局所領域３３に分割するのが望ましい。

ここで、局所領域３３は、複数の画像中の被検査物９全体を分割するように設定してもよいが、画像ごとに局所領域３３に分割する部位を限定してもよい。例えば、複数の画像それぞれの視野について、被検査物９の表面が所定以上の角度となる部位、および、明度が所定以下となる部位等を除く領域だけを、局所領域３３に分割してもよい。

例えば、輝度異常部は、被検査物９の表面が撮像装置５の撮像方向に対して略垂直であれば精度よく検出できるが、表面が撮像方向に平行に近づくにつれ検出精度は悪くなる。同様に、輝度異常部は、被検査物９の表面が照明装置３の影になって明度が低くなると検出精度は悪くなる。そこで、局所領域３３を、輝度異常部の検出精度が悪くなるような部位を除外するように分割することで、分割した局所領域３３については、精度よく輝度異常部を検出することができる。なお、ある撮像条件の画像において、上述の理由にて局所領域３３に分割されなかった被検査物９の当該部位は、他の撮像条件の画像で局所領域３３に分割されるようにする。すなわち、被検査物９の表面の全ての部位が、取得したある画像において、局所領域３３に分割されるようにする。このようにすることで、制御装置１０の演算・処理部は、前述した輝度異常部３１ａ、３１ｂを含む複数の局所領域３３を精度よく抽出することができる。なお、ステップ１０４では、輝度異常部３１ａ、３１ｂを含む複数の局所領域３３のそれぞれに、互いに区別可能な識別番号等を付し、以降のステップを識別番号順に処理できるようにしてもよい。

次に、制御装置１０の演算・処理部（第１特徴量取得手段を含む）は、輝度異常部３１ａまたは輝度異常部３１ｂを含む未判断の一つの局所領域３３に注目し（ステップ１０５）、輝度異常部３１ａまたは輝度異常部３１ｂを含む局所領域３３について、複数の第１の特徴量を抽出する（ステップ１０６）。例えば、識別番号の最も若い局所領域３３に注目して、複数の第１の特徴量を抽出する。ここで言う特徴量とは、対象となる部位の明るさや面積等といった対象の状態を説明するパラメータ値である。

ステップ１０６では、複数の第１の特徴量として、例えば、グレーレベル同時生起行列に基づいて算出した複数の特徴量を用いる。グレーレベル同時生起行列は、ある一定距離にあるピクセル間で、組合せのピクセル値の頻度を示す正方行列であり、行列から、エネルギー、相関、局所均質性、コントラスト等の複数の特徴量を算出できる。なお、グレーレベル同時生起行列は、テクスチャ解析手法の一つであり、対象部を模様として捉え、その模様の状態から複数の特徴量を算出することができる。

図６は、前述した輝度異常部３１ａを含む局所領域３３の概念図である。局所領域３３は、当該部位の被検査物９の表面と輝度異常部３１ａとを含んでいる。そして、制御装置１０の演算・処理部は、全ての画像について、輝度異常部を含む局所領域３３ごとに、異なるパラメータにて設定された、複数の第１の特徴量を抽出する。この際、局所領域３３には、例えば、平滑化画像による除算等による正規化等の前処理を行い、輝度異常部を認識しやすくする。

次に、制御装置１０の演算・処理部（第１判定手段を含む）により、各輝度異常部について、欠陥起因の可能性について判定を行う（ステップ１０７）。ここで、ステップ１０７の判定には機械学習を用いる。すなわち、機械学習により判定基準を作成し、その判定基準に基づいて各輝度異常部が欠陥起因か否かの判定をする。

なお、上記判定のための学習は、全ての画像の全ての局所領域３３について行う必要がある。例えば、前述したように、５４通りの基準画像それぞれを、２００カ所の局所領域３３に分割した場合には、５４×２００＝１０８００の局所領域３３について学習が必要であり、そのための学習サンプルが必要になる。

そこで、ステップ１０７における判定には、いわゆる「教師なし学習」による判定手法を用いる。「教師なし学習」では、非欠陥サンプルだけを学習すればよいので、「教師あり学習」のように、欠陥サンプルと非欠陥サンプルの両方を学習する必要がない。すなわち、上述した全ての局所領域について、複数の欠陥サンプルを準備する必要がないので、判定を効率よく行うことができる。

なお、ステップ１０７の判定には、例えば、前述した複数の第１の特徴量から算出したマハラノビス距離を基に判定する手法（ＭＴ法）や、１ｃｌａｓｓ−ＳＶＭ等を用いることができる。ここで、ＭＴ法は、複数の特徴量をマハラノビス距離という１つの値に集約して判定に用いる判定手法であり、マハラノビス距離が閾値より小さければ合格と判定し、閾値より大きければ不合格とする。マハラノビス距離は、複数の合格サンプルの複数の特徴量と、判定対象の複数の特徴量を用いて算出することができる。ステップ１０７では、あらかじめ制御装置１０の記憶部に、全ての局所領域３３の非欠陥サンプル、すなわち、正常な面の学習結果を記憶しておき、制御装置１０の演算・処理部により、抽出された各局所領域３３について、輝度異常部が欠陥起因の可能性を有するか否か、判定を行う。

制御装置１０の演算・処理部は、ステップ１０７において、輝度異常部が欠陥起因の可能性を有するか否かについて判定し、欠陥起因の可能性が無いと判定した場合には、ステップ１１２に進む。

一方、ステップ１０７において、輝度異常部が欠陥起因の可能性を有すると判定した場合には、制御装置１０の演算・処理部（欠陥候補取得手段を含む）は、当該輝度異常部を、被検査物９表面の欠陥候補として取得する（ステップ１０８）。

ここで、輝度異常部は、ステップ１０２において検出した際、あらかじめ複数の第１の特徴量により分類分けをしておき、分類分けした各輝度異常部と可能性のある欠陥種類情報とを関連付けしておいてもよい。例えば、輝度異常部を、サイズや形状等から、あらかじめ、単体凹部、凹部の集団、単体凸部、凸部の集団、異物等のように、可能性が疑われる欠陥に分類しておいてもよい。このようにすることで、ステップ１０８で取得された全ての欠陥候補と、可能性のある欠陥の種類情報とを関連付けすることができる。

次に、ステップ１０７において欠陥起因の可能性があると判定された輝度異常部、すなわち、欠陥候補について、制御装置１０の演算・処理部（第２特徴量取得手段を含む）により、複数の第２の特徴量を抽出する（ステップ１０９）。そして、ステップ１０７において欠陥起因の可能性はない、すなわち、欠陥ではないと判定した輝度異常部からは、複数の第２の特徴量を抽出しない。ここで、第２の特徴量は、第１の特徴量とは異なるものとし、例えば、欠陥候補の真円度、楕円（円）の長短比、最大径、最小径等といった、主に形状由来の特徴量とする。

図７（ａ）、図７（ｂ）は、欠陥候補である輝度異常部３１ａ、３１ｂを示す概念図である。ステップ１０９では、局所領域３３ごとに複数の第２の特徴量を抽出するのではなく、個々の欠陥候補ごとに複数の第２の特徴量を抽出する。ここで、複数の第２の特徴量を抽出するに当たっては、局所領域３３ごとに欠陥候補の見え方が異なる点は考慮せず、被検査物９の全体について同一の判断を行うようにする。すなわち、同一形態の欠陥候補で、部位によって多少見え方が異なる場合があっても、その影響は考慮しないようにする。

次に、制御装置１０の演算・処理部（第２判定手段を含む）により、それぞれの欠陥候補が、欠陥か否かを判定する（ステップ１１０）。なお、ステップ１０９、１１０では、欠陥候補ごとに関連付けした欠陥種類により、第２の特徴量の種類や判定基準を変えてもよい。

ステップ１１０において、欠陥候補を欠陥でないと判定した場合（ステップ１０７が虚報であったと判定した場合）には、ステップ１１２に進む。一方、ステップ１１０の判定で、欠陥候補が欠陥であると判定した場合には、対象の欠陥候補を欠陥と判断する（ステップ１１１）。

この際、ステップ１１１で対象の欠陥候補が欠陥であると判断した場合には、制御装置１０の出力部から、音や光を出力して作業者に報知してもよい。

次に、制御装置１０の演算・処理部により、全ての輝度異常部について、欠陥判定が完了したかどうかを判定する（ステップ１１２）。具体的には、ステップ１０４で輝度異常部を含むように分割された全ての局所領域３３について、ステップ１０６以降のステップを行ったかどうかを判定する。未判定の輝度異常部を含む局所領域３３がある場合には、ステップ１０５に戻り、順次、対象となる局所領域３３について欠陥判定を行う。判定は、ステップ１０４において、各局所領域３３に識別番号を付し、当該識別番号順に、局所領域３３について判定を行ってもよい。

なお、同一の輝度異常部３１ａを複数の画像にて抽出している場合には、抽出した全ての画像の局所領域３３について判定を行う。また、被検査物９の複数個所に輝度異常部が存在する場合には、すべての輝度異常部を含む全ての画像の局所領域３３について判定を行う。

全ての輝度異常部について、ステップ１０６以降の判定を行った後、制御装置１０の演算・処理部により、欠陥と判断した欠陥候補が被検査物９にあったか否かを判定する（ステップ１１３）。被検査物９の全ての欠陥候補を欠陥と判定しなかった場合には、被検査物９を合格とする。すなわち、ステップ１０３において、輝度異常部が一つも発見されなかった場合、あるいは、被検査物９に輝度異常部があっても、全ての輝度異常部が欠陥ではないと判定した場合には、被検査物９を合格とする。

一方、被検査物９の欠陥候補について、少なくとも一つを欠陥と判定した場合には、被検査物９を不合格と判定する。なお、本実施形態では、被検査物９の全ての輝度異常部についての欠陥判定が終了した後に、被検査物９の合否判定を行うが、例えば、輝度異常部の最初の一つを欠陥と判定した時点で、当該被検査物９を不合格と判定してもよい。すなわち、全ての輝度異常部ついての欠陥判定を待たずに、不合格の判定を行ってもよい。また、本実施形態では、一つの被検査物９について、輝度異常部を一つずつ順次判定したが、全ての輝度異常部について、同時にステップ１０６以降の工程を行ってもよい。

なお、制御装置１０は、被検査物９の合格および不合格とともに、どの位置に欠陥あるいは欠陥候補があったか等の検査結果を、記憶部に記憶させてもよい。また、不合格になった被検査物９は、さらに目視検査を行って、より確実に不合格品だけを抽出してもよい。

ここで、ステップ１１０の欠陥判定には、ステップ１０７と同様に、機械学習を用いる。すなわち、それぞれの欠陥候補が欠陥であるか否かについて、機械学習により判定基準を作成し、この判定基準に基づいて判定を行う。ステップ１１０の欠陥判定には、例えば、ＳＶＭやＤｅｅｐ Ｌｅａｒｎｉｎｇ等の判定手法を用いることができる。

また、ステップ１１０の欠陥判定には、いわゆる「教師あり学習」を用いた判定手法を用いる。「教師あり学習」は「教師なし学習」より精度よく判定できる反面、欠陥サンプルと非欠陥サンプルの両方を、判定結果と関連付けて学習させる必要があり、学習には非欠陥サンプルと欠陥サンプルの両方を準備する必要がある。

ステップ１１０の欠陥判定のための学習は、様々な形態の欠陥候補について行うが、全ての局所領域３３ごとには学習しない。すなわち、各部位ごとに欠陥サンプルを準備することはせず、欠陥形態ごとに欠陥サンプルを準備する。例えば、単体凹部の欠陥に用いる複数の欠陥サンプルとしては、それぞれ異なる位置に単体凹部の欠陥が発生したサンプルでよい。このように、複数の欠陥サンプルと非欠陥サンプルを用いて、単体凹部の欠陥判定の学習を、欠陥形態ごとに行う。

ここで、ステップ１１０の欠陥判定のための学習に用いる欠陥サンプルは、目視検査で欠陥が確認されたサンプルを種類ごとに分類したものを用いる。一方、ステップ１１０の欠陥判定のための学習に用いる非欠陥サンプルは、例えば、ステップ１０３と同基準の判定で、輝度異常部の無かった被検査物９を用いることもできるが、発明者らは、より精度の高い学習方法を見出した。

前述したように、ステップ１０３における輝度異常部の有無の判定は、全ての欠陥を確実に輝度異常部として検出できるような判定基準で行っている。このため、実際にステップ１０３で検出した複数の輝度異常部は、多くの非欠陥を含んでいる。同様に、ステップ１０７において、欠陥起因の可能性を有すると判定した欠陥候補も、多くの非欠陥を含んでいる。

そこで、本発明では、ステップ１１０の欠陥判定の学習に用いる非欠陥サンプルとして、ステップ１０７で欠陥候補になったが、目視検査で欠陥が確認されなかったものを用いる。すなわち、ステップ１０７で欠陥がではないとされないような明らかな非欠陥ではなく、画像において欠陥のように見えるが、目視検査の結果、実際には欠陥ではないものを、ステップ１１０の欠陥判定の学習に、非欠陥サンプルとして用いる。

このように、欠陥サンプルと非欠陥サンプルを選択することで、ステップ１１０における欠陥判定を精度よく行うことができる。言い換えれば、ステップ１１０において、非欠陥を欠陥と判定する虚報率を低減することができる。

以上のように、本実施形態の表面欠陥判定フローについて説明してきたが、本実施形態の機械学習に用いる欠陥、非欠陥のサンプルは、例えば、以下のように準備することができる。まず、所定の数量の被検査物９について全数目視検査を行い、合格と不合格に分ける。そして、目視判定により合格した被検査物９を、ステップ１０６の判定の学習に用いる非欠陥サンプルとする。

次に、所定の数量の被検査物９について、ステップ１０１からステップ１０７までを行い、ステップ１０７で欠陥候補を抽出した被検査物９について、全数目視検査を行い、合格と不合格の被検査物９に分ける。ここで合格した被検査物９をステップ１１０の判定の学習に用いる非欠陥サンプルとする。また、不合格の被検査物９は、欠陥の形態により分類し、ステップ１１０の判定の学習に用いる欠陥サンプルとする。以上のサンプルを用いることにより、表面欠陥検査装置１を用いた、被検査物９の合否検査を行うことができる。

以上、本実施形態によれば、例えば、タービンホイール等の複雑な形状の鋳物表面であっても、欠陥判定を精度よく、かつ、効率よく行うことができる。

特に、「教師なし学習」による判定と、「教師あり学習」による判定とを組み合わせることで、より精度よく判定を行うことができる。なお、本実施形態は、単に「教師なし学習」による判定と「教師あり学習」による判定とを組み合わせているのではなく、まず、各部位を分割した局所領域ごとについて輝度異常部の欠陥起因の可能性について「教師なし学習」による判定を行い、その結果、欠陥起因の可能性がある輝度異常部について「教師あり学習」により欠陥判定を行っている。このようにすることで、それぞれ全く異なる判定基準により欠陥を絞り込むので、欠陥判定をより精度よく行うことができる。

また、局所領域３３ごとに、輝度異常部が欠陥起因の可能性を有するか否か判定する際には、「教師なし学習」により判定を行うので、機械学習には、非欠陥サンプルだけを準備すればよく、局所領域３３ごとに欠陥サンプルを準備する必要がない。また、局所領域３３ごとに、部位による欠陥の見え方の違いも考慮しつつ、輝度異常部が欠陥の可能性を有するか否かを判定するため、部位ごとの形態等に応じた判定を行うことができる。

また、抽出した欠陥候補は、欠陥候補ごとに「教師あり学習」により判定を行うので、精度よく判定を行うことができる。この際、欠陥形態ごとに教師あり学習を行うことにより、判定を行うための学習に、欠陥位置ごとに、欠陥サンプルと非欠陥サンプルの両方を準備する必要はない。

また、欠陥候補ごとに行う「教師あり学習」による判定は、局所領域３３ごとに行われた「教師なし学習」による判定によって、欠陥起因の可能性がある判定したものに対してだけ行う。このようにすることで、不要な部位について、複数の第２の特徴量の抽出やこれを用いた演算・処理等を行う必要がなくなるので、短時間にして効率よく欠陥判定を行うことができる。

また、複数の画像は、それぞれの画像視野にて、被検査物９表面全体を局所領域３３に分割するのではなく、撮像装置５の撮像方向に垂直な面を基準として、被検査物９の表面が所定以上の角度となる部位、および、所定以下の明度となる部位を除いて、局所領域３３に分割する。このようにすることで、輝度異常部を精度よく検出できない部位について、輝度異常部の判定をしなくて済み、欠陥判定を精度よく行うことができる。

異なる検査手法により、所定数の同一の被検査物について表面検査を行い、表面欠陥の検査精度を比較した。条件および結果を表１に示す。

手法１は、画像処理だけで欠陥判定を行った結果であり、処理画像の輝度異常部について、特徴量を閾値判断して欠陥判定したものである。すなわち、前述した実施形態において、ステップ１０１〜１０３だけを行ったものである。

手法２は、手法１で欠陥と判定したものについて、さらに、「教師なし学習」であるＭＴ法により、追加的に欠陥判定を行った結果である。すなわち、前述した実施形態において、ステップ１０１〜１０７だけを行ったものである。

手法３は、手法１で欠陥と判定したものについて、さらに、「教師あり学習」であるＳＶＭにより、追加的に欠陥判定を行った結果である。すなわち、前述した実施形態において、ステップ１０１〜１１１において、ステップ１０５〜ステップ１０７を飛ばして検査を行ったものである。

手法４は、手法１で欠陥と判定したものについて、さらに、「教師なし学習」であるＭＴ法、および、「教師あり学習」であるＳＶＭにより、追加的に欠陥判定を行った結果である。すなわち、前述した実施形態において、ステップ１０１〜１１１の全てについて検査を行ったものである。

なお、見逃し率は、各手法で合格と判断されたものの内、目視検査で不合格としたもの（実際の不合格製品数／各手法で合格と判定した製品数）である。また、虚報率は、不合格と判断したものの内、目視検査で合格としたものである（実際の合格製品数／各手法で不合格と判定した製品数）。なお、見逃し率および虚報率は、あくまでも被検査物の個数による計算のため、発見された欠陥ごとに適否を判断するものではない。例えば、目視検査で実際に合格となるべき被検査物に、５つの欠陥候補（実際には欠陥ではないもの）が含まれている場合であって、ある手法によれば、その内の４つの欠陥候補が欠陥ではないと正しく判定したとしても、残りの１つの欠陥候補を誤って欠陥起因であるとして判断して不合格であるとすれば、その被検査物に対しては、虚報であると判断される。

結果より、機械学習による判定を行わない手法１では、虚報率が４８％と極めて高い結果となった。これは、見逃し率を０にするために、わずかな輝度の違いを輝度異常部と判定したためである。

一方、本実施形態の「教師なし学習」によるＭＴ法を用いた手法２は、手法１に対して虚報率が低減した。なお、手法１だけの場合と比較して、虚報率の低下はわずか３％であるが、前述したように、これは手法１で検出された全ての輝度異常部の内、３％を合格であると判断したというものではない。あくまでも検査体の個数によるものである。このため、実際に手法１で検出された全ての輝度異常部の内、より多くの数の輝度異常部を非欠陥と判定しているものと考えられる。

同様に、本実施形態の「教師あり学習」によるＳＶＭを用いた手法３も、手法１に対して虚報率が低減した。手法２の場合と比較して、より虚報率の低下が大きいのは、「教師あり学習」によって、欠陥判定の精度がよくなったためと考えられる。

これに対し、「教師なし学習」によるＭＴ法による絞り込みと、「教師あり学習」によるＳＶＭを併用した手法４は、手法１に対して虚報率は大きく低減した。本実施形態のように、局所領域ごとのＭＴ法による判定と、欠陥候補ごとのＳＶＭとを組み合わせることで、両者の欠点を互いに補いあい、より精度のよい検査手法となることが分かった。

以上、添付図を参照しながら、本発明の実施の形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………表面欠陥検査装置
３………照明装置
５………撮像装置
７………ステージ
９………被検査物
１０………制御装置
３０………撮像画像
３０ａ………処理画像
３１ａ、３１ｂ………輝度異常部
３３………局所領域

Claims (5)

1. 照明と撮像角度との組み合わせを変えた複数の撮像条件により被検査物の表面を撮像して複数の画像を取得するステップＡと、
   前記複数の画像それぞれについて、前記被検査物の表面上の輝度異常部を検出して、輝度異常部の有無を判定するステップＢと、
   前記複数の画像それぞれを複数の局所領域に分割し、前記輝度異常部を含む局所領域を抽出するステップＣと、
   前記輝度異常部を含む局所領域について、複数の第１の特徴量を抽出するステップＤと、
   前記第１の特徴量を基に、前記輝度異常部が欠陥起因の可能性を有するか否かを判定するステップＥと、
   前記ステップＥにより、前記被検査物の表面上における欠陥候補を取得するステップＦと、
   前記欠陥候補について、前記第１の特徴量とは異なる複数の第２の特徴量を抽出するステップＧと、
   前記第２の特徴量を基に、前記欠陥候補が欠陥か虚報かを判定するステップＨと、
   を具備し、
   前記ステップＥの判定には、教師なし学習を用いた判定手法を用い、前記ステップＨの判定に、教師あり学習を用いた判定手法を用いることを特徴とする表面欠陥判定方法。
2. 前記第２の特徴量を、前記ステップＥで欠陥起因の可能性があると判定された前記輝度異常部からは抽出し、欠陥起因ではないと判定された前記輝度異常部からは抽出しないことを特徴とする請求項１に記載の表面欠陥判定方法。
3. 前記教師なし学習を用いた判定手法として、前記第１の特徴量から算出したマハラノビス距離を基に判定する手法を用い、
   前記第１の特徴量を、グレーレベル同時生起行列に基づいて算出することを特徴とする請求項１または請求項２に記載の表面欠陥判定方法。
4. 前記ステップＣにおいて、前記複数の画像それぞれの視野に対し、前記被検査物の表面が所定以上の角度となる部位および所定以下の明度となる部位を除く領域について、局所領域に分割することを特徴とする請求項１から請求項３のいずれかに記載の表面欠陥判定方法。
5. 照明装置と、撮像装置と、被検査物を保持するステージと、前記照明装置、前記撮像装置および前記ステージを制御する制御装置と、
   を具備し、
   前記制御装置によって、前記照明装置、前記撮像装置および前記ステージを動作させて、照明と撮像角度との組み合わせを変えた複数の撮像条件により被検査物の表面を撮像する画像取得手段と、
   前記画像取得手段によって得られた複数の画像それぞれについて、前記被検査物の表面上の輝度異常部を検出して、輝度異常部の有無を判定する輝度異常部検出手段と、
   前記複数の画像それぞれを複数の局所領域に分割し、前記輝度異常部を含む局所領域を抽出する局所領域抽出手段と、
   前記輝度異常部を含む局所領域それぞれについて、複数の第１の特徴量を抽出する第１特徴量取得手段と、
   教師なし学習を用いた判定手法を用いて、前記第１の特徴量を基に、前記輝度異常部が欠陥起因の可能性を有するか否かを判定する第１判定手段と、
   前記第１判定手段により、前記被検査物の表面上における欠陥候補を取得する欠陥候補取得手段と、
   前記欠陥候補取得手段により得られたそれぞれの欠陥候補について、前記第１の特徴量とは異なる複数の第２の特徴量を抽出する第２特徴量取得手段と、
   教師あり学習を用いた判定手法を用いて、前記第２の特徴量を基に、前記欠陥候補が欠陥か虚報かを判定する第２判定手段と、
   を具備することを特徴とする表面欠陥検査装置。

Images