JP7357203B2 - 表面性状検出方法及び表面性状検出装置 - Google Patents

Description

本開示は、検査対象物の表面性状検出方法及び表面性状検出装置に関するものである。

従来の検査対象物表面の自動検査技術として、特許文献１には、撮像装置と照明と検査対象物の相対的な位置関係を変化させながら照明の正反射光が入射する位置を特定することにより、検査対象物の面方向を計測する方法が示されている。このものでは、建材などの検査対象物表面に線状の出光部を映りこませた状態で検査対象物を等速で搬送しながら撮像装置で撮影し、検査対象物表面の同一位置での撮像輝度が最大となる位置、すなわち対象物表面で正反射した照明光の成分が最大となる位置を割り出し、撮像装置と照明と検査対象物の相対位置から求められる照明光の入射角と反射角をもとに面方向を推定することで表面の凹凸を計測する。

この場合、検査対象物表面に映りこんだ照明像を画像処理で分析するために、表面に光沢のある検査対象物、たとえば金属素材、光沢のある塗装や化粧シート貼りの建材等には適用できる。しかし、表面に光沢のない検査対象物、たとえば無塗装の木材やＭＤＦ（Medium Density Fiber）材、光沢のない塗装や化粧シート貼りの建材では、検査対象物表面に照明が映りこまないので適用しにくく、光沢等の検査対象物の表面の性状を検出しにくいものであった。

特許第３３１２８４９号公報

本開示は上記問題に鑑みてなされたもので、検査対象物の表面性状を精度よく検出しやすい表面性状検出方法及び表面性状検出装置を提供することを課題とする。

本開示の一形態に係る表面性状検出方法は、照明ステップと、撮像ステップと、関係曲線導出ステップと、二次曲線近似ステップと、表面性状検出ステップと、を備える。前記照明ステップは、検査対象物を照明装置により照明し、前記検査対象物の表面の一部の領域が前記照明装置から所定の入射角度でかつ前記入射角度が連続的又は断続的に変化するように照明されるステップである。前記撮像ステップは、前記領域を撮像装置により連続的又は断続的に撮像して、異なる前記入射角度で照明された前記領域を撮像した複数の画像を得るステップである。前記関係曲線導出ステップは、前記画像の前記領域における輝度と当該画像の撮像時の前記入射角度又は前記領域の位置との対応関係を前記複数の画像について得て前記輝度と前記入射角度又は前記領域の位置との関係曲線を得るステップである。前記二次曲線近似ステップは、前記関係曲線を前記入射角度又は前記領域の位置の所定の二次関数により表現される二次曲線に近似するステップである。前記表面性状検出ステップは、前記所定の二次関数の二次の項の係数、一次の項の係数又は定数項のうちの少なくとも一個を用いて、前記領域の表面性状を検出するステップである。

また、本開示の一形態に係る、前記表面性状検出方法に用いられる表面性状検出装置は、前記照明装置と、前記撮像装置と、関係曲線導出処理装置と、二次曲線近似処理装置と、表面性状検出処理装置と、を備える。前記関係曲線導出処理装置は、前記関係曲線導出ステップを実行する。前記二次曲線近似処理装置は、前記二次曲線近似ステップを実行する。前記表面性状検出処理装置は、前記表面性状検出ステップを実行する。

本開示の一形態に係る表面性状検出方法及び表面性状検出装置にあっては、検査対象物の表面性状を精度よく検出しやすい。

図１は、本開示の一実施形態に係る表面性状検出装置の概略構成を示す斜視図である。 図２Ａは、同上の表面性状検出装置の制御系のブロック図である。図２Ｂは、同上の表面性状検出装置で用いられるニューラルネットワークの概念図である。 図３Ａは、同上の表面性状検出装置において撮像装置による検査対象物の撮像を説明する断面図である。図３Ｂは、同上の表面性状検出装置において図３Ａに示す状態で撮像して得られた画像である。 図４Ａは、同上の表面性状検出装置において撮像装置による検査対象物の撮像を説明する断面図である。図４Ｂは、同上の表面性状検出装置において図４Ａに示す状態で撮像して得られた画像である。 図５Ａは、同上の表面性状検出装置において撮像装置による検査対象物の撮像を説明する断面図である。図５Ｂは、同上の表面性状検出装置において図５Ａに示す状態で撮像して得られた画像である。 図６は、同上の表面性状検出方法における二次曲線のグラフである。 図７は、同上の二次曲線の導関数のグラフである。 図８は、同上の表面性状検出方法における検査対象物の表面の面方向を表した画像である。 図９は、同上の表面性状検出方法における検査対象物の表面の光沢を表した画像である。 図１０は、同上の表面性状検出方法における検査対象物の表面の反射率を表した画像である。 図１１は、同上の表面性状検出方法における検査対象物の表面の面方向を表した画像である。 図１２は、同上の表面性状検出方法における検査対象物の表面の面方向について処理した画像である。 図１３Ａ～Ｄは、図１１の一部の拡大画像である。 図１４は、同上の表面性状検出方法における尤度分布を示す図である。 図１５Ａ～Ｄは、図１１の一部の拡大画像である。 図１６Ａ、図１６Ｃ、図１６Ｅ及び図１６Ｇは、同上の表面性状検出方法における検査対象物の表面の面方向を表した画像である。図１６Ｂ、図１６Ｄ、図１６Ｆ及び図１６Ｈは、同上の表面性状検出方法における検査対象物の表面の光沢を表した画像である。 図１７Ａ、図１７Ｃ、図１７Ｅ及び図１７Ｇは、欠陥候補部の周囲およそ４０ｍｍ四方に相当する画像である。図１７Ｂ、図１７Ｄ、図１７Ｆ及び図１７Ｈは、欠陥候補部の中央のおよそ１０ｍｍ四方に相当する拡大画像である。 図１８Ａ、図１８Ｄ及び図１８Ｇは、領域の面方向を表す画像である。図１８Ｂ、図１８Ｅ及び図１８Ｈは、領域の光沢を表す画像である。図１８Ｃ、図１８Ｆ及び図１８Ｉは、領域の輝度を表す画像である。 図１９Ａ及び図１９Ｂは、滑らかに光沢が変化する風合いの加工が施されメープル調のシートの画像である。図１９Ｃ及び図１９Ｄは、高光沢で細かい掻き傷状のシボ目が形成されているソフトオーク調のシートの画像である。

本開示は、表面性状検出方法及び表面性状検出装置に関し、さらに詳しくは、照明装置より照明される検査対象物を撮像装置により撮像して得られた画像より、検査対象物の表面性状を検出する方法及びその装置に関するものである。

以下、本開示に係る表面性状検出方法及び表面性状検出装置の一実施形態について、図１～図１９に基いて説明する。

まず、検査対象物９について説明する。本実施形態では、検査対象物９は、建材であり、更に詳しくは、ドア用の化粧板である。検査対象物９としてのドア用の化粧板は、厚さ２．６ｍｍのＭＤＦ（Medium Density Fiberboard）の表面に、オレフィン製加飾シートをウレタン系反応型ホットメルト（Poly Urethane Reactive Hot Melt）接着剤を用いたプレス加工により貼り合わせたものである。

次に、表面性状検出装置１について説明する。図１に示すように、表面性状検出装置１は、照明装置１２と、撮像装置１１と、を備える。

撮像装置１１は、レンズと、平面形状の撮像面を有しレンズにより撮像面に結像した像を電気信号（画像信号）に変換する（つまり撮像する）撮像素子とを有する、いわゆる周知のデジタルカメラである。レンズは例えば両面凸レンズである。撮像素子としては、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの周知のイメージセンサを用いることができる。また、撮像装置１１はいわゆるエリアセンサカメラであって、撮像素子において画素は二次元的に配列されている。

照明装置１２は、検査対象物９を照明する。照明装置１２は、全体として線状の光源を有し、光源は、撮像装置１１に対する検査対象物９の相対的な移動方向９１と表面９０（撮像面）の法線方向９２とに直交する方向９３に長手方向を向けている。ここで、「線状」とは、長手方向の長さが短手方向の長さと比べて長い（比率でいうと例えば１０倍以上が好ましい）ことをいうものであり、幅は０でなくてもよい。また、照明装置１２は、例えば撮像装置１１と共通の台座（図示せず）に対して固定されることで、撮像装置１１に対する相対的な位置を固定されている。照明装置１２の光源としては、例えば、直線状に配列された複数個の発光ダイオードを備える発光ダイオードアレイを用いることができる。照明装置１２は、撮像装置１１の画角から外れた位置に配置され、光源から直接撮像装置１１に向けて出光されないようになっている。

照明装置１２は、できるだけ線光源に近く（つまり、発光部の長手方向に直交する幅がなるべく細く、発光体が直線状に配列されており）、かつ、輝度ができるだけ高いことが望ましい。例えば、照明装置１２として上記のような発光ダイオードアレイが用いられる場合、できるだけ輝度が高く且つ小さい発光ダイオードが、できるだけ短い間隔で配置されていることが望ましい。

図２Ａに示すように、表面性状検出装置１は、搬送装置１３を備える。搬送装置１３としては、例えば、検査対象物９が載置される周知のベルトコンベアや可動ステージを用いることができる。または、搬送装置１３は、検査対象物９を移動させる代わりに、撮像装置１１と照明装置１２とを移動させるロボットアーム等であってもよい。

また、本実施形態は、撮像装置１１が出力した画像のデータを処理する画像処理装置１４を備える。図２Ａでは画像処理装置１４は撮像装置１１と分離して配置されているが、撮像装置１１と一体的に設けられてもよい。

撮像装置１１が出力した画像のデータは、ＣａｍｅｒａＬｉｎｋ、ＵＳＢ（登録商標）、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の通信インターフェースを介して画像処理装置１４に送信される。画像処理装置１４は、通信インターフェースを介して送られてきた画像のデータを、画像処理装置１４自体が内蔵するメモリまたはストレージ上に蓄積するとともに、同じく内蔵する演算装置により、蓄積された画像に対して任意の処理を実行できる機能を有する。

画像処理装置１４は、撮像装置１１と照明装置１２とに対する検査対象物９の相対的な位置が異なる複数のタイミングでそれぞれ撮像装置１１から画像を取得する。画像処理装置１４は、得られた複数枚の画像の画素値の２値化や連結領域の抽出といった周知技術を用いることができ、上記のような画像処理装置１４は例えばＦＰＧＡ（field-programmable gate array）を用いて周知技術で実現することができる。

表面性状検出装置１は、制御装置１５を備える。制御装置１５は、例えばマイクロコンピュータを有し、ＲＯＭ（Read Only Memory）等の記憶部に記憶されたプログラムを実行することで、各要素の動作を制御する。このような制御装置１５としては、公知の様々なものが適宜利用可能であり、詳細な説明は省略する。制御装置１５は、撮像装置１１、照明装置１２、搬送装置１３及び画像処理装置１４を制御する。

以下に、表面性状検出装置１による検査対象物９の表面性状検出方法について説明する。検査対象物９の表面性状としては、例えば、光沢、反射率、色調又は面方向（面の法線方向）が挙げられるが、これらに限定されない。

表面性状検出方法は、照明ステップと、撮像ステップと、関係曲線導出ステップと、二次曲線近似ステップと、表面性状検出ステップと、を備える。

照明ステップは、検査対象物９を照明装置１２により照明し、検査対象物９の表面９０の一部の領域（例えば後述する領域９５～９７）が照明装置１２から所定の入射角度でかつ入射角度が連続的又は断続的に変化するように照明されるステップである。照明装置１２、搬送装置１３及び制御装置１５が、照明ステップを実行する照明ステップ処理装置を構成する。

撮像ステップは、検査対象物９の一部の領域を撮像装置１１により連続的又は断続的に撮像して、異なる入射角度で照明された領域を撮像した複数の画像２を得るステップである。撮像装置１１、画像処理装置１４及び制御装置１５が、撮像ステップを実行する撮像ステップ処理装置を構成する。

照明ステップと撮像ステップは、一部又は全部が時間的に重複する。照明ステップ及び撮像ステップについて説明する。

図３Ａに示すように、検査対象物９の撮像面（表面９０）の一部に、概ね円錐状をした凸部９４が形成されている。この凸部９４の移動方向９１の下流側（図３Ａにおける左側）の斜面（表面６０）の一部の領域９５に注目する。領域９５の移動方向９１に沿う方向における位置をｘとする。また、領域９５の面方向をδ１とする。図３Ａは、照明装置１２より所定の入射角度で領域９５に入射された光が領域９５で正反射して、撮像装置１１に入射される状態を示す。図３Ａに示す状態で撮像装置１１により撮像された画像２を図３Ｂに示す。図３Ｂ中の符号２１は、画像２における凸部９４に対応する部分を示し、符号２２は、画像２において表面９０で反射した照明装置１２（光源）の像を示す。

図３Ａに示す状態において、領域９５は位置ｘ１に位置している。領域９５は位置ｘ１に位置している時、領域９５における入射角度と反射角度は等しく、撮像装置１１で撮像される画像２の領域９５に対応する部分の輝度は最大となる。撮像装置１１で撮像される画像２の領域９５に対応する部分の輝度は、領域９５の位置ｘにより異なる。すなわち、撮像装置１１で撮像される画像２の領域９５に対応する部分の輝度は、領域９５の位置ｘの関数となる。また、照明装置１２からの光の領域９５への入射角度は、領域９５の位置ｘと一対一に対応することから、撮像装置１１で撮像される画像２の領域９５に対応する部分の輝度は、照明装置１２からの光の領域９５への入射角度の関数としても成立する。

同様に、図４Ａに示す状態において、凸部９４の頂点となる領域９６は位置ｘ２に位置している。領域９６は位置ｘ２に位置している時、領域９６における入射角度と反射角度は等しく、撮像装置１１で撮像される画像２の領域９６に対応する部分の輝度は最大となる。図４Ａに示す状態で撮像装置１１により撮像された画像２を図４Ｂに示す。撮像装置１１で撮像される画像２の領域９６に対応する部分の輝度は、領域９６の位置ｘ（又は照明装置１２からの光の領域９６への入射角度）の関数となる。

同様に、図５Ａに示す状態において、凸部９４の移動方向９１の上流側（図５Ａにおける右側）の斜面（表面６０）の一部の領域９７は位置ｘ３に位置している。領域９７は位置ｘ３に位置している時、領域９７における入射角度と反射角度は等しく、撮像装置１１で撮像される画像２の領域９７に対応する部分の輝度は最大となる。図５Ａに示す状態で撮像装置１１により撮像された画像２を図５Ｂに示す。撮像装置１１で撮像される画像２の領域９７に対応する部分の輝度は、領域９７の位置ｘ（又は照明装置１２からの光の領域９７への入射角度）の関数となる。

輝度としては、撮像装置１１がモノクロ画像を撮像するものである場合には、画素値（領域が複数の画素を含む場合には、例えば画素値の平均値）が採用可能である。また、撮像装置１１がカラー画像を撮像するものである場合には、輝度としてＲＧＢの画素値のうちのいずれか（領域が複数の画素を含む場合には、例えばＲＧＢのいずれかの画素値の平均値）が採用可能である。

関係曲線導出ステップは、画像２の任意の領域における輝度と、画像２の撮像時の入射角度又は領域の位置との対応関係を複数の画像２について得て、輝度と入射角度又は領域の位置との関係曲線を得るステップである。関係曲線導出ステップは、関係曲線導出処理装置により実行される。本実施形態では、制御装置１５が一機能として関係曲線導出ステップを実行可能である。すなわち、制御装置１５が関係曲線導出処理装置としての機能を有している。

図３Ｂ、図４Ｂ及び図５Ｂに示すように、撮像ステップにおいて異なる入射角度で照明された領域を撮像した複数の画像２が得られる。得られた複数の画像２において、例えば領域９５については、図３Ｂに示す画像２における領域９５に対応する部分の輝度が最大となり、図４Ｂに示す画像２における領域９５に対応する部分の輝度はこれよりも小さくなる。このように、検査対象物９の表面９０の各領域において、輝度と入射角度（又は領域の位置ｘ）の関係曲線が得られる。

輝度は、撮像装置１１と照明装置１２と撮像される検査対象物９の表面９０との間の幾何学的な位置関係と、照明装置１２からの光の強度や色合い等と、検査対象物９の表面性状とに応じて定まると考えることができる。このうち、照明装置１２からの光の強度や色合い等については、照明装置１２からの光を一定とすることで照明装置１２からの光の変化の影響を除外することが可能となる。この結果、輝度は、撮像装置１１と照明装置１２と撮像される検査対象物９の表面９０との間の幾何学的な位置関係と、検査対象物９の表面性状とに応じて定まると考えられる。

更に、各領域における表面性状は一定（不変）であるため、各領域毎に、輝度と入射角度（又は領域の位置ｘ）の関係曲線が得られる。しかしながら、異なる領域における輝度と入射角度（又は領域の位置ｘ）の関係曲線は、異なる領域の表面性状が互いに異なる場合、異なる関係曲線となると考えられる。

二次曲線近似ステップは、関係曲線を、下記［数１］で示される入射角度の所定の二次関数により表現される二次曲線に近似するステップである。

［数１］において、Ｖは輝度、ｘは入射角度と一対一の関係にある領域の位置、αは二次の項の係数、βは一次の項の係数、γは定数項を示す。［数１］は領域毎に定まる。すなわち、α、β及びγの組み合わせは、領域毎、すなわち表面性状によって定まる。

二次曲線近似ステップは、二次曲線近似処理装置により実行される。本実施形態では、制御装置１５が一機能として二次曲線近似ステップを実行可能である。すなわち、制御装置１５が二次曲線近似処理装置としての機能を有している。

二次曲線近似ステップでは、輝度と入射角度（又は領域の位置ｘ）の関係曲線を、最小自乗法により、所定の二次関数により表現される二次曲線に近似する。なお、関係曲線を二次曲線に近似する手法としては、最小自乗法以外の手法が採用されてもよく、特に限定されない。

図６に、二次曲線近似ステップにより近似された二次曲線の例を示す。二次曲線３１は、表面９０が完全な鏡面でなく、かつ、模様があって白色に近く、かつ光沢が大きい領域における関係曲線から近似された二次曲線である。二次曲線３２は、表面９０が完全な鏡面でなく、かつ、模様がなくて黒色に近く、かつ光沢が大きい領域における関係曲線から近似された二次曲線である。二次曲線３３は、表面９０が完全な鏡面でなく、かつ、模様があって白色に近く、かつ光沢が小さい領域における関係曲線から近似された二次曲線である。二次曲線３１～３３に対応する表面９０の領域は、それぞれ面方向が異なっている。

次に、表面性状検出ステップについて説明する。表面性状検出ステップは、所定の二次関数の二次の項の係数α、一次の項の係数β又は定数項γのうちの少なくとも一個を用いて、領域の表面性状を検出するステップである。表面性状検出ステップは、表面性状検出処理装置により実行される。本実施形態では、制御装置１５が一機能として表面性状検出ステップを実行可能である。すなわち、制御装置１５が表面性状検出処理装置としての機能を有している。

図６に示すように、二次曲線３１と二次曲線３２とを比較すると、最大輝度は異なるものの、曲線の曲がり具合はほぼ同じである。二次曲線３１と二次曲線３２とに対応するそれぞれの領域は「模様があって白色に近く」か「模様がなくて黒色に近く」かが異なる。検査対象物９の表面９０の一領域が完全な鏡面でなく、この領域に模様があって白色に近い場合、領域で正反射した光に加えて乱反射した光も撮像装置１１に撮像される。このため、二次曲線３１と二次曲線３２とにおける最大輝度の違いには、領域の色調の違いが反映される。また、二次曲線３１と二次曲線３２とにおいて、［数１］における二次の項の係数αはほぼ同じであると考えられ、二次曲線３１と二次曲線３２とにおける最大輝度の違いは、定数項γの違いとして表れる。

このことから、撮像装置１１がモノクロ画像を撮像するものである場合、表面性状検出ステップにおいて、所定の二次関数の定数項γを基に、表面性状としての反射率を検出することができる。

また、撮像装置１１がカラー画像を撮像するものである場合、表面性状検出ステップにおいて、ＲＧＢの各色毎に二次曲線を求め、二次曲線を表す所定の二次関数の定数項γを基に、表面性状としての色調を検出することができる。なお、色調は、ＲＧＢのそれぞれの値の比として表される。

次に、二次曲線３１と二次曲線３３とを比較すると、最大輝度はほぼ同じであるものの、曲線の曲がり具合は異なる。二次曲線３１と二次曲線３３とに対応するそれぞれの領域は光沢が「大きい」か「小さい」かが異なる。このため、二次曲線３１と二次曲線３２とにおける曲線の曲がり具合の違いには、領域の光沢の違いが反映される。また、二次曲線における曲線の曲がりは、［数１］における二次の項の係数αの違いとして表れる。

このことから、表面性状検出ステップにおいて、所定の二次関数の二次の項の係数αを基に、表面性状としての光沢を検出することができる。

次に、二次曲線３１～二次曲線３３を比較すると、最大輝度となる位置ｘがそれぞれ異なる。二次曲線３１～二次曲線３３における最大輝度となる位置ｘの違いは、領域の面方向に応じて決まる。図７に、二次曲線３１の導関数３１０、二次曲線３２の導関数３２０及び二次曲線３３の導関数３３０を示す。導関数３１０～３３０の値は、位置ｘが下記［数２］で示されるρの場合に、０となる。

領域の最大輝度となる位置ｘが、この領域が平坦な場合（すなわち面方向が表面９０の法線方向と一致する場合）に最大輝度となる位置ｘとずれる量から、この領域の面方向が求められる。

このことから、表面性状検出ステップにおいて、所定の二次関数の導関数を求め、導関数の値が０となる入射角度（位置ｘ）を基に、表面性状としての領域の面方向を検出することができる。

図８に、この導関数を基に得られた検査対象物９の表面９０の面方向を表した画像の例を示す。これは、各領域の面方向が垂直上向きである場合を灰色とし、領域の面方向が垂直上向きから一方向に傾くほど濃い黒色とすると共に、領域の面方向が垂直上向きから一方向と反対方向に傾くほど濃い白色とする処理を施した画像である。

図９に、二次の項の係数αを基に得られた検査対象物９の表面９０の光沢を表した画像の例を示す。これは、各領域の光沢が大きいほど濃い白色とする処理を施した画像である。この画像は、表面性状検出方法が更に備える分布画像作成ステップにおいて作成される。

分布画像作成ステップは、各領域毎に所定の二次関数の二次の項の係数αを表示する二次の項の係数の分布画像と、各領域毎に所定の二次関数の定数項γを表示する定数項の分布画像の少なくとも一つを作成するステップである。分布画像作成ステップは、分布画像作成処理装置により実行される。本実施形態では、制御装置１５が一機能として分布画像作成ステップを実行可能である。すなわち、制御装置１５が分布画像作成処理装置としての機能を有している。

これにより、撮像装置１１により撮像された画像７から光沢が抽出され、光沢を特定しやすくなる。図９に示す画像は、分布画像作成ステップにおいて作成される、各領域毎に所定の二次関数の二次の項の係数αを表示する二次の項の係数の分布画像により構成され、各領域毎に所定の二次関数の定数項γを表示する定数項の分布画像は用いられない。

図１０に、検査対象物９の表面９０の反射率を表した画像の例を示す。この画像も、表面性状検出方法が更に備える分布画像作成ステップにおいて作成される。図１０に示す画像は、分布画像作成ステップにおいて作成される、各領域毎に所定の二次関数の定数項γを表示する定数項の分布画像により構成され、各領域毎に所定の二次関数の二次の項の係数αを表示する二次の項の係数の分布画像は用いられない。

これにより、撮像装置１１により撮像された画像７から模様が抽出され、模様が特定しやすくなる。

次に、機械学習について説明する。表面性状検出方法は、機械学習ステップと、色目判定ステップと、を更に備える。機械学習ステップは、機械学習装置１６に表面性状と色目判定の基準との関係を機械学習させるステップである。色目判定ステップは、機械学習ステップにおいて機械学習を行った機械学習装置１６に、表面性状検出ステップにおいて検出された表面性状を用いて色目判定を行わせるステップである。

機械学習としては、公知の様々な技術が適宜利用可能であり、特に限定されない。本実施形態の機械学習装置１６について、図２Ｂに示すニューラルネットワークの概念図に基づいて概略説明する。

機械学習装置１６は、機械学習（特に深層学習）を行う。機械学習装置１６は、深層学習の中でも画像の分類に優れた畳み込みニューラルネットワークを用いる。図２Ｂ中の符号１６１は入力層、１６２は第一畳み込み層、１６３は第一プーリング層、１６４は第二畳み込み層、１６５は第二プーリング層、１６６は全結合層、１６７は全結合層、１６８は出力層を示す。

入力層１６１において、検査対象物９の表面９０の光沢を表した画像と、検査対象物９の表面９０の輝度を表した画像の２チャンネルについて、０～１の数値に正規化されたマトリクス状の数値データに変換されて、結果が第一畳み込み層１６２に入力される。第一畳み込み層１６２において、入力された結果に基づいて畳み込み演算が行われて、結果が第一プーリング層１６３に入力される。第一プーリング層１６３において、入力された結果に基づいてマックスプーリング処理が行われて、結果が第二畳み込み層１６４に入力される。第二畳み込み層１６４において、入力された結果に基づいて畳み込み演算が行われて、結果が第二プーリング層１６５に入力される。第二プーリング層１６５において、入力された結果に基づいてマックスプーリング処理が行われて、結果が全結合層１６６に入力される。全結合層１６６において、入力された結果に基づいて結合処理が行われて、結果が全結合層１６７に入力される。全結合層１６７において、入力された結果に基づいて結合処理が行われて、結果が出力層１６８に入力される。出力層１６８において、色目種別のそれぞれについてどの色であるらしいかを示す０～１の数値Ｎ個が出力される（推論処理）。このような畳み込みニューラルネットワークによる推論処理は、画像処理装置１４で行われる。すなわち、画像処理装置１４が機械学習装置１６としての機能を有する。

例えば、検査対象物９の表面９０が木目模様を有する場合、表面９０の部分によって模様のパターンや色合いが大きく異なるので、機械学習ステップにおいて、機械学習（深層学習）は表面９０の様々な部分からサンプリングした多数の画像を用いて行われる。色目判定ステップにおいても、撮像された画像の複数箇所に対して推論を行い、複数の結果を統合して最終的な色目種別を判定する。なお、複数の結果を統合する場合、出力層の出力値をサンプリングした回数分平均する方法や、１回の推論ごとに判定を行って多数決により決定するなどの方法がある。

この色目判定ステップは、機械学習ステップで学習した教師データと、検査対象物から得られた入力データが類似しているかを推論して色目を判定するステップである。そのため、機械学習装置１６に入力する検査対象物のデータのフォーマットや画素エリア、畳み込みニューラルネットワークによる推論処理の方法等は、機械学習ステップで学習させたときと一致させて判定を行う。

なお、本実施形態では、検査対象物９の表面９０の光沢を表した画像と、検査対象物９の表面９０の輝度を表した画像の２チャンネルを用いているが、撮像装置１１がカラー画像を撮像するものである場合には、光沢を表した画像と、ＲＧＢのＲの画素値を表した画像、Ｇの画素値を表した画像及びＢの画素値を表した画像の４チャンネルを用いる。また、カラー画像としてＲＧＢではなくＬａｂ画像などのチャンネル構成の画像を用いてもよい。また、表面９０に深彫り模様のある検査対象物９であれば、面方向を表す画像を入力に加えることで、色目判定の信頼性を向上させることができる。

次に、図１１～図１３に基づいて、検査対象物９の表面９０の面方向を表した画像（図１１参照）を用いる例について説明する。図１１に示す面方向を表した画像は、凹凸欠陥４１及びマーキング４２を含む。機械学習ステップにおいて、図１１に示す画像の各領域の面方向の平均値と標準偏差を求める。求められた平均値及び標準偏差に基づいて、領域の面方向が平均値±３×標準偏差以内を正常部（白色部分）、正常部でない部分が規定の面積、寸法未満である部分を良品候補部（灰色部分）、正常部でない部分が規定の面積、寸法を超える部分を欠陥候補部（黒色部分）として表示した画像を図１２に示す。図１２における欠陥候補部４３に対応する部分を図１１に示す面方向を表した画像から切り出した拡大画像を図１３Ａに示す。同様に欠陥候補部４４に対応する部分の拡大画像を図１３Ｂに、欠陥候補部４５に対応する部分の拡大画像を図１３Ｃに、欠陥候補部４６に対応する部分の拡大画像を図１３Ｄに示す。

図１３Ａ及び図１３Ｂは、色目判定の基準が不合格である欠陥部を示し、図１３Ｃ及び図１３Ｄは良品部を示す。このような画像を多数収集し、良品部には良品ラベル（数値０）を付与し、欠陥部には欠陥ラベル（数値１）を付与して、深層学習を行うことにより、学習した欠陥ラベル画像に類似したものは欠陥部、そうでないものは良品部として分類することができる。これにより、特徴量を求めて欠陥規格と比較する従来方式とは異なり、人間の目視判定により近い良否判定が可能になる。

次に、図１４及び図１５に基づいて、機械学習の別例について説明する。上記機械学習の例では、欠陥部の抽出は、人間が行っていたのに対し、この別例では、欠陥部の抽出も上述したニューラルネットワークを用いるもので、機械学習ステップは、尤度分布作成ステップと、特異部分抽出ステップと、色目判定学習ステップと、を有している。尤度分布作成ステップは、機械学習装置１６に、第一の機械学習を行わせて表面性状についての尤度分布を作成するステップである。特異部分抽出ステップは、尤度分布の特異部分を抽出するステップである。色目判定学習ステップは、機械学習装置１６に第二の機械学習を行わせて色目判定の基準を学習させるステップである。

別例で用いられる画像は、上記機械学習の例と同じである（図１１参照）。まず、尤度分布作成ステップにおいて、第一の機械学習を行わせ、画像を上下等間隔の正方格子に区切り、正方格子ごとに切り出した画像に対して上述したニューラルネットワークによる推論が行われ、図１４に示す尤度分布が作成される。尤度分布では、不良ラベルの尤度（０～１の間の数値）を領域毎に算出し、黒いほど欠陥である可能性（尤度）が高い。図１４において尤度が高い部分がある一定の面積を有する欠陥候補部５１に対応する部分を図１１に示す面方向を表した画像から切り出した拡大画像を図１５Ａに示す。同様に欠陥候補部５２に対応する部分の拡大画像を図１５Ｂに、欠陥候補部５３に対応する部分の拡大画像を図１５Ｃに、欠陥候補部５４に対応する部分の拡大画像を図１５Ｄに示す。このように欠陥候補部５１～５４を抽出し、その部分を切り出して第二の機械学習を行わせることにより、撮像した画像に入り込むノイズ等の攪乱に対する耐性が向上し、精度の高い良否判定が可能になる。

なお、画像全域にわたってニューラルネットワークによる推論を行う処理は逐次処理型の通常のＣＰＵ（Central Processing Unit）を有する処理装置では負荷が非常に大きくなる。このため、並列処理型のＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）処理装置を用いることが好ましい。

また、このように多数回の推論を行うための第一の機械学習においてニューラルネットワークにて用いられるデータのサイズは、第二の機械学習において用いられるデータのサイズよりも小さくしたり、中間層の規模を小さくしたりすることで、処理を高速化しやすくなる。このデータのサイズの調整方法としては、例えば撮像したデータの縮小率を変更して用いる。例えば第一の機械学習では、元の画像を１／４に縮小して１６×１６画素の範囲を切り出してニューラルネットワークの入力とし、尤度の高い部分に対しては、６４×６４画素サイズを入力とする。また、中間層の規模の調整としては、ニューラルネットワークの畳み込み層の数を調整する。

ただし、このように規模の小さいニューラルネットワークは誤判定を起こす可能性が大きい。そこで、第一の機械学習において用いられるニューラルネットワークに比べて、入力画像の画素数や中間層の規模を大きくした、精度の高い第二の機械学習において用いられるニューラルネットワークを別途構成することが好ましい。これにより、色目判定の良否の判定正解率を高めることができる。

なお、第一の機械学習におけるニューラルネットワークにて用いられるデータのサイズを、第二の機械学習において用いられるデータのサイズよりも小さくしたり、中間層の規模を小さくした場合、色目判定ステップにおいても、学習したときと同じデータのサイズや中間層の規模でニューラルネットワークに入力して、判定を行う。

図１６Ａ～図１６Ｈに、面方向を表す画像と光沢を表す画像の２チャンネルを持つ画像の例を示す。検査対象物９の表面９０の一の領域の面方向を表す画像を図１６Ａに、光沢を表す画像を図１６Ｂに示す。同様に、表面９０の他の領域の面方向を表す画像を図１６Ｃに、光沢を表す画像を図１６Ｄに、更に他の領域の面方向を表す画像を図１６Ｅに、光沢を表す画像を図１６Ｆに、更に他の領域の面方向を表す画像を図１６Ｇに、光沢を表す画像を図１６Ｈに示す。

従来一般的に用いられる面方向の計測装置では、強い濃淡模様のある検査対象物９の表面９０を撮像する場合、レンズの精度限界により、生成される画像において、強い濃淡模様に対応する像にボケ足を伴う偽凹凸が発生しやすかった。これに対して、更に光沢を表す画像のチャンネルを併用することによって、より精度よく欠陥部であるか否か（特に、偽凹凸であるか否か）判定することができる。

また、第一の機械学習において用いられる画像は、第二の機械学習において用いられる画像と縮尺が異なることが好ましい。欠陥部のサイズに大きなバラつきがある場合には、縮尺の異なる複数のチャンネルを持つ画像を入力とすることで、判定の制度（正解率）を高めやすくなる。欠陥部のサイズに１０倍程度のバラつきがある場合に使う欠陥ラベルの画像の例を図１７Ａ～図１７Ｈに示す。図１７Ａ、図１７Ｃ、図１７Ｅ、図１７Ｇは、欠陥候補部の周囲およそ４０ｍｍ四方に相当する画像を示す。図１７Ｂは、図１７Ａに示される欠陥候補部の中央のおよそ１０ｍｍ四方に相当する拡大画像を示し、同様に、図１７Ｄは、図１７Ｃの拡大画像であり、図１７Ｆは、図１７Ｅの拡大画像であり、図１７Ｈは、図１７Ｇの拡大画像である。このようにすることで、サイズに大きなバラつきのある欠陥部を両方とも精度よく判定しやすくなる。

図１８Ａ～図１８Ｉに、検査対象物９の表面９０の画像の更なる別例を示す。図１８Ａ～図１８Ｃは、光沢が低くほぼ均一で模様がほとんどない漆喰調の色目の領域の画像を示す。図１８Ｄ～図１８Ｆは、黒っぽい模様とともに光沢が大きく変化しているウオルナット調の色目の領域の画像を示す。図１８Ｇ～図１８Ｉは、黒っぽいが模様が強くなく、光沢が高くて全面に細かいシボ目（光沢の低い部分）があるソフトウオルナット調の色目の領域の画像を示す。図１８Ａ、図１８Ｄ及び図１８Ｇは、領域の面方向を表す画像であり、図１８Ｂ、図１８Ｅ及び図１８Ｈは、領域の光沢を表す画像であり、図１８Ｃ、図１８Ｆ及び図１８Ｉは、領域の輝度を表す画像である。なお、図１８Ａ、図１８Ｄ及び図１８Ｇにおいては、各領域の面方向が垂直上向きである場合を灰色とし、領域の面方向が垂直上向きから一方向に傾くほど濃い黒色とすると共に、領域の面方向が垂直上向きから一方向と反対方向に傾くほど濃い白色とする処理を施した画像である。図１８Ａ、図１８Ｄ及び図１８Ｇにおいて中央に見えるのは、突起状の異物欠陥である。

図１９Ａ～図１９Ｄに、更なる別例として、図１８Ａ～図１８Ｉとよく似た色目であるが、表面９０のシボ目が異なる検査対象物９の表面９０の画像を示す。図１９Ａ及び図１９Ｂは、滑らかに光沢が変化する風合いの加工が施されメープル調のシートの画像であり、図１９Ｃ及び図１９Ｄは、高光沢で細かい掻き傷状のシボ目が形成されているソフトオーク調のシートの画像である。図１９Ａ及び図１９Ｃは、領域の光沢を表す画像であり、図１９Ｂ及び図１９Ｄは、領域の輝度を表す画像である。図１９Ｂ及び図１９Ｄに示す輝度を表す画像は、互いに同じように見えるが、図１９Ａ及び図１９Ｃは、領域の光沢を表す画像は違うことが目視でも判る。

（変形例）
検査対象物９は、ドア用の化粧板ではなくてもよく、他の建材や建材以外であってもよく、検査対象物９の用途、材質、大きさ、形状等は限定されない。

照明装置１２の光源としては、発光ダイオードではなく、冷陰極蛍光管等であってもよく、特に限定されない。

この一部の領域９５は、一画素に対応する領域であることが好ましいが、複数の画素に対応する領域であってもよい。

関係曲線導出処理装置、二次曲線近似処理装置、表面性状検出処理装置及び分布画像作成処理装置は、制御装置１５とは別の専用の装置として、表面性状検出装置１に備えられてもよい。

以上、述べた実施形態および変形例から明らかなように、第１の態様の表面性状検出方法は、照明ステップと、撮像ステップと、関係曲線導出ステップと、二次曲線近似ステップと、表面性状検出ステップと、を備える。照明ステップは、検査対象物９を照明装置１２により照明し、検査対象物９の表面の一部の領域が照明装置１２から所定の入射角度でかつ入射角度が連続的又は断続的に変化するように照明されるステップである。撮像ステップは、領域を撮像装置１１により連続的又は断続的に撮像して、異なる入射角度で照明された領域を撮像した複数の画像を得るステップである。関係曲線導出ステップは、画像の領域における輝度と当該画像の撮像時の入射角度又は領域の位置との対応関係を複数の画像について得て輝度と入射角度又は領域の位置との関係曲線を得るステップである。二次曲線近似ステップは、関係曲線を入射角度又は前記領域の位置の所定の二次関数により表現される二次曲線に近似するステップである。表面性状検出ステップは、所定の二次関数の二次の項の係数α、一次の項の係数β又は定数項γのうちの少なくとも一個を用いて、領域の表面性状を検出するステップである。

第１の態様によれば、検査対象物の表面性状を精度よく検出しやすい。

第２の態様では、第１の態様との組み合わせにより実現され得る。第２の態様では、表面性状検出ステップにおいて、所定の二次関数の二次の項の係数αを基に、表面性状としての光沢を検出する。

第２の態様によれば、光沢の違いが二次の項の係数αの違いとして表れるため、二次の項の係数αを基に、表面性状としての光沢を検出しやすくなる。

第３の態様では、第１又は第２の態様との組み合わせにより実現され得る。第３の態様では、撮像装置１１はモノクロ画像を撮像するものである。表面性状検出ステップにおいて、所定の二次関数の定数項γを基に、表面性状としての反射率を検出する。

第３の態様によれば、反射率の違いが定数項γの違いとして表れるため、定数項γを基に、表面性状としての反射率を検出しやすくなる。

第４の態様では、第１又は第２の態様との組み合わせにより実現され得る。第４の態様では、撮像装置１１はカラー画像を撮像するものである。表面性状検出ステップにおいて、所定の二次関数の定数項γを基に、表面性状としての色調を検出する。

第４の態様によれば、色調の違いが定数項γの違いとして表れるため、定数項γを基に、表面性状としての色調を検出しやすくなる。

第５の態様では、第１～第４のいずれかの態様との組み合わせにより実現され得る。第５の態様では、表面性状検出ステップにおいて、所定の二次関数の導関数を求め、導関数の値が０となる入射角度又は領域の位置を基に、表面性状としての領域の面方向を検出する。

第５の態様によれば、表面性状としての面方向を検出しやすくなる。

第６の態様では、第１～第５のいずれかの態様との組み合わせにより実現され得る。第６の態様では、表面性状検出方法は、分布画像作成ステップを更に備える。分布画像作成ステップは、各領域毎に所定の二次関数の二次の項の係数αを表示する二次の項の係数の分布画像と、各領域毎に所定の二次関数の定数項γを表示する定数項の分布画像と、を作成するステップである。

第６の態様によれば、二次の項の係数の分布画像では撮像装置１１により撮像された画像７から光沢が抽出され、定数項の分布画像では撮像装置１１により撮像された画像７から模様が抽出され、光沢と模様の特定がしやすくなる。

第７の態様では、第１～第６のいずれかの態様との組み合わせにより実現され得る。第７の態様では、表面性状検出方法は、機械学習ステップと、色目判定ステップと、を更に備える。機械学習ステップは、機械学習装置１６に表面性状と色目判定の基準との関係を機械学習させるステップである。色目判定ステップは、機械学習ステップにおいて機械学習を行った機械学習装置１６に、表面性状検出ステップにおいて検出された表面性状を用いて色目判定を行わせるステップである。

第７の態様によれば、機械学習により、精度よく色目判定を行いやすくなる。

第８の態様では、第７の態様との組み合わせにより実現され得る。第８の態様では、機械学習ステップは、尤度分布作成ステップと、特異部分抽出ステップと、色目判定学習ステップと、を有する。尤度分布作成ステップは、機械学習装置１６に第一の機械学習を行わせて表面性状についての尤度分布を作成するステップである。特異部分抽出ステップは、尤度分布の特異部分を抽出するステップである。色目判定学習ステップは、機械学習装置１６に第二の機械学習を行わせて色目判定の基準を学習させるステップである。

第８の態様によれば、より精度よく色目判定を行いやすくなる。

第９の態様では、第８の態様との組み合わせにより実現され得る。第９の態様では、第一の機械学習において用いられる画像は、第二の機械学習において用いられる画像と縮尺が異なる。

第９の態様によれば、サイズに大きなバラつきのある表面性状を両方とも精度よく判定しやすくなる。

第１０の態様では、第８の態様との組み合わせにより実現され得る。第１０の態様では、第一の機械学習において用いられるデータのサイズは、第二の機械学習において用いられるデータのサイズよりも小さい。

第１０の態様によれば、色目判定の良否の判定正解率を高めやすくなる。

第１１の態様の表面性状検出装置１は、第１～第１０のいずれかの態様の表面性状検出方法に用いられる表面性状検出装置１であって、照明装置１２と、撮像装置１１と、関係曲線導出処理装置と、二次曲線近似処理装置と、表面性状検出処理装置と、を備える。関係曲線導出処理装置は、関係曲線導出ステップを実行する。二次曲線近似処理装置は、二次曲線近似ステップを実行する。表面性状検出処理装置は、表面性状検出ステップを実行する。

第１１の態様によれば、検査対象物の表面性状を精度よく検出しやすい。

１ 表面性状検出装置
１１ 撮像装置
１２ 照明装置
１６ 機械学習装置
９ 検査対象物
α 二次の項の係数
β 一次の項の係数
γ 定数項

Claims (8)

1. 検査対象物を照明装置により照明し、前記検査対象物の平坦な表面の一部の領域が前記照明装置から所定の入射角度でかつ前記入射角度が連続的又は断続的に変化するように照明される照明ステップと、
   前記領域を撮像装置により連続的又は断続的に撮像して、異なる前記入射角度で照明された前記領域を撮像した複数の画像を得る撮像ステップと、
   前記画像の前記領域における輝度と当該画像の撮像時の前記入射角度又は前記領域の位置との対応関係を前記複数の画像について得て前記輝度と前記入射角度又は前記領域の位置との関係曲線を得る関係曲線導出ステップと、
   前記関係曲線を前記入射角度又は前記領域の位置の所定の二次関数により表現される二次曲線に近似する二次曲線近似ステップと、
   前記所定の二次関数の二次の項の係数、一次の項の係数又は定数項のうちの少なくとも一個を用いて、前記領域の表面性状を検出する表面性状検出ステップと、を備え、
   前記表面性状検出ステップにおいて、
   前記所定の二次関数の前記二次の項の係数を基に前記表面性状としての光沢を検出するか、又は、
   前記撮像装置はモノクロ画像を撮像するものであって前記所定の二次関数の前記定数項を基に前記表面性状としての反射率を検出するか、又は、
   前記撮像装置はカラー画像を撮像するものであって前記所定の二次関数の前記定数項を基に前記表面性状としての色調を検出する
   表面性状検出方法。
2. 前記表面性状検出ステップにおいて、前記所定の二次関数の導関数を求め、前記導関数の値が０となる前記入射角度又は前記領域の位置を基に、前記表面性状としての前記領域の面方向を検出する
   請求項１に記載の表面性状検出方法。
3. 各前記領域毎に前記所定の二次関数の前記二次の項の係数を表示する二次の項の係数の分布画像と、各前記領域毎に前記所定の二次関数の前記定数項を表示する定数項の分布画像と、を作成する分布画像作成ステップを更に備える
   請求項１又は２に記載の表面性状検出方法。
4. 機械学習装置に前記表面性状と色目判定の基準との関係を機械学習させる機械学習ステップと、
   前記機械学習ステップにおいて機械学習を行った前記機械学習装置に、前記表面性状検出ステップにおいて検出された前記表面性状を用いて色目判定を行わせる色目判定ステップと、を更に備える
   請求項１～３のいずれか一項に記載の表面性状検出方法。
5. 前記機械学習ステップは、
   前記機械学習装置に第一の機械学習を行わせて前記表面性状についての尤度分布を作成する尤度分布作成ステップと、
   前記尤度分布の特異部分を抽出する特異部分抽出ステップと、
   前記機械学習装置に第二の機械学習を行わせて前記色目判定の基準を学習させる色目判定学習ステップと、を有する
   請求項４記載の表面性状検出方法。
6. 前記第一の機械学習において用いられる画像は、前記第二の機械学習において用いられる画像と縮尺が異なる
   請求項５記載の表面性状検出方法。
7. 前記第一の機械学習において用いられるデータのサイズは、前記第二の機械学習において用いられるデータのサイズよりも小さい
   請求項５記載の表面性状検出方法。
8. 請求項１～７のいずれか一項に記載の表面性状検出方法に用いられる表面性状検出装置であって、
   前記照明装置と、
   前記撮像装置と、
   前記関係曲線導出ステップを実行する関係曲線導出処理装置と、
   前記二次曲線近似ステップを実行する二次曲線近似処理装置と、
   前記表面性状検出ステップを実行する表面性状検出処理装置と、を備える
   表面性状検出装置。
   

Images