JP7036477B1 - 欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム - Google Patents

Abstract

【課題】様々な製品における外観上の様々な欠陥を、精確に且つ隈なく、自動的に且つ効率的に検出する。【解決手段】欠陥学習方法は、処理回路により、検査対象物を撮像した元画像データと、当該検査対象物の外観に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データと、を教師データとして学習を行い学習済みの機械学習モデルを用意するステップを含む。【選択図】図１

Description

本開示は、欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラムに関し、特に、様々な製品の外観に現れる欠陥を検出するための方法、システム、及びコンピュータプログラムに関する。

従来、様々な工業製品の製造工程における品質管理のために外観の目視検査が行われている。ところが、目視検査では検査者に熟練した技能が求められ、効率化や大量化を図ることは困難である。

工業製品の外観に現れる欠陥を、撮像装置による撮像データを適宜解析する画像処理技術により、精確に且つ効率的に検出することが求められている。

特許文献１は、ニューラルネットワークを用いて高速かつ精度よく外観検査を実行する外観検査装置を開示する。当該外観検査システムにおいて、識別器は、検査対象を撮影し、検査画像に欠陥が写っている場合にはＣＮＮを用いて欠陥サイズを判定する。当該ＣＮＮは、検査画像を入力としてセマンティックセグメンテーションを行うことはなく、画像に写っている欠陥のサイズがどのクラスに属するかの確率を出力し、これにより計算量が抑制される。欠陥サイズが閾値よりも大きい場合には、修正が必要と記録される。このように、特許文献１の外観検査装置は、欠陥のサイズを判定するに過ぎない。

特許文献２は、２次元画像情報を基に対象車両を２次元的および３次元的に検出し、対象車両の幅および奥行きを把握する対象物検出装置を開示する。対象物である車両の検出に当たって、対象物検出装置は車両の幅及び奥行きという３次元のサイズを把握するに過ぎず、例えば、外観上の様々な欠陥を検出することは行わない。

特許文献３は、対象物の外観を撮像する撮像部と、撮像部の撮像画像に基づいて、対象物の欠陥を、予め設定済の欠陥に分類する複数の分類部とを有する、外観検査システムを開示する。この分類部では学習済みモデルが用いられているが、特許文献３は、この学習済みモデルを実効的に学習させる方法や装置については開示していない。

特許文献４は、処理対象とする利用者画像データの特定の領域を特定して利用者にとって好ましい画像処理を施す画像処理装置を開示する。当該画像処理装置は、利用者の顔の所定部位の輪郭領域を抽出するものである。

特許文献５は、学習データの真値作成作業の手間を省き、学習データの少量化を図ることで、学習時間の短期間化を可能とするパターン検査システムを提供する。特にパターン検査システムは、複数のパターン画像から機械学習に用いる学習用パターン画像を選択する画像選択部を備えることを特徴とするものである。

特開２０２１－９２８８７号公報 特開２０２１－８６５２０号公報 特開２０２１－６７５０８号公報 特開２０２１－４３７９７号公報 特開２０２０－３５２８２号公報

本開示は、様々な製品における外観上の様々な欠陥を、精確に且つ隈なく、自動的に且つ効率的に検出することを目的とする。

本開示の欠陥検出方法は、処理回路により、検査対象物を撮像した元画像データと、当該検査対象物の外観に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データと、を教師データとして学習を行い学習済みの機械学習モデルを用意するステップ
を含む。
また、本開示の欠陥検出方法では、前記学習済みの機械学習モデルを用意するステップにおいて、元画像データとマーキング済み画像データをタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行い、
タイリング処理では、タイリング後に隣接する切り分け画像の両方の縁部がオーバーラップするように切り分け画像が作成される。
本開示の欠陥検出方法は、更に、
処理回路により、前記学習済みの機械学習モデルに検査対象物の画像データを入力して、該機械学習モデルが出力するラベル付きの検査対象物の画像データを取得するステップであって、前記入力される画像データは前記タイリング処理されたものである、取得するステップと、
処理回路により、出力されたラベル付き画像データから、入力された画像データを差し引いて、検出対象を表示する予測画像データを取得するステップと、
処理回路により、予測画像データについて逆タイリング処理を行うステップであって、逆タイリング処理では、組み合わせ前の予測画像データの各々において、重複する縁部の外側に当たる１／２の部分が無視された上で組み合わされる、逆タイリング処理を行うステップと、
を含む。

本開示の欠陥検出方法及び欠陥検出システムは、様々な製品における外観上の様々な欠陥を、精確に隈なく効率的に検出することができる。

図１は、実施の形態に係る欠陥検出システムのシステム構成図である。 図２は、ラベリング時の欠陥の種類と所定の色の対応関係を記録したテーブルである。 図３Ａは、色塗りによる教師データ作りフェーズにおける画像データに対する色塗り使用例である。 図３Ｂは、輪郭ラベリングデータと領域ラベリングデータの例である。 図４Ａは、実施の形態に係る欠陥検出システムにおける、タイリング処理、及び、欠陥検出のための機械学習モデルの適用処理を、模式的に示す図である。 図４Ｂは、実施の形態に係る欠陥検出システムの、タイリング処理における画像データの切り分けを示すフローチャートである。 図５は、オーバーラップのマージンの発生を含むタイリング処理を模式的に示す図である。 図６は、元画像データと、ラベル付き画像データとの対応関係をネットワーク構造にて学習させる様子を模式的に示す図である。 図７は、（１）元画像、（２）入力画像、（３）出力画像、（４）予測画像、及び、（５）答え画像（教師画像）についての、一連の例を示す図である。 図８Ａは、逆タイリング処理を模式的に示す図である。 図８Ｂは、実施の形態に係る欠陥検出システムの、逆タイリング処理の内容を示すフローチャートである。 図９（１）は、逆タイリング処理により元のサイズに戻された、予測画像データの例である。図９（２）は、図９（１）に示す元のサイズに戻された予測画像データにおける個々の元のタイル間にて、色相・彩度・明度（ＨＳＶ）が調整されて生成された予測画像データの例である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

１．［本開示に至る経緯］
従来、様々な製品の製造工程における品質管理のために、外観の目視検査が行われている。目視検査は、検査者に熟練した技能が求められるので、効率化を図ることが困難である。このため、製品の外観に現れる欠陥を、画像処理技術により自動的に且つ精確に検出することが求められている。

ここでの画像処理技術とは、例えば、製品の製造ラインの上方部から当該製造ラインを移動する製造中の製品を撮像する、撮像装置（例えば、カメラ）を設置し、当該撮像装置が撮像する製品の画像データから自動的に製品の欠陥部分を検出する、というものである。製品の画像データから自動的に欠陥部分を検出するために、例えば、ルールベースのアルゴリズムなど、画像データを処理する様々なソフトウエアが用いられ得る。なお、本開示においては、製品として、金属加工製品、金属（例えば、アルミニウム）インゴット、樹脂による成形製品、壁材等を想定している。

しかしながら、製品の欠陥は、「ヨゴレ（汚れ）」、「キズ（疵）」、「クラック」、「変色不良」、「凹凸」等、様々である。それに加えて、製品毎に欠陥は異なり、画像上の現れ方も異なる。個々の製品について、精確に且つ隈なく自動的に欠陥を検出することは容易でない。

本開示は上述の問題意識の下でなされたものである。つまり、本開示の欠陥検出システムは、被検査物の元画像データと、当該被検査物の外観に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、教師データとして、学習させた学習済みの機械学習モデルを用意する。更に、本開示の欠陥検出システムは、当該学習済みの機械学習モデルに、被検査物たる検査対象製品の画像データを入力して、当該製品の外観上の欠陥を予測して検出する。このようにすることにより、本開示の欠陥検出システムは、様々な製品における外観上の様々な欠陥を、精確に隈なく効率的に検出することができる。

なお、本開示に係る画像処理技術で取り扱う画像データは、基本的にはカラー画像データである。一つの（カラー）画像データはＲＧＢの３層により構成されているため、一つの画像データにおけるＲＧＢの３層の各々に対する処理は分かれたものとなるが、以下では特に断らない限り、分けることなく一つの処理として記載する。

２．［実施の形態］
以下、添付の図面を参照して、本開示の好ましい実施の形態を説明する。

２．１．［システム構成］
実施の形態に係る欠陥検出システム及び欠陥検出方法は、何らかの欠陥が外観に現れている工業製品の画像データから、欠陥部分を自動的に検出するシステム及び方法である。図１は、本実施の形態に係る欠陥検出システム２のシステム構成図である。

欠陥検出システム２は、コンピュータ装置４及び記憶装置１２を有する。コンピュータ装置４及び記憶装置１２は有線または無線の通信回線で接続されており、互いにデータを送受信可能である。欠陥検出システム２は更に外部ネットワーク１８に接続されており、外部ネットワーク１８に接続された他のコンピュータシステムとの間でデータを授受する。欠陥検出システム２は、特に、一つ以上の撮像装置１６と接続する。更に、欠陥検出システム２は、学習サーバ１４と接続するのが望ましい。

コンピュータ装置４は、一つ以上のプロセッサを搭載するサーバ機、若しくはワークステーションコンピュータ等である。

記憶装置１２は、ディスクドライブやフラッシュメモリ等の、コンピュータ装置４の外部に設けられる記憶装置であり、コンピュータ装置４で用いられる各種データベース、各種データセット、及び、各種コンピュータプログラムを記憶する。記憶装置１２には、例えば、後で説明する、撮像装置１６から、或いは、外部から、送信される画像データが記録される。

撮像装置１６は、例えば、光学カメラであり、例えば、ＣＭＯＳやＣＣＤ等の撮像素子と、撮像素子を制御する撮像制御手段を含む。また、撮像装置１６は、別途レンズ等の光学系を備えるのが好ましい。撮像装置１６は画像データをコンピュータ装置４等と送受信する。

学習サーバ１４は、記憶装置１２に記録される画像データ等を用いて、後で説明する機械学習モデルの学習を行う。

外部ネットワーク１８は、例えば、インターネットであり、ネットワーク端子等のインタフェース装置６を介して、コンピュータ装置４と接続する。

更にコンピュータ装置４は、インタフェース装置６、処理回路８、及びメモリ１０を含む。

インタフェース装置６は、ネットワーク端子、映像入力端子、ＵＳＢ端子、キーボード、マウス等を含む、外部からデータを取得可能なインタフェースユニットである。外部から、インタフェース装置６を介して、種々のデータが取得される。データは、例えば、後で説明する、検査対象の製品の画像データ、及び、画像上、外観の欠陥部分に色塗りがデータとして施された製品の画像データである。取得後、これらのデータは、記憶装置１２に記録され得る。記憶装置１２に記録されるデータは適宜、インタフェース装置６を介して、コンピュータ装置４内に取得され得る。

更に、欠陥検出システム２により生成される各種データは、記憶装置１２に適宜記録される。各種データは、例えば、後で説明する、学習済み機械学習モデルから出力される予測画像データである。このような欠陥検出システム２により生成され記憶装置１２に適宜記録される各種データは、インタフェース装置６を介して、コンピュータ装置４内に再び取得され得る。

処理回路８は、プロセッサにより構成される。ここでのプロセッサは、ＣＰＵ(Central Processing Unit;中央処理ユニット)やＧＰＵ(Graphics Processing Unit；画像処理ユニット)を包括するものである。本実施の形態に係る欠陥検出システム２の各種処理は、各種プログラムを処理回路８が実行することによって実現される。なお、当該各種処理は、ＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。

本開示における処理回路８は、複数台の信号処理回路から構成されてもよい。各信号処理回路は、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）であり、「プロセッサ」と呼ばれ得る。本実施の形態に係る欠陥検出システム２における様々な処理の一部を、あるプロセッサ（例えば、或るＧＰＵ）が実行し、他の一部の処理を、他のプロセッサ（例えば、或るＣＰＵ）が実行してもよい。

メモリ１０は、コンピュータ装置４内部のデータ書き換えが可能な記憶部であり、例えば、多数の半導体記憶素子を含むＲＡＭ（Random Access Memory）により構成される。メモリ１０は、処理回路８が様々な処理を実行する際の、具体的なコンピュータプログラムや、変数値や、パラメータ値等を一時的に格納する。なおメモリ１０は、いわゆるＲＯＭ（Read Only Memory）を含んでもよい。ＲＯＭには、以下で説明する欠陥検出システム２の処理を実現するコンピュータプログラムが予め格納されている。処理回路８がＲＯＭからコンピュータプログラムを読み出し、ＲＡＭに展開することにより、処理回路８が当該コンピュータプログラムを実行可能になる。

本実施の形態に係る欠陥検出システム２は、Ｐｙｔｈｏｎ等のコンピュータ言語を用いて構築されている。本開示に係る欠陥検出システム２の構築のために用いられ得るコンピュータ言語はこれらに限定されるものでは無く、勿論、他のコンピュータ言語が用いられてもよい。

更に、本実施の形態に係る欠陥検出システム２においては、学習済みの機械学習モデルが構築されている。本実施の形態に係る機械学習モデルは、後でも説明するように、例えば、Ｕ－ＮｅｔやＲｅｓ－ｎｅｔ等のネットワーク構造を用いて構築される。

２．２．［システムの動作］
本実施の形態に係る欠陥検出方法は、概略、以下の４つのフェーズにより構成される。
（１）色塗りによる教師データ作りフェーズ
（２）前処理及び学習フェーズ
（３）予測フェーズ
（４）後処理及び検出フェーズ
本実施の形態に係る欠陥検出システムは、上述の４つのフェーズを含む欠陥検出方法を実行する。夫々のフェーズについて、以下にて説明する。

２．２．１．［色塗りによる教師データ作りフェーズ］
本実施の形態に係る欠陥検出システムでは、適宜の色塗りツールを用いて、欠陥を含む元画像データに対して、欠陥部分にラベルとして色が付される（塗られる）。ここでの適宜の色塗りツールとは、例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社によるＷｉｎｄｏｗｓ（登録商標）の「ペイント」である。

図２は、色塗り時、即ち、ラベリング時の、色の内容を記録したテーブルである。図２は、検査対象物たる製品の外観上に欠陥を含む元画像データにおける不良（即ち、欠陥）部分の種類に応じて、システム操作者により塗られる色が変えられることを示している。例えば、「キズ」部分には、「赤」が塗られる。更に、その「赤」の具体的なＲ（赤）Ｇ（緑）Ｂ（青）の成分情報がテーブルに記録される。ここでの「赤」のＲ（赤）Ｇ（緑）Ｂ（青）の成分情報は、「２３７」、「２８」、「３６」である。

このテーブルへの記録の編集はシステム操作者により行われる。つまり、具体的な「色名」は、システム操作者により決定されてテーブルに記録される。更に、夫々の色の、具体的なＲ（赤）Ｇ（緑）Ｂ（青）の成分情報も、システム操作者により決定されてテーブルに記録される。
このテーブルは、例えば、一つのファイルとして、メモリ１０及び記憶装置１２に記憶される。

また、「ヨゴレ」部分には、「黄色」が塗られるが、この「黄色」の具体的なＲ（赤）Ｇ（緑）Ｂ（青）の成分情報もテーブルに記録される。ここでの「黄色」のＲ（赤）Ｇ（緑）Ｂ（青）の成分情報は、「２５５」、「２４２」、「３６」である。
更に、「クラック」部分には、「オレンジ」が塗られるが、この「オレンジ」の具体的なＲ（赤）Ｇ（緑）Ｂ（青）の成分情報もテーブルに記録される。ここでの「オレンジ」のＲ（赤）Ｇ（緑）Ｂ（青）の成分情報は、「２５５」、「１２７」、「３９」である。

製品の欠陥（不良）の種類としては、「ヨゴレ（汚れ）」、「キズ（疵）」、「クラック」の他に、「変色不良」や「凹凸」や「ムラ」等が想定される。勿論、他の欠陥（不良）が含まれてもよい。これらの欠陥についても、欠陥の種類毎に所定の色でラベルが付される、即ち、欠陥の種類毎に所定の色が塗り分けられることになる。例えば、「変色不良」部分には「緑色」が塗られ、「凹凸」部分には「青色」が塗られ、「ムラ」部分には「紫色」が塗られる、等である。夫々の色についてもＲ（赤）Ｇ（緑）Ｂ（青）の成分情報が決定されて図２に示すテーブルに記録される。欠陥の種類と所定の色の対応関係をテーブルにより保持することで、入力画像データに示される欠陥を分類することに繋げられる。

図３Ａは、色塗りによる教師データ作りフェーズにおける画像データに対する色塗り使用例である。具体的には、図３Ａ（Ａ１）は、「ペイント」の「ブラシ」の使用例である。「ブラシ」は、線状の欠陥部分３２に色を付すときや、細かい欠陥部分３４に色を付すときに用いられる。「ブラシ」の使用例は、後で説明する「輪郭ラベリング」に繋がりやすい。

図３Ａ（Ａ２）は、「ペイント」の「多角形描画」の使用例である。「多角形描画」は、或る程度の面積を有する範囲の欠陥部分３６に色を付すときに用いられる。「多角形描画」の使用例は、後で説明する「領域ラベリング」に繋がりやすい。

２．２．２．［前処理及び学習フェーズ］
本実施の形態に係る欠陥検出システム及び欠陥検出方法では、［色塗りによる教師データ作りフェーズ］にて色が付された教師データ、即ち、マーキング済み学習データを、輪郭ラベリングデータと領域ラベリングデータとに分ける。

図３Ｂ（Ｂ１）は、輪郭ラベリングデータ３７の例であり、図３Ｂ（Ｂ２）は、領域ラベリングデータ３９の例である。輪郭ラベリングとは、画像データの輪郭に対してラベリングを付すことである。つまり、輪郭ラベリングとは、検査対象物の外観に存在し得る輪郭状の欠陥部分に画像上、所定の色であるラベルを付してマーキング済み画像データとすることあり、細い若しくは小さい欠陥（不良）についての教師データの作成に有効である。検査対象の製品に対して斜めから照明を当てる、コントラスト強調パターンを作成しようとする撮像方法と相性が良いラベリングである。領域ラベリングとは、画像データの領域に対してラベリングを付すことである。つまり、領域ラベリングとは、検査対象物の外観に存在し得る領域状の欠陥部分に画像上、所定の色であるラベルを付してマーキング済み画像データとすることあり、大きい範囲を持つ欠陥（不良）についての教師データの作成に有効である。検査対象の製品に対して垂直方向から照明を当てる、色味強調パターンを作成しようとする撮像方法と相性が良いラベリングである。

輪郭ラベリングデータと、領域ラベリングデータとに対応して、二つの機械学習モデルが用意されてもよい。つまり、輪郭ラベリングデータのみを正解データ（教師データ）として学習して、輪郭状の欠陥を検出する機械学習モデルと、領域ラベリングデータのみを正解データ（教師データ）として学習して、領域状の欠陥を検出する機械学習モデルとが、用意されてもよい。本発明者は、輪郭ラベリングデータと、領域ラベリングデータとに対応して、二つの機械学習モデルを用意することが、欠陥の予測・検出の精度が向上する傾向にあることを把握している。

一方で、一つの機械学習モデルが、輪郭ラベリングデータと領域ラベリングデータとを正解データ（教師データ）として学習して、輪郭状の欠陥と領域状の欠陥とを検出する、というように、機械学習モデルが構成されてもよい。

続いて、タイリング処理について説明する。機械学習モデルの学習時にて、元画像データ及びマーキング済み画像データの画素数が相応に多い場合に、元画像データ及びマーキング済み画像データに対して画像圧縮等を行うと、解像度落ちが生じる。解像度落ちが生じた教師データ、即ち、画素落ちが生じている、元画像データ及びマーキング済み画像データ、により、機械学習モデルの学習を行うと、欠陥を見逃す、特に小さい欠陥を見逃す、学習済みの機械学習モデルとなってしまうことが想定され得る。

そこで、本実施の形態に係る欠陥検出システム及び欠陥検出方法では、機械学習モデルが処理する画像データを、例えば、２５６（画素）×２５６（画素）の、比較的小さいデータとする。なお、この機械学習モデルが処理する画像データは、別のサイズ、例えば、１２８（画素）×１２８（画素）のデータであってもよい。この、例えば、２５６（画素）×２５６（画素）のサイズに合うように、機械学習モデルが処理する画像データ（例えば、元画像データ及びマーキング済み画像データ）について、切り分けを行う。即ち、機械学習モデルが処理する画像データについて「タイリング処理」を行う。

図４Ａは、本実施の形態に係る欠陥検出システムにおける、タイリング処理、及び、欠陥検出のための機械学習モデルの適用処理を、模式的に示す図である。例えば、１３００画素×１３００画素の画像データ４０について、タイリング処理（ｔ）を行い、切り分け画像データ４２とする。学習時には、元画像データ及びマーキング済み画像データについてタイリング処理（ｔ）を行う。切り分けられた教師データ（切り分け画像データ４２）により、機械学習モデル４４について学習を行う。即ち、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行う。

更に、学習時に合わせて、後で説明するように、予測時において、予測対象の画像データについても、タイリング処理を行う。

図４Ｂは、本実施の形態に係る欠陥検出システムの、タイリング処理における画像データの切り分け処理を示すフローチャートである。ここでは、機械学習モデルが処理する画像データは、２５６（画素）×２５６（画素）の画像データである、とされている。

図４Ｂに示す切り分け処理では、先ず、画像データの縦が２５６画素より大きいか否かチェックされる（ステップＳ０４）。画像データの縦が２５６画素以下であれば、次（ステップＳ０８以下）に移行する。

画像データの縦が２５６画素より大きければ、オーバーラップのマージンを、例えば、６０画素より大きくして、画像データの縦について切り分ける（ステップＳ０６）。「オーバーラップのマージン」については、図５及び図８Ａを用いて、後にて説明する。

次に、画像データの横が２５６画素より大きいか否かチェックされる（ステップＳ０８）。画像データの縦が２５６画素以下であれば、終了（ステップＳ１２）に移行する。

画像データの横が２５６画素より大きければ、オーバーラップのマージンを、例えば、６０画素より大きくして、画像データの横について切り分ける（ステップＳ０６）。

縦及び横の切り分けにより、生成された画像データを切り分け画像データとして、機械学習モデルの処理に向ける。

２．２．２．１．タイリングにおけるオーバーラップについて
後でも説明するように、本実施の形態に係る欠陥検出システムでは機械学習モデルとして、完全畳み込みニューラルネットワーク（Ｆｕｌｌｙ ｃｏｎｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の構成のものを利用している。このような本実施の形態に係る欠陥検出システムでは、学習済みの機械学習モデルが、予測時（即ち、検出時）にて、特に、切り分け画像データの縁の部分にて、欠陥の過検出を含む誤検出を生じさせる傾向があることを、本発明者は把握している。これは、学習済みの機械学習モデルが、画像データの縁の部分そのものを、何らかの輪郭又は領域により表される欠陥であると捉え得るからであると、本発明者は想定している。

このような誤検出を抑えるため、本実施の形態では、タイリング処理にて、以下のようにオーバーラップを採る。
（ａ）先ず、仮に切り分けた範囲を作成する。
（ｂ）仮に切り分けた範囲よりも少し大きい範囲での本切り分けを実施する。
ここで、「少し大きい範囲での本切り分け」は、仮の切り分けのラインを挟む、隣接し合う切り分け範囲（画像）の両方に関して行うから、隣接する切り分け画像の両方の縁部において、重複するオーバーラップのマージンが生じることになる。

図５は、オーバーラップのマージンの発生を含むタイリング処理を模式的に示す図である。図５（１）において、点線は仮の切り分けのラインを示す。仮に切り分けた範囲よりも少し大きい範囲での本切り分けを実施すると、図５（２）に示す、切り分け画像データが生成される。図５（２）に示す切り分け画像データにおける縁の部分が、隣接の切り分け画像データとオーバーラップするマージン部分である。

学習時には、画像データは、図５（２）に示すような部分に切り分けられて、教師データとされる。
予測時（検出時）には、画像データは、図５（２）に示すような部分に切り分けられて、学習済みの機械学習モデルに入力される。更に、学習済みの機械学習モデルから出力される予測データ（検出データ）は、図８Ａ（Ａ１）（Ａ２）に示すように、逆タイリング処理されて、組み合わされる。この際、オーバーラップするマージン部分の、より縁側（即ち、外側）に当たる、１／２の部分が、無視される。この、オーバーラップするマージン部分の、外側に当たる１／２の部分が、無視されることにより、上述の誤検出が抑制される。

本実施の形態では、図５（２）及び図８Ａ（Ａ１）に示す切り分け画像データが、例えば、２５６画素×２５６画素となるように、且つ、切り分け画像データにおけるオーバーラップのマージン部分が、少なくとも６０画素～８０画素程度となるように、欠陥検出システムにおけるタイリング処理及び逆タイリング処理が、制御される。

図６は、（１）元画像データと、（２）ラベル付き画像データ（即ち、マーキング済み画像データ）との対応関係をネットワーク構造にて学習させる様子を模式的に示す図である。タイリングした夫々の部分画像に対して、色塗り箇所とそうで無い箇所との対応関係を、機械学習モデルに係るネットワーク構造で学習させる。即ち、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行わせる。

本実施の形態に係る欠陥検出システムにて構成される、機械学習モデルに係るネットワーク構造について説明する。本実施の形態の機械学習モデルに係るネットワークは、例えば、Ｕ－ｎｅｔ、Ｒｅｓ－ｎｅｔ、ｓｋｉｐｐｅｄ ｃｏｎｎｅｃｔｉｏｎ、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ、及び、Ｍａｘ ｐｏｏｌｉｎｇを全て含む、完全畳み込みニューラルネットワーク（Ｆｕｌｌｙ Ｃｏｎｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＦＣＮＮ）の構造で実現され得る。

ネットワーク構造は、上述のものに限定されない。画像データをインプットとし、画像データをアウトプットとする、畳み込みニューラルネットワーク（ＣＮＮ）であることは必須であると想定されるが、この例としては、オートエンコーダが挙げられる。

また、通常ＣＮＮではインプット画像のサイズが固定されるが、ＦＣＮＮではインプット画像サイズに制約は無い。インプット画像のサイズをリサイズする構成を設けるのであれば、本実施の形態の機械学習モデルに係るネットワークは、ＣＮＮで実現され得ることになる。

２．２．３．［予測フェーズ］
図７は、本実施の形態の機械学習モデルにおける（１）元画像データ、（２）入力画像データ、（３）出力画像データ、（４）予測画像データ、及び、（５）答え画像（教師画像）データの、一連の例を示す図である。これらの画像データは、全てタイリング処理された切り分け画像データであり、例えば、２５６画素×２５６画素のものである。

図７（１）の元画像データに示すように、これらの画像データは、例えば、製造ライン７０上のアルミニウムインゴット７４を上方から撮像して得られたものである。アルミニウムインゴット７４は、製造ライン７０上面に設けられたチェーン７２により左右に移動する。

図７に示すように、図７（１）が元画像データである場合、それに対応する教師画像（答え画像）は図７（５）に示されるものである。つまり、図７（１）及び図７（５）は、機械学習モデルに対する教師データの一例である。図７（５）の答え画像データにて、欠陥部分にマーキング７６ａが付されている。

図７（２）は、学習済みの機械学習モデルに対する入力画像データであり、図７（３）は、図７（１）の入力画像データが入力された際の、学習済みの機械学習モデルの出力画像データである。図７（３）の出力画像データにて、欠陥部分にラベリング７６ｂが付されている。

図７（４）は、欠陥の予測画像データである。この予測画像データは、概略、以下の式により求められる。
［（４）予測画像データ］＝［（３）出力画像データ］－［（２）入力画像データ］
図７（４）の予測画像データでは、欠陥を示す色、即ち、ラベリング７６ｂのみが示されている。

２．２．４．［後処理及び検出フェーズ］
図８Ａは、逆タイリング処理を模式的に示す図である。切り分けされている画像データである、予測画像データ（図７（４）参照）は、逆タイリング処理が施され、当初の画像データのサイズにまで組み合わせられる。

前でも説明したように、逆タイリング処理では、予測画像データは、図８Ａ（Ａ１）（Ａ２）に示すように組み合わされる。切り分け画像データの各々においては、隣接する切り分け画像データとオーバーラップするマージンが存在する。

図８Ｂは、逆タイリング処理の内容を示すフローチャートである。切り分け画像データの各々において、オーバーラップするマージン部分の、外側に当たる１／２の部分が、無視される（ステップＳ２４）。その上で、切り分け画像データが組み合わされる（ステップＳ２６）。このように、オーバーラップするマージン部分の、外側に当たる１／２の部分が無視されることは、欠陥の誤検出の抑制に繋がることである。

次に、図９において、図９（１）は、逆タイリング処理により元のサイズに戻された、予測画像データの例である。図９（２）は、図９（１）に示す元のサイズに戻された予測画像データにおける個々の元のタイル間にて、色相・彩度・明度（ＨＳＶ）が調整されて生成された検出画像データの例である。

図９（１）に示すように、逆タイリング処理により元のサイズに戻された予測画像データでは、個々の切り分け画像データ間で、色相・彩度・明度（ＨＳＶ）が僅かながらずれていることが生じ得る。そこで個々の（元の）タイル間で色相・彩度・明度（ＨＳＶ）が調整されるのが望ましい。ここで、欠陥の種類毎に所定の色に基づき色相・彩度・明度（ＨＳＶ）が調整されるのが望ましい。

図９（１）に示す予測画像データは、幾つかの「キズ」部分を含むものであるとする。予測画像データにおいては、前述のように、「キズ」部分にはラベルとして、例えば、所定の色である「赤」が付されている。従って、欠陥の種類の一つである「キズ」を表す「赤」の色に基づいて色相、彩度、及び明度が調整される。図９（２）は、調整後の検出画像データの例である。図９（１）に示す予測画像データに他の欠陥の部分が含まれるのであれば、その欠陥の種類に対応する所定の色、例えば、「黄色」、「オレンジ」、「緑色」、「青色」、「紫色」等に基づいて、更に色相、彩度、及び明度が調整され、更なる調整後の検出画像データが作成されることになる。

図９（２）に示すように、検出画像は、概略、黒色を基調とした、欠陥がラベリングにより浮かび上がっている、画像となる。そこで、本実施の形態に係る欠陥検出システムの処理回路８は、検出画像における平均画素から乖離する画素を、欠陥として検出する。即ち、例えば、処理回路８は、検出画像の全画素に関して、平均値及び標準偏差を求め、更に、平均値から標準偏差以上離れている画素を求め、それら画素により構成される部分を欠陥として検出する。

本実施の形態では、図２のテーブルに示すように、入力画像データにおける欠陥部分の欠陥の種類に応じて、出力画像データの欠陥部分に塗られる色（即ち、ラベリングの色）が変えられる。従って、検出される欠陥のラベリングの、色味、面積、座標により、製品における、欠陥の種類、欠陥のサイズ、欠陥の位置が、把握され得ることとなる。特に、図２に示すテーブルにより欠陥の種類と所定の色の対応関係が保持されているので、欠陥は明確且つ容易に分類される。

なお、実施の形態に係る欠陥検出システム２が、図２に示すテーブルにより事前に定義された所定の色の何れでもない色の部分を含む、検出画像データを出力することが稀にあることを、本発明者らは把握している。その場合、その色の部分は未知の欠陥であるということ、即ち、図２に示すテーブルに含まれない欠陥が検出されたものであるということも、本発明者は把握している。従って、実施の形態に係る欠陥検出システム２は、予測画像（検出画像）データが前述の所定の色の何れでもない色の部分を含む場合、当該色の部分について、図２に示すテーブルにて事前に定義した欠陥の種類の何れでもない欠陥が検出されたものであるとして、分類を行うことができる。

２．３．［実施の形態のまとめ］
本実施の形態に係る欠陥検出方法は、処理回路８により、検査対象物を撮像した元画像データと、当該検査対象物の外観に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データと、を教師データとして学習を行い学習済みの機械学習モデルを用意するステップを含む。更に、欠陥検出方法では、学習済みの機械学習モデルを用意するステップにおいて、元画像データとマーキング済み画像データをタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行い、タイリング処理では、タイリング後に隣接する切り分け画像の両方の縁部がオーバーラップするように切り分け画像が作成される。更に、欠陥検出方法は、処理回路８により、上述の用意される学習済みの機械学習モデルに検査対象物の画像データを入力して、該機械学習モデルが出力するラベル付きの検査対象物の画像データを取得するステップであって、入力される画像データはタイリング処理されたものである、取得するステップと、処理回路８により、出力されたラベル付き画像データから、入力された画像データを差し引いて、検出対象を表示する予測画像データを取得するステップと、予測画像データについて逆タイリング処理を行うステップであって、逆タイリング処理では、組み合わせ前の予測画像データの各々において、重複する縁部の外側に当たる１／２の部分が無視された上で組み合わされる、逆タイリング処理を行うステップと、を含む。

以上のような欠陥検出方法では、様々な製品における外観上の様々な欠陥を、精確に隈なく効率的に検出することができる。

３．［他の実施の形態］
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。

例えば、上述の実施の形態における後処理及び検出フェーズでは、処理回路８は、検出画像の全画素に関して、平均値及び標準偏差を求め、更に、平均値から標準偏差以上離れている画素を求め、それら画素により構成される部分を欠陥として検出しているが、平均値から標準偏差の１/２の値以上離れている画素を求め、それら画素により構成される部分を欠陥として検出してもよいし、平均値から標準偏差の１．５倍の値以上離れている画素を求め、それら画素により構成される部分を欠陥として検出してもよい。

また、実施の形態を説明するために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

２・・・欠陥検出システム、４・・・コンピュータ装置、６・・・インタフェース装置、８・・・処理回路、１０・・・メモリ、１２・・・記憶装置、１４・・・学習サーバ、１６・・・撮像装置、１８・・・外部ネットワーク、３２・・・線状の欠陥部分、３４・・・細かい欠陥部分、３６・・・或る程度の面積を有する範囲の欠陥部分、３７・・・輪郭ラベリングデータ、３９・・・領域ラベリングデータ、４０・・・１３００画素×１３００画素の画像データ、４２・・・切り分け画像データ、４４・・・機械学習モデル、７０・・・製造ライン、７２・・・チェーン、７４・・・アルミニウムインゴット、７６ａ・・・マーキング、７６ｂ・・・ラベリング。

Claims (6)

1. 処理回路により、検査対象物を撮像した元画像データと、当該検査対象物の外観に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データと、を教師データとして学習を行い学習済みの機械学習モデルを用意するステップであって、元画像データとマーキング済み画像データをタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行い、タイリング処理では、タイリング後に隣接する切り分け画像の両方の縁部がオーバーラップするように切り分け画像が作成される、学習済みの機械学習モデルを用意するステップと、
   前記処理回路により、前記学習済みの機械学習モデルに、検査対象物の画像データを入力して、該機械学習モデルが出力するラベル付きの検査対象物の画像データを取得するステップであって、前記入力される画像データは前記タイリング処理されたものである、取得するステップと、
   前記処理回路により、出力されたラベル付き画像データから、入力された画像データを差し引いて、検出対象を表示する予測画像データを取得するステップと、
   前記処理回路により、予測画像データについて逆タイリング処理を行うステップであって、逆タイリング処理では、組み合わせ前の予測画像データの各々において、重複する縁部の外側に当たる１／２の部分が無視された上で組み合わされる、逆タイリング処理を行うステップと
   を含み、
   前記逆タイリング処理を行うステップにおいて、組み合わせ前の複数の予測画像データの間で欠陥の種類毎に所定の色に基づき色相、彩度、及び、明度が調整される、
   欠陥検出方法。
2. 更に、
   前記予測画像データに含まれる所定の色により、前記検査対象物の画像データにおける欠陥を分類するステップを含む、
   請求項１に記載の欠陥検出方法。
3. 更に、
   前記予測画像データが前記所定の色の何れでもない色の部分を含む場合、当該色の部分について、前記欠陥の種類の何れでもない欠陥が検出されたものであるとして分類するステップを含む、
   請求項１に記載の欠陥検出方法。
4. 前記機械学習モデルが、畳み込みニューラルネットワーク（ＣＮＮ）若しくは完全畳み込みニューラルネットワーク（ＦＣＮＮ）により構成される、
   請求項１～３のうちのいずれか一に記載の欠陥検出方法。
5. 前記処理回路に、請求項１～４のうちのいずれか一に記載の欠陥検出方法を実行させるコンピュータプログラム。
6. コンピュータ装置及び記憶装置を備える欠陥検出システムであって、
   前記コンピュータ装置が、請求項１～４のうちのいずれか一に記載の欠陥検出方法を実行する、欠陥検出システム。

Images