JP7393313B2 - 欠陥分類装置、欠陥分類方法及びプログラム - Google Patents

Description

本発明は、欠陥分類装置、欠陥分類方法及びプログラムに関する。

検査対象が撮像された撮像画像に基づいて、検査対象に存在する欠陥を分類する技術が知られている。例えば、特許文献１は、自動欠陥分類機能を有する外観検査装置を開示している。特許文献１に開示された外観検査装置は、検査画像から検出された欠陥の特徴量を算出し、算出された特徴量を用いて欠陥を分類する。一方で、近年の人工知能（ＡＩ：Artificial Intelligence）技術の発展により、ディープラーニング（深層学習）を用いて検査対象に存在する欠陥を分類する手法の開発も進められている。

特開２００６－２６６８７２号公報

特許文献１に開示されたような特徴量に基づいて欠陥を分類する手法は、複雑な欠陥に対して分類性能が上がらないという課題がある。この主たる要因として、複雑な欠陥は、分類に最適な特徴量の選択、及び分類に最適な特徴量を用いた分類条件を設定することが難しいことが挙げられる。これに対して、ディープラーニングを用いて欠陥を分類する手法は、特徴量に基づいた手法では難しい複雑な欠陥に対しても高い精度で分類することができるが、特徴量分類に基づいた手法では比較的簡単であった分類が難しい場合がある。この主たる要因として、ディープラーニングは事前に分類種別ごとに振り分けた欠陥を学習させる必要があるが、分類精度を上げるためには膨大な数の分類種別の設定が必要になることが挙げられる。このような状況に鑑み、検査対象に存在する欠陥の分類精度を向上させることが求められている。

本発明は、上記のような問題点を解決するためになされたものであり、検査対象に存在する欠陥の分類精度を向上させることが可能な欠陥分類装置等を提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る欠陥分類装置は、
検査対象が撮像された撮像画像から欠陥を検出する欠陥検出部と、
前記欠陥検出部により検出された前記欠陥の特徴量を計算する特徴量計算部と、
ディープラーニングにより学習された学習済みモデルを用いて、前記欠陥検出部により検出された前記欠陥を分類する第１の分類部と、
複数のグループのうちの、前記特徴量計算部により計算された前記特徴量に前記第１の分類部による分類結果を加えた組み合わせが該当するグループに、前記欠陥検出部により検出された前記欠陥を分類する第２の分類部と、を備える。

上記目的を達成するため、本発明の第２の観点に係る欠陥分類方法は、
検査対象が撮像された撮像画像から欠陥を検出する欠陥検出ステップと、
前記欠陥検出ステップで検出された前記欠陥の特徴量を計算する特徴量計算ステップと、
ディープラーニングにより学習された学習済みモデルを用いて、前記欠陥検出ステップで検出された前記欠陥を分類する第１の分類ステップと、
複数のグループのうちの、前記特徴量計算ステップで計算された前記特徴量に前記第１の分類ステップでの分類結果を加えた組み合わせが該当するグループに、前記欠陥検出ステップで検出された前記欠陥を分類する第２の分類ステップと、を含む。

上記目的を達成するため、本発明の第３の観点に係るプログラムは、
コンピュータを、
検査対象が撮像された撮像画像から欠陥を検出する欠陥検出部、
前記欠陥検出部により検出された前記欠陥の特徴量を計算する特徴量計算部、
ディープラーニングにより学習された学習済みモデルを用いて、前記欠陥検出部により検出された前記欠陥を分類する第１の分類部、
複数のグループのうちの、前記特徴量計算部により計算された前記特徴量に前記第１の分類部による分類結果を加えた組み合わせが該当するグループに、前記欠陥検出部により検出された前記欠陥を分類する第２の分類部、として機能させる。

本発明によれば、検査対象に存在する欠陥の分類精度を向上させることができる。

実施形態１に係る欠陥分類装置のハードウェア構成を示すブロック図である。 （Ａ）～（Ｄ）は、それぞれ、実施形態１における検査対象に存在する欠陥の例を示す図である。 実施形態１に係る欠陥分類装置の機能的な構成を示すブロック図である。 実施形態１において検査対象が撮像された撮像画像の例を示す図である。 実施形態１において第１の分類部による欠陥の分類に用いられるニューラルネットワークの概念図である。 （Ａ）～（Ｃ）は、それぞれ、特徴量では分類が困難な欠陥の例を示す図である。 （Ａ）～（Ｃ）は、それぞれ、ディープラーニングでは分類が困難な欠陥の例を示す図である。 実施形態１において第２の分類部による欠陥の分類条件の例を示す図である。 実施形態１に係る欠陥分類装置により実行される欠陥分類処理の流れを示すフローチャートである。 実施形態２に係る欠陥分類装置の機能的な構成を示すブロック図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。

（実施形態１）
図１に、本発明の実施形態１に係る欠陥分類装置１０の構成を示す。欠陥分類装置１０は、検査対象に存在する欠陥を分類することで検査対象を検査する装置である。ここで、検査対象は、欠陥検査される対象となる製品、商品等である。検査対象は、一例として、リチウムイオン２次電池（ＬＩＢ：Lithium-Ion Battery）において用いられるフィルム状（シート状）の部材である。しかしながら、検査対象はこれに限らずどのようなものであっても良い。

検査対象に存在する欠陥は、検査対象の機能、性能等の低下を及ぼす可能性がある部分である。具体的には、検査対象に存在する欠陥として、検査対象に存在するキズ、シワ、シミ等や、検査対象の表面に付着しているゴミ、ホコリ等の異物が挙げられる。

図２（Ａ）～（Ｄ）に、検査対象に存在する欠陥の例を示す。図２（Ａ）及び図２（Ｂ）に示す点状の欠陥は、例えば、検査対象の表面に付着しているゴミ、ホコリ等の異物を表している。また、図２（Ｃ）及び図２（Ｄ）に示す線状の欠陥は、例えば、検査対象の表面に存在するキズを表している。

図１に示すように、欠陥分類装置１０は、制御部１１と、記憶部１２と、入力受付部１３と、表示部１４と、通信部１５と、撮像部１６と、を備える。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、マイクロプロセッサ等を備えており、様々な処理や演算を実行する中央演算処理部である。制御部１１において、ＣＰＵが、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、欠陥分類装置１０全体の動作を制御する。

また、制御部１１は、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等の画像処理用のプロセッサと、処理される画像を一時的に保存するバッファメモリと、を備える。制御部１１は、周知の画像処理の手法を用いて、検査対象の外観が撮像された撮像画像を処理する。

記憶部１２は、フラッシュメモリ、ハードディスク等の不揮発性メモリを備えており、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。記憶部１２は、制御部１１が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部１２は、制御部１１が各種処理を行うことにより生成又は取得するデータを記憶する。例えば、記憶部１２は、学習済みモデル４０と学習用データ５０と分類テーブル６０とを記憶している。学習済みモデル４０及び学習用データ５０の詳細は後述する。

入力受付部１３は、キーボード、マウス、ボタン、タッチパッド、タッチパネル等の入力装置を備えており、ユーザからの操作入力を受け付ける。例えば、ユーザは、入力受付部１３を操作することによって、欠陥分類装置１０における処理の開始指示や各種の設定を入力することができる。

表示部１４は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示装置を備えており、制御部１１による制御のもとで様々な画像を表示する。例えば、表示部１４は、欠陥分類装置１０による分類の結果を表す画像を表示する。

通信部１５は、欠陥分類装置１０の外部の機器と通信するための通信インタフェースを備える。例えば、通信部１５は、ＬＡＮ（Local Area Network）、ＵＳＢ（Universal Serial Bus）等の周知の通信規格に則って、外部の機器と通信する。

撮像部１６は、可視光を集光するレンズと、レンズの集光位置に配置されたＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子により得られた画像を表すアナログ信号をデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器と、を備える。撮像部１６は、制御部１１の制御のもとで検査対象を撮像し、検査対象の外観が撮像された撮像画像を取得する。

図３に、欠陥分類装置１０の機能的な構成を示す。図３に示すように、欠陥分類装置１０は、機能的に、撮像画像取得部１１０と、欠陥検出部１２０と、特徴量計算部１３０と、第１の分類部１４０と、学習部１５０と、第２の分類部１６０と、分類条件設定部１７０と、合否判定部１８０と、を備える。制御部１１において、ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して、そのプログラムを実行して制御することにより、これら各部として機能する。

撮像画像取得部１１０は、検査対象が撮像された撮像画像を取得する。具体的に説明すると、撮像画像取得部１１０は、撮像部１６の視野内に検査対象が入る状態で、撮像部１６に検査対象を撮像させる。これにより、撮像画像取得部１１０は、検査対象の外観が撮像された撮像画像を取得する。撮像画像取得部１１０は、制御部１１が撮像部１６等と協働することにより実現される。

欠陥検出部１２０は、検査対象が撮像された撮像画像から、検査対象に存在する欠陥を検出する。具体的に説明すると、欠陥検出部１２０は、周知の画像処理の手法を用いて、撮像画像取得部１１０により取得された撮像画像を解析する。そして、欠陥検出部１２０は、撮像画像内の特定の条件を満たす領域を、欠陥が写っている可能性がある欠陥領域として検出する。

具体的に、図４に、撮像部１６により検査対象が撮像された撮像画像３０の例を示す。欠陥検出部１２０は、撮像画像３０に含まれる各画素の画素値（輝度値）を解析し、周囲の画素との画素値の差が基準値よりも大きい領域の有無を判定する。そして、欠陥検出部１２０は、撮像画像３０の中に周囲の画素との画素値の差が基準値よりも大きい領域が存在する場合、その領域を欠陥領域として検出する。

例えば、撮像画像３０に３つの欠陥Ｘ１，Ｘ２，Ｘ３が写っている場合、欠陥検出部１２０は、撮像画像３０内における欠陥Ｘ１，Ｘ２，Ｘ３のそれぞれの領域を、欠陥領域として検出する。欠陥検出部１２０は、制御部１１が記憶部１２等と協働することにより実現される。

図３に戻って、特徴量計算部１３０は、欠陥検出部１２０により検出された欠陥の特徴量を計算する。ここで、欠陥の特徴量は、欠陥の特徴を示す値である。具体的には、特徴量計算部１３０は、欠陥の特徴量として、欠陥のサイズ、面積、真円度、及び明るさを計算する。

欠陥のサイズ及び面積は、欠陥の大きさを示す指標である。具体的には、欠陥のサイズは、欠陥検出部１２０により検出された欠陥領域の、いずれか１以上の方向（例えば縦方向、横方向等）における長さに相当する。また、欠陥の面積は、欠陥検出部１２０により検出された欠陥領域に含まれる画素数に相当する。

欠陥の真円度は、欠陥の形状が円からどの程度外れているかの程度を示す値である。例えば、図４に示した欠陥Ｘ１，Ｘ２の形状は円に近いため、これらの真円度は０に近くなる。一方で、欠陥Ｘ３の形状は円とは大きく異なるため、真円度は０から外れた値になる。

欠陥の明るさは、欠陥の色情報により表される指標であって、欠陥が白色に近いか黒色に近いかを示す。欠陥の明るさは、例えば、欠陥検出部１２０により検出された欠陥領域に含まれる複数の画素の画素値の平均値、最頻値等の代表値により表される。

特徴量計算部１３０は、撮像画像３０から検出された欠陥領域を解析し、欠陥領域のサイズ、面積、真円度、及び明るさを、検査対象に存在する欠陥の特徴量として計算する。特徴量計算部１３０は、制御部１１と記憶部１２等と協働することにより実現される。

第１の分類部１４０は、ディープラーニングにより学習された学習済みモデル４０を用いて、欠陥検出部１２０により検出された欠陥を分類する。具体的に説明すると、第１の分類部１４０は、欠陥検出部１２０により検出された欠陥を、予め定められた複数の種別のうちのいずれかに分類する。ここで、欠陥の種別とは、欠陥の種類による区別することであって、検査対象に存在する欠陥が、例えばキズ、シワ、ピンホール、異物等のうちのどれに該当するのかを示す情報である。

第１の分類部１４０は、欠陥検出部１２０により検出された欠陥を分類するために、記憶部１２に記憶されている学習済みモデル４０を参照する。学習済みモデル４０は、検査対象に存在する欠陥が撮像された画像の入力に対して、その欠陥を複数の種別のうちのいずれかに分類した分類結果を出力するモデルである。

学習部１５０は、学習用の欠陥画像とその欠陥画像に示される欠陥の種別との関係をディープラーニング（深層学習）により学習することにより、学習済みモデル４０を生成する。学習部１５０は、ディープラーニングによる学習を実行するために、記憶部１２に記憶されている学習用データ５０を参照する。

学習用データ５０は、学習部１５０が学習するために用いられるデータ（トレーニングデータ）であって、教師データとして用いられる複数のデータセットを含んでいる。複数のデータセットのそれぞれは、学習用の欠陥画像とその欠陥画像に示される欠陥の種別との対応関係を定めている。学習用の欠陥画像は、予め種別が判明しているサンプルとなる欠陥を示す画像である。

学習部１５０は、学習用データ５０に含まれる複数のデータセットを教師データとして用いて、ディープラーニングの手法により教師あり学習を実施する。ディープラーニングを実施するために、学習部１５０は、ニューラルネットワーク、より具体的には畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を生成する。ここで、ＣＮＮは、Ｒ－ＣＮＮ（Regional-CNN）等のような、ＣＮＮを改良した各種手法であっても良い。

ＣＮＮは、図５に示すように、入力データが入力される入力層と、入力層に入力された画像に対して畳み込みを行う畳み込み層と、プーリングを行うプーリング層と、プーリング層からの出力を結合する全結合層と、活性化関数を用いて出力値を得る出力層と、によって構成される。全結合層は、複数の中間層（隠れ層）を含んでいる。ＣＮＮにおいて、畳み込み層とプーリング層とは複数組設けられており、入力層に入力された画像に対して畳み込み処理とプーリング処理とが複数回にわたって繰り返される。全結合層は、畳み込み層とプーリング層とで処理された後のデータを中間層において結合する。出力層は、全結合層で結合された値をsoftmaxなどの活性化関数を用いて出力データとして出力する。なお、図５に示したＣＮＮの構成は一例であり、学習部１５０により生成されるニューラルネットワークの構成はこれに限らない。

ＣＮＮは、入力データとして欠陥が撮像された画像のデータを受け付け、出力データとして欠陥の種別を示す情報を出力する。出力層のノードの数は、検査対象に存在する可能性がある欠陥の種別の数だけ予め定められている。図５の例では、出力層の各ノードに、種別Ａ、種別Ｂ、…、種別Ｎ（例えば、キズ、シワ、ピンホール、異物等）が対応付けられている。

出力層の各ノードは、０以上１以下の値であるスコアを出力する。スコアは、入力層に入力された画像における欠陥が、各ノードに対応付けられた種別に該当する確からしさを示す値である。あるノードから出力されるスコアが１に近いほど、入力層に入力された画像における欠陥が、そのノードに対応付けられた種別に該当する確率が高いことを意味する。図５の例では、出力層のうちの種別Ｂのノードから出力されたスコアが０．７８であり、他の種別のノードから出力されたスコアよりも高い。そのため、入力層に入力された画像における欠陥が種別Ｂに該当する確率が相対的に高い。

学習部１５０は、学習用データ５０に含まれる複数のデータセットを教師データとして用いて、ニューラルネットワークにおけるパラメータ、具体的には畳み込み層におけるフィルタの値及び中間層における結合の重みを調整する。具体的に説明すると、学習部１５０は、各データセットに含まれる学習用の欠陥画像を入力データとして入力する。そして、学習部１５０は、出力層の各ノードから出力されるスコアのうちの、正解種別に対応するノードから出力されるスコアが１に近づき、且つ、その他のノードから出力されるスコアが０に近づくように、誤差逆伝播法等を用いてパラメータを調整する。ここで、正解種別は、入力層に入力された学習用の欠陥画像に対応付けられている欠陥の種別である。

学習部１５０は、このような処理を、学習用データ５０に含まれる複数のデータセットのそれぞれに対して実行することにより、ニューラルネットワークにおける各層の結合の重みを最適化する。これにより、学習部１５０は、欠陥が撮像された画像の入力を受けて、その欠陥が、予め定められた複数の種別のそれぞれに該当する確からしさを示すスコアを出力するニューラルネットワークを構築する。学習部１５０は、ニューラルネットワークを構築すると、構築されたニューラルネットワークを学習済みモデル４０として記憶部１２に保存する。学習部１５０は、制御部１１が記憶部１２等と協働することにより実現される。

第１の分類部１４０は、このように学習部１５０により生成された学習済みモデル４０を用いて、欠陥検出部１２０により検出された欠陥が該当する種別を推定し、欠陥検出部１２０により検出された欠陥を推定した種別に分類する。具体的に説明すると、第１の分類部１４０は、欠陥検出部１２０により撮像画像３０から検出された欠陥の画像を、入力データとして学習済みモデル４０に入力する。そして、第１の分類部１４０は、このような入力に対して学習済みモデル４０から出力された、欠陥検出部１２０により検出された欠陥が、予め定められた複数の種別のそれぞれに該当する確からしさを示すスコアを参照する。そして、第１の分類部１４０は、複数の種別のうちの、学習済みモデル４０から出力されたスコアが最も高い種別に、欠陥検出部１２０により検出された欠陥を分類する。

第１の分類部１４０は、例えば図４に示したように撮像画像３０から複数の欠陥Ｘ１，Ｘ２，Ｘ３が検出された場合、このような種別分類処理を、検出された複数の欠陥Ｘ１，Ｘ２，Ｘ３のそれぞれに対して実行する。これにより、第１の分類部１４０は、複数の欠陥Ｘ１，Ｘ２，Ｘ３のそれぞれを、予め定められた複数の種別のうちのいずれかに分類する。第１の分類部１４０は、制御部１１と記憶部１２等と協働することにより実現される。

図３に戻って、第２の分類部１６０は、特徴量計算部１３０により計算された特徴量と第１の分類部１４０による分類結果とに基づいて、欠陥検出部１２０により検出された欠陥を分類する。言い換えると、第２の分類部１６０は、特徴量計算部１３０により計算された特徴量と第１の分類部１４０による分類結果との両方を組み合わせて、欠陥を分類する。

具体的に説明すると、欠陥のサイズ、面積、真円度、明るさ等のような特徴量のみに基づく分類は、人間が直観的に判断しているような複雑な欠陥に対して、分類性能が上がらないという課題がある。例えば、図６（Ａ）～（Ｃ）に示すように、不定形の形状をしている欠陥（図６（Ａ））、シワやキズ等が広範囲に分布している欠陥（図６（Ｂ））、及び、それらが組み合わされた欠陥（図６（Ｃ））に対して、特徴量のみでは分類が困難な傾向がある。この主たる要因は、分類に最適な特徴量の選択、及び分類に最適な特徴量を用いた分類条件の設定が困難であるためである。

これに対して、ディープラーニングを用いることにより、特徴量のみでは分類が困難であった複雑な欠陥に対して、分類精度を向上させることができる。しかしながら、ディープラーニングを用いた分類では、特徴量に基づく分類では比較的簡単な分類で誤判定することがある。例えば、図７（Ａ）～（Ｃ）に示すように、形状が類似しているがサイズが異なる複数の欠陥に対して、ディープラーニングでは分類が不得手な傾向がある。この主たる要因は、ディープラーニングは事前に分類種別ごとに振り分けた欠陥を学習させる必要があるが、微小にサイズが異なる欠陥ごとに分類種別を設定すると、膨大な数の分類種別の設定が必要になるからである。特に、このような分類種別の設定を人手で行う場合、振り分けに関わる作業時間が膨大になり、ディープラーニングによる分類精度を向上させる上での妨げとなる。

このように、特徴量のみに基づく分類を、ディープラーニングのみに基づく分類にそのまま置き換えるだけでは、欠陥の分類精度の向上に好適でない。このような状況を考慮して、第２の分類部１６０は、特徴量計算部１３０により計算された特徴量と、第１の分類部１４０によるディープラーニングを用いた分類結果と、の両方に基づいて、欠陥を分類する。

具体的に説明すると、第２の分類部１６０は、記憶部１２に記憶されている分類テーブル６０を参照する。分類テーブル６０は、第２の分類部１６０による欠陥の分類条件を設定しているテーブルである。第２の分類部１６０は、分類テーブル６０に設定された分類条件に従って、欠陥検出部１２０により検出された欠陥を分類する。

図８に、分類テーブル６０に定められる分類条件の例を示す。分類テーブル６０は、分類条件として、特徴量計算部１３０により計算された複数種類の特徴量と、第１の分類部１４０による学習済みモデル４０を用いた分類により得られた欠陥の種別及びスコアに応じて、１０個のグループＧ１～Ｇ１０を定めている。

具体的に説明すると、分類テーブル６０は、第１の分類部１４０により分類された欠陥の種別が“キズ”、“異物”、“シワ”のいずれであるかに応じて、特徴量に関して異なる分類条件を設定している。例えば、欠陥の種別が“キズ”である場合、その欠陥のサイズがＬ１よりも大きいか否かに応じて、第２の分類部１６０は、その欠陥をグループＧ１，Ｇ２のいずれかに分類する。また、欠陥の種別が“異物”である場合、その欠陥の明るさがＢ１よりも明るいか否かに応じて、及び、その欠陥の面積がＡ１又はＡ２よりも大きいか否かに応じて、第２の分類部１６０は、その欠陥をグループＧ３～Ｇ６のいずれかに分類する。更には、欠陥の種別が“シワ”である場合、スコアがＳ１より大きいか否かに応じて、及び、その欠陥のサイズがＬ２又はＬ３よりも大きいか否かに応じて、第２の分類部１６０は、その欠陥をグループＧ７～Ｇ１０のいずれかに分類する。

このように、第２の分類部１６０は、特徴量計算部１３０により計算された特徴量に、第１の分類部１４０による分類結果として得られた種別とスコアを新たな特徴量として加えた組み合わせが、分類テーブル６０に設定された複数のグループのうちのどれに該当するかを判定する。そして、第２の分類部１６０は、欠陥検出部１２０により検出された欠陥を、該当するグループに分類する。第２の分類部１６０は、制御部１１と記憶部１２等と協働することにより実現される。

なお、図８に示した分類テーブル６０は一例であって、第２の分類部１６０は、分類テーブル６０に設定される分類条件に限らず、様々な分類条件に従って欠陥を分類することができる。

図３に戻って、分類条件設定部１７０は、ユーザから受け付けた操作に従って、第２の分類部１６０による欠陥の分類条件を設定する。具体的に説明すると、分類条件設定部１７０は、特徴量計算部１３０により計算される複数種類の特徴量と第１の分類部１４０による分類結果として得られる種別及びスコアとのうちから、分類に用いる組み合わせを設定する。また、分類条件設定部１７０は、特徴量、種別及びスコアのそれぞれにおけるグループの境界値、すなわち後述する合否判定部１８０が欠陥の合否を判定する基準値を設定する。

ユーザは、入力受付部１３を操作して指示を入力することにより、例えば図８に示した分類テーブル６０に設定された分類条件をはじめとする、任意の分類条件を設定することができる。例えば、検査対象が製造ラインで製造される製品である場合、製品に応じて異なる分類条件を設定することができる。具体的には、ある製品ではサイズに依らずシワは許容するが基準値よりも大きなサイズのピンホールは許容できない、別の製品ではサイズに依らずシワは許容できないが基準値よりも明るい異物は許容できる等、である。

分類条件設定部１７０は、このように入力受付部１３を介してユーザから受け付けた入力に従って、分類条件を設定する。第２の分類部１６０は、分類条件設定部１７０により設定された分類条件に従って、欠陥検出部１２０により検出された欠陥を分類する。分類条件設定部１７０は、制御部１１が入力受付部１３と協働することにより実現される。

更に、分類条件設定部１７０は、分類条件として、特徴量計算部１３０により計算された特徴量と第１の分類部１４０によるディープラーニングを用いた分類結果との両方に基づいて欠陥を分類するか、それともいずれか一方のみに基づいて欠陥を分類するか、を設定する。

例えば、分類条件設定部１７０により特徴量とディープラーニングを用いた分類結果との両方に基づいて欠陥を分類することが設定された場合、第２の分類部１６０は、サイズ等の特徴量とディープラーニングを用いた分類結果である種別及びスコアとの組み合わせに基づいて、欠陥を分類する。これに対して、分類条件設定部１７０により特徴量とディープラーニングを用いた分類結果とのうちのいずれか一方のみに基づいて欠陥を分類することが設定された場合、第２の分類部１６０は、特徴量のみ、又はディープラーニングのみに基づいて欠陥を分類する。

このように、特徴量を用いた分類とディープラーニングを用いた分類とをユーザが自由に組み合わせることができる。これにより、ディープラーニングを用いた分類を導入した後であっても、従来の特徴量のみを用いた分類も可能となる。言い換えると、ディープラーニングを用いた分類と従来の特徴量のみを用いた分類との間で高い互換性を確保することができる。そのため、例えば製造ラインにおいて、ディープラーニングを用いた分類を、その性能を見極めつつ徐々に導入することが可能となる。

図３に戻って、合否判定部１８０は、第２の分類部１６０による分類結果に基づいて、欠陥検出部１２０により検出された欠陥の合否を判定する。ここで、欠陥の合否は、その欠陥が検査対象に含まれていることが許容されるか否かを意味する。

図８に示したように、分類テーブル６０は、第２の分類部１６０により欠陥が各グループに分類された場合におけるその欠陥の合否を設定している。合否判定部１８０は、第２の分類部１６０により欠陥が“ＯＫ”のグループ（具体的にはグループＧ２，Ｇ４，Ｇ６，Ｇ８，Ｇ１０）に分類された場合、その欠陥が許容される欠陥であると判定する。一方で、合否判定部１８０は、第２の分類部１６０により欠陥が“ＮＧ”のグループ（具体的にはグループＧ１，Ｇ３，Ｇ５，Ｇ７，Ｇ９）に分類された場合、その欠陥が許容されない欠陥であると判定する。

合否を判定すると、合否判定部１８０は、判定結果を出力する。具体的に説明すると、合否判定部１８０は、合否判定部１８０による判定結果を表す画像を表示部１４に表示し、検査対象に欠陥が含まれているか否かをユーザに認識させる。合否判定部１８０は、制御部１１が表示部１４等と協働することにより実現される。

なお、合否判定部１８０は、合否の判定結果を、表示部１４に表示することに代えて又は加えて、音声で出力しても良い。或いは、合否判定部１８０は、合否判定部１８０による判定結果を示す情報を、通信部１５を介して外部の機器に出力しても良い。

以上のように構成される欠陥分類装置１０により実行される欠陥分類処理の流れについて、図９に示すフローチャートを参照して説明する。

図９に示す欠陥分類処理が実行される前に、学習部１５０は、学習用データ５０を用いてディープラーニングを実施することにより、学習済みモデル４０を生成する。そして、生成された学習済みモデル４０が記憶部１２に記憶されている状態において、ユーザから入力受付部１３を介して処理開始の指示が受け付けられると、図９に示す欠陥分類処理は開始する。

欠陥分類処理を開始すると、欠陥分類装置１０において、制御部１１は、分類条件設定部１７０として機能し、分類条件を設定する（ステップＳ１）。具体的に説明すると、制御部１１は、入力受付部１３を介してユーザから受け付けた入力に従って、例えば図８に示した分類テーブル６０に定められる分類条件を設定する。

分類条件を設定すると、制御部１１は、撮像画像取得部１１０として機能し、検査対象が撮像された撮像画像を取得する（ステップＳ２）。具体的に説明すると、制御部１１は、撮像部１６により検査対象の外観を撮像することにより、例えば図４に示したような、検査対象の表面が写った撮像画像３０を取得する。

撮像画像を取得すると、制御部１１は、欠陥検出部１２０として機能し、撮像画像から欠陥を検出する（ステップＳ３）。具体的に説明すると、制御部１１は、撮像画像内における各画素の画素値を解析し、周囲と画素値が大きく異なる領域の有無を判定する。そして、制御部１１は、周囲と画素値が大きく異なる領域が存在する場合に、その領域を、欠陥が写っている可能性がある欠陥領域として検出する。

欠陥を検出すると、制御部１１は、特徴量計算部１３０として機能し、欠陥の特徴量を計算する（ステップＳ４）。具体的に説明すると、制御部１１は、ステップＳ３で検出された欠陥のサイズ、面積、真円度、及び明るさという複数種類の特徴量を計算する。

欠陥の特徴量を計算すると、制御部１１は、第１の分類部１４０として機能し、学習済みモデル４０を用いて欠陥を分類する（ステップＳ５）。具体的に説明すると、制御部１１は、記憶部１２に記憶されている学習済みモデル４０に、ステップＳ３で検出された欠陥の画像を入力する。そして、制御部１１は、学習済みモデル４０から出力される複数の種別のスコアを参照して、検出された欠陥を、複数の種別のうちのスコアが最も高い種別に分類する。

学習済みモデル４０を用いて欠陥を分類すると、制御部１１は、第２の分類部１６０として機能し、特徴量と、学習済みモデル４０を用いた分類結果と、に基づいて欠陥を更に分類する（ステップＳ６）。具体的に説明すると、制御部１１は、ステップＳ１で設定された分類条件に従って、複数のグループのうちから、ステップＳ４で計算した欠陥の特徴量とステップＳ５で分類した欠陥の種別及びスコアとの組み合わせが該当するグループを特定する。そして、制御部１１は、ステップＳ３で検出された欠陥を、特定したグループに分類する。

欠陥を分類すると、制御部１１は、合否判定部１８０として機能し、欠陥の合否を判定及び出力する（ステップＳ７）。具体的に説明すると、制御部１１は、ステップＳ６において欠陥が、合否が“ＯＫ”に設定されているグループと合否が“ＮＧ”に設定されているグループとのどちらに分類されたかを判定する。判定の結果、制御部１１は、合否が“ＮＧ”に設定されているグループに欠陥が分類された場合、その欠陥が許容されない（不良である）と判定し、その旨を表示部１４に表示する。一方で、制御部１１は、合否が“ＯＫ”に設定されているグループに欠陥が分類された場合、その欠陥が許容される（不良でない）と判定し、その旨を表示部１４に表示する。

なお、制御部１１は、ステップＳ３において撮像画像３０から複数の欠陥が検出された場合、検出された複数の欠陥のそれぞれに対してステップＳ４～Ｓ７の処理を実行する。これにより、制御部１１は、検査対象に許容されない（不良に相当する）欠陥が含まれているか否かを検査する。以上により、図９に示した欠陥分類処理は終了する。

以上説明したように、実施形態１に係る欠陥分類装置１０は、検査対象が撮像された撮像画像から検出された欠陥の特徴量を計算すると共に、ディープラーニングにより学習された学習済みモデル４０を用いて、検出された欠陥を分類する。そして、実施形態１に係る欠陥分類装置１０は、特徴量と学習済みモデル４０による分類結果とに基づいて、検出された欠陥を更に分類する。このように、実施形態１に係る欠陥分類装置１０は、特徴量を用いた分類とディープラーニングを用いた分類とを組み合わせて、検査対象に存在する欠陥を分類する。そのため、特徴量のみを用いた場合とディープラーニングのみを用いた場合との一方のみでは分類が困難な欠陥を、高い精度で分類することができる。その結果として、検査対象に存在する欠陥の分類精度を向上させることができる。

また、実施形態１に係る欠陥分類装置１０は、ディープラーニングによる分類結果を新たな特徴量として従来のサイズ等の特徴量に組み合わせて扱う。そのため、従来のサイズ等の特徴量を用いた分類条件の設定方法を変えることなく、特徴量を用いた分類とディープラーニングによる分類とのどちらか一方を選択して使用すること、及び、両方を組み合わせて使用することが容易に可能となる。これにより、検査対象の欠陥及び分類の目的に応じて、最適な分類条件を容易に設定することができる。

特に、例えば製造ラインで製造される製品が検査対象である場合において、製品の製造工程において発生する欠陥は、製造方法や製造工程によって、単純なものから複雑なものまで様々な欠陥に対して高い分類性能が求められる。その上で、分類条件の設定を容易にして、分類条件の設定に要する時間をより少なくする必要がある。実施形態１に係る欠陥分類装置１０は、ディープラーニングによる分類結果を新たな特徴量として従来のサイズ等の特徴量に組み合わせて扱うことにより、検査対象に存在する様々な欠陥の分類精度を向上させるとともに、分類条件を容易に設定することができる。

また、実施形態１に係る欠陥分類装置１０は、ディープラーニングによる分類結果を新たな特徴量として従来のサイズ等の特徴量に組み合わせて扱うため、従来のサイズ等の特徴量を用いた分類シーケンスを変えずに導入することができる。その結果、実施形態１に係る欠陥分類装置１０は、例えば製造ラインで製造される製品が検査対象である場合において、欠陥の判定基準を大幅に変更することなく導入することができる。

更には、ディープラーニング等のＡＩによる分類結果は、分類の過程が外部から見えないため、その分類基準を人間が説明できないことが多い。そのため、例えば製造ラインにおいて製品の品質を管理する上で、全ての欠陥の分類をＡＩに置き換えることは難しい。実施形態１に係る欠陥分類装置１０は、従来のサイズ等の特徴量を用いた分類シーケンスを変えずに導入することができるため、人間に説明し易い分類基準を維持しつつ、ディープラーニングによる欠陥の分類を導入することができる。

（実施形態２）
次に、本発明の実施形態２について説明する。実施形態１と同様の構成及び機能については、適宜説明を省略する。

図１０に、実施形態２に係る欠陥分類装置２０の機能的な構成を示す。図１０に示すように、欠陥分類装置２０は、機能的に、撮像画像取得部１１０と、欠陥検出部１２０と、特徴量計算部１３０と、第１の分類部１４０と、第２の分類部１６０と、分類条件設定部１７０と、合否判定部１８０と、モデル設定部２１０と、を備える。ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して、そのプログラムを実行して制御することにより、これら各部として機能する。

具体的に説明すると、実施形態１に係る欠陥分類装置１０は、学習部１５０を備えていたのに対して、実施形態２に係る欠陥分類装置２０は、学習部１５０を備えていない。その代わりに、実施形態２に係る欠陥分類装置２０は、モデル設定部２１０を備えている。

モデル設定部２１０は、ユーザから受け付けた操作に従って、学習済みモデル４０を設定する。具体的に説明すると、欠陥分類装置２０は、異なる学習用データ５０を用いたディープラーニングにより生成された複数の学習済みモデル４０を、記憶部１２に記憶する。モデル設定部２１０は、入力受付部１３を介してユーザから受け付けた入力に従って、記憶部１２に記憶されている複数の学習済みモデル４０のうちから１つを選択する。そして、モデル設定部２１０は、選択した学習済みモデル４０を、第１の分類部１４０が分類に用いる学習済みモデル４０として設定する。モデル設定部２１０は、制御部１１が入力受付部１３と協働することにより実現される。

なお、欠陥分類装置２０が学習部１５０を備えていないため、複数の学習済みモデル４０のそれぞれは、欠陥分類装置２０自体により生成されず、欠陥分類装置２０とは異なる外部の装置により生成される。欠陥分類装置１０は、例えば通信部１５を介してその装置と通信することにより、外部の装置で生成された複数の学習済みモデル４０を取得し、記憶部１２に記憶する。

第１の分類部１４０は、モデル設定部２１０により設定された学習済みモデル４０を用いて、欠陥検出部１２０により検出された欠陥を分類する。第１の分類部１４０をはじめとして、モデル設定部２１０以外の各部の機能は実施形態１と同様であるため、説明を省略する。

このように、実施形態２に係る欠陥分類装置２０は、学習部１５０の機能を備えておらず、ユーザから受け付けた操作に従って、欠陥の分類に用いる学習済みモデル４０を設定する。これにより、ディープラーニングを用いた欠陥の分類の設定をユーザが柔軟に調整することができる。

（変形例）
以上、本発明の実施形態を説明したが、各実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。

例えば、上記実施形態では、特徴量計算部１３０は、欠陥検出部１２０により検出された欠陥の特徴量として、欠陥のサイズ、面積、真円度及び明るさという４つの値を計算した。しかしながら、特徴量計算部１３０は、欠陥の特徴量として、これら４つの値の全てを計算することに限らず、これら４つの値のうちの一部のみを計算するものであっても良い。また、特徴量計算部１３０は、欠陥の特徴量として、これら４つの値以外の値を計算しても良いし、これら４つの値のうちの少なくとも１つとこれら４つの値以外の値とをどちらも計算するものであっても良い。

上記実施形態では、第２の分類部１６０は、記憶部１２に記憶されている分類テーブル６０を参照して、欠陥検出部１２０により検出された欠陥を分類した。このとき、第２の分類部１６０は、ランダムフォレスト法を用いて欠陥を分類しても良い。ランダムフォレスト法とは、ランダムサンプリングされた学習用データ（トレーニングデータ）に基づいて学習を行って多数の決定木を生成する方法である。具体的には説明すると、第２の分類部１６０は、特徴量計算部１３０により計算された特徴量と第１の分類部１４０による分類結果として得られた種別及びスコアとを説明変数として用いて、多数の決定木により構成される分類器を生成する。そして、第２の分類部１６０は、ランダムフォレスト法によって生成された分類器を用いて、欠陥を分類する。

上記実施形態では、第２の分類部１６０は、特徴量計算部１３０により計算された特徴量と、第１の分類部１４０により分類された種別及びその種別に該当する確からしさを示すスコアと、に基づいて、欠陥検出部１２０により検出された欠陥を分類した。しかしながら、第２の分類部１６０は、スコアを用いずに、特徴量計算部１３０により計算された特徴量と第１の分類部１４０により分類された種別に基づいて、欠陥検出部１２０により検出された欠陥を分類しても良い。

或いは、第２の分類部１６０は、複数の種別及び複数のスコアを用いても良い。例えば、第２の分類部１６０は、ニューラルネットワークの出力層の複数のノードから出力される複数の種別のうちの、スコアが最も高い種別とそのスコアだけに限らず、スコアが高い順に２以上の種別と、それらの種別のスコアと、を用いても良い。

上記実施形態では、欠陥分類装置１０，２０は、撮像部１６を備えていた。しかしながら、欠陥分類装置１０，２０自体が撮像部１６を備えておらず、欠陥分類装置１０，２０とは独立した撮像装置が検査対象を撮像しても良い。撮像装置が欠陥分類装置１０，２０とは別に設けられている場合、撮像画像取得部１１０は、通信部１５を介して撮像装置と通信することにより、撮像部１６により検査対象の外観が撮像された撮像画像を取得する。

上記実施形態では、欠陥分類装置１０，２０の制御部１１において、ＣＰＵがＲＯＭ又は記憶部１２に記憶されたプログラムを実行することによって、図３又は図１０に示した各部として機能した。しかしながら、制御部１１は、ＣＰＵの代わりに、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、各種制御回路等の専用のハードウェアを備え、専用のハードウェアが、図３又は図１０に示した各部として機能しても良い。この場合、各部の機能それぞれを個別のハードウェアで実現しても良いし、各部の機能をまとめて単一のハードウェアで実現しても良い。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現しても良い。

欠陥分類装置１０，２０の動作を規定するプログラムを、パーソナルコンピュータ、情報端末装置等の既存のコンピュータに適用することで、当該コンピュータを、欠陥分類装置１０，２０として機能させることも可能である。また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ－ＲＯＭ（Compact Disk ROM）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、又は、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

１０，２０ 欠陥分類装置、１１ 制御部、１２ 記憶部、１３ 入力受付部、１４ 表示部、１５ 通信部、１６ 撮像部、３０ 撮像画像、４０ 学習済みモデル、５０ 学習用データ、６０ 分類テーブル、１１０ 撮像画像取得部、１２０ 欠陥検出部、１３０ 特徴量計算部、１４０ 第１の分類部、１５０ 学習部、１６０ 第２の分類部、１７０ 分類条件設定部、１８０ 合否判定部、２１０ モデル設定部、Ｘ１，Ｘ２，Ｘ３ 欠陥

Claims (11)

1. 検査対象が撮像された撮像画像から欠陥を検出する欠陥検出部と、
   前記欠陥検出部により検出された前記欠陥の特徴量を計算する特徴量計算部と、
   ディープラーニングにより学習された学習済みモデルを用いて、前記欠陥検出部により検出された前記欠陥を分類する第１の分類部と、
   複数のグループのうちの、前記特徴量計算部により計算された前記特徴量に前記第１の分類部による分類結果を加えた組み合わせが該当するグループに、前記欠陥検出部により検出された前記欠陥を分類する第２の分類部と、を備える、
   欠陥分類装置。
2. ユーザから受け付けた操作に従って、前記第２の分類部による前記欠陥の分類条件を設定する分類条件設定部、を更に備え、
   前記第２の分類部は、前記分類条件設定部により設定された分類条件に従って、前記欠陥検出部により検出された前記欠陥を分類する、
   請求項１に記載の欠陥分類装置。
3. 前記分類条件設定部は、前記分類条件として、前記特徴量計算部により計算された前記特徴量と前記第１の分類部による前記分類結果との両方に基づいて前記欠陥を分類するか、前記特徴量計算部により計算された前記特徴量と前記第１の分類部による前記分類結果とのうちのいずれか一方のみに基づいて前記欠陥を分類するか、を設定する、
   請求項２に記載の欠陥分類装置。
4. ユーザから受け付けた操作に従って、前記学習済みモデルを設定するモデル設定部、を更に備え、
   前記第１の分類部は、前記モデル設定部により設定された前記学習済みモデルを用いて、前記欠陥検出部により検出された前記欠陥を分類する、
   請求項１から３のいずれか１項に記載の欠陥分類装置。
5. 前記学習済みモデルは、前記欠陥検出部により検出された前記欠陥が、予め定められた複数の種別のそれぞれに該当する確からしさを示すスコアを出力し、
   前記第１の分類部は、前記欠陥検出部により検出された前記欠陥を、前記複数の種別のうちの、前記学習済みモデルから出力されたスコアが最も高い種別に分類し、
   前記第２の分類部は、前記複数のグループのうちの、前記特徴量計算部により計算された前記特徴量に前記第１の分類部により分類された前記種別及び該種別に該当する確からしさを示す前記スコアを加えた組み合わせが該当するグループに、前記欠陥検出部により検出された前記欠陥を分類する、
   請求項１から４のいずれか１項に記載の欠陥分類装置。
6. 前記特徴量計算部は、前記特徴量として、前記欠陥検出部により検出された前記欠陥のサイズと面積と真円度と明るさとのうちの少なくとも１つを計算する、
   請求項１から５のいずれか１項に記載の欠陥分類装置。
7. 学習用の欠陥画像と該欠陥画像に示される欠陥の種別との関係を前記ディープラーニングにより学習することにより、前記学習済みモデルを生成する学習部、を更に備え、
   前記第１の分類部は、前記学習部により生成された前記学習済みモデルを用いて、前記欠陥検出部により検出された前記欠陥を分類する、
   請求項１から６のいずれか１項に記載の欠陥分類装置。
8. 前記第２の分類部による分類結果に基づいて、前記欠陥検出部により検出された前記欠陥の合否を判定する合否判定部、を更に備える、
   請求項１から７のいずれか１項に記載の欠陥分類装置。
9. 前記第１の分類部は、前記学習済みモデルを用いて、前記欠陥検出部により検出された前記欠陥を、予め定められた複数の種別のうちのいずれかの種別に分類し、
   前記第２の分類部は、前記第１の分類部により分類された前記種別に対して設定された基準値と、前記特徴量計算部により計算された前記特徴量と、の比較により、前記欠陥検出部により検出された前記欠陥を分類する、
   請求項１から８のいずれか１項に記載の欠陥分類装置。
10. 検査対象が撮像された撮像画像から欠陥を検出する欠陥検出ステップと、
    前記欠陥検出ステップで検出された前記欠陥の特徴量を計算する特徴量計算ステップと、
    ディープラーニングにより学習された学習済みモデルを用いて、前記欠陥検出ステップで検出された前記欠陥を分類する第１の分類ステップと、
    複数のグループのうちの、前記特徴量計算ステップで計算された前記特徴量に前記第１の分類ステップでの分類結果を加えた組み合わせが該当するグループに、前記欠陥検出ステップで検出された前記欠陥を分類する第２の分類ステップと、を含む、
    欠陥分類方法。
11. コンピュータを、
    検査対象が撮像された撮像画像から欠陥を検出する欠陥検出部、
    前記欠陥検出部により検出された前記欠陥の特徴量を計算する特徴量計算部、
    ディープラーニングにより学習された学習済みモデルを用いて、前記欠陥検出部により検出された前記欠陥を分類する第１の分類部、
    複数のグループのうちの、前記特徴量計算部により計算された前記特徴量に前記第１の分類部による分類結果を加えた組み合わせが該当するグループに、前記欠陥検出部により検出された前記欠陥を分類する第２の分類部、として機能させる、
    プログラム。

Images