JP7453813B2

JP7453813B2 - 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット

Info

Publication number: JP7453813B2
Application number: JP2020041487A
Authority: JP
Inventors: 武瑠仲村
Original assignee: Screen Holdings Co Ltd
Current assignee: Screen Holdings Co Ltd
Priority date: 2020-03-11
Filing date: 2020-03-11
Publication date: 2024-03-21
Anticipated expiration: 2040-03-11
Also published as: JP2021143884A

Description

この発明は、検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセットに関する。

食品、医薬品または工業製品等の製造工程においては、製造ラインに検査工程を設けて、不良品の検出等の検査が行われる場合がある。製品の検査は、人間が目視で行っており（目視検査）、人的コストが高いという問題があった。このため、検査工程の一部または全部を自動化するべく、機械によって自動的に製品を検査するシステムの開発が進められている。

例えば、特許文献１には、機械学習を利用して欠陥検査する技術が開示されている。具体的には、第１の学習部は、正常データの集合を用いて、正常データを判別するための第１のモデルを学習する。第２の学習部は、予め用意された複数の撮影画像の各々から第１のモデルに基づいて検出された複数の異常候補領域のうち、ユーザにより選択された異常候補領域を正解データ、ユーザにより選択されなかった異常候補領域を非正解データとして、正解データと非正解データを識別するための第２のモデルを学習する。検出部は、第１のモデルを用いて、撮影画像から異常候補領域を検出する。判断部は、第２のモデルを用いて、検出部により検出された異常候補領域が正解データに属するのか非正解データに属するのかを判断する。

特開２０１８－１２０３００号公報

特許文献１の場合、第１の学習部は、良品画像のみで機械学習を行う。一方、第２の学習部について、学習に使用されるサンプル画像として、正常なサンプル画像だけでなく、欠陥を含むサンプル画像も準備する必要がある。しかしながら、検査対象の対象物が、欠陥の発生率が低い製品である場合、欠陥を含むサンプル画像を取得することが、困難な場合があった。このため、検査対象の対象物が、異常の発生率が低いものである場合、従来技術の採用は困難であった。

本発明の目的は、異常の発生率が低い対象物であっても、異常を良好に検出する技術を提供することにある。

上記課題を解決するため、本願の第１発明は、対象物を検査する検査装置であって、対象物を撮像して得られた対象物画像に基づいて前記対象物の欠陥を検出する欠陥検出部と、前記欠陥検出部が検出した欠陥の真偽を判断する欠陥判断部と、を有し、前記欠陥検出部は、画像を入力および出力とする欠陥検出用学習モデルと、学習用の対象物の画像である標本画像を前記欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現して前記標本画像の再構成画像を出力するように学習させた欠陥検出用学習済データと、を含み、前記欠陥検出部は、前記欠陥検出用学習済データを適用した前記欠陥検出用学習モデルを用いて、前記対象物画像を次元圧縮および再現して前記対象物画像の再構成画像を生成する処理と、前記対象物画像と前記再構成画像との差分である差分画像を生成する処理と、前記差分画像に基づいて欠陥の有無を検出する処理と、を実行し、前記欠陥判断部は、前記差分画像を入力とする欠陥判断用学習モデルと、学習用の対象物の画像である標本画像の前記差分画像を入力として、前記欠陥判断用学習モデルに良品の範囲を学習させた欠陥判断用学習済データと、を含み、前記欠陥判断部は、前記欠陥検出部が欠陥を検出した対象物の対象物画像の前記差分画像を、前記欠陥判断用学習済データを適用した前記欠陥判断用学習モデルに入力し、前記対象物が良品の範囲に属するか否かを判断する欠陥判断処理を実行する。

本願の第２発明は、第１発明の検査装置であって、前記欠陥判断用学習済データは、良品の前記標本画像の前記差分画像のみを前記欠陥判断用学習モデルに入力して、良品の範囲を学習させた学習済データである。

本願の第３発明は、第１発明または第２発明の検査装置であって、前記欠陥検出用学習済データは、良品の前記対象物画像を前記欠陥検出用学習モデルに入力し、入力された前記対象物画像の再構成画像を出力するように学習させた学習済データである。

本願の第４発明は、対象物を検査する検査方法であって、ａ）対象物を撮像して得られた対象物画像に基づいて前記対象物の欠陥を検出する欠陥検出工程と、ｂ）前記工程ａ）において検出した欠陥の真偽を判断する欠陥判断工程と、を有し、前記工程ａ）は、前記対象物画像を、欠陥検出用学習済データを適用した欠陥検出用学習モデルに入力して、前記対象物画像を次元圧縮および再現して前記対象物画像の再構成画像を生成する工程と、前記対象物画像と前記再構成画像との差分である差分画像を生成する工程と、前記差分画像に基づいて欠陥の有無を検出する工程と、を含み、前記欠陥検出用学習モデルは、画像を入力および出力とする学習モデルであり、前記欠陥検出用学習済データは、学習用の対象物の画像である標本画像を前記欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現して前記標本画像の再構成画像を出力するように学習させた学習済みデータであり、前記工程ｂ）において、前記工程ａ）において欠陥を検出した対象物の対象物画像の前記差分画像を、欠陥判断用学習済データを適用した欠陥判断用学習モデルに入力して、前記対象物が良品の範囲に属するか否かを判断し、前記欠陥判断用学習済データは、学習用の対象物の画像である標本画像の前記差分画像を欠陥判断用学習モデルに入力して、良品の範囲を学習させた学習済データである。

本願の第５発明は、第４発明の検査方法であって、前記欠陥判断用学習済データは、良品の前記標本画像の前記差分画像のみを欠陥判断用学習モデルに入力して、良品の範囲を学習させたモデルである。

本願の第６発明は、コンピュータに、対象物を検査させるための検査プログラムであって、前記コンピュータに、ａ）対象物を撮像して得られた対象物画像に基づいて前記対象物の欠陥を検出する欠陥検出工程と、ｂ）前記工程ａ）において検出した欠陥の真偽を判断する欠陥判断工程と、を実行させ、前記工程ａ）は、前記対象物画像を、欠陥検出用学習済データを適用した欠陥検出用学習モデルに入力して、前記対象物画像を次元圧縮および再現して前記対象物画像の再構成画像を生成する工程と、前記対象物画像と前記再構成画像との差分である差分画像を生成する工程と、前記差分画像に基づいて欠陥の有無を検出する工程と、を含み、前記欠陥検出用学習モデルは、画像を入力および出力とする学習モデルであり、前記欠陥検出用学習済データは、学習用の対象物の画像である標本画像を前記欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現して前記標本画像の再構成画像を出力するように学習させた学習済みデータであり、前記コンピュータは、前記工程ｂ）において、前記工程ａ）において欠陥を検出した対象物の対象物画像の前記差分画像を、欠陥判断用学習済データを適用した欠陥判断用学習モデルに入力して、前記対象物が良品の範囲に属するか否かを判断し、前記欠陥判断用学習済データは、学習用の対象物の画像である標本画像の前記差分画像を欠陥判断用学習モデルに入力して、良品の範囲を学習させた学習済データである。

本願の第７発明は、対象物を検査する検査装置を構築するための学習装置であって、学習用の対象物の画像である標本画像を欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現した前記標本画像の再構成画像を出力するように学習させた欠陥検出用学習済データを生成する欠陥検出学習部と、学習用の対象物の画像である標本画像と、前記標本画像から前記欠陥検出用学習モデルを用いて生成した前記再構成画像との差分である差分画像を、欠陥判断用学習モデルに入力して、良品の範囲を学習させた欠陥判断用学習済データを生成する欠陥判断学習部と、を備える。

本願の第８発明は、対象物を検査する検査装置を構築するための学習方法であって、ｘ）学習用の対象物の画像である標本画像を欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現した再構成画像を出力するように学習させた欠陥検出用学習済データを生成する欠陥検出学習工程と、ｙ）学習用の対象物の画像である標本画像と、前記標本画像から前記欠陥検出用学習モデルを用いて生成した前記再構成画像との差分である差分画像を、欠陥判断用学習モデルに入力して、良品の範囲を学習させた欠陥判断用学習済データを生成する欠陥判断学習工程と、を備える。

本願の第１発明～第８発明によれば、欠陥判断用学習モデルと、良品の範囲を学習させた欠陥判断用学習済データとを用いて欠陥検出部の検出結果をチェックすることにより、過検出となった良品画像を判別することができる。これにより、良品を不良品と判断してしまう過検出を低減できる。

特に、本願の第２発明および第５発明によれば、不良品を入手し難い対象物についても、過検出を効率よく低減することができる。

第１実施形態の検査装置を示す図である。第１実施形態の情報処理装置のハードウェア構成を示す図である。第１実施形態の情報処理装置が備える機能的な構成を示す図である。第１実施形態の欠陥検出用学習工程の流れを示すフローチャートである。第１実施形態の欠陥検出用学習モデルを概念的に示す図である。学習済みの欠陥検出用学習モデルに対して不良画像を入力した様子を概念的に示す図である。第１実施形態の欠陥検出部における欠陥検出工程の流れを示すフローチャートである。第１実施形態の欠陥検出工程の各段階で得られる画像の例を示した図である。第１実施形態の欠陥検出工程の各段階で得られる画像の例を示した図である。良品の対象物についての差分画像および欠陥検出部分画像を示した図の例である。不良品の対象物についての差分画像および欠陥検出部分画像を示した図の例である。第１実施形態の欠陥判断用学習工程の流れを示すフローチャートである。第１実施形態の欠陥判断用学習工程の各段階で得られる画像の例を示した図である。第１実施形態の検査装置を用いた検査工程の流れを示すフローチャートである。第１実施形態の検査装置を用いた欠陥判断工程の流れを示すフローチャートである。第１実施形態の検査工程の各段階で得られる画像および検査結果の例を示した図である。第２実施形態の検査装置の情報処理装置が備える機能的な構成を示す図である。

以下、添付の図面を参照しながら、本発明の実施形態について説明する。なお、この実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。図面においては、理解容易のため、必要に応じて各部の寸法や数が誇張または簡略化して図示されている場合がある。

＜１．第１実施形態＞
＜１－１．検査装置の構成＞
図１は、第１実施形態の検査装置１０を示す図である。検査装置１０は、対象物９０の画像を解析することによって、対象物９０の欠陥を検出する。対象物９０は、具体的には錠剤であるが、錠剤に限定されない。検査装置１０は、カメラ１１０と、情報処理装置１２０とを備える。カメラ１１０は、情報処理装置１２０と電気的に接続されている。カメラ１１０は、イメージセンサを備えている。カメラ１１０は、イメージセンサを用いて対象物９０を撮像することにより得られる画像信号を、情報処理装置１２０へ出力する。カメラ１１０に撮像される対象物９０は、所定の位置に停止していてもよいし、ベルトコンベアなどの搬送機構により、所定の方向へ移動していてもよい。

図２は、第１実施形態の情報処理装置１２０のハードウェア構成を示す図である。情報処理装置１２０は、コンピュータとしての構成を備える。具体的には、情報処理装置１２０は、プロセッサ１２１と、ＲＡＭ１２３と、記憶部１２５と、入力部１２７と、表示部１２９と、機器Ｉ／Ｆ１３１と、通信Ｉ／Ｆ１３３とを備える。プロセッサ１２１、ＲＡＭ１２３、記憶部１２５、入力部１２７、表示部１２９、機器Ｉ／Ｆ１３１および通信Ｉ／Ｆ１３３は、バス１３５を介して互いに電気的に接続されている。

プロセッサ１２１は、具体的には、ＣＰＵまたはＧＰＵを含む。ＲＡＭ１２３は、情報の読み出しおよび書き込みが可能な記憶媒体であって、具体的には、ＳＤＲＡＭである。記憶部１２５は、情報の読み出しおよび書き込みが可能な記録媒体であって、具体的には、ＨＤＤ（ハードディスクドライブ）またはＳＳＤ（ソリッドステートドライブ）を含む。なお、記憶部１２５は、可搬性を有する光ディスク、磁気ディスクまたは半導体メモリ等を含んでもよい。記憶部１２５は、プログラムＰを記憶している。プロセッサ１２１は、ＲＡＭ１２３を作業領域として、プログラムＰを実行することにより、各種の機能を実現する。なお、プログラムＰは、ネットワークを介して、情報処理装置１２０に提供または配布されるようにしてもよい。

入力部１２７は、ユーザの操作入力を受け付ける入力デバイスであり、具体的には、マウスまたはキーボードなどである。表示部１２９は、各種情報を表す画像を表示する表示デバイスであり、具体的には、液晶ディスプレイである。

機器Ｉ／Ｆ１３１は、カメラ１１０を情報処理装置１２０に電気的に接続するためのインターフェースである。通信Ｉ／Ｆ１３３は、情報処理装置１２０をインターネットなどのネットワークと接続するためのインターフェースである。カメラ１１０は、通信Ｉ／Ｆ１３３を介して情報処理装置１２０と接続されてもよい。すなわち、検査装置１０は、カメラ１１０を備えていることは必須ではなく、情報処理装置１２０のみを備えていてもよい。

図３は、第１実施形態の情報処理装置１２０が備える機能的な構成を示す図である。情報処理装置１２０は、欠陥検出部２０と、欠陥判断部３０と、欠陥検出学習部２１０と、欠陥判断学習部３１０とを有する。

欠陥検出部２０は、対象物９０をカメラ１１０で撮像することによって得られた対象物画像に基づいて、対象物９０の欠陥を検出する。欠陥検出部２０は、欠陥検出用学習モデル２００と、欠陥検出用学習済データ２１と、再構成画像生成部２２と、差分画像生成部２３と、欠陥検出処理部２４とを有する。

欠陥判断部３０は、欠陥検出部２０が検出した欠陥の真偽を判断する。欠陥判断部３０は、欠陥判断用学習モデル３００と、欠陥判断用学習済データ３１と、欠陥判断処理部３２とを有する。

再構成画像生成部２２、差分画像生成部２３、欠陥検出処理部２４、および欠陥判断処理部３２は、プロセッサ１２１がプログラムＰに従って動作することにより実現される機能である。欠陥検出学習部２１０および欠陥判断学習部３１０は、情報処理装置１２０に備えられていることは必須ではなく、別のコンピュータに備えられていてもよい。

欠陥検出用学習モデル２００は、記憶部１２５に保存されている。欠陥検出用学習モデル２００は、画像を入力とし、画像を出力とする学習モデルである。

欠陥検出用学習済データ２１は、欠陥検出学習部２１０が欠陥検出用学習モデル２００を用いた学習を行うことにより得られた学習済データである。具体的には、欠陥学習用学習済データ２１は、学習用の対象物の画像である標本画像を欠陥検出用学習モデル２００に入力し、入力された標本画像の再構成画像を出力するように学習させた学習済データである。すなわち、欠陥検出用学習済データ２１を適用した欠陥検出用学習モデル２００は、良品の標本画像を入力とし、入力された標本画像の再構成画像を出力するように動作する。

欠陥検出用学習モデル２００は、例えば、ニューラルネットワークを用いたオートエンコーダ、または、変分オートエンコーダ（Variational Autoencoder）である。

良品の標本画像は、欠陥が無い対象物９０をカメラ１１０で撮像することによって得られる画像である。以下、良品の標本画像を、「良品画像」とも称する。欠陥検出学習部２１０は、複数の良品画像を用いた機械学習によって、欠陥検出用学習済データ２１を生成し、記憶部１２５に記憶させる。

対象物の検査時には、検査対象となる対象物９０をカメラ１１０で撮像した対象物画像が入力画像として欠陥検出部２０へと入力される。再構成画像生成部２２は、当該入力画像を、欠陥検出用学習済データ２１を適用した欠陥検出用学習モデル２００に入力し、入力画像から再構成画像を生成する処理を実行する。差分画像生成部２３は、入力画像と再構成画像との差分である差分画像を生成する処理を実行する。欠陥検出処理部２４は、差分画像に基づいて欠陥の有無を検出する処理を実行する。

欠陥判断用学習モデル３００は、記憶部１２５に保存されている。欠陥判断用学習モデル３００は、欠陥検出部２０で処理した処理データを入力として、入力された処理データが良品の処理データであるか否かの判断を出力する学習モデルである。

欠陥判断用学習済データ３１は、欠陥判断学習部３１０が欠陥判断用学習モデル３００を用いた学習を行うことにより得られた学習済データである。具体的には、欠陥判断用学習済データ３１は、学習用の標本画像を欠陥検出部２０で処理した処理データを欠陥判断用学習モデル３００に入力して、欠陥判断学習部３１０が良品の範囲を学習させた学習済データである。すなわち、欠陥判断用学習済データ３１を適用した欠陥判断用学習モデル３００は、良品の標本画像から欠陥検出部２０が生成した差分画像を入力として、当該差分画像が良品の範囲に含まれるか否かを出力するように動作する。

欠陥判断用学習モデル３００は、例えば、One Class SVM（One Class Support Vector Machine）である。One Class SVMは、教師あり学習により、分類（Classification）を行うことにより、外れ値検知を行うことができる。なお、欠陥判断用学習モデル３００は、その他の教師あり学習を行う機械学習モデルであってもよい。また、欠陥判断用学習モデル３００は、One Classニューラルネットワークをはじめとする、教師なし学習によってクラスタリング（Clustering）を行うことのできる機械学習モデルが用いられてもよい。

欠陥判断処理部３２は、欠陥検出部２０が欠陥を検出した対象物９０の差分画像を、欠陥判断用学習済データ３１を適用した欠陥判断用学習モデル３００に入力し、当該対象物９０が良品の範囲に属するか否かを判断する欠陥判断処理を実行する。これにより、最終的な欠陥の有無を判断する。すなわち、欠陥判断処理部３２が良品の範囲に属すると判断した対象物９０については、欠陥検出部２０の検出した欠陥を偽の欠陥と判断し、欠陥品としての検出を最終的に行わない。一方、欠陥判断処理部３２が良品の範囲に属していないと判断した対象物９０については、欠陥検出部２０の検出した欠陥を真の欠陥と判断し、最終的な欠陥品として検出する。

プロセッサ１２１は、欠陥判断処理部３２によって出力される、最終的な判定結果を表す情報を、表示部１２９に表示してもよい。判定結果を表す情報は、欠陥を有すると判定された対象画像とともに、異常として検出された対象画像中の位置を示す情報等を含んでいてもよい。

欠陥検出用学習済データ２１の学習時に入力される複数の標本画像と、欠陥判断用学習済データ３１の学習時に入力される複数の標本画像とは、同じ標本画像を含まないことが好ましい。

＜１－２．欠陥検出学習工程＞
欠陥検出学習工程について、図４を参照しつつ説明する。図４は、本実施形態の欠陥検出学習工程Ｓ１０の流れを示すフローチャートである。欠陥検出学習工程Ｓ１０では、欠陥検出用学習モデル２００を用いて欠陥を検出するためのパラメータ等である欠陥検出用学習済データ２１を生成する。

図４に示すように、情報処理装置１２０は、まず、複数の良品画像を準備する準備工程を行う（ステップＳ１１）。具体的には、プロセッサ１２１は、複数の良品の対象物９０をカメラ１１０で撮像することによって、複数の良品の標本画像（良品画像）Ｄ１１を取得する。そして、プロセッサ１２１は、取得した複数の良品画像Ｄ１１を取得する。そして、プロセッサ１２１は、取得した複数の良品画像を記憶部１２５に記憶させる。

準備工程Ｓ１１が完了すると、欠陥検出学習部２１０は、準備工程Ｓ１１で取得した複数の良品画像をデータセットとして欠陥検出用学習モデル２００に入力して、欠陥検出用学習済データ２１を生成する第１学習済データ生成工程を実行する（ステップＳ１２）。なお、「学習済データを生成する」の用語は、既に生成された学習済データを更新することを含む。

具体的には、第１学習済データ生成工程Ｓ１２では、欠陥検出学習部２１０は、複数の良品画像のデータセットを欠陥検出用学習モデル２００に入力し、再構成画像を生成させる。そして、入力した画像と再構成画像とがどの程度近似しているかの評価指標を算出する。評価指標には、例えば、入力された良品画像と出力された再構成画像との差分（誤差）の２乗和が用いられる。その後、算出した評価指標に基づいて、バックプロパゲーションにより、欠陥検出用学習モデル２００を構成するニューラルネットの重み付けのパラメータ等を含む欠陥検出用学習済データ２１を更新する。

続いて、欠陥検出学習部２１０は、欠陥検出用学習モデル２００の学習が終了したか否かを判断する（ステップＳ１３）。具体的には、直前の第１学習済データ生成工程Ｓ１２で算出された評価指標が、所定の範囲内に収束したか否かを判断する。すなわち、直前の第１学習済データ生成工程Ｓ１２で生成された欠陥検出用学習済データ２１を適用した欠陥検出用学習モデル２００が、良品画像に近似した再構成画像を所望の精度で生成しているか否かを判断する。具体的には、例えば、第１学習済データ生成工程Ｓ１２で算出された評価指標が所定の閾値よりも小さい場合、欠陥検出用学習モデル２００が学習が終了したと判断する。なお、ステップＳ１３において、第１学習済データ生成工程Ｓ１２の繰り返し実行回数が予め設定された回数に達した場合にも、学習が終了したと判断してもよい。

ステップＳ１３において、欠陥検出用学習モデル２００の学習が終了していないと判断すると（ステップＳ１３：Ｎｏ）、プロセッサ１２１は、第１学習済データ生成工程Ｓ１２に戻る。

ステップＳ１３において欠陥検出用学習モデル２００の学習が終了したと判断すると（ステップＳ１３：Ｙｅｓ）、プロセッサ１２１は、欠陥検出学習部２１０が生成した欠陥検出用学習済データ２１を記憶部１２５に保存する保存工程を実行する（ステップＳ１４）。

図５は、本実施形態の欠陥検出用学習済データ２１を適用した欠陥検出用学習モデル２００を概念的に示す図である。図５に示すように、欠陥検出用学習モデル２００は、具体的には、エンコーダとデコーダとを有するニューラルネットワークである。エンコーダは、入力画像を次元圧縮することにより潜在変数を求める。デコーダは、潜在変数から元の入力画像を再現する。なお、図５において示される欠陥検出用学習モデル２００の入力層および出力層の要素数や、隠れ層の数は、一例に過ぎず、これに限られない。

欠陥検出学習部２１０は、欠陥検出用学習モデル２００が、入力される良品画像Ｄ１１から、元の良品画像Ｄ１１と同じ再構成画像Ｄ２１を出力するように学習を行い、欠陥検出用学習モデル２００のパラメータ等である欠陥検出用学習済データ２１を生成する。本実施形態の欠陥検出学習工程Ｓ１０では、欠陥検出学習部２１０は、例えば、１０００枚の良品画像Ｄ１１を用いて、欠陥検出用学習モデル２００の学習を行い、欠陥検出用学習済データ２１を生成する。以下では、欠陥検出用学習済データ２１を適用した欠陥検出用学習モデル２００を、単に「学習済の欠陥検出用学習モデル２００」と称する場合がある。

図６は、欠陥検出用学習済データ２１を適用した（学習済みの）欠陥検出用学習モデル２００に対して、不良品の画像（以下「不良画像」と称する）Ｄ１２を入力した様子を概念的に示す図である。図６において入力される不良画像Ｄ１２は、欠陥部分９１を含む対象物９０を、カメラ１１０を用いて撮像することにより得られた画像である。欠陥部分９１は、例えば、対象物９０に付着した汚れまたは異物、欠け等である。学習済みの欠陥検出用学習モデル２１が不良画像Ｄ１２から再現する再構成画像Ｄ２２は、欠陥部分９１を含まない良品画像となる。

＜１－３．欠陥検出部による欠陥検出工程＞
次に、欠陥検出部２０における学習済みの欠陥検出用学習モデル２００を用いた欠陥検出工程Ｓ２０について、図７～図９を参照しつつ説明する。この欠陥検出工程Ｓ２０では、対象物９０を撮像して得られた対象物画像に基づいて、対象物９０の欠陥を検出する。図７は、本実施形態の欠陥検出部２０における欠陥検出工程の流れを示すフローチャートである。図８および図９は、欠陥検出工程Ｓ２０の各段階で得られる画像Ｄ１～Ｄ３の例を示した図である。なお、図８は、対象物９０が良品である場合の例であり、図９は、対象物９０が不良品である場合の例である。

図７に示すように、情報処理装置１２０は、まず、検査対象となる対象物９０を撮影して、対象物９０の画像Ｄ１（以下「対象物画像Ｄ１」と称する）を取得する撮像工程を行う（ステップＳ２１）。具体的には、プロセッサ１２１は、カメラ１１０を用いて、検査対象である対象物を撮像することによって、対象物画像Ｄ１を取得する。そして、プロセッサ１２１は、取得した対象物画像Ｄ１を記憶部１２５に記憶させる。

次に、再構成画像生成部２２は、撮像工程Ｓ２１によって得られた対象物画像Ｄ１から学習済みの欠陥検出用学習モデル２００を用いて再構成画像Ｄ２を生成する、再構成画像生成工程を実行する（ステップＳ２２）。具体的には、再構成画像生成部２２は、対象物画像Ｄ１を、欠陥検出用学習済データ２１を適用した欠陥検出用学習モデル２００に入力し、その出力である再構成画像Ｄ２を取得する。そして、プロセッサ１２１は、取得した再構成画像Ｄ２を記憶部１２５に記憶させる。

続いて、差分画像生成部２３は、記憶部１２５に記憶された対象物画像Ｄ１および再構成画像Ｄ２から差分画像Ｄ３を生成する、差分画像生成工程を実行する（ステップＳ２３）。具体的には、差分画像生成部２３は、対象物画像Ｄ１の各画素の輝度と、再構成画像Ｄ２の各画素の輝度との差分を取ることにより、差分画像Ｄ３を生成する。そして、プロセッサ１２１は、取得した差分画像Ｄ３を記憶部１２５に記憶させる。

ここで、対象物９０が良品である場合、図８に示すように、再構成画像Ｄ２は、対象物画像Ｄ１に近似した画像となる。すなわち、この場合、再構成画像Ｄ２の各画素の輝度は、対象物画像Ｄ１の各画素の輝度と近似する。このため、図８に示すように、差分画像Ｄ３は、近似した画像の輝度が相殺され、各画素の輝度が小さい画像となる。

一方、対象物９０が不良品である場合、図９に示すように、対象物画像Ｄ１には、欠陥部分９１が現れている。このような場合、前述の通り、欠陥部分９１を含む対象物画像Ｄ１から生成された再構成画像Ｄ２は、対象物画像Ｄ１から欠陥部分９１が除かれたような画像となる。

したがって、差分画像Ｄ３のうち、対象物９０の正常な部分については、近似した画像の輝度が相殺され、各画素の輝度が小さい。一方、差分画像Ｄ３のうち、欠陥部分９１については、対象物画像Ｄ１と再構成画像Ｄ２の輝度の差が大きいため、当該部分の輝度は、正常な部分に比べて大きくなる。したがって、図９に示すように、欠陥部分９１は差分画像Ｄ３において白っぽく表示されている。このように、差分画像Ｄ３を得ることにより、欠陥部分９１を特異的に抽出することができる。

最後に、欠陥検出処理部２４は、差分画像Ｄ３に基づいて、対象物９０に欠陥が有るか否かを判断する、欠陥検出工程を実行する（ステップＳ２４）。具体的には、欠陥検出処理部２４は、差分画像Ｄ３の中で、輝度が所定の閾値よりも大きい部分があるか否かを判断する。この閾値は、差分画像Ｄ３全体で共通の閾値を用いてもよいし、対象物９０の種類によって、差分画像Ｄ３の部位によって閾値を設定したものであってもよい。

ここで、図１０および図１１を参照しつつ、差分画像Ｄ３全体で共通の閾値を用いて欠陥を検出する場合について、説明する。図１０は、良品の対象物９０についての差分画像Ｄ３と、差分画像Ｄ３中の欠陥検出部分画像Ｄ４を示した図の例である。図１１は、欠陥部分９１を有する不良品の対象物９０についての差分画像Ｄ３と、差分画像Ｄ３中の欠陥検出部分画像Ｄ４を示した図の例である。

図１０および図１１において、上段には差分画像Ｄ３が示されており、下段には、差分画像Ｄ３のうち、欠陥検出部分画像Ｄ４に該当する部分が実線および破線の白線四角で表されたものが示されている。なお、理解容易のため、図１０の差分画像Ｄ３と図１１の差分画像Ｄ３とは、欠陥部分９１以外は同じ輝度を有する画像としている。

また、図１０および図１１では、差分画像Ｄ３を縦横８×８の６４ブロックに分割し、閾値よりも輝度が大きい部分を有しているブロックを欠陥検出部分画像Ｄ４としている。なお、差分画像Ｄ３の分割方法はこれに限られない。また、必ずしも複数ブロックに分割しなくてもよい。

図１１に示すように、差分画像Ｄ３において、欠陥部分９１の輝度は、その他の部位に比べて大きいことは明らかである。しかしながら、この対象物９０では、図１０および図１１に示すように、差分画像Ｄ３において、欠陥部分９１以外にも、比較的輝度が大きい部分がある場合がある。例えば、本実施形態の対象物９０は割線を有する錠剤であり、良品であっても、対象物９０ごとに割線部分および縁部の光の反射具合が異なる。このため、欠陥検出用学習モデル２１が当該光の反射を十分に再構成できず、差分画像Ｄ３において輝度が大きくなる虞がある。

そのため、図１０および図１１において、真の欠陥部分である実線で囲われた部分の他に、偽の欠陥部分である破線で囲われた部分が欠陥検出部分画像Ｄ４として選択される虞がある。すなわち、欠陥検出部分画像Ｄ４は、真の欠陥を含む真の欠陥検出部分画像Ｄ４１と、偽の欠陥を含む偽の欠陥検出部分画像Ｄ４２とを含む。

そこで、この検査装置１０は、欠陥検出部２０において欠陥が検出された場合に、欠陥検出部２０において検出された欠陥（本実施形態では欠陥検出部分画像Ｄ４）が真の欠陥であるか否かを判断する欠陥判断部３０を有する。

＜１－４．欠陥判断用学習工程＞
欠陥判断用学習工程について、図１２および図１３を参照しつつ説明する。図１２は、本実施形態の欠陥判断用学習工程Ｓ３０の流れを示すフローチャートである。図１３は、欠陥判断用学習工程Ｓ３０の各段階で得られる画像Ｄ１３，Ｄ４（Ｄ４２）の例を示した図である。欠陥判断用学習工程Ｓ３０では、欠陥判断用学習モデル３００を用いて、欠陥検出部２０の出力した処理データが良品の範囲に含まれるか否かを判断するためのパラメータ等である欠陥判断用学習済データ３１を生成する。

図１２に示すように、情報処理装置１２０は、まず、複数の良品画像を準備する準備工程を行う（ステップＳ３１）。具体的には、プロセッサ１２１は、複数の良品の対象物９０をカメラ１１０で撮像することによって、複数の良品の標本画像（良品画像）Ｄ１３（図示せず）を取得する。そして、プロセッサ１２１は、取得した複数の良品画像Ｄ１３を記憶部１２５に記憶させる。

準備工程Ｓ３１が完了すると、欠陥判断学習部３１０は、準備工程Ｓ３１で取得した複数の良品画像Ｄ１３を欠陥検出部２０に入力し、欠陥検出部２０が生成した欠陥検出部分画像Ｄ４を取得する、欠陥検出結果生成工程を実行する（ステップＳ３２）。この欠陥検出結果生成工程Ｓ３２では、１つの良品画像Ｄ１３に対して、欠陥検出部分画像Ｄ４が１つも生成されない場合もあれば、１つまたは複数の欠陥検出部分画像Ｄ４が生成される場合もある。ここで、欠陥検出結果生成工程Ｓ３２において欠陥検出部２０に入力される入力画像は全て良品画像Ｄ１３であるから、このとき欠陥検出部２０から出力される欠陥検出部分画像Ｄ４は、全て偽の欠陥検出部分画像Ｄ４２である。このとき、プロセッサは、カウント数ｎを１としておく。

続いて、欠陥判断学習部３１０は、欠陥検出結果生成工程Ｓ３２で得られた複数の偽の欠陥検出部分画像Ｄ４２のｎ番目の画像を欠陥判断用学習モデル３００に入力して、欠陥判断用学習済データ３１を生成する第２学習済データ生成工程を実行する（ステップＳ３３）。なお、「学習済データを生成する」の用語は、既に生成された学習済データを更新することを含む。

具体的には、欠陥判断学習部３１０は、One Class SVM等の機械学習モデルである欠陥判断用学習モデル３００に、欠陥検出結果生成工程Ｓ３２で得られた複数の偽の欠陥検出部分画像Ｄ４２を、「偽の欠陥」であるというラベルとともに欠陥判断用学習モデル３１に入力して、偽の欠陥（すなわち良品）の範囲を学習させる。これにより、欠陥判断用学習済データ３１が生成される。

その後、プロセッサ１２１は、直前の第２学習済データ生成工程Ｓ３３で入力された偽の欠陥検出部分画像Ｄ４２が、準備工程Ｓ３１で準備された最終の画像であるか否かを判断する（ステップＳ３４）。すなわち、プロセッサ１２１は、カウント数ｎが、準備工程Ｓ３１で準備された偽の欠陥検出部分画像Ｄ４２の数と一致するか否かを判断する。

ステップＳ３４において、最終画像ではないと判断すると（ステップＳ３４：Ｎｏ）、プロセッサ１２１は、ｎをインクリメントし（ステップＳ３５）、第２学習済データ生成工程Ｓ３３に戻る。

ステップＳ３４において、最終画像であると判断すると（ステップＳ３４：Ｙｅｓ）、プロセッサ１２１は、欠陥判断学習部３１０が生成した欠陥判断用学習済データ３１を記憶部１２５に保存する保存工程を実行する（ステップＳ３６）。

なお、欠陥検出用学習済データ２１の学習に使用される複数の良品画像と、欠陥判断用学習済データ３１の学習に使用される複数の良品画像とは、全て異なっていることが好ましい。すなわち、欠陥検出用学習工程Ｓ１０の準備工程Ｓ１１で取得する良品画像と、欠陥判断用学習工程Ｓ３０の準備工程Ｓ３１で取得する良品画像とは、異なる。欠陥判断用学習済データ３１の学習に、欠陥検出用学習済データ２１の学習に用いられるものと同じ良品画像を用いた場合、欠陥判断用学習済データ３１を適用した欠陥判断用学習モデル３００の誤検出検知割合（偽の欠陥を見抜く割合）が減少する虞がある。

＜１－５．検査工程（欠陥の検知）＞
最後に、検査装置１０を用いて製品対象物の欠陥を検出する検査工程について、図１４～図１６を参照しつつ説明する。図１４は、本実施形態の検査装置１０を用いた検査工程Ｓ３０の流れを示すフローチャートである。図１５は、本実施形態の検査装置１０を用いた欠陥判断工程Ｓ５０の流れを示すフローチャートである。図１６は、検査工程Ｓ３０の各段階で得られる画像Ｄ１，Ｄ４および分類結果Ｄ５の例を示した図である。

図１４に示すように、情報処理装置１２０は、まず、上述した欠陥検出部２０による欠陥検出工程Ｓ２０を実行する（ステップＳ２０）。この欠陥検出工程Ｓ２０は、上記で説明した欠陥検出工程Ｓ２０と同じである。すなわち、プロセッサ１２１が、検査対象となる対象物をカメラ１１０で撮像した対象物画像Ｄ１について、欠陥検出部２０が欠陥検出用学習モデル２１を用いて再構成画像Ｄ２を生成し、その後差分画像Ｄ３を生成することにより、欠陥の検出処理を行う。

欠陥検出工程Ｓ２０に続いて、情報処理装置１２０は、欠陥検出部２０が欠陥を検出したが否かを判断する（ステップＳ４１）。欠陥検出工程Ｓ２０において、欠陥検出部２０が欠陥を検出しない場合（ステップＳ４１：Ｎｏ）、欠陥検出部２０は欠陥検出部分画像Ｄ４を出力しない。この場合、情報処理装置１２０は、欠陥を発見しなかったものとして、当該対象物画像Ｄ１についての検査を終了する。

一方、欠陥検出工程Ｓ２０において、欠陥検出部２０が欠陥を検出した場合（ステップＳ４１：Ｙｅｓ）、欠陥検出部２０は欠陥であると認識した１つまたは複数の部分の欠陥検出部分画像Ｄ４を出力する。この場合、情報処理装置１２０は、欠陥検出部分画像Ｄ４を欠陥判断部３０へと引き渡し、欠陥判断工程Ｓ５０へと進む。

ここで、図１５および図１６を参照しつつ欠陥判断工程Ｓ５０について説明する。図１６の例では、対象物画像Ｄ１が欠陥部分９１を有する。また、図１６の例では、欠陥検出工程Ｓ４１において欠陥検出部２０が複数の欠陥検出部分画像Ｄ４を出力している。以下では、図１６の例を参照しつつ、欠陥判断工程Ｓ５０について説明を行う。

欠陥判断工程Ｓ５０において、欠陥判断処理部３２は、欠陥検出工程Ｓ２０において欠陥検出部２０が出力した欠陥検出部分画像Ｄ４を欠陥判断用学習済データ３１を適用した（学習済みの）欠陥判断用学習モデル３００に入力し、欠陥検出部分画像Ｄ４がそれぞれ真の欠陥であるか、偽の欠陥であるかに分類させる（ステップＳ５１）。

ステップＳ５１では、具体的には、学習済みの欠陥判断用学習モデル３００は、入力された欠陥検出部分画像Ｄ４が良品の範囲であると判断すると、当該欠陥検出部分画像Ｄ４を偽の欠陥検出部分画像Ｄ４２に分類する。一方、学習済みの欠陥判断用学習モデル３００は、入力された欠陥検出部分画像Ｄ４が良品の範囲で無いと判断すると、当該欠陥検出部分画像Ｄ４を真の欠陥検出部分画像Ｄ４１に分類する。そして、欠陥検出対象の対象物画像Ｄ１についての分類結果Ｄ５を出力する。図１６の例では、欠陥判断用学習モデル３１は、入力された４つの欠陥検出部分画像Ｄ４のうちの１つを真の欠陥検出部分画像位Ｄ４１に分類し、残りの３つを偽の欠陥検出部分画像Ｄ４２に分類している。

続いて、欠陥判断部３０は、学習済みの欠陥判断用学習モデル３００の出力した分類結果Ｄ５に真の欠陥検出部分画像Ｄ４１が含まれるか否かを判断する（ステップＳ５２）。欠陥判断部３０は、分類結果Ｄ５に真の欠陥検出部分画像Ｄ４１が含まれると判断すると（ステップＳ５２：Ｙｅｓ）、真の欠陥検出部分画像Ｄ４１を出力して、当該対象物画像Ｄ１についての検査を終了する（ステップＳ５３）。一方、欠陥判断部３０が分類結果Ｄ５に真の欠陥検出部分画像Ｄ４１が含まれないと判断すると、欠陥を発見しなかったものとして、当該対象物画像Ｄ１についての検査を終了する（ステップＳ５４）。

このように、欠陥検出部２０によって検出された対象物９０の欠陥が過検出となっていないかを、欠陥判断部３０によって判断する。

一般的に、対象物画像に基づいて欠陥を検出する欠陥検出装置では、過検出が生じる可能性がある。この欠陥判断部３０は、欠陥判断用学習モデル３００と、良品画像を欠陥検出部２０で処理した処理データを用いて学習した欠陥判断用学習済データ３１とを有している。すなわち、この欠陥判断部３０は、良品画像を欠陥検出部２０で処理した処理データを用いて学習した学習済みの欠陥判断用学習モデル３００を有している。このため、この検査装置１０では、対象物画像に基づいて欠陥を検出する欠陥検出部２０の検出結果を、このような欠陥判断部３０でチェックすることにより、過検出となった良品対象物の画像を判別することができる。したがって、良品を欠陥品として判断してしまう過検出を低減できる。

欠陥判断部３０の有する学習済みの欠陥判断用学習モデル３００は、良品画像のみを用いて良品の範囲を学習している。このため、欠陥品を入手し難い対象物についても、過検出を効率よく低減することができる。

特に、本実施形態の欠陥検出部２０は、画像の再構成を行う欠陥検出用学習モデル２００と、良品画像のみを用いて学習を行った欠陥検出用学習済データ２１とを用いている。すなわち、この欠陥検出部２０は、良品画像のみを用いて学習した学習済の欠陥検出用学習モデル２００を有している。このような欠陥検出用学習モデル２００の学習では、学習用の良品画像を増やしたからといって必ずしも検出精度が上がるものではない。このため、欠陥検出部２０の後段にこのような欠陥判断部３０を設けることにより、欠陥検出用学習モデル２００の再学習を行うよりも、効率よく過検出を低減させることができる。

上記のように、第１実施形態に係る検査装置１０を構成する欠陥検出部２０および欠陥判断部３０は、欠陥検出学習部２１０および欠陥判断学習部３１０によって構築される。すなわち、対象物９０を検査する検査装置１０を学習する学習装置は、欠陥検出学習部２１０および欠陥判断学習部３１０を備える。そして、対象物９０を検査する検査装置１０を学習する学習方法は、欠陥検出学習部２１０の行う欠陥検出用学習工程Ｓ１０と、欠陥判断学習部３１０の行う欠陥判断用学習工程Ｓ３０とを含む。これにより、対象物９０を検査する検査装置１０を構築するための学習済みデータセットを構成する欠陥検出用学習モデル２００に適用される欠陥検出用学習済データ２１と、欠陥判断用学習モデル３００に適用される欠陥判断用学習済データ３１とが生成される。

＜２．第２実施形態＞
図１７は、第２実施形態の検査装置の情報処理装置１２０Ａが備える機能的な構成を示す図である。情報処理装置１２０Ａは、欠陥検出部２０Ａと、欠陥判断部３０Ａと、欠陥判断学習部３１０Ａとを有する。

欠陥検出部２０Ａは、対象物をカメラで撮像することによって得られた対象物画像Ｄ１に基づいて、対象物の欠陥を検出する。欠陥検出部２０Ａは、テンプレート画像記憶部２５Ａと、比較処理部２６Ａとを有する。テンプレート画像記憶部２５Ａには、良品画像の見本となるテンプレート画像が複数記憶されている。比較処理部２６Ａは、入力された対象物画像Ｄ１とテンプレート画像記憶部２５Ａに記憶されたテンプレート画像とを比較し、不良品であると判断した場合、不良品であると判断した対象物画像Ｄ１を不良画像Ｄ６として欠陥判断部３０Ａへと出力する。

欠陥判断部３０Ａは、欠陥検出部２０Ａが検出した欠陥の真偽を判断する。欠陥判断部３０Ａは、欠陥判断用学習モデル３００Ａと、欠陥判断用学習済データ３１Ａと、欠陥判断処理部３２Ａとを有する。欠陥判断用学習済データ３１Ａは、学習用の標本画像を入力として、欠陥判断学習部３１０Ａが良品の範囲を学習させたパラメータ等の学習済データである。具体的には、欠陥判断用学習済データ３１Ａを適用させた（学習済みの）欠陥判断用学習モデル３００Ａは、良品の標本画像を入力として、良品の範囲を学習させたモデルである。

欠陥判断処理部３２Ａは、欠陥検出部２０Ａが欠陥を検出した対象物の対象物画像Ｄ１である不良画像Ｄ６を学習済みの欠陥判断用学習モデル３１Ａに入力し、当該不良画像Ｄ６が良品の範囲に属するか否かを判断する欠陥判断処理を実行する。これにより、最終的な欠陥の有無を判断した判断結果Ｄ７を出力する。

第１実施形態では、欠陥検出部２０が学習済みの学習モデルを利用したものであったが、本発明の検査装置は、これに限られない。本実施形態のように、欠陥検出部２０Ａが従来型の検査装置であってもよい。また、第１実施形態では、欠陥判断部３０の有する学習済みの欠陥判断用学習モデル３１へ入力する画像が欠陥検出部２０において処理した処理データであったが、本発明はこれに限られない。第２実施形態のように、欠陥判断部３０Ａの有する学習済みの欠陥判断用学習モデル３１Ａへ入力する画像は、欠陥検出部２０Ａが欠陥を検出した資料の対象物画像そのものであってもよい。

＜３．変形例＞
以上、実施形態について説明してきたが、本発明は上記のようなものに限定されるものではなく、様々な変形および組み合わせが可能である。

上記の第１実施形態の欠陥検出用学習済データ２１の生成に用いる画像群はすべて良品画像であったが、当該画像群に、不良画像が僅かに含まれていてもよい。欠陥検出用学習済データ２１の生成に用いる画像群において、不良画像の数が良品画像の数に比べて十分に小さい場合、不良画像の影響は小さくなる。このため、欠陥検出学習部２１０は、欠陥検出用学習モデル２００が良品画像をほぼ再現するための欠陥検出用学習済データ２１を生成することができる。ただし、第１実施形態のように、良品画像のみを用いて欠陥検出用学習済データ２１を生成した場合、不良画像が有する異常な特徴の影響が有効に排除される。したがって、良品画像のみから生成された欠陥検出用学習済データ２１を用いることにより、良品画像の再構成を高精度に行うことができる。

また、上記の第１実施形態の欠陥判断用学習済データ３１の生成に用いる画像群はすべて良品画像であったが、当該画像群には、不良画像が含まれていてもよい。欠陥判断用学習済データ３１の生成に用いる画像群は、良品ラベルの付された良品画像群と、不良品ラベルの付された不良画像群とを含んでいてもよい。

この発明は詳細に説明されたが、上記の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。上記各実施形態および各変形例で説明した各構成は、相互に矛盾しない限り適宜組み合わせたり、省略したりすることができる。

１０検査装置
２０，２０Ａ欠陥検出部
２１欠陥検出用学習済データ
３０，３０Ａ欠陥判断部
３１，３１Ａ欠陥判断用学習済データ
９０対象物
２００欠陥検出用学習モデル
３００，３００Ａ欠陥判断用学習モデル
Ｄ１対象物画像
Ｄ２再構成画像
Ｄ３差分画像
Ｄ４欠陥検出部分画像

Claims

対象物を検査する検査装置であって、
対象物を撮像して得られた対象物画像に基づいて前記対象物の欠陥を検出する欠陥検出部と、
前記欠陥検出部が検出した欠陥の真偽を判断する欠陥判断部と、
を有し、
前記欠陥検出部は、
画像を入力および出力とする欠陥検出用学習モデルと、
学習用の対象物の画像である標本画像を前記欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現して前記標本画像の再構成画像を出力するように学習させた欠陥検出用学習済データと、
を含み、
前記欠陥検出部は、
前記欠陥検出用学習済データを適用した前記欠陥検出用学習モデルを用いて、前記対象物画像を次元圧縮および再現して前記対象物画像の再構成画像を生成する処理と、
前記対象物画像と前記再構成画像との差分である差分画像を生成する処理と、
前記差分画像に基づいて欠陥の有無を検出する処理と、
を実行し、
前記欠陥判断部は、
前記差分画像を入力とする欠陥判断用学習モデルと、
学習用の対象物の画像である標本画像の前記差分画像を入力として、前記欠陥判断用学習モデルに良品の範囲を学習させた欠陥判断用学習済データと、
を含み、
前記欠陥判断部は、
前記欠陥検出部が欠陥を検出した対象物の対象物画像の前記差分画像を、前記欠陥判断用学習済データを適用した前記欠陥判断用学習モデルに入力し、前記対象物が良品の範囲に属するか否かを判断する欠陥判断処理
を実行する、検査装置。
請求項１に記載の検査装置であって、
前記欠陥判断用学習済データは、良品の前記標本画像の前記差分画像のみを前記欠陥判断用学習モデルに入力して、良品の範囲を学習させた学習済データである、検査装置。
請求項１または請求項２に記載の検査装置であって、
前記欠陥検出用学習済データは、良品の前記対象物画像を前記欠陥検出用学習モデルに入力し、入力された前記対象物画像の再構成画像を出力するように学習させた学習済データである、検査装置。
対象物を検査する検査方法であって、
ａ）対象物を撮像して得られた対象物画像に基づいて前記対象物の欠陥を検出する欠陥検出工程と、
ｂ）前記工程ａ）において検出した欠陥の真偽を判断する欠陥判断工程と、
を有し、
前記工程ａ）は、
前記対象物画像を、欠陥検出用学習済データを適用した欠陥検出用学習モデルに入力して、前記対象物画像を次元圧縮および再現して前記対象物画像の再構成画像を生成する工程と、
前記対象物画像と前記再構成画像との差分である差分画像を生成する工程と、
前記差分画像に基づいて欠陥の有無を検出する工程と、
を含み、
前記欠陥検出用学習モデルは、画像を入力および出力とする学習モデルであり、
前記欠陥検出用学習済データは、学習用の対象物の画像である標本画像を前記欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現して前記標本画像の再構成画像を出力するように学習させた学習済みデータであり、
前記工程ｂ）において、前記工程ａ）において欠陥を検出した対象物の対象物画像の前記差分画像を、欠陥判断用学習済データを適用した欠陥判断用学習モデルに入力して、前記対象物が良品の範囲に属するか否かを判断し、
前記欠陥判断用学習済データは、学習用の対象物の画像である標本画像の前記差分画像を欠陥判断用学習モデルに入力して、良品の範囲を学習させた学習済データである、検査方法。
請求項４に記載の検査方法であって、
前記欠陥判断用学習済データは、良品の前記標本画像の前記差分画像のみを欠陥判断用学習モデルに入力して、良品の範囲を学習させたモデルである、検査方法。
コンピュータに、対象物を検査させるための検査プログラムであって、
前記コンピュータに、
ａ）対象物を撮像して得られた対象物画像に基づいて前記対象物の欠陥を検出する欠陥検出工程と、
ｂ）前記工程ａ）において検出した欠陥の真偽を判断する欠陥判断工程と、
を実行させ、
前記工程ａ）は、
前記対象物画像を、欠陥検出用学習済データを適用した欠陥検出用学習モデルに入力して、前記対象物画像を次元圧縮および再現して前記対象物画像の再構成画像を生成する工程と、
前記対象物画像と前記再構成画像との差分である差分画像を生成する工程と、
前記差分画像に基づいて欠陥の有無を検出する工程と、
を含み、
前記欠陥検出用学習モデルは、画像を入力および出力とする学習モデルであり、
前記欠陥検出用学習済データは、学習用の対象物の画像である標本画像を前記欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現して前記標本画像の再構成画像を出力するように学習させた学習済みデータであり、
前記コンピュータは、前記工程ｂ）において、前記工程ａ）において欠陥を検出した対象物の対象物画像の前記差分画像を、欠陥判断用学習済データを適用した欠陥判断用学習モデルに入力して、前記対象物が良品の範囲に属するか否かを判断し、
前記欠陥判断用学習済データは、学習用の対象物の画像である標本画像の前記差分画像を欠陥判断用学習モデルに入力して、良品の範囲を学習させた学習済データである、検査プログラム。
対象物を検査する検査装置を構築するための学習装置であって、
学習用の対象物の画像である標本画像を欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現した前記標本画像の再構成画像を出力するように学習させた欠陥検出用学習済データを生成する欠陥検出学習部と、
学習用の対象物の画像である標本画像と、前記標本画像から前記欠陥検出用学習モデルを用いて生成した前記再構成画像との差分である差分画像を、欠陥判断用学習モデルに入力して、良品の範囲を学習させた欠陥判断用学習済データを生成する欠陥判断学習部と、
を備える学習装置。
対象物を検査する検査装置を構築するための学習方法であって、
ｘ）学習用の対象物の画像である標本画像を欠陥検出用学習モデルに入力し、入力された前記標本画像を次元圧縮および再現した再構成画像を出力するように学習させた欠陥検出用学習済データを生成する欠陥検出学習工程と、
ｙ）学習用の対象物の画像である標本画像と、前記標本画像から前記欠陥検出用学習モデルを用いて生成した前記再構成画像との差分である差分画像を、欠陥判断用学習モデルに入力して、良品の範囲を学習させた欠陥判断用学習済データを生成する欠陥判断学習工程と、
を備える学習方法。