WO2020202332A1

WO2020202332A1 - 検査装置及び検査方法

Info

Publication number: WO2020202332A1
Application number: PCT/JP2019/014229
Authority: WO
Inventors: 宗太村田; 圭佑藤田; 文久神谷
Original assignee: 武蔵精密工業株式会社
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2020-10-08
Also published as: US20220198785A1; CA3135320A1; JPWO2020202332A1; JP7229338B2

Abstract

ＡＩ処理を活用して検査を行うことで、検査精度を落とさずに効率的に検査を行う。検査装置は、検査対象物と同種の複数の良品及び不良品の少なくとも一方を教師データとして用いて、良品と不良品とを判別するための学習を行って学習モデルを生成する学習部１１と、検査対象物を学習モデルに入力して演算された結果に基づいて、良品又は不良品の可能性の高さを数値化した数値データを出力する算出部１２と、数値データを一種類以上の閾値と比較した結果に基づいて、数値データによる良品又は不良品の自動判断を行うか、人手による良品又は不良品の検査を行うかを決定する決定部１３と、を備える。

Description

検査装置及び検査方法

　本発明は、学習モデルを利用した検査装置及び検査方法に関する。

　ディープラーニング等の機械学習を利用して、今まで人間が手動で行っていた処理を自動化する取組が盛んに行われている。機械学習を利用したＡＩ（Artificial Intelligence）処理では、例えば複数の教師データを入力して学習モデルを生成し、生成された学習モデルに入力データを与えて演算を行い、機械学習の結果を反映させたＡＩ処理データを出力する（特開２０１９－０３９８７４号公報）。

　従前から、ニューラルネットワークの各ノードに与える重みを学習過程で制御して機械学習を行う技術は種々の分野に適用されてきた。最近では、教師あり学習だけでなく、教師なし学習を行ってＡＩ処理を行う技術も進んでおり、囲碁等の取り得る組合せが無数に存在する推論処理も、人間よりもはるかに高速かつ精度よく行えるようになりつつある。

　人手不足や人件費の抑制等を背景にして、製造現場に多種多様のロボットが導入されており、全自動又は半自動で種々の製品が製造されている。製品は、製造後に検査が行われるが、検査工程の自動化はそれほど進んでいないのが現状である。これは、不良の発生要因が多岐にわたること等が要因として挙げられ、未だに人手に頼って検査を行うことが多い。

　例えば、製品の外観検査については、傷のサイズや場所、種類などによって、不良と扱うべきかどうかを、熟練者が長年の経験に基づいて判断している。このため、十分な人数の熟練作業者の確保が必要となっている。

　本発明は、ＡＩ処理を活用して検査を行うことで、検査精度を落とすことなく、効率的に検査を行うことができる検査装置及び検査方法を提供するものである。

　上記の課題を解決するために、本発明の一態様では、検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部を教師データとして用いて、前記検査対象物のタイプを判別するための学習を行って学習モデルを生成するか、或いは前記学習モデルを取得する学習部と、
　前記検査対象物を前記学習モデルに入力して演算された結果に基づいて、前記検査対象物のタイプの分類精度の高さを数値化した数値データを出力する算出部と、
　前記数値データを一種類以上の閾値と比較した結果に基づいて、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかを決定する決定部と、を備える、検査装置が提供される。

　複数の検査対象物を前記学習モデルに入力して演算された複数の前記数値データに基づいて、前記一種類以上の閾値を算出する閾値算出部を備えてもよい。

　前記閾値算出部は、前記複数の数値データの統計処理により、前記一種類以上の閾値を算出してもよい。

　前記一種類以上の閾値は、第１閾値と、前記第１閾値よりも大きい第２閾値とを含んでおり、
　前記決定部は、前記数値データが前記第１閾値と前記第２閾値との間に存在する場合には、人手により前記検査対象物のタイプを判別することを決定してもよい。

　前記決定部は、前記数値データが前記第１閾値よりも小さいか、又は前記数値データが前記第２閾値よりも大きい場合には、人手により前記検査対象物のタイプを判別せずに、前記検査対象物のタイプを自動判別することを決定してもよい。

　前記数値データが前記第１閾値と前記第２閾値との間に存在する場合に、前記検査対象物の固有情報に基づいて再学習を行って再学習モデルを生成するか、或いは前記学習モデルを取得する再学習部と、
　前記検査対象物を前記再学習モデルに入力して演算された結果に基づいて、前記数値データを出力し直す再算出部と、を備え、
　前記決定部は、前記検査対象物の固有情報を考慮に入れつつ、前記数値データを前記第１閾値及び前記第２閾値と比較した結果に基づいて、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定してもよい。

　前記決定部は、前記検査対象物の固有情報の種類ごとに設定される前記第１閾値及び前記第２閾値に基づいて、前記検査対象物の固有情報の種類ごとに、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定してもよい。

　前記複数のタイプは、良品のタイプと、不良品のタイプを含んでおり、
　前記固有情報は、良品及び不良品の欠陥サイズを含んでもよい。

　前記第１閾値と前記第２閾値との間に含まれる前記数値データの割合が第３閾値未満になったか否かを判定し、前記割合が前記第３閾値未満になったと判定されると、前記学習モデルが実用レベルに達したと判断する実用レベル判断部を備えてもよい。

　前記決定部は、同一の検査対象物の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第４閾値未満の場合には、人手により前記検査対象物のタイプを判別すると決定してもよい。

　前記検査対象物を複数の方向から撮影する撮影部を備え、
　前記学習部は、前記撮影部で撮影された前記検査対象物の複数の撮影画像を前記教師データとして用いてもよい。

　複数の検査対象物を前記学習モデルに入力して演算された前記数値データを可視化する可視化部を備えてもよい。

　本発明の他の一態様は、コンピュータにて、検査対象物の検査を行う検査方法であって、
　前記コンピュータに、
　前記検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部を教師データとして用いて、前記検査対象物のタイプを判別するための学習を行って学習モデルを生成させるか、或いは前記学習モデルを取得させ、
　前記検査対象物を前記学習モデルに入力して演算された結果に基づいて、前記検査対象物のタイプの分類精度の高さを数値化した数値データを出力させ、
　前記数値データを一種類以上の閾値と比較した結果に基づいて、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかを決定させる。

　前記コンピュータは、ネットワークに接続されており、
　前記ネットワークを介して、前記コンピュータに対して、前記教師データと、前記検査対象物のデータとを送信し、
　前記コンピュータにより決定させた、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかの情報を、前記ネットワークを介して受信してもよい。

　前記コンピュータに、複数の検査対象物を前記学習モデルに入力して演算された複数の前記数値データに基づいて、前記一種類以上の閾値を算出させてもよい。

　前記コンピュータに、前記複数の数値データの統計処理により、前記一種類以上の閾値を算出させてもよい。

　前記一種類以上の閾値は、第１閾値と、前記第１閾値よりも大きい第２閾値とを含んでおり、
　前記コンピュータに、前記数値データが前記第１閾値と前記第２閾値との間に存在する場合には、人手により前記検査対象物のタイプを判別することを決定させてもよい。

　前記コンピュータに、前記数値データが前記第１閾値よりも小さいか、又は前記数値データが前記第２閾値よりも大きい場合には、人手により前記検査対象物のタイプを判別せずに、前記検査対象物のタイプを自動判別することを決定させてもよい。

　前記コンピュータに、
　前記数値データが前記第１閾値と前記第２閾値との間に存在する場合に、前記検査対象物の固有情報に基づいて再学習を行って再学習モデルを生成させるか、或いは前記再学習モデルを取得させ、
　前記検査対象物を前記再学習モデルに入力して演算された結果に基づいて、前記数値データを出力させ、
　前記検査対象物の固有情報を考慮に入れつつ、前記数値データを前記第１閾値及び前記第２閾値と比較した結果に基づいて、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定させてもよい。

　前記コンピュータに、前記検査対象物の固有情報の種類ごとに設定される前記第１閾値及び前記第２閾値に基づいて、前記検査対象物の固有情報の種類ごとに、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定させてもよい。

　前記コンピュータに、前記第１閾値と前記第２閾値との間に含まれる前記数値データの割合が第３閾値未満になったか否かを判定させ、前記割合が前記第３閾値未満になったと判定されると、前記学習モデルが実用レベルに達したと判断させてもよい。

　前記コンピュータに、同一の検査対象物の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第４閾値未満の場合には、人手により前記検査対象物のタイプを判別すると決定させてもよい。

　複数の方向から撮影された前記検査対象物の複数の撮影画像を前記教師データとして用いてもよい。

　前記コンピュータに、複数の検査対象物を前記学習モデルに入力して演算された前記数値データを可視化させてもよい。

　本発明によれば、ＡＩ処理を活用して検査を行うことで、検査精度を落とすことなく、効率的に検査を行うことができる。

第１の実施形態による検査装置の概略構成を示すブロック図。ＡＩ処理部の内部構成を示すブロック図。複数の検査対象物の検査結果を示すプロット図。第１及び第２閾値を設定したプロット図。第１の実施形態による検査装置の処理動作を示すフローチャート。図５のフローチャートに基づいて学習を繰り返すことで人による検査割合が減っていく様子を示すグラフ。第２の実施形態によるＡＩ処理部の内部構成を示すブロック図。第２の実施形態による検査装置の処理動作を示すフローチャート。第３の実施形態によるＡＩ処理部の内部構成を示すブロック図。複数の検査対象物の検査結果を示すプロット図。第３の実施形態による検査装置の処理動作を示すフローチャート。複数の検査済対象物について作業者が複数回にわたって良品／不良品の判別を行った結果を示すプロット図。

　以下、図面を参照して本発明の実施形態を説明する。以下の実施形態では、検査装置内の特徴的な構成および動作を中心に説明するが、検査装置には以下の説明で省略した構成および動作が存在しうる。ただし、これらの省略した構成および動作も本実施形態の範囲に含まれるものである。

　（第１の実施形態）
　図１は第１の実施形態による検査装置１の概略構成を示すブロック図である。図１の検査装置１は、検査対象物５の外観検査を行うものである。検査対象物５の種類は特に限定されない。典型的な一例としては、予め決められた仕様で製造された複数の製造物である。より具体的な一例としては、金型で金属材料等をプレスした鍛造物や金型に金属材料等を流し込んで成形した鋳造物などである。検査対象物５の形状やサイズ、材料なども任意であり、金属だけでなく、樹脂等で形成されたものでもよい。

　図１の検査装置１は、制御部２と、ＡＩ処理部３と、情報処理部４とを備えている。制御部２と、ＡＩ処理部３と、情報処理部４とは、互いに情報を送受する通信機能を有する。この通信機能は、無線ＬＡＮや近接無線通信等の無線通信機能でもよいし、Ethernet（登録商標）やＵＳＢ（Universal Serial Bus）等の有線通信機能でもよい。また、制御部２と、ＡＩ処理部３と、情報処理部４の少なくとも２つは、一つの筐体又はＳｏＣ（Silicon on Chip）に統合してもよい。また、制御部２と、ＡＩ処理部３と、情報処理部４とが行う処理動作の少なくとも一部は、ハードウェアとソフトウェアのいずれで実行してもよい。

　制御部２は、撮影部６で撮影された撮影画像を用いて、ＡＩ処理部３に与える教師データを生成するとともに、検査対象物５の検査対象データを生成する制御を行う。本実施形態は、検査対象物５の外観検査を行うことを念頭に置いているため、検査対象物５の外観を撮影部６で撮影した撮影画像を検査対象データとして、制御部２からＡＩ処理部３に送信する。また、良品又は不良品の判別が済んだ検査対象物５の外観を撮影部６で撮影した撮影画像を教師データとして、制御部２からＡＩ処理部３に送信する。なお、教師データは、検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部のデータである。複数のタイプとは、検査済対象物及び検査対象物の形状、特性及びサイズ等の特徴を複数に分類した場合の各分類を指す。より具体的には、教師データは、良品又は不良品の判別が済んだ撮影画像を含む教師ありデータでもよいし、良品と不良品の一方のみの撮影画像を含む教師なしデータでもよい。

　図１の制御部２は、検査対象物５を収納する収納体７から検査対象物５を順に把持して回転ステージ８まで搬送するロボット９を制御する機能を有する。なお、回転ステージ８に検査対象物５を載置する作業は、必ずしもロボット９が行う必要はなく、作業者が手動で回転ステージ８に検査対象物５を載置してもよい。

　回転ステージ８の例えば斜め上方には撮影部６が設置されている。撮影部６の位置や数は任意である。回転ステージ８を回転させながら撮影部６で回転ステージ８上の検査対象物５を撮影することで、一つの検査対象物５の外観全体を複数の撮影画像にて撮影することができる。このように、本実施形態では、一つの検査対象物５の外観検査を行うために、複数の撮影画像を生成する。すでに良品又は不良品の判別が済んだ検査対象物５については、各撮影画像ごとに、良品又は不良品の判別結果を示す情報が付加された教師データを生成する。これから良品又は不良品の判別を行う検査対象物５については、撮影部６で撮影された各撮影画像が検査対象データとなる。

　なお、検査対象物５によっては、１枚の撮影画像だけで検査対象物５の外観全体を撮影できる場合もある。この場合、検査対象物５ごとに、１つの教師データと１つの検査対象データが生成される。

　ＡＩ処理部３は、検査対象物５の検査をＡＩ処理で行うものである。ここで、ＡＩ処理とは、機械学習により生成した学習モデルに入力データを与えて演算を行って得られるＡＩ処理データを出力することを指す。機械学習には、種々の学習手法が提案されているが、本実施形態のＡＩ処理は、任意の学習手法を適用可能である。

　情報処理部４は、制御部２が実行するプログラムと、ＡＩ処理部３が実行するプログラムと、を自動生成する。情報処理部４は、作業者が入力する複数の入力欄を有するＵＩ画面を表示させる表示部４ａを有する。表示部４ａに表示されたＵＩ画面に従って、作業者が種々の情報を各入力欄に入力すると、制御部２が実行するプログラムと、ＡＩ処理部３が実行するプログラムとが自動生成される。自動生成されたプログラムは、情報処理部４の通信機能を介して、制御部２とＡＩ処理部３にそれぞれ送信される。制御部２は、情報処理部４から送信されたプログラムを実行することで、上述したロボット９の制御と、検査対象物５の撮影制御と、検査対象データをＡＩ処理部３に送信する制御等を行う。また、ＡＩ処理部３は、情報処理部４から送信されたプログラムを実行することで、制御部２から送信された検査対象データの受信制御と、検査対象データに対するＡＩ処理とを行う。

　図２はＡＩ処理部３の内部構成を示すブロック図である。ＡＩ処理部３は、学習部１１と、算出部１２と、決定部１３とを有する。

　学習部１１は、検査対象物５と同種の複数の良品及び不良品の少なくとも一方を教師データとして用いて、良品と不良品とを判別するための学習を行って学習モデルを生成する。学習モデルは、予め用意したモデル式の重み係数等を制御することにより生成できるが、学習モデルを生成するのに用いる具体的なモデル式については限定されず、任意のモデル式を適用可能である。

　算出部１２は、検査対象物５を学習モデルに入力して演算された結果に基づいて、良品又は不良品の可能性の高さを数値化した数値データを出力する。数値データは、相対評価に用いられるものであり、物理的な単位を有するデータではない。

　決定部１３は、数値データを一種類以上の閾値と比較した結果に基づいて、数値データによる良品又は不良品の自動判断（判別）を行うか、人手による良品又は不良品の検査（判別）を行うかを決定する。すなわち、決定部１３は、ＡＩ処理部３によるＡＩ処理にて良品又は不良品の信頼性の高い判断ができる場合に限って自動判断を行い、それ以外は人手による検査を行うことを決定する。これにより、本検査装置１による検査精度が人手による検査精度より劣らないようにする。

　決定部１３による決定結果は、例えば、ＡＩ処理部３又は情報処理部４の表示部４ａに表示される。作業者は、この表示部４ａの表示により、自動判断を行うのか、それとも、作業者自身で検査を行うかを判別する。

　また、ＡＩ処理部３又は情報処理部４は、可視化部１４を有していてもよい。可視化部１４は、複数の検査対象物５を学習モデルに入力して演算された数値データを可視化する。後述するように、例えば、横軸を数値データ、縦軸を検査対象物５のワーク番号とした二次元座標平面上に、各数値データをプロットとして表示し、各プロットの分布が視覚的に把握できるようにしてもよい。また、可視化部１４は、人間が良品と判断したプロットと、不良品と判断したプロットとを区別して表示することができるため、良品／不良品と数値データとの相関関係を把握しやすくなる。

　また、ＡＩ処理部３は、閾値算出部１５を有していてもよい。閾値算出部１５は、複数の検査対象物５を学習モデルに入力して演算された複数の数値データに基づいて、一種類以上の閾値を算出する。例えば、作業者が良品と判断した検査対象物５の数値データと、作業者が不良品と判断した検査対象物５の数値データとが近接している場合、閾値算出部１５は、これらの数値データの間に閾値を設定してもよい。閾値算出部１５は、複数の数値データの統計処理により、一種類以上の閾値を算出してもよい。ここで、統計処理とは、複数の数値データ同士の平均や分散処理でもよいし、ＭＴ（Mahalanobis Taguchi）法などでもよい。

　閾値算出部１５が算出する閾値は、例えば、第１閾値と、第１閾値よりも大きい第２閾値とを含んでいてもよい。決定部１３は、数値データが第１閾値と第２閾値との間に存在する場合には、人手による良品又は不良品の検査を行うことを決定してもよい。すなわち、決定部１３は、数値データが第１閾値よりも小さいか、又は数値データが第２閾値よりも大きい場合には、人手による良品又は不良品の検査を行わずに、ＡＩ処理部３による良品又は不良品の自動判断を行い、数値データが第１閾値と第２閾値との間に存在する場合には、人手による良品又は不良品の検査を行うことを決定してもよい。

　次に、図１の検査装置１の検査処理を説明する。以下では、金型で金属材料をプレスして製造された所定の検査対象物５の外観検査を行う例について説明する。より詳しくは、本検査例では、制御部２は、回転ステージ８上に載置した検査対象物５を回転させながら撮影部６で撮影を行い、一つの検査対象物５について例えば３６枚の撮影画像を用意し、各撮影画像を例えば８分割して、計３６×８＝２８８個の検査対象データを生成する。図１の検査装置１は、各検査対象データごとに良品又は不良品の検査を行う。よって、一つの検査対象物５について、２８８種類の検査対象データの検査を行うことになる。なお、一つの検査対象物５当たりの検査対象データの数は任意である。

　図３は複数の検査対象物５の検査結果を示すプロット図である。図３では、各検査対象物５ごとの２８８個の検査対象データについてＡＩ処理部３にて数値データを計算するとともに、作業者が各検査対象データを良品と判断したプロット○と、不良品と判断したプロット×とを区別して表示している。本検査では、検査対象データごとに、別々のワーク番号を付しており、図３の縦軸がワーク番号を示している。図３の横軸はＡＩ処理部３で演算された数値データであり、右側ほど数値データの値が大きいことを示している。

　図３のプロットの分布を見ればわかるように、作業者が良品と判断した検査対象データの数値データは、図３の横軸の右側方向に固まっているのに対し、作業者が不良品と判断した検査対象データの数値データは、図３の横軸の左側の広い範囲に分散している。

　図３のプロットの分布を見ると、作業者が良品と判断したプロットと、不良品と判断したプロットとが混在している領域がある。ＡＩ処理部３は、数値データを閾値と比較して良品か不良品かを判別することから、良品と不良品が混在している領域では、ＡＩ処理部３の検査精度が低下するおそれがある。

　そこで、本実施形態のＡＩ処理部３は、図４に示すように、良品と不良品が混在している領域内に、閾値算出部１５で算出された第１閾値と第２閾値を設定して、数値データを第１及び第２閾値と比較して、自動判断を行うか否かを決定してもよい。より具体的には、ＡＩ処理部３は、数値データが第１閾値未満であれば、不良品と自動判断し、数値データが第２閾値より大きければ、良品と自動判断する。また、ＡＩ処理部３は、数値データが第１閾値と第２閾値の間に存在する場合には、ＡＩ処理部３による自動判断は行わずに、人（作業者）による良品／不良品の検査を行うことを決定する。

　次に、検査装置１の処理動作をより詳細に説明する。以下では、良品と判断することを「ＯＫ」、不良品と判断することを「ＮＧ」と呼ぶ場合もある。

　図５は第１の実施形態による検査装置１の処理動作を示すフローチャートである。まず、人（作業者）がＯＫ、ＮＧの判断を行った複数の検査対象物５の学習を行って学習モデルを生成する（ステップＳ１）。このステップＳ１の処理は、学習部１１により行われる。ステップＳ１は、教師あり学習を行うことを前提としているが、教師なし学習を行う場合は、ステップＳ１の代わりに、例えば複数の検査対象物５に対応する検査対象データのクラスタリング処理や主成分分析等による学習を行って学習モデルを生成する。

　ステップＳ１の処理が終了すると、次に、ＯＫ、ＮＧ未判断の検査対象物５についての撮影部６で撮影された検査対象データをステップＳ１で生成した学習モデルに入力して、ＯＫ、ＮＧ判断用の数値データを生成する（ステップＳ２）。次に、複数の検査対象物５に対応する数値データの分布を生成する（ステップＳ３）。この処理は、例えば決定部１３により行われる。分布とは、図３及び図４に示すような二次元座標平面上のプロットの分布である。

　次に、生成した分布に基づいて、数値データを評価するための第１閾値と第２閾値を生成する（ステップＳ４）。このステップＳ４の処理は、閾値算出部１５により行われる。

　次に、ステップＳ２で生成された数値データが第１閾値と第２閾値の間に存在する場合には、人による検査を行うことを決定し、数値データが第１閾値未満か、第２閾値より大きい場合には、ＡＩ処理部３による良品又は不良品の自動判断を行うことを決定する（ステップＳ５）。このステップＳ５の処理は、決定部１３により行われる。より具体的には、決定部１３は、数値データが第１閾値未満であれば、不良品と判断し、数値データが第２閾値より大きければ、良品と判断する。

　次に、ステップＳ５の決定に基づいて、ＡＩ処理又は人による良品／不良品の判断結果を数値データとともに学習部１１に入力して、学習モデルを更新する（ステップＳ６）。

　図５のステップＳ１～Ｓ６の処理を繰り返すことで、学習モデルの更新が繰り返し行われ、図４に示した第１閾値と第２閾値の間に存在するプロットの数を減らすことができ、人による検査割合を減らすことができる。

　図６は図５のフローチャートに基づいて学習を繰り返すことで人による検査割合が減っていく様子を示すグラフである。図６のグラフの横軸は図５のフローチャートの処理回数、縦軸は人による検査割合［％］である。フローチャートの処理回数が増えるに従って、ＡＩ処理による良品／不良品の判断結果と、人による良品／不良品の検査結果とが近づいてくるため、良品と不良品が混在する数値データの範囲、すなわち第１閾値と第２閾値の間の距離を狭めることができ、人による検査割合を減らすことができる。

　このように、第１の実施形態では、検査対象物５を学習モデルに入力して演算された数値データを閾値と比較した結果に基づいて、数値データによる良品又は不良品の自動判断を行うか、人手による良品又は不良品の検査を行うかを決定する。すなわち、本実施形態では、ＡＩ処理では良品か不良品かを精度よく自動判断できない場合のみ、人手による検査を行うため、学習モデルが更新されるに従って、人手による検査割合を徐々に減らすことができる。このように、本実施形態では、検査処理を行う際に、すべてをＡＩ処理で行うのではなく、学習モデルの更新度合いに応じて、人手による検査割合を変化させるため、検査精度を低下させることなく、徐々にＡＩ処理の検査精度を向上させることができ、それに伴って人手による検査割合を徐々に減らすことができる。

　（第２の実施形態）
　第２の実施形態は、学習モデルが実用レベルに達したか否かを判断するものである。第１の実施形態による学習部１１で生成された学習モデルを実製品の検査に用いるには、学習モデルを繰り返し更新して、図４の第１閾値と第２閾値との間に存在するプロットの数が実用上問題ない程度まで少なくなる必要がある。

　第２の実施形態による検査装置１は、図１と同様のブロック構成を備えているが、ＡＩ処理部３の内部構成が図２と一部異なっている。

　図７は第２の実施形態によるＡＩ処理部３の内部構成を示すブロック図である。図７のＡＩ処理部３は、図２の構成に加えて、実用レベル判断部１６を有する。

　実用レベル判断部１６は、図４に示すようなプロットの分布における第１閾値と第２閾値の間に含まれる数値データの割合が第３閾値未満になったか否かを判定し、第３閾値未満になったと判定されると、学習モデルが実用レベルに達したと判断し、第３閾値以上と判定されると、学習モデルが実用レベルにまだ達していないと判断する。ここで、割合とは、数値データの総数に対して、第１閾値と第２閾値の間に存在する数値データの数の割合である。

　図８は第２の実施形態による検査装置１の処理動作を示すフローチャートである。ステップＳ１１～Ｓ１６は、図５のステップＳ１～Ｓ６と同じである。ステップＳ１６で学習モデルを更新した後、更新後の学習モデルを用いて検査対象物５の数値データの分布を再生成し、再生成した分布に基づいて第１閾値と第２閾値を再設定する（ステップＳ１７）。このステップＳ１７の処理は例えば決定部１３と閾値算出部１５により行われる。一般に、学習モデルを更新すると、第１閾値と第２閾値の距離が狭まるように再設定される。これにより、第１閾値と第２閾値の間に存在するプロットの数が減少する。

　次に、第１閾値と第２閾値の間に含まれる数値データの割合が第３閾値未満になったか否かを判定する（ステップＳ１８）。まだ割合が第３閾値以上であれば、ステップＳ１６に戻って、学習モデルの更新を継続して行う。一方、ステップＳ１８で割合が第３閾値未満になったと判定されると、学習モデルが実用レベルに達したと判断する（ステップＳ１９）。ステップＳ１８とＳ１９の処理は、実用レベル判断部１６にて行われる。

　このように、第２の実施形態では、プロットの分布における第１閾値と第２閾値の間に存在する数値データの割合が第３閾値未満になれば、学習モデルが実用レベルに達したと判断するため、学習モデルを実製品の検査に使用するべきか否かを簡易かつ正確に判断できる。

　なお、図７のステップＳ１９で学習モデルが実用レベルに達したと判断された場合には、実製品を検査対象物５として、図１のステップＳ４～Ｓ６の処理を行うことになる。すなわち、学習モデルが実用レベルに達したと判断された場合も、新たな検査対象物５の検査を行うたびに、学習モデルの更新を行うことで、さらに学習モデルの検査精度を向上でき、人手による検査割合をさらにいっそう減らすことができる。

　（第３の実施形態）
　第３の実施形態は、第１閾値と第２閾値の間に存在する数値データについては、欠陥情報を加味して、良品か不良品かを判断するものである。検査対象物５の表面に傷等の欠陥がある場合、通常は欠陥サイズが所定の大きさを超える場合に不良品と判断することが多い。しかしながら、検査対象物５の動作や機能に全く支障のない欠陥であれば、良品として扱ってよい場合がある。

　そこで、本実施形態は、図４に示すようなプロット図における第１閾値と第２閾値の間に存在する数値データについては、欠陥サイズ等の欠陥情報を考慮に入れて再学習を行って再学習モデルを生成し、生成された再学習モデルに検査対象データを入力して演算された結果に基づいて、数値データを出力し直す。すなわち、本実施形態の決定部１３は、検査対象物の固有情報の種類ごとに設定される第１閾値及び第２閾値に基づいて、検査対象物の固有情報の種類ごとに、検査対象物のタイプの自動判別を行うか、人手による検査対象物のタイプの判別を行うかを決定する。ここで、固有情報とは、検査対象物を特徴づける任意の情報であり、上述した欠陥サイズ等の欠陥情報を含む概念である。

　第３の実施形態による検査装置１は、図１と同様のブロック構成を備えているが、ＡＩ処理部３の内部構成が図２と一部異なっている。

　図９は第３の実施形態によるＡＩ処理部３の内部構成を示すブロック図である。図９のＡＩ処理部３は、図７の構成に加えて、再学習部１７と、再算出部１８を有する。

　再学習部１７は、数値データが第１閾値と第２閾値との間に存在する場合に、良品及び不良品の欠陥情報に基づいて再学習を行って再学習モデルを生成する。欠陥情報とは、例えば検査対象物５の欠陥サイズである。検査対象物５の欠陥サイズは、撮影部６で撮影された撮影画像から取得することができる。より具体的には、欠陥のない基準となる撮影画像と、検査対象物５の撮影画像との差分画像を欠陥と見なして、そのサイズを欠陥サイズとすることができる。あるいは、作業者が検査対象物５中の欠陥サイズを予め測定して、その測定された欠陥サイズを撮影画像とは別個に再学習部１７に入力して、再学習モデルを生成してもよい。

　再算出部１８は、検査対象データを再学習モデルに入力して演算された結果に基づいて、数値データを出力し直す。再算出部１８は、検査対象物５の撮影画像に含まれる欠陥を上述した手法で特定し、その欠陥サイズを再学習モデルに入力して数値データを演算する。

　図１０は複数の検査対象物５の検査結果を示すプロット図である。図１０の横軸は算出部１２で算出された数値データ、縦軸は検査対象物５のワーク番号である。図１０には、作業者が良品と判断したプロット○と、大サイズの欠陥で不良品と判断したプロット×と、中サイズの欠陥で不良品と判断したプロット▲と、小サイズの欠陥で不良品と判断したプロット■との、４種類のプロットが図示されている。

　図１０に示すように、欠陥サイズによって、良品又は不良品と判断される数値データが異なっており、また、良品と判断されたり不良品と判断されたりする数値データの範囲も異なっている。図１０は、大中小の３つの欠陥サイズのそれぞれごとに、第１閾値と第２閾値を個別に設定した例を示している。各欠陥サイズごとに、第１閾値未満の数値データは不良品であると自動判断し、第２閾値より大きい数値データは良品であると自動判断し、第１閾値から第２閾値までの数値データはＡＩ処理による自動判断は行わずに人手による良品／不良品の検査を行うことを示している。

　なお、図１０からわかるように、大サイズ又は中サイズの欠陥を含む検査対象物５は、良品と判断されたり不良品と判断されたりする数値データの全体個数に対する割合がそれほど多くない。一方、小サイズの欠陥を含む検査対象物５は、良品と判断されたり不良品と判断されたりする数値データの全体個数に対する割合が非常に多い。このため、検査対象物５に含まれる欠陥が小サイズか否かにより、処理を分けてもよい。すなわち、欠陥サイズが小サイズでなければ、予め定めた第１閾値と第２閾値による比較結果に基づいてＡＩ処理に基づく自動判別を行うか、人手による判別を行うかを決定し、欠陥サイズが小サイズであれば、改めて、第１閾値と第２閾値を設定し直してもよい。

　なお、小サイズの欠陥については、検査対象物５の本来の動作や機能に影響を及ぼさないことも多いことから、小サイズの欠陥は不良品として扱わないようにしてもよい。

　図１１は第３の実施形態による検査装置１の処理動作を示すフローチャートである。ステップＳ２１～Ｓ２５は、図５のステップＳ１～Ｓ５と同じである。ステップＳ２５における決定がなされると、第１閾値と第２閾値の間に含まれる数値データに対応する検査対象物５の欠陥情報を取得する（ステップＳ２６）。欠陥情報として欠陥サイズを取得する場合には、上述したように、欠陥なしの撮影画像と検査対象物５の撮影画像との差分画像により欠陥サイズを取得できる。あるいは、作業者が欠陥サイズを入力してもよい。

　次に、第１閾値と第２閾値の間に含まれる数値データに対応する検査対象物５について、作業者が欠陥情報を考慮に入れて良品又は不良品の判断を行う（ステップＳ２７）。

　次に、ステップＳ２７の判断結果と欠陥情報に基づいて、再学習部１７にて再学習を行って再学習モデルを生成する（ステップＳ２８）。

　次に、欠陥情報を考慮に入れて、更新後の学習モデルを用いて検査対象物５の数値データの分布を生成する（ステップＳ２９）。このステップＳ２９の処理は、決定部１３にて行われ、例えば図１０のようなプロット図を生成する。

　次に、欠陥情報を考慮に入れて生成した分布に基づいて、第１閾値と第２閾値を再設定する（ステップＳ３０）。このステップＳ３０の処理は、決定部１３と閾値算出部１５にて行われ、例えば図１０のような破線で示す第１閾値と第２閾値が再設定される。

　次に、第１閾値と第２閾値の間に含まれる数値データの割合が第３閾値未満になったか否かを判定する（ステップＳ３１）。第３閾値未満でなければ、ステップＳ２８以降の処理が繰り返し行われ、第３閾値未満であれば、学習モデルが実用レベルに達したと判断する（ステップＳ３２）。

　このように、第３の実施形態では、良品か不良品かが判別できない場合には、欠陥サイズ等の欠陥情報を考慮に入れて再学習を行うため、欠陥サイズがある程度以上大きな検査対象物５に基づいて、良品か不良品かを判別する第１閾値と第２閾値を設定できる。よって、第１閾値と第２閾値の間に含まれる数値データの割合を減らすことができ、検査精度を低下させることなく、人手による検査割合を低減できる。

　（第４の実施形態）
　上述した第１～第３の実施形態では、数値データが第１閾値と第２閾値の間に存在する場合には、人手による良品又は不良品の検査を行う例を説明したが、数値データが良品又は不良品に分類される頻度に応じて、人手による良品又は不良品の検査を行うか否かを決定してもよい。

　第４の実施形態による検査装置１は図１と同様のブロック構成を備え、また、ＡＩ処理部３は図２又は図７と同様のブロック構成を有する。

　第４の実施形態によるＡＩ処理部３は、決定部１３の処理動作が第１～第３の実施形態による決定部１３の処理動作とは異なっている。本実施形態では、個々の検査対象物５について、複数回の撮影を行って得られた複数の検査対象データに基づいて、複数回の分類分けを行うことを前提としている。第４の実施形態による決定部１３は、同一の検査対象物５の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第４閾値以上で、かつ第５閾値未満の場合には、人手により検査対象物のタイプを判別すると決定する。

　図１２は、複数の検査済対象物のそれぞれについて、複数回（例えば１５回）ずつ撮影を行って、各検査対象物５の複数の撮影画像データに基づいて、良品／不良品の判別を行った結果を示すプロット図である。図１２の横軸は不良品と判断された回数、縦軸は各検査済対象物の識別番号（ワーク番号）である。図１２の各プロットは、それぞれ異なる検査済対象物を表しており、複数回の良品／不良品判別を行った結果、不良品と判断された回数をプロットしている。

　本実施形態の決定部１３は、各検査済対象物ごとに良品／不良品の判別を行った総回数に対して、所定の回数以上、不良品と判断される検査済対象物については、不良と判断して問題ないことから、所定の回数以上、不良品と判断された検査済対象物については、ＡＩ処理による自動判断を行うことを決定する。一方、所定回数未満の回数だけ不良品と判断される検査済対象物については、人手による検査を行うことを決定する。総回数に対する所定回数で人手による検査を行うか否かを決定するということは、不良品又は良品と判別される頻度で人手による検査を行うか否かを決定することを意味する。

　このように、第４の実施形態では、良品／不良品の判断がばらつく場合には、ばらつく頻度に応じて、人手による検査を行うか否かを決定するため、二つ以上の閾値を設定しなくても、人手による検査を行うか否かを決定できる。

　上述した実施形態で説明した検査装置１及び検査方法の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、検査装置１及び検査方法の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

　また、検査装置１及び検査方法の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

　さらに、上述した各実施形態によるＡＩ処理部３を、インターネット等の公衆回線や専用回線等の所定のネットワークに接続して、ネットワークを介してＡＩ処理部３に教師データや検査対象データを送信し、ＡＩ処理部３が実行したＡＩ処理結果を、ネットワークを介して受信するようにしてもよい。このように、検査装置１内の少なくとも一部の構成部は、クラウド環境下に設けられてもよい。

　本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

　例えば、上述した第３の実施形態では、欠陥情報として、検査対象物５の欠陥サイズを例示したが、これに限られるものではなく、欠陥位置（検査対象物５における欠陥の位置）等を欠陥情報としてもよい。

　また、上述した各実施形態では、教師データ及び検査対象データの生成を制御部２で行う例を説明したが、これに限られるものではなく、例えば、撮影部６で撮影された撮影画像をＡＩ処理部３に送信し、ＡＩ処理部３で教師データ及び検査対象データの生成を行うようにしてもよい。この場合、制御部２を介さずに撮影部６で撮影された撮影画像をＡＩ処理部３に送信するので、上述した各実施形態と比較して、教師データ及び検査対象データの生成を簡易かつ高速に行うことができる。

　また、上述した各実施形態では、学習モデル及び再学習モデルの生成をＡＩ処理部３の学習部１１又は再学習部１７で行う場合を説明したが、これに限られるものではなく、例えば、ＡＩ処理部３以外で生成された学習モデル及び再学習モデルを学習部１１又は再学習部１７で取得するようにしてもよい。この場合、学習部１１及び再学習部１７で行う処理を簡易化できるので、上述した各実施形態と比較して、ＡＩ処理部３の処理負荷を軽減することができる。
　さらに、上述した各実施形態では、検査装置１の処理動作において、数値データの分布の生成（ステップＳ３、Ｓ１３、Ｓ１７、Ｓ２３、Ｓ２９）、第１閾値と第２閾値の設定（ステップＳ４、Ｓ１４、Ｓ１７、Ｓ２４、Ｓ３０）及び学習モデルの更新（ステップＳ６、Ｓ１６、Ｓ２８）をそれぞれ実行する例を説明したが、これに限られるものではなく、例えば、これらのステップを省略し、予め設定された閾値に基づいて、自動判断するのか、人手により検査するのかを決定してもよい。

　１　検査装置、２　制御部、３　ＡＩ処理部、４　情報処理部、４ａ　表示部、５　検査対象物、６　撮影部、７　収納体、８　回転ステージ、９　ロボット、１１　学習部、１２　算出部、１３　決定部、１４　可視化部、１５　閾値算出部、１６　実用レベル判断部、１７　再学習部、１８　再算出部

Claims

　検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部を教師データとして用いて、前記検査対象物のタイプを判別するための学習を行って学習モデルを生成するか、或いは前記学習モデルを取得する学習部と、
　前記検査対象物を前記学習モデルに入力して演算された結果に基づいて、前記検査対象物のタイプの分類精度の高さを数値化した数値データを出力する算出部と、
　前記数値データを一種類以上の閾値と比較した結果に基づいて、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかを決定する決定部と、を備える、検査装置。
　複数の検査対象物を前記学習モデルに入力して演算された複数の前記数値データに基づいて、前記一種類以上の閾値を算出する閾値算出部を備える、請求項１に記載の検査装置。
　前記閾値算出部は、前記複数の数値データの統計処理により、前記一種類以上の閾値を算出する、請求項２に記載の検査装置。
　前記一種類以上の閾値は、第１閾値と、前記第１閾値よりも大きい第２閾値とを含んでおり、
　前記決定部は、前記数値データが前記第１閾値と前記第２閾値との間に存在する場合には、人手により前記検査対象物のタイプを判別することを決定する、請求項１乃至３のいずれか一項に記載の検査装置。
　前記決定部は、前記数値データが前記第１閾値よりも小さいか、又は前記数値データが前記第２閾値よりも大きい場合には、人手により前記検査対象物のタイプを判別せずに、前記検査対象物のタイプを自動判別することを決定する、請求項４に記載の検査装置。
　前記数値データが前記第１閾値と前記第２閾値との間に存在する場合に、前記検査対象物の固有情報に基づいて再学習を行って再学習モデルを生成するか、或いは前記再学習モデルを取得する再学習部と、
　前記検査対象物を前記再学習モデルに入力して演算された結果に基づいて、前記数値データを出力し直す再算出部と、を備え、
　前記決定部は、前記検査対象物の固有情報を考慮に入れつつ、前記数値データを前記第１閾値及び前記第２閾値と比較した結果に基づいて、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定する、請求項４又は５に記載の検査装置。
　前記決定部は、前記検査対象物の固有情報の種類ごとに設定される前記第１閾値及び前記第２閾値に基づいて、前記検査対象物の固有情報の種類ごとに、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定する、請求項６に記載の検査装置。
　前記複数のタイプは、良品のタイプと、不良品のタイプを含んでおり、
　前記固有情報は、良品及び不良品の欠陥サイズを含む、請求項６又は７に記載の検査装置。
　前記第１閾値と前記第２閾値との間に含まれる前記数値データの割合が第３閾値未満になったか否かを判定し、前記割合が前記第３閾値未満になったと判定されると、前記学習モデルが実用レベルに達したと判断する実用レベル判断部を備える、請求項４乃至８のいずれか一項に記載の検査装置。
　前記決定部は、同一の検査対象物の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第４閾値未満の場合には、人手により前記検査対象物のタイプを判別すると決定する、請求項１乃至９のいずれか一項に記載の検査装置。
　前記検査対象物を複数の方向から撮影する撮影部を備え、
　前記学習部は、前記撮影部で撮影された前記検査対象物の複数の撮影画像を前記教師データとして用いる、請求項１乃至１０のいずれか一項に記載の検査装置。
　複数の検査対象物を前記学習モデルに入力して演算された前記数値データを可視化する可視化部を備える、請求項１乃至１１のいずれか一項に記載の検査装置。
　コンピュータにて、検査対象物の検査を行う検査方法であって、
　前記コンピュータに、
　前記検査対象物と同種の複数の検査済対象物を複数のタイプに分類した分類結果の少なくとも一部を教師データとして用いて、前記検査対象物のタイプを判別するための学習を行って学習モデルを生成させるか、或いは前記学習モデルを取得させ、
　前記検査対象物を前記学習モデルに入力して演算された結果に基づいて、前記検査対象物のタイプの分類精度の高さを数値化した数値データを出力させ、
　前記数値データを一種類以上の閾値と比較した結果に基づいて、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかを決定させる、検査方法。
　前記コンピュータは、ネットワークに接続されており、
　前記ネットワークを介して、前記コンピュータに対して、前記教師データと、前記検査対象物のデータとを送信し、
　前記コンピュータにより決定させた、前記検査対象物のタイプを自動判別するか、人手により前記検査対象物のタイプを判別するかの情報を、前記ネットワークを介して受信する、請求項１３に記載の検査方法。
　前記コンピュータに、複数の検査対象物を前記学習モデルに入力して演算された複数の前記数値データに基づいて、前記一種類以上の閾値を算出させる、請求項１３又は１４に記載の検査方法。
　前記コンピュータに、前記複数の数値データの統計処理により、前記一種類以上の閾値を算出させる、請求項１５に記載の検査方法。
　前記一種類以上の閾値は、第１閾値と、前記第１閾値よりも大きい第２閾値とを含んでおり、
　前記コンピュータに、前記数値データが前記第１閾値と前記第２閾値との間に存在する場合には、人手により前記検査対象物のタイプを判別することを決定させる、請求項１３乃至１６のいずれか一項に記載の検査方法。
　前記コンピュータに、前記数値データが前記第１閾値よりも小さいか、又は前記数値データが前記第２閾値よりも大きい場合には、人手により前記検査対象物のタイプを判別せずに、前記検査対象物のタイプを自動判別することを決定させる、請求項１７に記載の検査方法。
　前記コンピュータに、
　前記数値データが前記第１閾値と前記第２閾値との間に存在する場合に、前記検査対象物の固有情報に基づいて再学習を行って再学習モデルを生成させるか、或いは前記再学習モデルを取得させ、
　前記検査対象物を前記再学習モデルに入力して演算された結果に基づいて、前記数値データを出力させ、
　前記検査対象物の固有情報を考慮に入れつつ、前記数値データを前記第１閾値及び前記第２閾値と比較した結果に基づいて、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定させる、請求項１７又は１８に記載の検査方法。
　前記コンピュータに、前記検査対象物の固有情報の種類ごとに設定される前記第１閾値及び前記第２閾値に基づいて、前記検査対象物の固有情報の種類ごとに、前記検査対象物のタイプの自動判別を行うか、人手による前記検査対象物のタイプの判別を行うかを決定させる、請求項１９に記載の検査方法。
　前記複数のタイプは、良品のタイプと、不良品のタイプを含んでおり、
　前記固有情報は、良品及び不良品の欠陥サイズを含む、請求項１９又は２０に記載の検査方法。
　前記コンピュータに、前記第１閾値と前記第２閾値との間に含まれる前記数値データの割合が第３閾値未満になったか否かを判定させ、前記割合が前記第３閾値未満になったと判定されると、前記学習モデルが実用レベルに達したと判断させる、請求項１７乃至２１のいずれか一項に記載の検査方法。
　前記コンピュータに、同一の検査対象物の分類分けを複数回行ったときに、特定のタイプに分類される頻度が第４閾値未満の場合には、人手により前記検査対象物のタイプを判別すると決定させる、請求項１３乃至２２のいずれか一項に記載の検査方法。
　複数の方向から撮影された前記検査対象物の複数の撮影画像を前記教師データとして用いる、
請求項１３乃至２３のいずれか一項に記載の検査方法。
　前記コンピュータに、複数の検査対象物を前記学習モデルに入力して演算された前記数値データを可視化させる、請求項１３乃至２４のいずれか一項に記載の検査方法。